Tarama (Crawling); Googlebot gibi arama motoru örümceklerinin web sitenizi ziyaret etmesi, sayfa kodlarını okuması ve linkleri takip ederek site haritanızı keşfetmesi sürecidir. İndeksleme (Indexing) ise taranan sayfaların kalitesinin değerlendirilerek, arama sonuçlarında gösterilmek üzere Google'ın veritabanına kaydedilmesi işlemidir.
- ✦Crawl Bütçesi: Bot kaynaklarının optimum kullanımı sağlanır.
- ✦SSR Desteği: Botlara hazır HTML sunularak tarama hızlandırılır.
- ✦Dizin Optimizasyonu: Kaliteli sayfalar önceliklendirilir (Index Bloat Önleme).
- ✦GSC Analizi: İndeksleme hataları Search Console üzerinden çözülür.
Crawl Bütçesi
Bot kaynaklarının optimum kullanımı sağlanır.
SSR Desteği
Botlara hazır HTML sunularak tarama hızlandırılır.
Dizin Optimizasyonu
Kaliteli sayfalar önceliklendirilir (Index Bloat Önleme).
GSC Analizi
İndeksleme hataları Search Console üzerinden çözülür.
1. Google Sitemi Neden Bulamıyor?
Eğer binlerce sayfalık sitenizde sadece birkaç yüz sayfa taranıyorsa, botlar sitenizin "teknik labirentinde" kaybolmuş demektir. Tarama (Crawling), Googlebot'un sitenizi keşfetme yolculuğudur; bu aşamadaki başarısızlık, içeriğiniz ne kadar mükemmel olursa olsun, görünmez kalması anlamına gelir.
Uzman Görüşü: Bütçe Kaçaklarını Durdurun
Çoğu site sahibi yeni içerik girmeye odaklanır ama mevcut tarama bütçesi (Crawl Budget) 500 hataları veya gereksiz filtre URL'leri tarafından tüketilmektedir. Önce bütçeyi "kapatın", sonra yeni sayfalar açın.
2. Tarama Verimliliği Nasıl Artırılır?
Botların sitenize olan ziyaretlerini kusursuz hale getirmek için şu 3 teknik kontrolü yapmalıyız:
Robots.txt ile Yön Gösterin
Admin panelleri ve sepet gibi "para kazandırmayan" sayfaları Disallow ile botlara kapatın.
Sitemap Temizliği
Haritada sadece 200 OK kodu veren ve indekslenmesini istediğiniz en temiz kanonik URL'leri bulundurun.
Kırık Link (404) Temizliği
Site içindeki kırık linkler botları çıkmaz sokağa sokar ve bütçeyi boşa harcar.
3. İndeksleme Sorunlarını Giderme
Taranmak, dizine eklenmeyi garanti etmez. Google, saniyede milyonlarca sayfayı tararken çok sıkı bir "kalite filtresi" uygular. Google sonuçlarında görünmeyen sayfalar varsa şu 3 stratejik adımı izleyin:
Excluded Raporunu Analiz Edin
Search Console'da "Tarandı ama dizine eklenmedi" hatası kaliteye, "Bulundu ama taranmadı" hatası ise site hızına işarettir.
Meta Robots Kontrolü
Yanlışlıkla tüm siteye "noindex" basılmadığından emin olun. Head bölümünü kontrol edin.
İçerik Kalitesi ve Kopya Kontrolü
Sayfanız başka bir sayfanın kopyası mı? Google 'Duplicate Content' gördüğünde genellikle orijinal olanı seçer, diğerini eler. Özgünlük sunun.
4. Hangi Sayfa Tipleri İndekslenmeli, Hangileri Engellenmeli?
| Kriter | Negatif Sinyal (Index Bloat) | Pozitif Sinyal (Clean Index) |
|---|---|---|
| İçerik Derinliği | Zayıf içerik (Thin Content), boş sayfalar. | Kapsamlı ve özgün bilgi içeren sayfalar. |
| Kopya Durumu | Site içi kopya (Duplicate), parametreli URL'ler. | Kanonik etiketiyle işaretlenmiş tekil URL. |
5. Tarama ve İndeksleme Hakkında Stratejik Sorular
Robots.txt ile engellediğim bir sayfa SERP'te çıkıyor, neden?
Çünkü Robots.txt taramayı engeller ama indekslemeyi garantilemez. Tam çözüm için noindex etiketi kullanmalısınız.
Index Request butonuna her gün basmak işe yarar mı?
Hayır. Eğer sayfanızın kalite sorunu varsa, istediğiniz kadar basın, Google o sayfayı dizine almayacaktır. Önce içeriği geliştirin.
Ayrıca Bakınız
- Tarama ve İndeksleme (Crawl & Index)
Tarama (Crawling); Googlebot gibi arama motoru örümceklerinin web sitenizi ziyaret etmesi, sayfa kodlarını okuması ve linkleri takip ederek site haritanızı keşfetmesi sürecidir.
- Indexing (Dizine Ekleme) Ekosistemi
İndeksleme (Indexing); taranan sayfaların kalitesinin değerlendirilerek, arama sonuçlarında (SERP) gösterilmek üzere Google'ın dağıtık veritabanına kaydedilmesi işlemidir.
- Sıralama (Ranking) ve Algoritmik Değerleme
Sıralama (Ranking); Google'ın kalite sinyallerini (Hız, İçerik, Otorite) analiz ederek, kullanıcının sorgusuna en alakalı ve en güvenilir yanıtı veren sayfaları hiyerarşik olarak listelemesidir.