Tarama (Crawling); Googlebot gibi arama motoru örümceklerinin web sitenizi ziyaret etmesi, sayfa kodlarını okuması ve linkleri takip ederek site haritanızı keşfetmesi sürecidir.
Crawl Bütçesi
Bot kaynaklarının optimum kullanımı sağlanır.
SSR Desteği
Botlara hazır HTML sunularak tarama hızlandırılır.
Temiz Linkler
Parametre tuzakları (Spider Traps) ve döngüler engellenir.
Log Takibi
Botların siteyi ne sıklıkla ziyaret ettiği analiz edilir.
1. Google Sitemi Neden Bulamıyor?
Eğer binlerce sayfalık sitenizde sadece birkaç yüz sayfa taranıyorsa, botlar sitenizin "teknik labirentinde" kaybolmuş demektir. Tarama (Crawling), Googlebot'un sitenizi keşfetme yolculuğudur. Bu aşamadaki başarısızlık, içeriğiniz ne kadar mükemmel olursa olsun, görünmez kalması anlamına gelir.
Uzman Görüşü: Bütçe Kaçaklarını Durdurun
Çoğu site sahibi yeni içerik girmeye odaklanır ama mevcut tarama bütçesi (Crawl Budget) 500 hataları veya gereksiz filtre URL'leri tarafından tüketilmektedir. Önce bütçeyi "kapatın", sonra yeni sayfalar açın.
2. Tarama Verimliliği Nasıl Artırılır?
Botların sitenize olan ziyaretlerini kusursuz hale getirmek için şu 3 teknik kontrolü yapmalıyız:
Robots.txt ile Yön Gösterin
Admin panelleri ve sepet gibi "para kazandırmayan" sayfaları Disallow ile botlara kapatın.
Sitemap Temizliği
Haritada sadece 200 OK kodu veren ve indekslenmesini istediğiniz en temiz kanonik URL'leri bulundurun.
Kırık Link (404) Temizliği
Site içindeki kırık linkler botları çıkmaz sokağa sokar ve bütçeyi boşa harcar. Tüm iç linklerinizin çalışan (200 OK) sayfalara gittiğinden emin olun.
3. "Ya Sitem JavaScript ile Yapıldıysa?"
Modern frameworkler (React, Next.js) botlar için zorlayıcı olabilir. Eğer içeriğiniz client-side render ediliyorsa Googlebot içeriği "boş" görür. Bu durumda Server-Side Rendering (SSR) veya Static Site Generation (SSG) kullanmak kaçınılmazdır. Aksi takdirde tarama gerçekleşse de anlamlandırma (Rendering) başarısız olur.
4. Hangi Teknik Sorun Taramayı Nasıl Erişilemez Kılar?
| Kriter | Hatalı Yapı (Spider Trap) | İdeal Yapı (Bot Friendly) |
|---|---|---|
| URL Yapısı | Parametreli URL'ler (?id=123&session=...) | Temiz (Clean) ve Statik URL'ler |
| İçerik Türü | Client-Side Render (Boş HTML) | Server-Side Render (Dolu HTML) |
5. Tarama Süreci Hakkında Stratejik Sorular
Robots.txt ile engellediğim bir sayfa SERP'te "açıklama mevcut değil" diye çıkıyor, neden?
Çünkü Robots.txt taramayı engeller ama indekslemeyi garantilemez. Eğer o sayfaya dışarıdan link geliyorsa Google onu dizine ekler ama içini okuyamadığı için boş gösterir. Tam çözüm için noindex etiketi kullanmalısınız.
Yeni yazdığım yazının anında taranması için en hızlı yol hangisi?
Search Console "URL Denetimi" üzerinden manuel talep gönderebilirsiniz. Ancak büyük sitelerde Indexing API kullanmak çok daha profesyonel ve hızlı bir çözümdür.
İlgili Diğer Başlıklar
Indexing (Dizine Ekleme) Ekosistemi
İndeksleme (Indexing); taranan sayfaların kalitesinin değerlendirilerek, arama sonuçlarında (SERP) gösterilmek üzere Google'ın dağıtık veritabanına kaydedilmesi işlemidir.
Teknik SEO: Altyapı ve Performans
Teknik SEO; Web site alt yapısının (Sunucu, Kod Yapısı, Hız), arama motoru botlarının siteyi sorunsuz tarayabileceği (Crawling) ve anlamlandırabileceği (Indexing) standartlara getirilmesidir.