Teknik SEO SerisiRehber

Log Analizi ve Bot Davranışları

28 Ocak 2024
2 dk okuma
Log Analizi ve Bot Davranışları 3D Illustration

Log Analizi; web sunucusu kayıtlarını (Access Logs) inceleyerek, arama motoru botlarının (Googlebot, Bingbot) site üzerindeki davranışlarını, tarama frekansını ve karşılaştığı hataları analiz etme yöntemidir.

Görünmez Veri

Search Console'un göstermediği teknik hatalar yakalanır.

Bütçe Analizi

Tarama bütçesini tüketen verimsiz sayfalar (Waste) tespit edilir.

Status Code

4xx ve 5xx yanıtları anlık olarak izlenir.

Davranış Modeli

Botların siteyi hangi frekansta ziyaret ettiği ölçülür.

1. Sunucu Log Analizi ile Bot Davranışları Nasıl Çözümlenir?

Search Console verileri (örneklendirilmiş/sampled) size sadece Google'ın "göstermek istediği" kadarını sunar. Oysa teknik SEO'da başarı, tahminlere değil kesin verilere dayanır. Log kayıtları, botların sitenizde attığı her adımı, milisaniye cinsinden ve %100 doğrulukla (Exact Match Data) görmenizi sağlayan tek yerdir. Görünmez hataları ve bütçe kaçaklarını yakalamak için vitrine değil, bu kara kutuya bakmalısınız.

Uzman Görüşü: Görünmeyeni Görmek

Çoğu SEO projesi sadece arayüze odaklanır. Oysa 500 hataları, sonsuz yönlendirme döngüleri (Redirect Loops) ve bütçe yiyen parametre tuzakları (Spider Traps) sadece loglarda görünür.

2. Search Console Verileri ile Ham Sunucu Logları Arasındaki Farklar

Çoğu SEO uzmanı sadece Google Search Console verilerine güvenir, ancak teknik sorunları kökünden çözmek için sunucu seviyesindeki ham veriye ihtiyacınız vardır. İşte bu iki veri kaynağı arasındaki temel farklar:

Özellik Search Console (GSC) Log Analizi
Veri Doğruluğu Örneklem (Sampled) veri sunar. %100 Kesin (Raw) veri sunar.
Zamanlama 2-3 gün gecikmeli gelir. Gerçek zamanlı (Real-time) izlenebilir.
Kapsam Sadece Googlebot'u gösterir. Tüm botları (Bing, Yandex, Ahrefs) ve kullanıcıları gösterir.

3. Adım Adım Teknik SEO Denetimi ve Log Dosyası İşleme Rehberi

Sunucu loglarını anlamlandırarak teknik bir avantaj elde etmek için şu iş akışını takip edebilirsiniz:

01

Veri Toplama (Collection)

Sunucudan (Nginx/Apache) access.log dosyalarını son 30 günlük periyot için dışarı aktarın.

02

User-Agent Filtreleme

Dosyayı Excel veya Screaming Frog Log Analyzer ile açın. Sadece "Googlebot" içeren satırları filtreleyin (Spoofing kontrolü yapmayı unutmayın).

03

Anomali Tespiti

En çok taranan sayfalar ile en önemli sayfalarınız örtüşüyor mu? Önemsiz etiket sayfaları bütçeyi mi yiyor?

4. "Ani Tarama Düşüşü" - Botların Siteden Uzaklaşma Sebebi Nedir?

Loglarda bot trafiğinin aniden kesildiğini görüyorsanız, sunucu tarafında bir güvenlik duvarının (WAF/Cloudflare) Googlebot IP'lerini yanlışlıkla 'spam' olarak işaretleyip bloklamış olma ihtimali yüksektir. Bu durumu manuel olarak kontrol edip 'Google Verified Bot' listesini beyaz listeye (allowlist) almalısınız.

5. Log Analizi ve Teknik Hata Ayıklama Hakkında Sorular

Log dosyam çok büyük, nasıl açabilirim?

Excel 1 milyon satırı kaldırmaz. "Screaming Frog Log Analyzer" veya "Splunk" gibi profesyonel araçlar kullanmalı veya dosyayı günlere bölmelisiniz.

Her gün log analizi yapmalı mıyım?

Hayır. Ayda bir kez veya büyük bir site değişikliği/göç (Migration) sonrası yapmak yeterlidir. Ancak 5xx hataları için sunucu tarafından otomatik alarm kurmalısınız.

İlgili Diğer Başlıklar

Teknik SEO: Altyapı ve Performans

Teknik SEO; Web site alt yapısının (Sunucu, Kod Yapısı, Hız), arama motoru botlarının siteyi sorunsuz tarayabileceği (Crawling) ve anlamlandırabileceği (Indexing) standartlara geti...

Okumaya Başla

Tarama ve İndeksleme (Crawl & Index)

Tarama (Crawling); Googlebot gibi arama motoru örümceklerinin web sitenizi ziyaret etmesi, sayfa kodlarını okuması ve linkleri takip ederek site haritanızı keşfetmesi sürecidir.

Okumaya Başla

Indexing (Dizine Ekleme) Ekosistemi

İndeksleme (Indexing); taranan sayfaların kalitesinin değerlendirilerek, arama sonuçlarında (SERP) gösterilmek üzere Google'ın dağıtık veritabanına kaydedilmesi işlemidir.

Okumaya Başla

Core Web Vitals ve Performans Mühendisliği

Core Web Vitals; Google'ın kullanıcı deneyimini ölçmek için kullandığı, yükleme hızı (LCP), etkileşim gecikmesi (INP) ve görsel kararlılık (CLS) metriklerinden oluşan performans st...

Okumaya Başla

Structured Data ve Varlık (Entity) Mühendisliği

Yapısal Veri (Structured Data); arama motorlarına sayfa içeriğini daha iyi anlamlandırmaları için Schema.org standartlarında sunulan, kod tabanlı (JSON-LD) bir işaretleme dilidir.

Okumaya Başla

Crawl Budget (Tarama Bütçesi) Stratejileri

Tarama Bütçesi (Crawl Budget); arama motoru botlarının bir web sitesini taramak için ayırdığı kaynak ve zaman sınırıdır. Özellikle büyük ölçekli ve e-ticaret siteleri için kritik b...

Okumaya Başla

Sıralama (Ranking) ve Algoritmik Değerleme

Sıralama (Ranking); Google'ın kalite sinyallerini (Hız, İçerik, Otorite) analiz ederek, kullanıcının sorgusuna en alakalı ve en güvenilir yanıtı veren sayfaları hiyerarşik olarak l...

Okumaya Başla