1. llms.txt Nedir?
llms.txt, büyük dil modellerinin bir web sitesinin en kritik içeriklerini daha kolay bulup anlaması için kök dizine yerleştirilen, Markdown formatında yazılmış önerilen bir metin dosyasıdır. Eylül 2024'te Avustralyalı teknolog Jeremy Howard tarafından ortaya atılan bu standart, robots.txt ve XML sitemap protokollerine benzer bir mantıkla çalışır; ancak hedef kitle arama motorları değil, ChatGPT, Claude ve Perplexity gibi LLM tabanlı yapay zeka sistemleridir.
İki somut sorunu hedef alır: LLM'lerin bağlam pencereleri çoğu siteyi bütünüyle işlemek için yeterince geniş değildir; reklamlar, JavaScript ve navigasyon elementleriyle dolu HTML sayfalarını düz metne dönüştürmek ise hata payı yüksek bir işlemdir. llms.txt bu iki soruna karşı modele "işte önemli olan bu" der — siteyi taratmak yerine içeriği önceliklendirerek sunar.
Sorun 1: Bağlam Penceresi
LLM'lerin bağlam pencereleri çoğu siteyi bütünüyle işlemek için yeterince geniş değildir. Büyük siteler için bu ciddi bir kısıt oluşturur.
Sorun 2: HTML Gürültüsü
Reklamlar, JavaScript ve navigasyon elementleriyle dolu HTML sayfalarını düz metne dönüştürmek hata payı yüksek bir işlemdir.
2. llms.txt Dosyası Nasıl Görünür? Format ve Yapı
Dosya sitenin kök dizinine yerleştirilen düz bir Markdown metin dosyasıdır; hem insan hem dil modeli okuyabilir, regex veya klasik ayrıştırıcılarla da işlenebilir.
Temel Yapı
Dört ana bölümden oluşur:
- H1 başlığı — Sitenin veya projenin adı
- Özet bloğu — Sitenin ne olduğunu birkaç cümlede açıklar
- Ayrıntılı bilgi — Kapsam, kısıtlamalar veya bağlam notları
- Bağlantı listeleri — LLM'nin okumasını istediğiniz sayfalara işaret eden URL'ler
# Örnek Site
> Yazılım geliştirici araçları üzerine dokümantasyon sitesi.
## Kılavuzlar
- [Kurulum](https://example.com/docs/setup): Ortam kurulumu adım adım.
- [API Referansı](https://example.com/docs/api): Tüm endpoint'lerin listesi.Her URL'e isteğe bağlı kısa açıklama eklenebilir; bu, modelin sayfanın ne işe yaradığını bağlam olmadan anlamasını kolaylaştırır.
llms.txt ve llms-full.txt Farkı
llms.txt bağlantı listesi sunar — model istediği sayfayı ayrıca çeker. llms-full.txt ise sitenin ham metnini tek dosyada toplar; model ek istek göndermeden tüm içeriğe ulaşır. Boyut farkı ciddi olabilir: önerinin yazarına ait sitedeki llms-full.txt 115.378 kelime ve 966 KB büyüklüğündedir.
| Şirket | llms-full.txt Adresi |
|---|---|
| Anthropic | https://docs.anthropic.com/llms-full.txt |
| Perplexity | https://docs.perplexity.ai/llms-full.txt |
| Zapier | https://docs.zapier.com/llms-full.txt |
3. llms.txt ile robots.txt Arasındaki Fark
İki protokol benzer mantıkla çalışıyor gibi görünse de amaç, hedef kitle ve bağlayıcılık açısından köklü biçimde ayrışır.
| Boyut | llms.txt | robots.txt |
|---|---|---|
| Hedef kitle | ChatGPT, Claude, Perplexity gibi LLM tabanlı sistemler | Google, Bing gibi geleneksel arama motoru botları |
| Format | Markdown | Düz metin; User-agent, Disallow direktifleri |
| Amaç | İçeriği önceliklendirerek AI'a sunmak | Sayfaların taranmasını kontrol etmek |
| Direktif içeriği | Erişim kısıtlama direktifi içermez | İzin ver / engelle kuralları tanımlar |
| Uyum zorunluluğu | LLM'in tercihine bırakılmış; bağlayıcı değil | Arama motoru botları genel olarak uyar |
robots.txt = Kapı Bekçisi
Neyin taranacağını kontrol eder. Bağlayıcıdır — arama motorları bu direktiflere uyar.
llms.txt = Brifing Belgesi
Yapay zekaya sitenin ne hakkında olduğunu ve hangi içeriğin öncelikli olduğunu anlatır. Bağlayıcı değildir.
4. llms.txt Gerçekten İşe Yarıyor mu? 300.000 Domain Analizi
Veri net: llms.txt, AI sistemlerinin sizi alıntılama biçimini şu an için değiştirmiyor.
SE Ranking yaklaşık 300.000 domaini Spearman korelasyonu, XGBoost regresyonu ve SHAP analizi kullanarak inceledi. Analiz edilen domainlerin yalnızca %10,13'ünde llms.txt dosyası mevcuttu. Trafik segmentlerine göre dağılım: düşük trafikli siteler %9,88, orta trafikli %10,54, yüksek trafikli (100.001+ ziyaret) ise %8,27. En geniş teknik ekiplere sahip yüksek trafikli siteler bu dosyayı en az benimseyen grup.
XGBoost modeli, llms.txt değişkenini dışarıda bırakınca daha iyi çalıştı — istatistikte "gürültü değişkeni" olarak tanımlanır: modele eklediğinizde tahmin gücünü düşürüyor. Analiz, llms.txt ile AI atıf sıklığı arasında herhangi bir korelasyon olmadığını doğrudan gösterdi.
Platform tarafında da tutarsız bir tablo var: GPTBot zaman zaman llms.txt dosyalarını çekiyor ama bu sık değil ve resmi süreçte etkisi doğrulanmış değil. Google'ın AI Overviews ve AI Mode'u llms.txt yerine geleneksel SEO sinyallerine dayanıyor; Google'ın bu dosyayı desteklediğine dair herhangi bir bilgi bulunmuyor.
5. llms.txt Nasıl Oluşturulur ve Siteye Eklenir?
1. Markdown dosyasını hazırlayın
Bir metin editörü açın, .txt uzantısıyla kaydedin. HTML etiketleri veya JavaScript kullanmayın — bu yapılar LLM'lerin dosyayı ayrıştırmasını zorlaştırır.
2. İçerik yapısını kurun
# Site Adı
> Sitenizin tek paragraflık özeti. LLM bu satırı önce okur.
## Hakkında
Sitenizin ne yaptığını, kimi hedeflediğini açıklayan metin.
## Kaynaklar
- [Ürün Sayfası](https://example.com/urun)
- [Blog](https://example.com/blog)
- [SSS](https://example.com/sss)Özet bloğunu (> ile başlayan satır) atlamayın; büyük dil modelleri bu kısmı bağlam kurucusu olarak kullanır.
3. Dosyayı kök dizine yükleyin
Dosyayı llms.txt adıyla kök dizine koyun; doğru adres https://example.com/llms.txt olmalıdır. FTP, cPanel veya hosting kontrol panelinizin dosya yöneticisini kullanabilirsiniz. WordPress kullanıcıları public_html klasörüne manuel yükleyebilir ya da Website LLMs eklentisini kurabilir — eklenti üç ayda 3.000'den fazla indirmeye ulaşmış, dosyayı otomatik oluşturup güncel tutuyor.
4. robots.txt ile çelişki kontrolü yapın
robots.txt dosyanıza llms.txt için özel bir satır eklemeniz gerekmez — Sitemap: direktifi yalnızca XML site haritaları içindir ve llms.txt, robots.txt tarafından tanınan bir standart değildir. Yapmanız gereken tek şey tutarlılık kontrolüdür: robots.txt'te GPTBot gibi bir AI botunu engelliyorsanız, llms.txt'te o bota içerik sunmaya çalışmak çelişki yaratır.
5. Erişilebilirliği kontrol edin
Tarayıcınızda https://siteniz.com/llms.txt adresine gidin. Sayfa düz metin olarak açılıyorsa dosya doğru konumda demektir.
FireCrawl
Mevcut site içeriğinizi tarayarak dosyayı otomatik üretiyor.
Markdowner
Açık kaynaklı, Markdown'a dönüştürür.
Website LLMs (WP)
WordPress eklentisi, 3.000+ indirme, otomatik güncelleme.
Bakım Notu
llms.txt bir kez kurup unutulan bir dosya değil. Yeni sayfa, ürün veya hizmet değişikliğinde güncelleyin; aksi hâlde LLM'ler sitenizi yanlış özetleyebilir.
6. llms.txt Eklemeli miyim? Maliyet-Fayda Değerlendirmesi
Kısa cevap: büyük ihtimalle evet, ama beklentinizi düşük tutun.
Dosya küçük, teknik riski sıfıra yakın, birkaç saatlik işten fazlasını gerektirmez. Buna karşın 300.000 domain analizi, dosyanın AI atıf biçimini bugün itibarıyla değiştirmediğini gösteriyor. Düşük maliyet, ama kanıtlanmış fayda da yok.
Brett Tabke'ye göre Google, arama motoru ile LLM kod tabanını birleştirecek; bu gerçekleşirse llms.txt o geçiş döneminin köprüsü olabilir — ya da tamamen gereksiz hale gelebilir. Şimdilik "prim ucuz, tazminat belirsiz" bir sigorta poliçesi.
✅ Artılar
- •Standart ileride olgunlaşırsa hazır olursunuz
- •Düşük teknik maliyet (birkaç saat iş)
- •Google SEO–LLM entegrasyonu gerçekleşirse köprü işlevi görebilir
- •Dokümantasyon siteleri için gerçek fayda mümkün
❌ Eksiler
- •Direktiflere uyum LLM'in tercihine bırakılmış
- •Rakiplerin içerik stratejinizi tek bakışta analiz etmesini kolaylaştırır
- •Manipülatif taktikler bu dosyaya da taşınabilir
- •Google henüz desteklemiyor
Sektöre Göre Öncelik Sırası
7. Sık Sorulan Sorular
llms.txt dosyası zorunlu mu?
Hangi AI sistemleri llms.txt'yi okuyor?
llms.txt SEO'ya katkı sağlar mı?
llms.txt ne sıklıkla güncellenmelidir?
llms.txt ile llms-full.txt arasındaki fark nedir?
llms.txt olmayan siteler AI'da hiç görünmez mi?
Kaynaklar
Markanızı Yapay Zeka Çağına Taşıyın
GEO ve AI görünürlük stratejilerinin işinize özel nasıl kurgulanabileceğini görmek ister misiniz?