llms.txt nedir, yapay zekâ tarayıcıları nasıl yönetilir?

Kısa cevap: Yapay zekâ tarayıcılarının erişimi iki dosyayla yönetilir. llms.txt sitenizin kökünde duran, sitenin ne olduğunu ve hangi sayfaların asıl kaynak olduğunu derli bir listeyle anlatan bir dosyadır. robots.txt ise hangi ajanın neyi çekebileceğini söyler. Sağlayıcılar eğitim tarayıcılarıyla arama tarayıcılarını ayrı adlarla tanımladığı için eğitimi kapatıp aramayı açık tutmak mümkündür. Uyum ise gönüllüdür: büyük ve belgelenmiş tarayıcılar genelde uyar, bunu sunucu kayıtlarınızdan doğrulayabilirsiniz.

Bu yazının kapsamı

Yapay zekâ aramalarında görünür olmanın neden önemli olduğunu, bunun müşteri davranışını nasıl değiştirdiğini ve içerik tarafında ne yapmak gerektiğini yapay zekâ aramalarında görünür olmak yazısında ele aldık. Kavramsal çerçeve için oradan başlamak doğru olur.

Buradaki yazı o konunun teknik yarısıdır: hangi dosya nereye konur, içinde ne yazar, hangi tarayıcı hangi amaçla gelir ve bir sayfanın alıntılanabilir olması için yapıca neye benzemesi gerekir.

llms.txt dosyası: nerede durur, içinde ne olur

Dosyanın yeri sitenin kökündeki /llms.txt adresidir. Bir alt yolda da bulunabilir; örneğin bir dokümantasyon bölümü için /docs/llms.txt olarak konabilir. Her dosya kendi yolunun altındaki adresleri kapsar ve birden fazlası uyuyorsa daha özel olan öncelikli sayılır.

Dosyanın biçimi markdown'dır ve zorunlu tek ögesi vardır: projenin ya da sitenin adını taşıyan bir H1 başlığı. Geri kalan her şey isteğe bağlıdır, ama bulunacaksa belirli bir sırada bulunur. Sırayla: dosya başındaki byte-order mark, projeyi birkaç cümleyle anlatan bir blockquote özet, başlıksız serbest içerik (paragraflar ve listeler) ve en sonda H2 başlıklarıyla ayrılmış bağlantı listeleri.

Bağlantı listelerindeki her madde [ad](adres) biçiminde yazılır. Maddenin ardına iki nokta koyup kısa bir açıklama eklemek isteğe bağlıdır, ama pratikte en değerli kısım burasıdır: bir ajan bağlantıyı açmadan önce o cümleden sayfanın ne olduğunu anlar. Özel bir bölüm adı daha vardır: “Optional” başlıklı H2 bölümü ikincil bilgiyi taşır ve kısa bağlam gerektiğinde ajanın atlayabileceği bağlantıları işaretler. Yani “bunlar da var ama şart değil” demenin standart yolu.

En çok karıştırılan nokta şu: llms.txt bir site haritası değildir. Site haritası sitedeki bütün adresleri sayar; llms.txt ise seçilmiş ve derli bir liste olmasıyla iş görür. Beş iyi seçilmiş bağlantı, yüz tanesinden daha çok işe yarar. Makineye okunabilir tam adres listesini vermek site haritasının işidir ve o iş Search Console kurulumu ve site haritası yazısında duruyor.

Hangi tarayıcı ne için gelir

Yapay zekâ tarayıcıları tek bir küme değil; iki ayrı iş yapıyorlar ve sağlayıcılar bu iki işi ayrı adlarla tanımladığı için siz de ayrı karar verebiliyorsunuz. Eğitim amaçlı tarayıcılar içeriği modelin öğrenmesi için toplar. Arama ve alıntı amaçlı tarayıcılar ise bir kullanıcı soru sorduğunda cevabı kurmak ve kaynak göstermek için gelir; bunlar atıf döndürür.

Tabloda olmayan bir ad daha var: Bytespider de eğitim amaçlı tarayıcılar arasında sayılır, kuralları yazarken listeye katın.

Üç ayrıntı tabloyu doğru okumak için gerekli. Birincisi, Anthropic üç ayrı ajan tanımlıyor: ClaudeBot model için, Claude-User kullanıcı isteğiyle sayfa çekmek için, Claude-SearchBot arama ve keşif için. Üçünü aynı kuralla ele almak, istemediğiniz bir sonucu birlikte getirir.

İkincisi, Google-Extended bir tarama ajanı değildir. Sunucunuza bu adla gelen bir istek olmaz. Yaptığı iş, Googlebot'un zaten çektiği içeriğin Google'ın üretken yapay zekâ ürünlerinde eğitim için kullanılıp kullanılmayacağını belirlemektir. Bu ayrımı bilmemek sık bir yanılgı üretir: o Disallow satırının Googlebot'u da engellediğini sanmak.

Üçüncüsü ve belki en önemlisi: robots.txt dosyasına uyum gönüllüdür. Bu dosya bir kilit değil, bir ricadır. Büyük ve belgelenmiş tarayıcılar (Googlebot, GPTBot, ClaudeBot, PerplexityBot) genelde uyar ve bunu sunucu kayıtlarınızdan doğrulayabilirsiniz. Kullanıcı tetikli anlık çekimler gri alandır. Ayrıca bir istemcinin kendini başka bir ajan gibi tanıtması, yani user-agent taklidi de mümkündür. Gerçekten kapalı kalması gereken bir içerik varsa onu kimlik doğrulamasının arkasına koymak gerekir.

Karar: neyi açık, neyi kapalı tutmalı

Bir hizmet işletmesi için varsayılan tavsiye nettir: arama ve alıntı tarayıcılarını açık tutun. Bu ajanlar bir kullanıcı soru sorduğunda gelir, cevabı kurar ve kaynak gösterir; yani size atıf döndürürler. Onları kapatmak, arama sonuçlarından kendi isteğinizle çıkmaya benzer.

Eğitim tarayıcılarını kapatmak ise bambaşka bir karardır ve teknik değil ticari ve içerik sahipliğiyle ilgili bir seçimdir. Kapatmanın savunulabilir gerekçeleri var: içeriğiniz sizin ürününüzse, özgün bir arşiv ya da telif değeri taşıyan bir birikim yarattıysanız, onun bir modelin eğitim verisine girmesini istemeyebilirsiniz. Açık tutmanın da savunulabilir gerekçesi var: modeller sizi tanıdıkça markanız bir soru sorulduğunda akla gelen seçeneklerden biri olabilir. Bu ikisi arasında teknik bir doğru cevap yoktur; yalnızca kararı bilinçli verin ve veren kişi içerikten sorumlu kişi olsun.

Adım adım kurulum

1. Kök dizine llms.txt dosyasını koyun. Dosya /llms.txt adresinden açılmalı. Ayrı bir bölüm için alt yola ikinci bir dosya koyabilirsiniz; daha özel olan öncelikli sayılır.
2. Bir H1 ve bir blockquote özetle başlayın. H1 sitenin ya da işletmenin adını taşır; bu tek zorunlu ögedir. Hemen ardındaki blockquote, ne iş yaptığınızı iki üç cümlede anlatır.
3. H2 bölümleriyle gerçek kaynak sayfalarını listeleyin. Her maddeyi [ad](adres) biçiminde yazın ve ardına iki nokta koyup kısa bir açıklama ekleyin. İkincil bağlantıları “Optional” başlıklı bölüme ayırın.
4. robots.txt dosyasında eğitim ve arama ajanlarını ayrı ayrı ele alın. Eğitim tarayıcıları için verdiğiniz karar ne olursa olsun, arama ve alıntı ajanlarını ayrı bir grupta açık bırakın.
5. Sunucu kayıtlarından hangi ajanın gerçekten geldiğini ölçün. Erişim kayıtlarında user-agent alanını sayın. Böylece hem kuralların işleyip işlemediğini hem de hangi tarayıcının sitenizle gerçekten ilgilendiğini görürsünüz.
6. Sayfaların en üstüne kısa bir cevap paragrafı ekleyin. Alıntılanan birim genellikle bu paragraftır. Sorunun cevabını baştan verin, sonra ayrıntıya girin.
7. Yapılandırılmış veriyi doğrulayın. FAQPage ve HowTo gibi işaretlemeleri ekledikten sonra bir doğrulama aracından geçirin; hatalı şema hiç şema olmamasından iyi değildir.
8. llms.txt dosyasını içerik değiştikçe güncelleyin. Yeni bir hizmet sayfası ya da rehber yayınlandığında listeye girsin, kaldırılan sayfa listeden çıksın.

Gerçek değerler: llms.txt iskeleti ve robots.txt bloğu

Aşağıdaki iki örnekte ornekfirma.com bir yer tutucudur; kendi alan adınızı ve kendi sayfalarınızı yazmanız gerekir. Yapı ve ajan adları gerçektir. Okunabilirlik için gerçek dosyada bölümlerin arasına boş satır koyabilirsiniz.

# Ornek Firma
> Ornek Firma, kucuk ve orta olcekli isletmeler icin web sitesi kurulumu,
> kurumsal e-posta ve arama gorunurlugu hizmeti verir.
Bu dosya, yapay zeka ajanlarinin siteyi dogru anlamasi icin hazirlanmistir.
## Hizmetler
- [Web sitesi kurulumu](https://ornekfirma.com/hizmetler/web-sitesi): kapsam, teslim suresi ve bakim
- [Kurumsal e-posta](https://ornekfirma.com/hizmetler/eposta): alan adiyla e-posta kurulumu ve tasima
## Rehberler
- [DNS kayit turleri](https://ornekfirma.com/blog/dns-kayitlari): A, MX ve TXT kayitlarinin isi
- [Site aramada gorunmuyor](https://ornekfirma.com/blog/aramada-gorunmuyor): teshis sirasi
## Optional
- [Hakkimizda](https://ornekfirma.com/kurumsal/hakkimizda): kurulus bilgisi ve ekip
- [Referanslar](https://ornekfirma.com/referanslar): ikincil bilgi, kisa baglamda atlanabilir

Aşağıdaki robots.txt bloğu bir karar örneğidir: eğitim tarayıcıları kapalı, arama ve alıntı tarayıcıları açık. Aynı dosyada arka arkaya gelen User-agent satırları tek bir grup oluşturur, altındaki kural hepsine uygulanır.

# egitim amacli tarayicilar: kapali
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Applebot-Extended
User-agent: Google-Extended
Disallow: /
# arama ve alinti tarayicilari: acik, cunku atif ve trafik donduruyorlar
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# klasik arama tarayicilari dahil geri kalan herkes
User-agent: *
Allow: /
Sitemap: https://ornekfirma.com/sitemap.xml

Sayfayı alıntılanabilir hâle getirmek

Erişim izni vermek işin yarısı. Diğer yarısı sayfanın alıntılanabilir yapıda olmasıdır: bir model sayfayı baştan sona okumaz, kolayca ayıklanabilir birimler arar. Beş şey bu ayıklamayı kolaylaştırır:

• En üstte doğrudan cevap veren kısa bir paragraf. Sorunun cevabı giriş cümlelerinin ardında değil, ilk paragrafta olsun. Alıntılanan birim genellikle tam olarak bu paragraftır.
• Somut değerler tablo hâlinde. Port numarası, eşik değeri, kayıt adı ve süre gibi bilgiler tabloda dursun. Aynı bilgiyi bir görselin içine gömmek onu makineye tamamen kapatır.
• Tek bir h1 ve atlamasız başlık hiyerarşisi. Başlıklar sayfanın iskeletidir; seviye atlayan bir yapı o iskeleti okunmaz hâle getirir.
• Yapılandırılmış veri. Soru-cevap bölümünü FAQPage, adım adım anlatımı HowTo olarak işaretlemek, zaten yazdığınız içeriği makineye ayrıca tarif eder.
• İletişim bilgisinin metin olarak sayfada bulunması. Telefon ve adres bir görselin içindeyse ya da yalnızca bir formun arkasındaysa, sizi öneren bir cevap kurulamaz.

Yaygın hatalar

• llms.txt dosyasını site haritasının kopyası yapmak. Yüzlerce bağlantı, hiç açıklama. Dosyanın bütün değeri seçilmiş olmasından gelir; her şeyi listelerseniz hiçbir şey işaret etmiş olmazsınız.
• Dosyayı bir kez yazıp güncellemeyi bırakmak. Altı ay sonra listedeki bağlantıların bir kısmı ölü, yeni hizmet sayfalarınız ise listede yok olur. Bu hâliyle dosya sizi yanlış tanıtır.
• Eğitim tarayıcısını kapatırken arama tarayıcısını da kapatmak. Tek satırla Disallow yazıp bütün yapay zekâ ajanlarını engellemek, atıf ve trafik döndüren ajanları da düşürür. Bunlar ayrı adlarla tanımlanmışsa ayrı ele alınmalıdır.
• Google-Extended değerini bir tarayıcı sanmak. Onu engellemek Googlebot'u engellemez; arama görünürlüğünüze hiç dokunmaz. Tersi de geçerli: Googlebot'u engellemek aramadan düşmenize yol açar.
• Bilgiyi yalnızca görselin içinde vermek. Fiyat tablosunu, kapsam listesini ya da iletişim bilgisini görsele gömmek onu hem makineye hem ekran okuyucuya kapatır.
• robots.txt ile engellediği sayfaya noindex koyup ikisinin birlikte çalıştığını sanmak. Engellenen sayfa hiç çekilmez, talimat hiç okunmaz. Bu ikilinin neden çalışmadığı sitem Google'da çıkmıyor yazısında ayrıntılı duruyor.

Ne zaman uzmana bırakmalı

İki dosya yazmak ve iki karar vermek, siteyi yöneten kişinin tek başına yapabileceği bir iştir. Uzman gerektiren kısım ölçme tarafıdır: hangi ajanın gerçekten geldiğini sunucu kayıtlarından okumak ve sayfaları alıntılanabilir yapıya göre baştan düzenlemek. Bunlar bir defa yapılıp bırakılan işler değil, ölçüp düzelterek ilerleyen işlerdir.

Bu işi biz GEO çalışması olarak yürütüyoruz; teknik tarafın tamamının bir fotoğrafını isterseniz teknik denetim sayfasına bakabilir ya da iletişim sayfasından yazabilirsiniz.

Devamını okumak için

Konunun kavramsal çerçevesi ve içerik tarafı yapay zekâ aramalarında görünür olmak yazısında. Klasik arama tarafında aynı dosyaların nasıl kurulduğunu Search Console kurulumu ve site haritası yazısı anlatıyor; erişim engellerini elemek için sitem Google'da çıkmıyor yazısındaki teşhis sırasını izleyin. Adreslerin tekilleştirilmesi için HTTPS taşınması, 301 ve canonical yazısı var. Tüm başlıklar blog sayfamızda, çalışma alanlarımız ana sayfamızda.