Yapay zekâ arama motorları ve sohbet botları (ChatGPT, Claude, Perplexity gibi sistemlerin tarayıcıları) bir siteyi insan ziyaretçiden farklı şekilde, kendi botlarıyla tarar. robots.txt dosyasında bu botlara özel bir satır yoksa, bazı sistemler siteyi hiç taramayabilir ya da genel kurallara göre atlayabilir.
AI Botu ile Arama Motoru Botu Arasındaki Fark Nedir?
Klasik arama motoru botu (Googlebot gibi) sayfayı dizine ekler ve arama sonuçlarında listeler. Yapay zekâ botları ise genellikle sayfanın içeriğini bir cevap üretmek için okur; kullanıcı Google'da arama yapmaz, doğrudan yapay zekâya soru sorar ve yapay zekâ sitenizin sayfasından aldığı bilgiyle cevap kurar. İki tarayıcı türü de ayrı user-agent adıyla gelir, bu yüzden tek bir "botları engelle/aç" satırı ikisini birden etkilemez. Bir site arama motorunda görünmeye devam ederken yapay zekâ botlarına kapalı olabilir, ya da tersi.
Bu ayrımın pratik sonucu şudur: robots.txt dosyanızı yalnızca Googlebot'a göre düzenlediyseniz, yapay zekâ botları için hiçbir şey söylememiş olursunuz. Bazı sistemler bu durumda varsayılan olarak taramaya devam eder, bazıları ise belirsizliği "izin yok" olarak yorumlar. Net bir karar vermek, belirsizliği ortadan kaldırır.
Ayrıca bu botların tarama sıklığı da klasik arama motorundan farklıdır; bazı AI botları bir sayfayı ayda birkaç kez, bazıları ise çok daha seyrek ziyaret eder. Bu yüzden robots.txt'te yapılan bir değişikliğin etkisini görmek, Google'da olduğu gibi hızlı olmayabilir. Bir sayfanın yapay zekâ cevaplarında görünüp görünmediğini anlamanın en pratik yolu, o soruyu doğrudan ilgili yapay zekâ sistemine sorup cevabın kaynak olarak siteyi gösterip göstermediğine bakmaktır; bu, teknik bir ölçüm değildir ama pratikte en erişilebilir gözlemdir.
robots.txt Dosyasında Hangi Satırlar Eklenir?
Her yapay zekâ botunun kendine ait bir user-agent adı vardır ve robots.txt'te bu ada özel bir blok açılır. Aşağıdaki tablo, sık karşılaşılan bot adlarını ve genel olarak hangi amaçla çalıştıklarını özetler; bir botu açıp açmayacağınız kararını siz verirsiniz, aşağıdaki liste sadece kimin hangi işi yaptığını hatırlatır.
| User-agent adı | Genel amaç |
|---|---|
| GPTBot | Sohbet botu için içerik tarama |
| ClaudeBot / anthropic-ai | Sohbet botu için içerik tarama |
| PerplexityBot | Soru-cevap motoru için tarama |
| Google-Extended | Google'ın yapay zekâ özellikleri için ayrı izin |
Her blok kendi User-agent: satırıyla başlar, altına Allow: veya Disallow: satırı eklenir. Bir botu tamamen kapatmak için ilgili user-agent altına Disallow: / yazılır; belirli bir klasörü kapatıp geri kalanı açmak için yalnızca o yol belirtilir.
Bu bot adları zaman içinde değişebilir veya yeni bot adları eklenebilir; bu yüzden listeyi tek seferlik yazıp bir kenara koymak yerine, yılda bir kez güncel bot adlarının değişip değişmediğini kontrol etmek faydalı olur. Ayrıca bazı sistemler tek bir user-agent adı altında birden fazla alt sürüm çalıştırabilir; bu durumda en güvenli yaklaşım, ilgili sistemin kendi yayınladığı güncel bot adını esas almaktır.
Hangi Botları Açmak, Hangilerini Kapatmak Mantıklı?
Bu karar tamamen işin modeline bağlıdır. Ürün veya hizmet sayfalarının yapay zekâ cevaplarında marka adıyla anılması isteniyorsa botların açık bırakılması tercih edilir; çünkü kapalıysa o yapay zekâ sisteminin cevabında sitenin bilgisi hiç yer almaz. Buna karşılık, fiyat, teklif veya müşteriye özel içerik barındıran sayfalar (örneğin giriş gerektiren paneller) bu botlardan bağımsız olarak zaten herkese kapalı tutulmalıdır; bu durumda robots.txt yalnızca ek bir güvenlik katmanı değil, tarama trafiğini yönlendirme aracıdır.
- Genel blog ve ürün sayfaları: genellikle açık bırakmak marka görünürlüğünü artırır.
- Müşteri paneli, sipariş takibi, iç dokümanlar: zaten erişim kısıtlı olmalı, botlar için de kapalı tutulur.
- Henüz yayına hazır olmayan taslak sayfalar: tamamlanana kadar kapalı tutulur.
Bir diğer önemli nokta, botu açmanın otomatik olarak "yapay zekâ cevabında görüneceğim" anlamına gelmediğidir. Bot sayfayı tarayabilir ama hangi sayfanın cevapta kaynak olarak kullanılacağına ilgili yapay zekâ sistemi kendi algoritmasıyla karar verir. Yani robots.txt ayarı bir ön koşuldur, görünürlüğü garanti eden bir anahtar değildir; içeriğin ilgili soruya net ve doğrudan cevap vermesi de aynı derecede belirleyicidir.
Değişiklik Yaptıktan Sonra Nasıl Doğrulanır?
robots.txt dosyası yayına alındıktan sonra tarayıcıdan siteadi.com/robots.txt adresine gidip dosyanın gerçekten güncellenmiş hâliyle göründüğü kontrol edilir; önbellek yüzünden eski içerik bir süre görünebilir. Ardından, hangi botların son dönemde siteyi ziyaret ettiği sunucu erişim kayıtlarından (log) takip edilebilir; bu kayıtlarda ilgili user-agent adı arandığında ziyaret var mı yok mu görülür. Bir bot hâlâ kapalı tutulduğu halde ziyaret ediyorsa, bu durum genellikle o botun robots.txt'e uymayan eski bir sürümünden kaynaklanır ve ayrıca sunucu seviyesinde engellenmesi gerekebilir.
Özet
Yapay zekâ botları ile arama motoru botları ayrı taranır, ayrı yönetilir. robots.txt'te her bota kendi user-agent adıyla açık bir satır yazmak, belirsizliği ortadan kaldırır ve hangi içeriğin hangi sistemde göründüğünü sizin kontrolünüze bırakır. DigiWSS, bu dosyanın kurulumunu ve doğrulamasını dijital varlık yönetimi hizmeti kapsamında yapar.