Kısa cevap: robots.txt bir adresin taranmasını engeller, noindex ise o adresin arama sonuçlarında listelenmesini engeller. Bir sayfayı aramadan çıkarmak istiyorsanız kullanacağınız araç noindex'tir; robots.txt'e yazmak onu arama sonuçlarından çıkarmaya yetmez, bazı durumlarda tam tersi sonuç verir.
Bu iki aracın karıştırılması, küçük işletme sitelerinde en sık rastlanan teknik hatalardan biri. Sonucu da ağır olabiliyor: ya aramada görünmesi gereken sayfalar kapanıyor ya da kapanması gereken sayfalar yıllarca sonuçlarda kalmaya devam ediyor. İkisinin ne yaptığını bir kez netleştirmek, bu hataların tamamını önler.
Robots.txt ne yapar, noindex ne yapar?
Robots.txt sitenin kök dizininde duran basit bir metin dosyasıdır ve tarayıcılara şu adresleri ziyaret etme der. Tarayıcı bu isteğe uyduğunda o adresin içine hiç bakmaz. İçine bakmadığı için o sayfada ne yazdığını, hangi etiketlerin bulunduğunu, başka hangi sayfalara bağlandığını da bilmez.
Noindex ise sayfanın kendi içinde bulunan bir talimattır; sayfanın başlık bölümünde bir etiket ya da sunucunun yanıt başlığında bir satır olarak verilir. Tarayıcı sayfayı açar, okur ve bu sayfayı dizine ekleme talimatını görüp sayfayı arama sonuçlarına koymaz.
Aradaki fark buradan doğar: robots.txt kapıyı kapatır, noindex içeriden not bırakır. Kapı kapalıysa içerideki not okunamaz.
İkisinin ortak bir yönü de var: her ikisi de bir rica niteliğindedir. Saygılı tarayıcılar bu talimatlara uyar, ancak dosyayı ya da etiketi görmezden geçen otomatik araçlar da vardır. Bu yüzden iki yöntemden hiçbiri güvenlik önlemi değildir; yalnızca arama görünürlüğünü düzenleyen araçlardır.
Klasik hata: ikisini birlikte kullanmak
Bir sayfayı aramadan tamamen çıkarmak isteyen çoğu kişi, hem robots.txt'e engel satırı yazıyor hem de sayfaya noindex koyuyor. Mantıklı görünüyor ama çalışmıyor. Çünkü tarayıcı robots.txt yüzünden sayfayı hiç açmaz; açmadığı için içindeki noindex talimatını da göremez. Sayfanın adresi başka yerlerden bağlantı aldığı için bilinmeye devam eder ve sonuçlarda açıklamasız biçimde görünmeyi sürdürebilir.
Doğru sıra şöyledir: sayfayı aramadan çıkarmak istiyorsanız robots.txt'teki engeli kaldırın, sayfaya noindex koyun ve tarayıcının gelip bu talimatı okumasını bekleyin. Sayfa sonuçlardan düştükten sonra, isterseniz tarama bütçesini korumak için robots.txt engelini ekleyebilirsiniz. Önce engel koyup sonra noindex beklemek işe yaramaz.
Ne istiyorsanız hangi yöntemi kullanın
| İstediğiniz sonuç | Doğru yöntem | Yapılmaması gereken |
|---|---|---|
| Sayfa aramada hiç görünmesin | Sayfaya noindex koymak | Sadece robots.txt'e engel yazmak |
| Tarayıcı bu adresleri hiç gezmesin | Robots.txt ile engellemek | Noindex'e güvenmek; sayfa yine taranır |
| Benzer iki adres tek sayfada toplansın | Canonical etiketiyle ana adresi göstermek | Kopya adrese noindex koyup bağ değerini kesmek |
| İçeriği sadece yetkili kişiler görsün | Parola ya da oturum koruması | Noindex ile gizlilik sağlandığını varsaymak |
| Kaldırılan sayfa aramadan silinsin | Doğru HTTP durum kodunu döndürmek | Sayfayı yayında bırakıp robots.txt'e yazmak |
Hangi sayfaları kapatmak mantıklı?
Her sayfanın aramada görünmesi gerekmez. Arama sonucu üretmeyecek, ziyaretçiye arama üzerinden girdiğinde bir anlam ifade etmeyecek adresler kapatılabilir.
- Site içi arama sonuç sayfaları. Sonsuz sayıda üretilebilen, içeriği değişken adreslerdir.
- Filtre ve sıralama kombinasyonları. Aynı ürün listesinin yüzlerce varyasyonu, birbirinin kopyası sayfalar üretir.
- Sepet, ödeme ve hesap sayfaları. Arama üzerinden girilmesi anlamlı değildir.
- Test ve geliştirme kopyaları. Canlı sitenin ikizi bir adres aramada görünürse hem kafa karıştırır hem de içerik tekrarına yol açar.
- Form sonrası teşekkür sayfaları. Aramadan gelen ziyaretçi için boş bir sayfadır; ayrıca ölçüm verilerinizi bozar.
- Yazdırma kopyaları ve dosya indirme bağlantılarının ara sayfaları.
Hangi sayfalar asla kapatılmaz?
Kapatma kararı yanlış verildiğinde en çok zarar gören taraf burasıdır. Şu adreslerin açık kalması gerekir.
- Hizmet ve ürün sayfaları. Müşteri adayının bulması gereken sayfalar bunlardır.
- Blog yazıları ve bilgi sayfaları. Soru soran kullanıcıyı siteye getiren içerik buradadır.
- CSS ve JavaScript dosyaları. Bunları robots.txt ile engellemek sık yapılan ağır bir hatadır. Tarayıcı sayfanın görünümünü değerlendirmek için bu dosyaları yüklemek zorundadır; engellenirse sayfayı bozuk ya da mobil uyumsuz görebilir.
- Görseller. Toplu engelleme görsel aramasından gelen trafiği tamamen keser.
Canonical, parola ve noindex: hangisi ne için?
Canonical bir kapatma aracı değildir. İçeriği birbirine çok benzeyen birden fazla adres varsa, bunların asıl adresi şudur demenizi sağlar. Bu durumda kopya adres kapatılmaz, yalnızca değerin ana adreste toplanması istenir. Filtreli liste sayfalarında kapatma yerine canonical daha uygun olabilir.
Parola koruması ise gizlilik aracıdır. Noindex bir sayfayı arama sonuçlarından çıkarır ama sayfayı adresini bilen herkese açık bırakır. Gerçekten görünmemesi gereken bir içerik varsa yöntem oturum ya da parola korumasıdır, noindex değil.
Robots.txt herkese açık bir dosyadır
Gözden kaçan bir ayrıntı: robots.txt tarayıcılar için yazılmış olsa da herkesin açıp okuyabileceği bir dosyadır. Oraya gizli bir yönetim dizininin ya da yayına açılmamış bir kampanya klasörünün adını yazdığınızda, onu saklamış olmazsınız; tam tersine ilan etmiş olursunuz. Saklamak istediğiniz bir yol varsa çözüm erişim koruması kurmaktır, dosyaya adını yazmak değil.
Aynı mantıkla, robots.txt dosyasını gereğinden karmaşık hâle getirmemek de iyi bir alışkanlıktır. Onlarca satır engel kuralı biriken dosyalarda hangi kuralın neyi kapattığı zamanla takip edilemez hâle gelir ve bir gün yanlışlıkla önemli bir dizin kapatılır. Kuralları az, açık ve yorum satırlarıyla açıklanmış tutmak, aylar sonra dosyaya bakacak kişiye yapılmış bir iyiliktir.
Değişiklikten sonra ne izlenir?
Robots.txt ya da noindex tarafında yapılan her değişiklik, site genelinde sonuç doğurabilir. Bu yüzden değişiklik tek başına bırakılmaz.
- Robots.txt dosyasını tarayıcıdan açıp yayındaki hâlini okuyun; beklediğiniz satırların orada olduğunu görün.
- Kapatmak istediğiniz örnek bir adresi ve kapatmak istemediğiniz örnek bir adresi ayrı ayrı kontrol edin.
- Search Console'da sayfa durumu raporunu izleyin; dizinde olmayan sayfaların gerekçelerini okuyun. Kapattığınız adresler beklenen gerekçeyle, önemli sayfalarınız ise hiç listede görünmemeli.
- Dizindeki toplam sayfa sayısında ani ve açıklanamayan bir düşüş varsa değişikliği geri alıp yeniden değerlendirin.
Hangi raporu nasıl okuyacağınızı ayrıntılı anlattığımız yazıya da bakabilirsiniz.
Kısa kontrol listesi
- Aramadan çıkarmak istediğiniz sayfalarda noindex var, robots.txt engeli yok.
- Robots.txt ve noindex aynı adres için birlikte kullanılmıyor.
- Hizmet, ürün ve blog sayfaları hiçbir engelde geçmiyor.
- CSS, JavaScript ve görsel dizinleri taramaya açık.
- Benzer liste adreslerinde kapatma yerine canonical değerlendirildi.
- Gerçekten gizli kalması gereken alanlar parolayla korunuyor, robots.txt'e yazılmıyor.
- Değişiklikten sonra dizin durumu raporu takip ediliyor.
digiwss.com, işletme sitelerinin teknik yapılandırmasını kurarken bu kararları sayfa türü bazında belirler ve sonucunu düzenli olarak denetler.