robots.txt

robots.txt, bir alan adının kökünden sunulan ve otomatik istemcilere hangi yolları isteyebileceklerini söyleyen düz metin bir dosyadır. Web yayıncılığının en eski uzlaşımıdır; çok sonra RFC 9309 ile Robot Dışlama Protokolü olarak resmileştirilmiştir ve her zaman tavsiye niteliğinde kalmıştır: uslu tarayıcılar onu okumayı ve uymayı seçtiği için işler, herhangi bir şey zorladığı için değil. Çoğu kişinin ters bildiği kural şudur: Disallow taramayı yönetir, dizine eklemeyi değil. Engellediğiniz bir adres, başka siteler ona bağlantı veriyorsa sonuçlarda yine listelenebilir; çünkü motor içeriği hiç çekmeden adresi öğrenir — engellenmiş bir sayfanın dizinde hiç açıklamasız görünmesinin nedeni budur. Bir sayfayı dizinin dışında tutmak için sayfanın taranabilir olması ve noindex yönergesi taşıması ya da kimlik doğrulamanın arkasında durması gerekir. Yapı, User-agent ile anahtarlanan gruplardan oluşur; her grubun Disallow ve Allow yolları vardır, ayrıca gruplardan bağımsız okunan bir ya da daha fazla Sitemap satırı bulunur. Aracı bazlı gruplar, arama tarayıcılarıyla yapay zekâ tarayıcılarına farklı davranmanın mekanizmasıdır ve büyük motorlarda ilk yazılan değil, daha belirgin eşleşen kural kazanır. Ekiplerin kendi kendine açtığı yaralar hep aynıdır. Üretime kaçan bir hazırlık ortamı Disallow: / satırı ve sessizce aramadan silinen bir alan adı. Bir stil ya da betik dizinini engelleyip tarayıcının sayfayı insanın gördüğü gibi oluşturmasını imkânsız kılmak. Dosyayı gizlilik aracı sanmak: dosya herkese açıktır ve kimsenin uğramasını istemediğiniz yolların listesi, meraklı biri için mükemmel bir haritadır. Dosyayı sitenin geri kalanıyla birlikte sürüm kontrolünde tutun, yönlendirme yapısı her değiştiğinde gözden geçirin ve her dağıtımdan önce ve sonra her motorun kendi denetleyicisiyle sınayın. Koca bir siteyi aramadan çıkarabilecek güce sahip küçük bir dosyadır ve arıza, biri trafiği fark edene kadar sessiz kalır.