Tarama Bütçesi

Tarama bütçesi, bir arama motorunun bir siteye harcamaya razı olduğu tarama miktarıdır — gayriresmî olarak, sunucuyu zorlamadan ne kadar hızlı sayfa çekebildiği ile o sitenin içeriğini o an ne kadar istediğinin bileşimi. Kimsenin yayımladığı bir sayı değildir ve yapılandırdığınız bir ayar da değildir; yalnızca sıkıştırdığında fark ettiğiniz, kendiliğinden ortaya çıkan bir kısıttır. Çoğu sitede hiç sıkıştırmaz ve konuyla ilgili tavsiyelerin epeyce bir kısmı yanlış yere uygulanır. Ara sıra değişen birkaç yüz sayfa, kimse düşünmeden baştan sona taranır. Kısıt; büyük sitelerde, adresleri kombinasyon yoluyla üreten sitelerde ve her çekimin yeterince pahalı olduğu yavaş kaynaklarda gerçek hâle gelir — sonuncusunda motor kendiliğinden geri çekilir. Sıkıştırdığında sebep neredeyse her zaman hacim değil israftır. Filtreleri ve sıralamaları milyonlarca ayrı adrese çarpan yönlü gezinme. Her bağlantıya eklenen oturum kimlikleri. Sonu gelmeyen bir sonraki ay arzına sahip takvimler. Var olmayan sayfalar için 200 durumu dönen yumuşak 404'ler — tarayıcı açısından her yanlış adres gerçek bir sayfadır. Tek bir belgeye ulaşmak için birkaç çekim harcayan uzun yönlendirme zincirleri. Çözümler de aynı sırayla ilerler. En iyisi adresleri hiç üretmemektir; sonraki, parametre uzayını robots.txt'de kapatarak tarayıcının hiç sormamasını sağlamaktır; sonraki, dürüst durum kodları döndürerek eksik sayfanın eksik olarak okunmasıdır. Önemsediğiniz sayfaları yüzeyde tutmak ve iç bağlantılarla iyi bağlamak ise hepsinden önemlidir; çünkü hiçbir şeyin bağlanmadığı bir sayfa, ilgi yarışına sıfırdan başlar. Kanıt iki yerden gelir ve ikisi de üçüncü taraf bir araç değildir. Kendi sunucu kayıtlarınız hangi yolların, hangi aracı tarafından istendiğini ve ne aldığını tam olarak gösterir; israfı doğrudan görmenin tek yolu budur. Her motorun kendi tarama istatistikleri toplamı gösterir ve yararlı sayfa sayısı sabitken artan bir istek sayısı, gidip bakmanız gereken sinyaldir.