noindex

noindex, bir arama motorundan sayfayı dizinin dışında tutmasını isteyen bir yönergedir. Belge başlığında bir robots meta etiketi olarak ya da bir X-Robots-Tag HTTP yanıt başlığı olarak verilir; ikincisi, HTML başlığı olmayan dosyalar için — PDF'ler, görseller, üretilmiş dışa aktarmalar — tek yoldur. Kanonikten farklı olarak ipucu değil, talimat olarak işlenir. İçselleştirmeye değer tuzak şudur: noindex, sayfanın taranabilmesini gerektirir. Aynı adres robots.txt içinde engellenmişse tarayıcı sayfayı hiç çekmez, etiketi hiç görmez ve sayfa yalnızca gelen bağlantıların gücüyle süresiz olarak listede kalabilir. Engellemek ve dizinden çıkarmak aynı niyet gibi görünür; bu bileşimde ise birbirine zıt talimatlardır. Genellikle bunu hak eden sayfalar, sitenin yazdığı değil, yapısal olarak ürettiği sayfalardır: site içi arama sonuçları, boş etiket ve kategori listeleri, filtre ve sıralama kombinasyonları, incelen sayfalama kuyrukları, hazırlık ve önizleme ortamları ve yalnızca oturum açmış kullanıcı için anlamlı görünümler. Bunların her biri, kimsenin içerik saymadığı bir şablon tarafından binlercesi üretilebilir. Yapmadığı şeyleri açıkça söylemekte fayda var. Erişim denetimi değildir: sayfa, adresi olan herkese ve yönergeyi yok sayan her istemciye tam olarak sunulmaya devam eder. Nofollow da değildir — noindex taşıyan bir sayfadaki bağlantılar, aksini söylemediğiniz sürece taranır ve izlenir; yalnızca yönlendirmek için var olan bir sayfada zaten çoğu zaman istediğiniz budur. Kaldırma, iki yönde de anlık değildir. Sayfa, motor onu bir sonraki taradığında dizinden çıkar; dolayısıyla etiket o ana kadar yerinde kalmalı, bir robots.txt engeliyle değiştirilmemelidir. Motorlar uzun süredir değişmeyen noindex sayfaları giderek daha seyrek taradığı için, etiketi geri kaldırmanın görünür bir etki yaratması da zaman alabilir.