noindex

noindex — директива, которая просит поисковый движок не держать страницу в индексе. Её задают либо мета-тегом robots в head документа, либо HTTP-заголовком ответа X-Robots-Tag: второй вариант — единственный для файлов без HTML-разметки, то есть для PDF, изображений и генерируемых выгрузок. В отличие от каноникала, она трактуется как указание, а не как подсказка. Ловушка, которую стоит усвоить: noindex требует, чтобы страницу обошли. Если тот же адрес закрыт в robots.txt, краулер никогда её не заберёт, никогда не увидит тег, и страница может бесконечно оставаться в выдаче на одних входящих ссылках. Закрыть от обхода и убрать из индекса выглядят как одно намерение, а в такой комбинации оказываются противоположными указаниями. Обычно директиву заслуживают страницы, которые сайт не пишет, а порождает структурно: результаты внутреннего поиска, пустые списки тегов и категорий, комбинации фильтров и сортировок, тощие хвосты постраничной навигации, тестовые и превью-окружения, а также представления, осмысленные только для авторизованного пользователя. Каждую из этих категорий шаблон, который никто не считает контентом, способен наплодить тысячами. О том, чего она не делает, стоит сказать прямо. Это не контроль доступа: страница по-прежнему отдаётся целиком всякому, у кого есть адрес, и любому клиенту, игнорирующему директиву. Это и не nofollow — ссылки на странице с noindex по-прежнему обходятся и учитываются, пока вы не скажете иначе, и для страницы, существующей только ради навигации, именно это чаще всего и нужно. Удаление не мгновенно ни в одну сторону. Страница выпадает из индекса при следующем обходе, поэтому тег должен оставаться на месте до этого момента, а не заменяться запретом в robots.txt. И поскольку давно не менявшиеся страницы с noindex движки со временем обходят всё реже, снятие тега тоже может подействовать заметно не сразу.