robots.txt

robots.txt — текстовый файл в корне домена, который сообщает автоматическим клиентам, какие пути им можно запрашивать. Это старейшее соглашение веб-издательства, гораздо позже оформленное как протокол исключений для роботов в RFC 9309, и оно всегда было рекомендательным: работает потому, что воспитанные краулеры сами решают его прочитать и соблюсти, а не потому, что кто-то это принуждает. Правило, которое чаще всего понимают наоборот: Disallow управляет обходом, а не индексированием. Закрытый адрес всё ещё может попасть в выдачу, если на него ссылаются другие сайты, — движок узнаёт адрес, ни разу не забрав содержимое. Именно так закрытая страница оказывается в индексе вообще без описания. Чтобы страница не попала в индекс, её нужно оставить доступной для обхода и снабдить директивой noindex либо убрать за авторизацию. Структура — это группы, заданные строкой User-agent, с путями Disallow и Allow, плюс одна или несколько строк Sitemap, которые читаются независимо от групп. Группы по агентам и есть механизм, позволяющий обходиться с поисковыми и с ИИ-краулерами по-разному; на крупных движках выигрывает более специфичное правило, а не написанное первым. Самострелы у всех команд одинаковые. Строка Disallow: / из тестового окружения, уехавшая в продакшн и тихо убравшая домен из поиска. Закрытая папка стилей или скриптов, из-за которой краулер не может собрать страницу так, как её видит человек. Отношение к файлу как к средству приватности: он публичный, и перечень путей, куда вы предпочли бы никого не пускать, — отличная карта для любого любопытного. Держите его в системе контроля версий вместе с остальным сайтом, пересматривайте при каждом изменении маршрутов и проверяйте в собственном валидаторе каждого движка до и после выкладки. Это маленький файл, способный вынести из поиска целый сайт, и поломка остаётся беззвучной ровно до того момента, когда кто-нибудь заметит просевший трафик.