[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-robots-txt::ru":3,"gloss-cluster-robots-txt::ru":23,"gloss-next-robots-txt::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"robots-txt","dev-tools","robots.txt","robots.txt — текстовый файл в корне домена, который сообщает автоматическим клиентам, какие пути им можно запрашивать. Это старейшее соглашение веб-издательства, гораздо позже оформленное как протокол исключений для роботов в RFC 9309, и оно всегда было рекомендательным: работает потому, что воспитанные краулеры сами решают его прочитать и соблюсти, а не потому, что кто-то это принуждает.\n\nПравило, которое чаще всего понимают наоборот: Disallow управляет обходом, а не индексированием. Закрытый адрес всё ещё может попасть в выдачу, если на него ссылаются другие сайты, — движок узнаёт адрес, ни разу не забрав содержимое. Именно так закрытая страница оказывается в индексе вообще без описания. Чтобы страница не попала в индекс, её нужно оставить доступной для обхода и снабдить директивой noindex либо убрать за авторизацию.\n\nСтруктура — это группы, заданные строкой User-agent, с путями Disallow и Allow, плюс одна или несколько строк Sitemap, которые читаются независимо от групп. Группы по агентам и есть механизм, позволяющий обходиться с поисковыми и с ИИ-краулерами по-разному; на крупных движках выигрывает более специфичное правило, а не написанное первым.\n\nСамострелы у всех команд одинаковые. Строка Disallow: \u002F из тестового окружения, уехавшая в продакшн и тихо убравшая домен из поиска. Закрытая папка стилей или скриптов, из-за которой краулер не может собрать страницу так, как её видит человек. Отношение к файлу как к средству приватности: он публичный, и перечень путей, куда вы предпочли бы никого не пускать, — отличная карта для любого любопытного.\n\nДержите его в системе контроля версий вместе с остальным сайтом, пересматривайте при каждом изменении маршрутов и проверяйте в собственном валидаторе каждого движка до и после выкладки. Это маленький файл, способный вынести из поиска целый сайт, и поломка остаётся беззвучной ровно до того момента, когда кто-нибудь заметит просевший трафик.","robots.txt говорит краулерам, какие пути им можно запрашивать. Он управляет обходом, а не индексом: закрытая страница может попасть в выдачу без описания.",null,[11,14,17,20],{"slug":12,"name":13},"cdn","Сеть доставки контента (CDN)",{"slug":15,"name":16},"cms","Система управления контентом (CMS)",{"slug":18,"name":19},"rate-limiting","Ограничение частоты запросов (Rate Limiting)",{"slug":21,"name":22},"static-site-generator","Генератор статических сайтов (SSG)",[24,28,32,35,38,41,44,47,50,53,56,59],{"slug":25,"category":5,"name":26,"updated_at":27},"abstraction-layer","Слой абстракции","2026-09-08T21:32:37+00:00",{"slug":29,"category":5,"name":30,"updated_at":31},"agent","Агент (Agent)","2026-09-08T21:32:35+00:00",{"slug":33,"category":5,"name":34,"updated_at":31},"ai-code-assistant","AI-помощник по написанию кода",{"slug":36,"category":5,"name":37,"updated_at":31},"api-gateway","API-шлюз (API Gateway)",{"slug":39,"category":5,"name":40,"updated_at":31},"api-versioning","API Versioning (версионирование API)",{"slug":42,"category":5,"name":43,"updated_at":31},"autonomous-agent","Автономный агент (Autonomous Agent)",{"slug":45,"category":5,"name":46,"updated_at":31},"blue-green-deployment","Blue-Green Deployment (сине-зелёное развёртывание)",{"slug":48,"category":5,"name":49,"updated_at":31},"canary-deployment","Canary Deployment (канареечное развёртывание)",{"slug":51,"category":5,"name":52,"updated_at":27},"canonical-url","Канонический URL",{"slug":54,"category":5,"name":55,"updated_at":31},"chaos-engineering","Chaos Engineering (хаос-инжиниринг)",{"slug":57,"category":5,"name":58,"updated_at":31},"ci-cd","Непрерывная интеграция \u002F непрерывное развёртывание (CI\u002FCD)",{"slug":60,"category":5,"name":61,"updated_at":62},"circuit-breaker","Предохранитель (Circuit Breaker)","2026-09-08T21:32:36+00:00"]