[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-ai-crawler::ru":3,"gloss-cluster-ai-crawler::ru":23,"gloss-next-ai-crawler::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"ai-crawler","growth","ИИ-краулер","ИИ-краулер — это автоматический клиент, которым управляет компания, разрабатывающая ИИ, и который забирает страницы из открытого веба. Под одним названием живут три довольно разные задачи: собрать тексты для обучения будущей модели, забрать страницу в момент ответа, чтобы ассистент мог опереться на что-то актуальное, и забрать одну страницу, потому что пользователь вставил её ссылку в чат. Издатели, считающие эти три вещи одной, обычно принимают решение, которого принимать не собирались.\n\nВ различии и есть весь смысл. Блокировка обучающего сбора удерживает ваши тексты за пределами весов следующей модели и ничего не делает с тем, что ассистент цитирует вас сегодня через живой запрос. Блокировка извлекающих клиентов делает ровно обратное: контент остаётся в уже собранных обучающих корпусах, зато вы исчезаете из ответов на вопросы, которые задают прямо сейчас. Это почти противоположные компромиссы, и одно общее правило выбирает между ними случайно.\n\nУправление устроено так же, как всегда в вебе. Поставщики публикуют строки user-agent, с которыми они ходят, часто разделяя их по назначению, чтобы два решения можно было принять отдельно, — а вы разрешаете или запрещаете эти агенты в robots.txt. Механизм рекомендательный: он держится на готовности оператора его соблюдать, никак не влияет на перепубликацию вашего текста там, где вы ничего не контролируете, и настоящее принуждение требует блокировки по user-agent или адресу на сервере либо на границе сети.\n\nБыстрее всего здесь меняются имена и токены, поэтому читайте документацию самого поставщика, а не пересказывающий её пост в блоге, и перечитывайте каждый раз, когда возвращаетесь к файлу. Правило, написанное для строки агента, который давно выведен из обращения, снаружи неотличимо от отсутствия правила.\n\nПод конфигурацией лежит коммерческий, а вовсе не технический вопрос. Ваш контент ценен тем, что его читают на вашем сайте, или тем, что на него ссылаются там, где находится читатель? Документация, маркетинговые страницы и глоссарии обычно уверенно относятся ко второму случаю и блокируются по недосмотру — из шаблона, написанного для издателя, чей бизнес построен на просмотрах.","ИИ-краулеры решают три разные задачи: сбор для обучения, живое извлечение и запрос по ссылке. Одно общее правило в robots выбирает сторону случайно.",null,[11,14,17,20],{"slug":12,"name":13},"grounding","Обоснование (Grounding)",{"slug":15,"name":16},"knowledge-cutoff","Дата отсечения знаний (Knowledge Cutoff)",{"slug":18,"name":19},"rate-limiting","Ограничение частоты запросов (Rate Limiting)",{"slug":21,"name":22},"retrieval","Извлечение (Retrieval)",[24,28,31,34,37,40,44,47,50,53,56,59],{"slug":25,"category":5,"name":26,"updated_at":27},"attribution-model","Модель атрибуции (Attribution Model)","2026-09-08T21:32:36+00:00",{"slug":29,"category":5,"name":30,"updated_at":27},"channel-market-fit","Соответствие канала рынку (channel-market fit)",{"slug":32,"category":5,"name":33,"updated_at":27},"content-brief","Контентный бриф",{"slug":35,"category":5,"name":36,"updated_at":27},"content-optimization","Оптимизация контента",{"slug":38,"category":5,"name":39,"updated_at":27},"conversion-rate-optimization","Оптимизация конверсии (CRO)",{"slug":41,"category":5,"name":42,"updated_at":43},"crawl-budget","Краулинговый бюджет","2026-09-08T21:32:37+00:00",{"slug":45,"category":5,"name":46,"updated_at":43},"entity-seo","Entity SEO (оптимизация под сущности)",{"slug":48,"category":5,"name":49,"updated_at":43},"featured-snippet","Избранный сниппет",{"slug":51,"category":5,"name":52,"updated_at":43},"generative-engine-optimization","Оптимизация под генеративные движки (GEO)",{"slug":54,"category":5,"name":55,"updated_at":27},"growth-loop","Петля роста (Growth Loop)",{"slug":57,"category":5,"name":58,"updated_at":43},"internal-linking","Внутренняя перелинковка",{"slug":60,"category":5,"name":61,"updated_at":27},"jobs-to-be-done","Работа, которую нужно выполнить (Jobs to Be Done)"]