llms.txt

llms.txt — это предложенное соглашение: Markdown-файл в корне домена, который перечисляет страницы, нужные языковой модели для понимания сайта, даёт к каждой строку описания и при желании ссылается на чистые Markdown-версии этих страниц. Расположение и дух он занял у robots.txt, но это приглашение, а не ограничение — не список исключений, а составленный вручную список чтения. Проблема, на которую он отвечает, вполне настоящая. Модель, читающая маркетинговый сайт через сырой HTML, тратит ограниченный контекст на навигацию, баннеры согласия, теги скриптов и шаблонный текст, прежде чем добраться до предложения, ради которого всё затевалось. Извлекающий клиент, попавший на сайт документации, никак не догадается, какие двадцать из двух тысяч адресов действительно важны. Короткий указатель, собранный человеком, — дешёвый способ это сообщить. Это соглашение, а не стандарт, и разница существенна. Он не входит в протокол robots, ни один поисковик не считает его директивой, и издатель не может снаружи проверить, читает ли файл вообще хоть кто-нибудь. Публикуйте его потому, что сама выборка полезна — она заодно работает как страница-ориентир для людей и для агентов, которых вы пишете сами, — а не из предположения, что файл потребляют раз он существует. Хороший файл отличается от декоративного сопровождением. Он должен быть коротким, честным и по возможности генерироваться из того же источника, что навигация или карта сайта. Список, описывающий сайт таким, каким он был в день запуска, хуже отсутствия списка: читающая его программа не может понять, что он устарел, и процитирует описание вместо страницы. Это не контроль доступа и не граница безопасности. Перечисляйте только уже публичные адреса, не кладите туда ничего, что вам было бы неприятно увидеть процитированным дословно, и не пытайтесь им что-то спрятать — файл по предсказуемому пути любопытный человек запросит первым.