Краулинговый бюджет

Краулинговый бюджет — это объём обхода, который поисковый движок готов потратить на сайт: неформально сочетание того, как быстро он может забирать страницы, не нагружая сервер, и того, насколько ему сейчас нужен контент этого сайта. Это не публикуемая величина и не настройка, которую вы задаёте, а возникающее само собой ограничение, которое замечают только тогда, когда оно начинает мешать. На большинстве сайтов оно не мешает никогда, и изрядная часть советов на эту тему применяется не по адресу. Несколько сотен страниц, меняющихся время от времени, будут обойдены полностью, и думать об этом никому не придётся. Ограничение становится настоящим на крупных сайтах, на сайтах, порождающих адреса комбинаторно, и на медленных серверах, где каждая выборка достаточно дорога, чтобы движок сам сбавил темп. Когда оно всё же мешает, причина почти всегда не объём, а расточительность. Фасетная навигация, перемножающая фильтры и сортировки в миллионы разных адресов. Идентификаторы сессий, дописанные к каждой ссылке. Календари с бесконечным запасом следующих месяцев. Мягкие 404, отдающие статус 200 для несуществующих страниц: с точки зрения краулера любой неверный адрес — настоящая страница. Длинные цепочки редиректов, тратящие несколько выборок ради одного документа. Исправления идут в том же порядке. Лучше всего вообще не порождать эти адреса; дальше — закрыть параметрическое пространство в robots.txt, чтобы краулер их не запрашивал; дальше — отдавать честные коды статуса, чтобы отсутствующая страница читалась как отсутствующая. Но важнее всего держать нужные страницы неглубоко и хорошо связанными внутренними ссылками: страница, на которую ничто не ссылается, борется за внимание с нуля. Доказательства приходят из двух мест, и ни одно из них не сторонний сервис. Собственные логи сервера показывают, какие пути запрашивались, каким агентом и что он получил, — это единственный способ увидеть расточительность напрямую. Собственная статистика обхода у каждого движка показывает агрегат, и растущее число запросов при неизменном числе полезных страниц — сигнал, что пора смотреть.