XML-карта сайта

XML-карта сайта — это файл со списком адресов, которые вы хотите отдать на обход, при желании с датой последнего изменения у каждого. Она ничего не выводит в топ и не гарантирует попадание в индекс; она удешевляет обнаружение, а это важнее всего для страниц новых, закопанных на несколько кликов вглубь или доступных только через поиск и фильтры, которыми краулер пользоваться не станет. Протокол задаёт жёсткие пределы: один файл вмещает до 50 000 адресов или 50 МБ в несжатом виде — что наступит раньше, — а крупные сайты сцепляют файлы индексом карт сайта. Сошлитесь на файл из robots.txt, чтобы любой краулер нашёл его без подсказки, и дополнительно отдайте его в вебмастерский инструмент каждого движка: именно там видно, какие адреса отклонены и почему. Правило, которым чаще всего пренебрегают: в карте должны быть только те адреса, которые вы рады видеть в индексе, — канонические, отдающие 200, не закрытые в robots.txt, без noindex. Карта, противоречащая остальному сайту, хуже отсутствующей: это прямое заявление о намерении, спорящее с вашими каноническими тегами, и движку приходится выбирать, какому из двух ваших сигналов верить. Дата изменения полезна, только если она честная. Сборка, проставляющая всем адресам сегодняшнее число при каждой выкладке, обесценивает поле, а движок, выучивший, что ваши даты — шум, перестаёт их читать. Берите её из реальных изменений контента или не выводите вовсе: отсутствующее поле не стоит ничего, а врущее стоит вам самого сигнала. На многоязычном сайте карта — ещё и самое удобное в сопровождении место для объявления языковых альтернатив: соответствие хранится в одном сгенерированном файле, а не в head-тегах каждой страницы каждой локали. В любом случае генерируйте карту из того же источника, что и маршруты, чтобы существующая страница не могла выпасть из файла, а запись в файле — пережить страницу.