Задача с длинным горизонтом (Long-Horizon Task)

Задача с длинным горизонтом — та, которую агент не заканчивает за несколько шагов: она требует последовательности зависимых действий, часто на минуты или часы, где поздние шаги опираются на то, что ранние выполнены правильно. Перенести набор данных, довести обращение в поддержку до решения, провести рефакторинг по всему репозиторию — длинный горизонт; ответить на вопрос по одному поиску — нет. Определяющее свойство — накопление. Если каждый шаг сам по себе с высокой вероятностью верен, вероятность того, что верна вся цепочка, есть произведение этих вероятностей, а не их среднее, поэтому надёжность, выглядящая вполне приемлемой на шаге, на длинном прогоне становится плохой. Это лучшее объяснение того, почему демонстрации агентов убедительны, а внедрения разочаровывают: демонстрация коротка, а разница между задачей в пять шагов и задачей в пятьдесят — не пятикратная сложность, а другой режим. С удлинением горизонта меняется и характер ошибок. Ранняя ошибка не просто неверна: она превращается в предположение, на котором строится каждый следующий шаг, а естественного момента усомниться в уже якобы сделанной работе у агента нет. Тем временем контекст наполняется собственной историей, цель конкурирует за внимание с растущей расшифровкой вывода инструментов, и оптимизируемое смещается к тому, что обсуждалось последним. Практические ответы невзрачны. Разбейте горизонт на стадии с проверяемым результатом в конце каждой, чтобы сбой ловился на границе стадии, а не в самом конце. Сохраняйте состояние, чтобы прерванный прогон продолжался, а не начинался заново: повтор с нуля воспроизводит каждый побочный эффект первой попытки. Проверяйте между стадиями чем-то помимо модели, которая делала работу. И ограничивайте прогон, иначе не способный закончить агент продолжит тратить. Честный стратегический ход часто состоит в том, чтобы укоротить горизонт, а не усилить агента. Многие задачи, описываемые как длинные, — это фиксированный конвейер с одним по-настоящему неопределённым шагом в середине, и записанные так они куда надёжнее: детерминированные части кодом, агент — только там, где число и порядок шагов действительно нельзя знать заранее.