Симуляция агента (Agent Simulation)

Симуляция агента — это прогон агента против заменителя реального мира: записанные или синтетические ответы инструментов, копия данных, исходящие вызовы, уходящие в никуда. Цель — увидеть поведение до того, как у него появятся последствия. Она отвечает на другой вопрос, чем песочница, которая ограничивает то, что агент делает, и чем пробный прогон, показывающий, что сделала бы одна операция. Симуляция спрашивает, что агент решит на протяжении целой задачи. Она существует потому, что агентов нельзя тестировать так, как обычный код. Когда система сама выбирает последовательность шагов, нет фиксированной пары «вход — выход», на которой можно построить утверждение, поэтому изучать стоит пройденный путь, а не итоговый ответ. Симуляция — способ получать такие пути дёшево и многократно, включая пути через ситуации, которые в проде редки, дороги или опасны, чтобы вызывать их нарочно. Что именно воспроизводит симуляция, то она и способна показать. Инструменты, которые всегда успешны и возвращают опрятные данные, дадут агента, который выглядит надёжным и ни разу не встретил тайм-аут, лимит запросов, пустой результат, отказ в правах или поле с содержимым, которого никто не ждал. Сбои — это и есть суть, и они должны попасть в фикстуры намеренно, потому что реальная среда поставляет их по своему расписанию и обычно в худший момент. Записанные прогоны делают приём накопительным. Траектории, снятые с настоящего использования и воспроизведённые против фиксированных ответов, становятся набором регрессионных тестов: измените промпт, модель или описание инструмента — и увидите, какие ранее работавшие пути разошлись. Без этого каждое изменение агента оценивается парой попыток и общим впечатлением, а это не выдерживает встречи с системой, которая на одинаковом входе ведёт себя по-разному. Предел стоит назвать, чтобы приём не переоценивали. Симуляция содержит только те ситуации, о которых кто-то подумал, а инциденты вызывают те, о которых не подумал никто. Она снижает число сюрпризов, доходящих до прода; она не превращает непредсказуемую систему в предсказуемую и не заменяет лимиты, журналирование и способ остановить идущий не туда прогон.