Критерии приёмки (Acceptance Criteria)

Критерии приёмки — записанное до начала работы утверждение о том, что сделает результат приемлемым, достаточно конкретное, чтобы проверить его мог не автор. Понятие заимствовано из разработки, но с агентами оно важнее, чем когда-либо было с людьми, потому что иначе агент сам решает, что закончил. В этом суть проблемы. Модель, которую попросили выполнить задачу, а затем спросили, выполнила ли она задачу, оценивает собственную работу в той же манере, в какой её писала, и обычно отвечает «да». Самозаявленный успех — наименее надёжный сигнал в агентной системе и при этом тот, на котором построено большинство дашбордов. Критерии, проверяемые чем-то другим — прошедшим тестом, валидирующей схемой, записью, которая теперь существует с ожидаемыми значениями, сошедшейся суммой, — разрывают эту замкнутость. Хорошие критерии описывают свойства, а не формулировки. «Ссылается хотя бы на один источник из переданных документов, не меняет полей, кроме названных, оставляет обращение в состоянии, которое человек может подхватить» — проверяемо и не диктует, как делать работу. Критерий в виде примера вывода в генеративной системе хуже, чем бесполезен: он приглашает воспроизвести форму примера вместо выполнения требования. Критерии определяют и то, что делать, когда ответ «нет», — половина, которую чаще всего опускают. Прогон должен остановиться или эскалировать, а не продолжаться мимо непройденной проверки, и непройденный критерий должен уходить вместе с эскалацией: человек, получивший «не получилось», вынужден заново проделать разбор, который система уже проделала. Последняя польза приходит тихо. Написание критериев приёмки вытаскивает неоднозначность запроса на поверхность до того, как в неё упрётся агент, и удивительная доля задач оказывается не трудной, а недоописанной. Там, где критерий не удаётся сформулировать вовсе, это обычно знак, что задаче нужно человеческое суждение в середине, а не улучшенный промпт.