Недетерминированность (Non-Determinism)

Недетерминированность — свойство выдавать разный вывод на одном и том же входе. У языковых моделей оно есть и по замыслу, и по стечению обстоятельств: сэмплирование вносит намеренную вариативность, а даже при выключенном сэмплировании различия в батчинге, оборудовании и инфраструктуре обслуживания не гарантируют, что одинаковые запросы вернут одинаковый текст. Для всего, что строится сверху, это не деталь, а именно то свойство, которое обесценивает большинство обычных инженерных привычек. Первой страдает проверка. Утверждение, что вывод равен фиксированной строке, падает время от времени и в итоге удаляется — так у ИИ-функций не остаётся тестов вовсе. Рабочая замена утверждает свойства, а не текст: ответ разбирается, называет только сущности из источника, укладывается в длину, отказывается там, где должен, — и прогоняется на наборе входов, а не на одном, принимая долю успеха вместо единственного прохода. Меняется и отладка. Сообщение, которое не воспроизводится, не является доказательством, что ничего не было; это обычный случай. Поэтому записанный прогон здесь важнее, чем в детерминированных системах: без сохранённых на тот момент входов, контекста и результатов инструментов разовый сбой нечем исследовать, и возникает соблазн объявить его случайностью и жить дальше. Агенты всё это усиливают, потому что недетерминированность накапливается вдоль цепочки решений. Один и тот же запрос в двух подряд прогонах может пойти другим путём, вызвать другие инструменты, стоить другую сумму и занять другое время. Поэтому разброс — полноправное эксплуатационное свойство агента, а не шум вокруг среднего. Практическая позиция — не воевать с ней везде. Снижайте её там, где она ничего не даёт: фиксируйте фиксируемое, держите промпты под контролем версий, изолируйте генеративный шаг, чтобы окружающий конвейер оставался детерминированным, — и принимайте там, где вариативность и есть смысл. А затем измеряйте распределение, а не одну выборку, и считайте анекдотом любой вывод, сделанный по одному прогону.