Порог уверенности

Порог уверенности — это точка, в которой система перестаёт действовать по собственному выводу и делает что-то другое: передаёт человеку, откатывается на более простой путь, задаёт уточняющий вопрос или отказывается отвечать. Он превращает непрерывный сигнал о том, насколько система уверена, в дискретное операционное решение, а именно оно и нужно автоматизированному процессу. Сложность в том, что языковые модели не выдают доверенного числа сами по себе. Беглость — это не уверенность, а модель, которую просят оценить собственную убеждённость, часто выдаёт правдоподобную цифру, слабо связанную с правильностью ответа. Вероятности токенов несут больше информации, но измеряют вероятность формулировки, а не истинность утверждения. Поэтому на практике сигнал собирают из более осязаемого: согласия между повторными сэмплами, нашёл ли поиск подтверждающий материал, прошла ли валидацию структурированная выдача, согласилась ли вторая проверка с первой, или из небольшого классификатора, обученного на прошлых верных и неверных ответах. Откуда бы ни брался сигнал, смысл порогу придаёт калибровка. Калиброванная оценка означает, что ответы с данным уровнем оказываются верны примерно с такой же частотой, и только тогда выбор границы становится деловым решением, а не догадкой. Калибровку измеряют, а не предполагают: прогоняют размеченный набор и сравнивают предсказанную уверенность с наблюдаемой точностью. Некалиброванная оценка всё ещё может полезно ранжировать случаи, но у конкретного числа, на котором вы проводите черту, нет никакой интерпретации. Выбор уровня — это размен между двумя издержками, которые редко равны. Ниже черты работа уходит человеку: это время и потолок пропускной способности. Выше — ошибки доходят до клиента: это доверие, а иногда и деньги. Порог задавайте от этих издержек, а не от круглого числа: система, раскладывающая документы, терпит более низкую планку, чем та, что оформляет возвраты, и одному продукту часто нужны разные пороги на разные действия. Что происходит ниже порога, важно не меньше самого порога. Эскалация работает только тогда, когда есть куда эскалировать — с людьми, с контекстом и с обратным путём для ответа. Очередь, на которой никого нет, превращает аккуратную конструкцию в более медленный отказ, а передача, приходящая без переписки, без найденных документов и без причины эскалации, делает человека медленнее, чем если бы он начал с нуля. Пороги дрейфуют. Меняется распределение входов, меняется версия модели, правится промпт — и та же граница отбирает уже другую долю трафика. Следите за долей эскалаций как за метрикой первого класса: её внезапное падение обычно означает, что уверенность выросла, а точность за ней не пошла, и это ровно тот случай, когда порог тихо перестаёт кого-либо защищать.