Отказ от ответа

Отказ от ответа — это ситуация, когда система сознательно не выдаёт ответ: либо потому, что у неё нет оснований ответить хорошо, либо потому, что запрос выходит за пределы разрешённого. Звучит как провал, а обычно это наоборот: в большинстве рабочих процессов цена уверенно поданного неверного ответа много выше цены честного отказа, потому что отказ уходит человеку, а неверный ответ — клиенту. Языковые модели по умолчанию отказываются неохотно. Их учили быть полезными и продолжать текст, а у вопроса без доступного ответа всё равно есть беглое и грамматически безупречное продолжение. Именно этот механизм стоит за большинством выдумок: не обман, а сильная склонность произвести что-то вместо ничего. Чтобы получить отказ, его нужно сделать явным, разрешённым и специфицированным исходом, а не надеяться, что модель выберет его сама. На практике это означает несколько вещей. В инструкции должны быть указаны условие отказа и его форма, распознаваемая окружающим кодом: выделенное значение в структурированном ответе, а не фраза, которую парсеру нужно истолковать. Заземление даёт модели защитимое основание отказаться: если шаг поиска не вернул ничего релевантного, сказать об этом — правильный ответ, и система, сообщающая о пустом результате вместо того, чтобы заполнить пробел по памяти, ведёт себя как надо. Там, где уверенность оценивается, порог, ниже которого система не отвечает, превращает отказ в политику, а не в настроение. Примет ли человек отказ, решает то, как отказ подан. «Я не могу на это ответить» — тупик. Полезный отказ объясняет причину, отдаёт то, что есть — ближайшие документы, частичный ответ, конкретно недостающие данные, — и предлагает следующий шаг: уточняющий вопрос или передачу тому, кто поможет. Сделанный хорошо, он вызывает больше доверия, чем ответ, потому что система, признающая свои пределы, делает свои уверенные ответы правдоподобными. Баланс работает в обе стороны. Систему, которая отказывается слишком охотно, быстро обходят, и обход обычно выглядит как коллега, вставляющий тот же вопрос в неуправляемый инструмент, — исход хуже того риска, которого вы избегали. Чрезмерная осторожность — реальная издержка, и её место в оценке качества рядом с точностью. Измеряйте оба направления. Отслеживайте долю отказов, выборочно просматривайте отказы, считая, сколько из них были лишними, и выборочно просматривайте отвеченные случаи, считая, сколько из них следовало отклонить. Эти два числа вместе описывают калибровку системы так, как одна точность не описывает, а двигать одно, не глядя на другое, — верный способ сделать продукт либо бесполезным, либо небезопасным.