Сообщение об ИИ-инцидентах

Сообщение об ИИ-инцидентах — это маршрут, по которому неверный, вредный или неожиданный результат модели попадает в запись, проходит сортировку и вызывает действие, вместо того чтобы быть замеченным одним человеком и забытым. Это обратная связь, превращающая оценку из предзапускового упражнения в то, что продолжает работать после запуска, когда входные данные перестают походить на тестовые. Такие инциденты не похожи на аварии. Ничего не упало, частота ошибок не сдвинулась, мониторинг зелёный, а система уверенно выдаёт неправду, раскрывает то, чего читателю видеть не следовало, или ведёт себя так, как проектировщик не предполагал. Поскольку привычные сигналы молчат, сообщение почти всегда начинается с человека — агента поддержки, клиента, сотрудника, заметившего неверный ответ. Поэтому канал сообщения — и есть главная задача проектирования. Он должен быть доступен там, где появляется результат, то есть обычно кнопкой рядом с ответом, а не формой где-то в интранете. Он должен захватывать контекст, делающий случай воспроизводимым: ввод, вывод, идентификатор диалога или трассы, версию модели и промпта, время. Без этого сообщение сводится к «на прошлой неделе оно сказало что-то странное», а это не расследуется. Сортировке нужны собственные критерии, потому что поток в основном малозначим, а серьёзные случаи прячутся внутри него. Тяжесть здесь — про последствие: положился ли кто-то на ответ, пострадал ли кто-то, раскрылись ли данные, воспроизводится ли это, сколько пользователей проходят тем же путём, — а не про то, насколько неловко выглядит текст. Тяжёлые случаи требуют той же дисциплины, что и инцидент безопасности: локализация, путь отката и решение о том, кого необходимо уведомить. Польза возникает, только если сообщения возвращаются в работу. Подтверждённые случаи должны попадать в набор для оценки, чтобы та же поломка ловилась в следующий раз, а их скопления — в запись о породившей их системе. Организация, собирающая инциденты и не добавляющая их в тесты, будет заново открывать одну и ту же поломку, а её оценки будут выглядеть лучше, чем продукт.