Сигнал обратной связи (Feedback Signal)

Сигнал обратной связи — это любое свидетельство того, был ли полезен вывод ИИ. Явный вид — большие пальцы вверх и вниз рядом с ответом; неявный — всё, что пользователь сделал дальше: скопировал, отредактировал, переспросил то же самое другими словами, эскалировал или ушёл. Неявных сигналов больше, и обычно они честнее. У явных оценок есть форма, которую стоит знать до того, как строить на них. Оценивает почти никто, поэтому объём — маленький и самоотобранный срез. Преобладают отрицательные оценки: на клик мотивирует раздражение, а не удовлетворённость. И кнопка сплавляет в одно несколько разных претензий: неверно, медленно, плохо оформлено, верно, но я имел в виду другое, и я не согласен со стоящей за этим политикой. Сырое отношение, посчитанное отсюда, — не мера качества, хотя резкое его изменение всё же полезная тревога. Неявные сигналы несут больше информации и требуют больше аккуратности. Пользователь, переформулировавший тот же вопрос за минуту, — сильный признак того, что первый ответ провалился; тяжёлая правка перед отправкой — частичный провал; немедленная эскалация к человеку — почти окончательный. Каждый нужно определить один раз и намеренно инструментировать: если события не запланированы, их потом восстановят из того, что случайно попало в логи, и так команды начинают измерять свой интерфейс, а не свою модель. Собирают всё это ради размеченного набора. По отдельности сигналы шумны, но случаи с отрицательной оценкой и переформулировкой — это очередь настоящих отказов с настоящими входами, и разбор выборки из них даёт проверочные случаи и правки промптов, которых не дал бы никакой синтетический набор. Вся ценность в этом конвейере: сигнал, выборка, разбор, пополнение проверки. Защищают его две привычки. Спрашивайте причину рядом с оценкой в форме, которую кто-то действительно заполнит, и хотя бы иногда заметно замыкайте круг: элемент обратной связи, который ничего не меняет, приучает пользователей им не пользоваться, и сигнал редеет ровно тогда, когда система становится нагруженнее.