Канареечный промпт

Канареечный промпт — изменение промпта, выпущенное на небольшую долю живого трафика, пока остальные продолжают работать со старой версией. Метрики двух групп сравниваются, и изменение либо раскатывается на всех, либо откатывается. Это нужно потому, что правки промптов ведут себя как деплой кода, но с худшими тестами. Изменение формулировки, улучшающее ваш набор из пятидесяти кейсов, может ухудшить категорию, которой в наборе нет, и компилятора, который это поймает, не существует. Живой трафик — куда больший и куда менее лестный тестовый набор. Чаще всего ошибаются в том, что сравнивать. Задержка и стоимость измеряются легко, но риск обычно не в них. Смотрите на исходы уровня задачи: долю решённых, расстояние правки между черновиком модели и тем, что пользователь отправил, долю эскалаций, дизлайки. И дайте канарейке накопить выборку, достойную решения, а не читайте шум первого дня. Держите откат тривиальным. Промпты должны быть данными — версионируемыми и заменяемыми без деплоя; изменение, требующее инженера и релизного окна, быстро не откатят, а значит смысл канарейки теряется.