Утечка оценочного набора

Утечка оценочного набора — это когда ваши собственные оценочные случаи попадают внутрь системы, которую вы оцениваете. Это местный родственник загрязнения бенчмарков, где речь о публичном тестовом материале, оказавшемся в обучающих данных модели. Здешняя версия целиком дело ваших рук и устраивается заметно легче. Пути обыденны. Несколько сложных случаев из набора вставляют в подсказку как примеры, потому что это ровно те случаи, которые кто-то пытался починить. Коллекцию документов, из которой система извлекает, обновляют выгрузкой, куда заодно попали размеченные примеры. Набор для дообучения собирают из того же источника, что и оценочный материал, и пересечение никто не проверяет. Подсказку настраивают, повторяя прогоны по набору, пока оценка не устроит, — это более медленная и тонкая версия того же самого: к набору подогнались, а не измерились по нему. Симптом — оценка, выросшая ступенькой без сопоставимого улучшения, заметного в проде, причём прирост часто сосредоточен именно в тех случаях, над которыми кто-то работал. Такая картина заслуживает подозрения, а не поздравительного письма. Профилактика в основном процедурная. Держите оценочный материал там, откуда система читать не может, и заведите отдельный пул примеров для подсказок, чтобы ничего не приходилось одалживать. Проверяйте пересечение обучающих или поисковых источников с набором машинно, а не по памяти. И примите, что набор, по которому итерировались много раз, частично израсходован при любых предосторожностях: отложите долю, в которую заглядывают редко, и обновляйте рабочую часть по расписанию, чтобы всегда оставался материал, под который систему никогда не подстраивали. Помогает ещё одна привычка: записывайте, откуда взялся каждый случай, в момент его попадания в набор. Происхождение — это то, что позволяет через полгода ответить, использовалась ли группа примеров ещё где-нибудь, и превращает непроверяемое подозрение в запрос.