[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-eval-set-leakage::ru":3,"gloss-cluster-eval-set-leakage::ru":23,"gloss-next-eval-set-leakage::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"eval-set-leakage","mlops","Утечка оценочного набора","Утечка оценочного набора — это когда ваши собственные оценочные случаи попадают внутрь системы, которую вы оцениваете. Это местный родственник загрязнения бенчмарков, где речь о публичном тестовом материале, оказавшемся в обучающих данных модели. Здешняя версия целиком дело ваших рук и устраивается заметно легче. Пути обыденны. Несколько сложных случаев из набора вставляют в подсказку как примеры, потому что это ровно те случаи, которые кто-то пытался починить. Коллекцию документов, из которой система извлекает, обновляют выгрузкой, куда заодно попали размеченные примеры. Набор для дообучения собирают из того же источника, что и оценочный материал, и пересечение никто не проверяет. Подсказку настраивают, повторяя прогоны по набору, пока оценка не устроит, — это более медленная и тонкая версия того же самого: к набору подогнались, а не измерились по нему. Симптом — оценка, выросшая ступенькой без сопоставимого улучшения, заметного в проде, причём прирост часто сосредоточен именно в тех случаях, над которыми кто-то работал. Такая картина заслуживает подозрения, а не поздравительного письма. Профилактика в основном процедурная. Держите оценочный материал там, откуда система читать не может, и заведите отдельный пул примеров для подсказок, чтобы ничего не приходилось одалживать. Проверяйте пересечение обучающих или поисковых источников с набором машинно, а не по памяти. И примите, что набор, по которому итерировались много раз, частично израсходован при любых предосторожностях: отложите долю, в которую заглядывают редко, и обновляйте рабочую часть по расписанию, чтобы всегда оставался материал, под который систему никогда не подстраивали. Помогает ещё одна привычка: записывайте, откуда взялся каждый случай, в момент его попадания в набор. Происхождение — это то, что позволяет через полгода ответить, использовалась ли группа примеров ещё где-нибудь, и превращает непроверяемое подозрение в запрос.","Утечка оценочного набора — попадание ваших тестовых случаев внутрь проверяемой системы. Обычные пути, симптом ступенькой и профилактика.",null,[11,14,17,20],{"slug":12,"name":13},"benchmark-contamination","Загрязнение бенчмарка (Benchmark Contamination)",{"slug":15,"name":16},"eval-harness","Испытательный стенд оценки (Eval Harness)",{"slug":18,"name":19},"golden-dataset","Золотой датасет",{"slug":21,"name":22},"train-test-split","Разделение на обучение и тест",[24,28,31,35,38,41,44,47,50,53,56,59],{"slug":25,"category":5,"name":26,"updated_at":27},"acceptance-threshold","Порог приёмки","2026-09-10T03:30:02+00:00",{"slug":29,"category":5,"name":30,"updated_at":27},"adjudication","Разрешение разногласий",{"slug":32,"category":5,"name":33,"updated_at":34},"annotation-guidelines","Инструкции по разметке","2026-09-08T21:32:36+00:00",{"slug":36,"category":5,"name":37,"updated_at":34},"baseline-model","Базовая модель (baseline)",{"slug":39,"category":5,"name":40,"updated_at":34},"batch-inference","Батч-инференс",{"slug":42,"category":5,"name":43,"updated_at":27},"blind-evaluation","Слепая оценка",{"slug":45,"category":5,"name":46,"updated_at":34},"canary-prompt","Канареечный промпт",{"slug":48,"category":5,"name":49,"updated_at":27},"ceiling-effect","Эффект потолка",{"slug":51,"category":5,"name":52,"updated_at":34},"champion-challenger","Чемпион–претендент (A\u002FB-тестирование моделей)",{"slug":54,"category":5,"name":55,"updated_at":34},"class-imbalance","Дисбаланс классов",{"slug":57,"category":5,"name":58,"updated_at":34},"continuous-batching","Continuous Batching (непрерывная пакетная обработка)",{"slug":60,"category":5,"name":61,"updated_at":27},"coverage-gap","Пробел в покрытии"]