[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-label-noise::ru":3,"gloss-cluster-label-noise::ru":23,"gloss-next-label-noise::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"label-noise","mlops","Шум в метках","Шум в метках — это ошибки в самих эталонных ответах: случаи, когда записанный как верный ответ верным не является. Это не то же самое, что расхождение разметчиков, которое измеримо и часто содержательно. В шум входят и случаи, где все согласны и все ошибаются: инструкция, которую вся команда прочитала одинаково неправильно; категория, значившая другое в момент сборки набора; партия, размеченная в конце длинного дня; правило, изменившееся на полпути без возврата к более ранним строкам. Практическое следствие — потолок. Если часть эталонных ответов неверна, ни одна система не наберёт по этому набору идеально, а хуже того, ближе всего к идеалу окажутся те, что научились воспроизводить ошибки. Выше некоторого уровня измеренного качества вы сравниваете системы уже не с реальностью, а с её дефектной расшифровкой, и улучшения перестают проявляться в числе, оставаясь настоящими. Это одна из причин, по которым застывшую метрику стоит расследовать со стороны набора, а не только со стороны системы. Найти шум дешевле, чем думает большинство команд. Возьмите случаи, где система расходится с меткой наиболее уверенно, и прочитайте их вручную: заметная их доля обычно оказывается ошибками разметки, а не системы, и каждая найденная — одновременно исправление и симптом, указывающий на породившую её инструкцию. Почините метку, затем инструкцию, затем проверьте, не сидит ли то же непонимание в строках, куда никто не заглядывал. И фиксируйте исправления, а не правьте молча: набор, меняющийся под метрикой, делает два прогона одной системы несравнимыми так, что этого никто не замечает. Стоит признать и наличие пола. С некоторого момента метки нельзя сделать чище за разумные деньги, и честный ответ — заявить тот уровень шума, который, по вашей оценке, несёт набор, и перестать отчитываться о различиях меньше него, а не публиковать число с точностью, которой материал не выдерживает.","Шум в метках — ошибки в самих эталонных ответах. Почему он ставит потолок любой оценке и как дешевле всего его найти.",null,[11,14,17,20],{"slug":12,"name":13},"annotation-guidelines","Инструкции по разметке",{"slug":15,"name":16},"data-labeling","Разметка данных",{"slug":18,"name":19},"inter-annotator-agreement","Согласие между разметчиками",{"slug":21,"name":22},"precision-and-recall","Точность и полнота",[24,28,31,33,36,39,42,45,48,51,54,57],{"slug":25,"category":5,"name":26,"updated_at":27},"acceptance-threshold","Порог приёмки","2026-09-10T03:30:02+00:00",{"slug":29,"category":5,"name":30,"updated_at":27},"adjudication","Разрешение разногласий",{"slug":12,"category":5,"name":13,"updated_at":32},"2026-09-08T21:32:36+00:00",{"slug":34,"category":5,"name":35,"updated_at":32},"baseline-model","Базовая модель (baseline)",{"slug":37,"category":5,"name":38,"updated_at":32},"batch-inference","Батч-инференс",{"slug":40,"category":5,"name":41,"updated_at":27},"blind-evaluation","Слепая оценка",{"slug":43,"category":5,"name":44,"updated_at":32},"canary-prompt","Канареечный промпт",{"slug":46,"category":5,"name":47,"updated_at":27},"ceiling-effect","Эффект потолка",{"slug":49,"category":5,"name":50,"updated_at":32},"champion-challenger","Чемпион–претендент (A\u002FB-тестирование моделей)",{"slug":52,"category":5,"name":53,"updated_at":32},"class-imbalance","Дисбаланс классов",{"slug":55,"category":5,"name":56,"updated_at":32},"continuous-batching","Continuous Batching (непрерывная пакетная обработка)",{"slug":58,"category":5,"name":59,"updated_at":27},"coverage-gap","Пробел в покрытии"]