[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-adjudication::ru":3,"gloss-cluster-adjudication::ru":23,"gloss-next-adjudication::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"adjudication","mlops","Разрешение разногласий","Разрешение разногласий — это заданная процедура для случая, когда двое разметчиков одного и того же примера разошлись. Измерение согласия говорит, как часто это происходит; разрешение — это то, что вы с этим делаете, и разметка без такой процедуры копит спорные строки, которые в итоге решает тот, кто выгружает файл. Обычные механизмы просты. Третий человек разбивает ничью, не видя первых двух ответов. Или старший рецензент решает и записывает почему. Или два исходных разметчика обсуждают и приходят к совместному ответу — медленнее, но объяснения получаются лучшими. Работает любой из них; не работает молча взять первую метку или большинство из трёх, когда все трое гадают, потому что и то и другое прячет разногласие вместо того, чтобы его снять. Главный результат — не решённая метка. Это причина и то изменение инструкций, которое из причины следует. Случай, который двое обученных людей прочитали по-разному, почти всегда случай, не покрытый инструкцией, и запись решения в инструкцию — это то, что не даёт следующим двадцати примерам того же рода тоже стать спорными. Набор, по которому разногласия сняли, но инструкции не поправили, даст те же расхождения на следующей партии, и никто не поймёт, почему доля не улучшилась. Ведите учёт строк, потребовавших разрешения, и считайте этот список картой мест, где задача действительно трудна. Это же предупреждение о метрике: если заметная доля набора нуждалась в разбитии ничьей, доверие к посчитанным по нему оценкам должно быть ниже, чем подсказывает арифметика, а раздельная отчётность по двум группам честнее, чем их слияние. Стоит заранее решить и то, что делать, когда разногласие не снимается вовсе. Часть примеров действительно неоднозначна, и принуждение к единственному ответу превращает честное неизвестно в неверный эталон. Пометка таких строк как исключённых, с указанием причины, держит их вне оценки и сохраняет то, что они показывают о задаче.","Разрешение разногласий снимает споры разметчиков по заданному правилу. Почему правка инструкции важнее решённой метки.",null,[11,14,17,20],{"slug":12,"name":13},"annotation-guidelines","Инструкции по разметке",{"slug":15,"name":16},"data-labeling","Разметка данных",{"slug":18,"name":19},"golden-dataset","Золотой датасет",{"slug":21,"name":22},"inter-annotator-agreement","Согласие между разметчиками",[24,28,30,33,36,39,42,45,48,51,54,57],{"slug":25,"category":5,"name":26,"updated_at":27},"acceptance-threshold","Порог приёмки","2026-09-10T03:30:02+00:00",{"slug":12,"category":5,"name":13,"updated_at":29},"2026-09-08T21:32:36+00:00",{"slug":31,"category":5,"name":32,"updated_at":29},"baseline-model","Базовая модель (baseline)",{"slug":34,"category":5,"name":35,"updated_at":29},"batch-inference","Батч-инференс",{"slug":37,"category":5,"name":38,"updated_at":27},"blind-evaluation","Слепая оценка",{"slug":40,"category":5,"name":41,"updated_at":29},"canary-prompt","Канареечный промпт",{"slug":43,"category":5,"name":44,"updated_at":27},"ceiling-effect","Эффект потолка",{"slug":46,"category":5,"name":47,"updated_at":29},"champion-challenger","Чемпион–претендент (A\u002FB-тестирование моделей)",{"slug":49,"category":5,"name":50,"updated_at":29},"class-imbalance","Дисбаланс классов",{"slug":52,"category":5,"name":53,"updated_at":29},"continuous-batching","Continuous Batching (непрерывная пакетная обработка)",{"slug":55,"category":5,"name":56,"updated_at":27},"coverage-gap","Пробел в покрытии",{"slug":58,"category":5,"name":59,"updated_at":29},"cross-validation","Перекрёстная проверка"]