[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-human-baseline::ru":3,"gloss-cluster-human-baseline::ru":23,"gloss-next-human-baseline::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"human-baseline","mlops","Человеческий ориентир","Человеческий ориентир — это результат, который люди показывают на том же оценочном наборе, по тем же инструкциям и тем же правилам подсчёта, что и измеряемая система. Он нужен потому, что изолированная оценка не поддаётся истолкованию. Результат, звучащий посредственно, может быть близок к лучшему, что вообще достижимо в по-настоящему неоднозначной задаче; результат, звучащий сильно, может быть заметно ниже того, что обученный человек делает за минуту. Без сравнения понять, в какой вы ситуации, невозможно, и спор о том, достаточно ли система хороша, идёт на интуиции. Измерять его правильно — значит дать людям те же условия, а не лучшие. Те же случаи, те же инструкции, то же давление времени и подсчёт по тому же правилу, включая неудобную часть: человеческий ответ оценивается тем же оценщиком, каким вы оцениваете систему, чтобы оба были подвержены одним и тем же странностям. Стоит измерить и больше одного человека: разброс между людьми часто шире, чем обсуждаемый вами разрыв, а оценка одного эксперта — это точка данных, а не ориентир. Две оговорки. Ориентир описывает результат на этом наборе и по этим инструкциям, а не человеческие способности вообще, и цитирование его как второго — способ превратить скромное измерение в раздутое заявление. И система, сравнявшаяся с человеческим числом, не становится поэтому заменой: ошибки будут распределены иначе. Люди чаще ошибаются на скучном и сделанном впопыхах, системы — на необычном и недоопределённом, и похожее среднее может прятать то, что одна из сторон отказывает ровно там, где отказ дороже всего. Одного измерения тоже мало, если набор меняется. Ориентир принадлежит конкретной версии оценочного материала, и сравнение оценки системы за этот квартал с человеческим числом, полученным на прошлогодних случаях, — это сравнение двух разных задач под одним именем.","Человеческий ориентир — результат людей на том же наборе по тем же правилам. Почему оценка без него не читается и где сравнение вводит в заблуждение.",null,[11,14,17,20],{"slug":12,"name":13},"baseline-model","Базовая модель (baseline)",{"slug":15,"name":16},"golden-dataset","Золотой датасет",{"slug":18,"name":19},"inter-annotator-agreement","Согласие между разметчиками",{"slug":21,"name":22},"pairwise-evaluation","Попарная оценка",[24,28,31,35,36,39,42,45,48,51,54,57],{"slug":25,"category":5,"name":26,"updated_at":27},"acceptance-threshold","Порог приёмки","2026-09-10T03:30:02+00:00",{"slug":29,"category":5,"name":30,"updated_at":27},"adjudication","Разрешение разногласий",{"slug":32,"category":5,"name":33,"updated_at":34},"annotation-guidelines","Инструкции по разметке","2026-09-08T21:32:36+00:00",{"slug":12,"category":5,"name":13,"updated_at":34},{"slug":37,"category":5,"name":38,"updated_at":34},"batch-inference","Батч-инференс",{"slug":40,"category":5,"name":41,"updated_at":27},"blind-evaluation","Слепая оценка",{"slug":43,"category":5,"name":44,"updated_at":34},"canary-prompt","Канареечный промпт",{"slug":46,"category":5,"name":47,"updated_at":27},"ceiling-effect","Эффект потолка",{"slug":49,"category":5,"name":50,"updated_at":34},"champion-challenger","Чемпион–претендент (A\u002FB-тестирование моделей)",{"slug":52,"category":5,"name":53,"updated_at":34},"class-imbalance","Дисбаланс классов",{"slug":55,"category":5,"name":56,"updated_at":34},"continuous-batching","Continuous Batching (непрерывная пакетная обработка)",{"slug":58,"category":5,"name":59,"updated_at":27},"coverage-gap","Пробел в покрытии"]