[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-annotation-guidelines::ru":3,"gloss-cluster-annotation-guidelines::ru":26,"gloss-next-annotation-guidelines::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"annotation-guidelines","mlops","Инструкции по разметке","Инструкции по разметке — это письменные правила, объясняющие людям, как размечать данные: что означает каждая метка, как обходиться со случаями между метками и что делать, когда верный ответ действительно неочевиден. Это самый неяркий артефакт в проекте машинного обучения и один из самых рычажных, потому что все дальнейшие числа наследуют ту согласованность, которую он обеспечил.\n\nВажны они потому, что разметка — это суждение, а суждение без опоры расходится. Двое внимательных людей, получив одно и то же неоднозначное обращение и вопрос, жалоба ли это, разойдутся во мнениях — не по небрежности, а потому что слово значит для каждого чуть своё. Если инструкция это не разрешает, разногласие записывается в датасет как сигнал, обученная модель воспроизводит ту же двусмысленность, а оценочный набор несёт тот же шум, так что проблема не всплывает нигде.\n\nХорошие инструкции строятся из разногласий, а не из первых принципов. Продуктивный цикл такой: написать короткий черновик, дать нескольким людям разметить одну и ту же небольшую партию независимо, измерить, где они разошлись, и тратить силы исключительно на те границы, которые дали расхождение. Абстрактные определения помогают редко; пара почти одинаковых примеров с разными правильными метками и одно предложение объяснения стоят нескольких абзацев определений.\n\nНесколько вещей нужны в любой инструкции. Порядок принятия решения, чтобы при двух подходящих метках существовало заявленное старшинство. Явная опция для случаев, которые разметить нельзя, потому что принуждение к выбору производит шум и прячет неполноту таксономии. Указание, сколько контекста читать — всю переписку или только сообщение, — иначе разметчики молча решают по-разному. И правило для неясного случая: его следует эскалировать, а не угадывать.\n\nИнструкции дрейфуют, и версионировать их не опция. Когда правило меняется, метки, созданные по старой и по новой версии, перестают быть одним и тем же измерением, и сравнение оценочных прогонов через эту границу даёт изменение, которого никто не вносил. Фиксируйте, под какой версией сделана каждая метка, а при существенной смене правила переразмечайте затронутый срез, а не смешивайте два.\n\nУ этого документа появилась вторая жизнь. Когда судьёй выступает модель, выданная ей рубрика — это та же инструкция по разметке с другим читателем, и ломается она по тем же причинам: расплывчатые критерии, нет порядка разрешения ничьей, нет права воздержаться. Хорошо написанная человеческая инструкция — самый дешёвый путь к пригодному автоматическому судье, а человеческие метки, сделанные по ней, — единственный убедительный способ проверить, согласен ли этот судья хоть с кем-нибудь.","Инструкции по разметке — это записанные правила, делающие разметку согласованной между людьми. Без них разногласие попадает в датасет так, будто это сигнал.",null,[11,14,17,20,23],{"slug":12,"name":13},"data-labeling","Разметка данных",{"slug":15,"name":16},"golden-dataset","Золотой датасет",{"slug":18,"name":19},"inter-annotator-agreement","Согласие между разметчиками",{"slug":21,"name":22},"llm-as-judge","LLM в роли судьи (LLM-as-Judge)",{"slug":24,"name":25},"rubric-prompting","Rubric Prompting",[27,31,34,37,41,44,47,50,51,54,57,60],{"slug":28,"category":5,"name":29,"updated_at":30},"baseline-model","Базовая модель (baseline)","2026-08-24T02:46:38+00:00",{"slug":32,"category":5,"name":33,"updated_at":30},"batch-inference","Батч-инференс",{"slug":35,"category":5,"name":36,"updated_at":30},"canary-prompt","Канареечный промпт",{"slug":38,"category":5,"name":39,"updated_at":40},"champion-challenger","Чемпион–претендент (A\u002FB-тестирование моделей)","2026-08-24T02:46:37+00:00",{"slug":42,"category":5,"name":43,"updated_at":30},"class-imbalance","Дисбаланс классов",{"slug":45,"category":5,"name":46,"updated_at":30},"continuous-batching","Continuous Batching (непрерывная пакетная обработка)",{"slug":48,"category":5,"name":49,"updated_at":30},"cross-validation","Перекрёстная проверка",{"slug":12,"category":5,"name":13,"updated_at":30},{"slug":52,"category":5,"name":53,"updated_at":40},"drift-detection","Обнаружение дрейфа (Drift Detection)",{"slug":55,"category":5,"name":56,"updated_at":40},"eval-harness","Испытательный стенд оценки (Eval Harness)",{"slug":58,"category":5,"name":59,"updated_at":40},"experiment-tracking","Трекинг экспериментов (Experiment Tracking)",{"slug":61,"category":5,"name":62,"updated_at":30},"explainability","Объяснимость"]