[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-error-analysis::ru":3,"gloss-cluster-error-analysis::ru":23,"gloss-next-error-analysis::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"error-analysis","mlops","Разбор ошибок","Разбор ошибок — это практика читать отдельные отказы и группировать их, вместо того чтобы читать оценку. Оценка отвечает на вопрос сколько; разбор отвечает на вопрос что, и только второй говорит, что строить дальше. Метод невзрачен. Выньте случаи, где система ошиблась, возьмите несколько десятков, прочитайте каждый и запишите короткую фразу о том, что на самом деле пошло не так, — не отметку, а причину. Потом разложите фразы по группам и посчитайте. Почти всегда выясняется, что небольшое число различных проблем даёт большую часть отказов и что это не те проблемы, которые команда обсуждала. Шаг извлечения не вернул ничего полезного для целого класса вопросов. Система ответила не на тот вопрос, который задавали. Ответ был верным, но в формате, который отверг следующий шаг. Это четыре разные работы с четырьмя разными владельцами, и сводная оценка не содержала ничего из этого. Чтобы делать это хорошо, нужна дисциплина в нескольких местах. Берите выборку, а не выбирайте вручную: запоминающиеся отказы редко бывают частыми. Читайте вход, а не только выход: удивительная доля ошибок оказывается случаями, на которые в такой постановке ответить было нельзя. Держите заметки в файле, а не в совещании, чтобы второй заход можно было сравнить с первым. И повторяйте разбор после исправления, а не доверяйте подтверждение оценке: оценка может вырасти, тогда как выбранная вами группа осталась нетронутой, а тихо сжалась другая. Результат хорошей сессии — упорядоченный список причин, у каждой из которых есть счёт и имя, и это сырьё и для списка задач, и для классификации. Это ещё и самый дешёвый способ обнаружить, что система отказывает бесшумно. Сводные оценки считаются по случаям, которые дали ответ; те, что упали по тайм-ауту, вернули пустоту или были отброшены до подсчёта, часто вообще отсутствуют в знаменателе, и замечает это обычно тот, кто читает выборку сырых прогонов, а не таблицу результатов.","Разбор ошибок читает отказы по одному и группирует их. Почему оценка говорит сколько, а что говорит только он.",null,[11,14,17,20],{"slug":12,"name":13},"eval-harness","Испытательный стенд оценки (Eval Harness)",{"slug":15,"name":16},"offline-evaluation","Офлайн-оценка",{"slug":18,"name":19},"precision-and-recall","Точность и полнота",{"slug":21,"name":22},"silent-failure","Тихий отказ (Silent Failure)",[24,28,31,35,38,41,44,47,50,53,56,59],{"slug":25,"category":5,"name":26,"updated_at":27},"acceptance-threshold","Порог приёмки","2026-09-10T03:30:02+00:00",{"slug":29,"category":5,"name":30,"updated_at":27},"adjudication","Разрешение разногласий",{"slug":32,"category":5,"name":33,"updated_at":34},"annotation-guidelines","Инструкции по разметке","2026-09-08T21:32:36+00:00",{"slug":36,"category":5,"name":37,"updated_at":34},"baseline-model","Базовая модель (baseline)",{"slug":39,"category":5,"name":40,"updated_at":34},"batch-inference","Батч-инференс",{"slug":42,"category":5,"name":43,"updated_at":27},"blind-evaluation","Слепая оценка",{"slug":45,"category":5,"name":46,"updated_at":34},"canary-prompt","Канареечный промпт",{"slug":48,"category":5,"name":49,"updated_at":27},"ceiling-effect","Эффект потолка",{"slug":51,"category":5,"name":52,"updated_at":34},"champion-challenger","Чемпион–претендент (A\u002FB-тестирование моделей)",{"slug":54,"category":5,"name":55,"updated_at":34},"class-imbalance","Дисбаланс классов",{"slug":57,"category":5,"name":58,"updated_at":34},"continuous-batching","Continuous Batching (непрерывная пакетная обработка)",{"slug":60,"category":5,"name":61,"updated_at":27},"coverage-gap","Пробел в покрытии"]