[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-stratified-sampling::ru":3,"gloss-cluster-stratified-sampling::ru":23,"gloss-next-stratified-sampling::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"stratified-sampling","mlops","Стратифицированная выборка","Стратифицированная выборка — это разделение совокупности на значимые группы и намеренный отбор из каждой, вместо того чтобы брать случаи наугад и надеяться, что состав получится полезным. Для оценочных наборов это обычно правильное умолчание, потому что чисто пропорциональная выборка забита тем, что встречается часто, а частое редко совпадает с тем, о чём вы беспокоитесь. Классификатор обращений, если набор повторяет трафик, будет измерен почти исключительно на рутинных вопросах, тогда как редкие категории, где ошибка дорога, попадут в него считаные разы и их оценки окажутся слишком неустойчивыми, чтобы их читать. Страты выбирают из того, о чём вы захотели бы принимать решение отдельно: сегмент клиента, язык, тип документа, длина запроса, сложность, категории вашей классификации отказов — что из этого спросит заинтересованная сторона. Затем из каждой берут столько, чтобы о ней можно было что-то сказать, а это обычно означает намеренное завышение доли редких. Ловушка приходит на этапе отчёта. Стратифицированный набор больше не картина трафика, поэтому общее среднее по нему описывает совокупность, которой не существует. Если нужна цифра, представляющая живое поведение, при объединении верните каждой страте её настоящий вес; если нужно знать, как система справляется с трудными случаями, отчитывайтесь по ним отдельно и говорите об этом. Повторяющаяся ошибка такая: набор собран тщательно, трудные категории по хорошим причинам взяты с избытком, а в сводку попадает невзвешенное среднее, где оно читается как общая оценка качества и заметно занижает систему. Записывайте страты и их размеры рядом с набором, а не в чьей-то голове. Через полгода эти числа будут сравнивать с новыми люди, которых при сборке не было, и набор с недокументированным составом приглашает ровно то неверное прочтение, что описано выше.","Стратифицированная выборка берёт из значимых групп, а не повторяет трафик. Зачем это оценочным наборам и почему среднее потом обманывает.",null,[11,14,17,20],{"slug":12,"name":13},"class-imbalance","Дисбаланс классов",{"slug":15,"name":16},"data-sampling","Сэмплирование данных",{"slug":18,"name":19},"golden-dataset","Золотой датасет",{"slug":21,"name":22},"survivorship-bias","Ошибка выжившего",[24,28,31,35,38,41,44,47,50,53,54,57],{"slug":25,"category":5,"name":26,"updated_at":27},"acceptance-threshold","Порог приёмки","2026-09-10T03:30:02+00:00",{"slug":29,"category":5,"name":30,"updated_at":27},"adjudication","Разрешение разногласий",{"slug":32,"category":5,"name":33,"updated_at":34},"annotation-guidelines","Инструкции по разметке","2026-09-08T21:32:36+00:00",{"slug":36,"category":5,"name":37,"updated_at":34},"baseline-model","Базовая модель (baseline)",{"slug":39,"category":5,"name":40,"updated_at":34},"batch-inference","Батч-инференс",{"slug":42,"category":5,"name":43,"updated_at":27},"blind-evaluation","Слепая оценка",{"slug":45,"category":5,"name":46,"updated_at":34},"canary-prompt","Канареечный промпт",{"slug":48,"category":5,"name":49,"updated_at":27},"ceiling-effect","Эффект потолка",{"slug":51,"category":5,"name":52,"updated_at":34},"champion-challenger","Чемпион–претендент (A\u002FB-тестирование моделей)",{"slug":12,"category":5,"name":13,"updated_at":34},{"slug":55,"category":5,"name":56,"updated_at":34},"continuous-batching","Continuous Batching (непрерывная пакетная обработка)",{"slug":58,"category":5,"name":59,"updated_at":27},"coverage-gap","Пробел в покрытии"]