Стратифицированная выборка

Стратифицированная выборка — это разделение совокупности на значимые группы и намеренный отбор из каждой, вместо того чтобы брать случаи наугад и надеяться, что состав получится полезным. Для оценочных наборов это обычно правильное умолчание, потому что чисто пропорциональная выборка забита тем, что встречается часто, а частое редко совпадает с тем, о чём вы беспокоитесь. Классификатор обращений, если набор повторяет трафик, будет измерен почти исключительно на рутинных вопросах, тогда как редкие категории, где ошибка дорога, попадут в него считаные разы и их оценки окажутся слишком неустойчивыми, чтобы их читать. Страты выбирают из того, о чём вы захотели бы принимать решение отдельно: сегмент клиента, язык, тип документа, длина запроса, сложность, категории вашей классификации отказов — что из этого спросит заинтересованная сторона. Затем из каждой берут столько, чтобы о ней можно было что-то сказать, а это обычно означает намеренное завышение доли редких. Ловушка приходит на этапе отчёта. Стратифицированный набор больше не картина трафика, поэтому общее среднее по нему описывает совокупность, которой не существует. Если нужна цифра, представляющая живое поведение, при объединении верните каждой страте её настоящий вес; если нужно знать, как система справляется с трудными случаями, отчитывайтесь по ним отдельно и говорите об этом. Повторяющаяся ошибка такая: набор собран тщательно, трудные категории по хорошим причинам взяты с избытком, а в сводку попадает невзвешенное среднее, где оно читается как общая оценка качества и заметно занижает систему. Записывайте страты и их размеры рядом с набором, а не в чьей-то голове. Через полгода эти числа будут сравнивать с новыми люди, которых при сборке не было, и набор с недокументированным составом приглашает ровно то неверное прочтение, что описано выше.