Человеческий ориентир

Человеческий ориентир — это результат, который люди показывают на том же оценочном наборе, по тем же инструкциям и тем же правилам подсчёта, что и измеряемая система. Он нужен потому, что изолированная оценка не поддаётся истолкованию. Результат, звучащий посредственно, может быть близок к лучшему, что вообще достижимо в по-настоящему неоднозначной задаче; результат, звучащий сильно, может быть заметно ниже того, что обученный человек делает за минуту. Без сравнения понять, в какой вы ситуации, невозможно, и спор о том, достаточно ли система хороша, идёт на интуиции. Измерять его правильно — значит дать людям те же условия, а не лучшие. Те же случаи, те же инструкции, то же давление времени и подсчёт по тому же правилу, включая неудобную часть: человеческий ответ оценивается тем же оценщиком, каким вы оцениваете систему, чтобы оба были подвержены одним и тем же странностям. Стоит измерить и больше одного человека: разброс между людьми часто шире, чем обсуждаемый вами разрыв, а оценка одного эксперта — это точка данных, а не ориентир. Две оговорки. Ориентир описывает результат на этом наборе и по этим инструкциям, а не человеческие способности вообще, и цитирование его как второго — способ превратить скромное измерение в раздутое заявление. И система, сравнявшаяся с человеческим числом, не становится поэтому заменой: ошибки будут распределены иначе. Люди чаще ошибаются на скучном и сделанном впопыхах, системы — на необычном и недоопределённом, и похожее среднее может прятать то, что одна из сторон отказывает ровно там, где отказ дороже всего. Одного измерения тоже мало, если набор меняется. Ориентир принадлежит конкретной версии оценочного материала, и сравнение оценки системы за этот квартал с человеческим числом, полученным на прошлогодних случаях, — это сравнение двух разных задач под одним именем.