Слепая оценка

Слепая оценка означает, что человек или процесс, выставляющий оценку выходу, не знает, какая система его произвела. Это самая дешёвая доступная поправка на смещение, которое крайне устойчиво и почти полностью бессознательно: выход, про который известно, что он от нового подхода, читают щедрее, чем тот же выход, приписанный старому, особенно если читающий две недели строил новый подход. Эффект не требует нечестности и не исчезает, когда людей о нём предупредили. Ослепление в основном механическое. Снимите с выходов подписи, перемешайте порядок, чтобы одна система не оказывалась всё время первой, и убедитесь, что источник не выдаёт форматирование: характерное начало ответа, длина, которую даёт только одна система, забытая пометка в тексте. Там, где два выхода сравнивают рядом, случайным образом меняйте, какой из них слева: существует измеримое предпочтение позиции, не связанное с качеством. Там, где оценщиком служит модель, дисциплина та же: подавайте кандидатов в случайном порядке и не сообщайте, который из них действующий. Кроме имени системы стоит ослепить ещё несколько вещей. Команду, из которой пришёл выход, когда соревнуются несколько. Был ли этот случай тем, на котором система раньше ошибалась, поскольку знание об этом смещает внимание. И, где это удаётся устроить, личность клиента или аккаунта, которая иначе привносит собственные ожидания. Ничего дорогого здесь нет, а обычная причина пропустить всё это — ощущение, что результат заранее очевиден, то есть ровно то условие, при котором смещение работает сильнее всего. Одна оговорка: ослепление защищает сравнение, а не планку. Если снисходительна сама шкала оценивания, слепой подсчёт применит эту снисходительность ко всему одинаково, и обе системы будут выглядеть лучше, чем они есть. Слепая оценка говорит, что предпочтительнее, но не говорит, достаточно ли хороша хоть одна из них.