Что делать, когда ваша оценка и ваши пользователи расходятся

Ситуация

Оценка гоняется еженедельно, и число комфортное. Тем временем поддержка копит жалобы на ту же функцию, менеджер по работе с клиентом переслал три примера, а кто-то из руководителей начал фразу словами я попробовал сам и. Два источника свидетельств расходятся, и инстинкт в комнате — защищать тот, который защищать проще, то есть число: оно точное, повторяемое и у него есть график.

Это не текст про один плохой ответ и час после него — им занят материал о том, что делать, когда функция на основе ИИ ошиблась. И не про бизнес-метрику, неожиданно сдвинувшуюся, — это разбирает материал о том, как понять, действительно ли число сдвинулось. Здесь речь о стойком расхождении между офлайн-измерением и живым опытом, и относиться к нему стоит как к находке, а не к помехе: измеряется нечто, не совпадающее с тем, что людям важно, и это исправимая и вполне конкретная проблема.

Начните с допущения, что правы пользователи

Не из вежливости. Это более дешёвая гипотеза. Оценка — модель задачи, модели ошибаются перечислимыми способами, и список этих способов короток настолько, что его можно пройти за один вечер. Тогда как альтернативная гипотеза — что группа людей, ежедневно пользующихся продуктом, коллективно заблуждается о собственном опыте — дорога в проверке и почти никогда не верна в той форме, в какой её сначала произносят.

Проверки ниже упорядочены по тому, как часто они оказываются ответом, а не по тому, насколько они лестны.

Жалуются ли они на то, что вы измеряли?

Это самое частое разрешение и самое лёгкое, чтобы его пропустить. Прочитайте сами жалобы и запишите, о чём каждая. Очень часто шкала спрашивает, был ли ответ верным, а жалобы совсем о другом: слишком долго; тон не подходил ситуации; формат сломал процесс, куда ответ вставляли; ответили на более узкий вопрос, чем задавали; всё правильно, но бесполезно без контекста, который пользователю пришлось искать самому.

Любое из этого может неограниченно сосуществовать с высокой оценкой правильности, потому что в измерении ничто об этом не спрашивает. Лекарство — не спорить, а добавить недостающее в шкалу или поставить рядом второе измерение и публиковать оба.

Есть ли их случаи в наборе вообще?

Возьмите жалобы и поищите их эквиваленты в оценочном материале. Удивительно часто их там нет: жалующиеся пользователи находятся в сегменте, языке, отрасли или размерной группе, из которых набор никогда не собирали, либо они задействуют возможность, вышедшую уже после сборки набора.

Пробел такого рода никогда не выглядит как отказ. Систему просто не проверяют на этом материале, поэтому оценка остаётся высокой, ничего не говоря ровно о той аудитории, которая недовольна. Если ответ в этом, число не было неверным: оно отвечало на вопрос более узкий, чем кто-либо предполагал.

Согласен ли оценщик с людьми?

Возьмите горсть ответов, на которые жаловались пользователи, и прогоните их через подсчёт ровно так, как он работает в конвейере. Затем посмотрите, что он сказал. Если оценщик пропускает то, против чего человек явно возражал, проблема найдена, и она в измерении, а не в системе.

Так выходит по обычным причинам. Шкала, написанная рано, снисходительна к тому, что с тех пор стало важным. Шаг подсчёта проверяет наличие факта и не проверяет наличие выдуманного факта рядом с ним. Автоматический оценщик соглашается со всем уверенным и хорошо оформленным. Какова бы ни была причина, оценщик, расходящийся с вашими пользователями, не нейтральный прибор, и все исторические числа, им произведённые, наследуют ту же снисходительность.

Настоящая ли оценка?

Четыре быстрые проверки, каждая из которых в своё время объясняла весь разрыв целиком. Оценивает ли конвейер ту версию, которая действительно развёрнута, или ту, что была до последних правок? Не утекли ли оценочные случаи внутрь системы — как примеры в материале подсказки или сметённые в справочную коллекцию, — то есть измеряетесь ли вы по набору или подгоняетесь под него? Не упёрся ли набор в потолок, так что проходит всё и оценка потеряла способность двигаться? И насколько число гуляет, когда не меняется ничего: комфортная оценка, скачущая сильнее обсуждаемого разрыва, не доказывает ничего.

Сконцентрированы ли жалобы?

Проверьте, недовольство широкое или сидит в одном месте. Концентрация — не повод отмахнуться. Сегмент может составлять малую долю использования и при этом быть тем, который продлевает крупнейшие договоры, или тем, который говорит публично, или тем, где ошибка не раздражает, а дорого стоит.

Что концентрация действительно говорит — это как отчитываться дальше. Если у одной группы существенно другой опыт, среднее по всем будет продолжать его прятать, и честная подача — поставить число этой группы рядом с общим, а не сложить их вместе.

Что делать с ответом

Какая бы проверка ни разрешила спор, замыкайте круг одинаково: превратите жалобы в постоянные случаи набора, чтобы этот конкретный отказ не мог повториться незаметно для измерения. Обновите шкалу или добавьте второе измерение, на которое указывали жалобы. Отчитывайтесь по затронутому сегменту отдельно. И скажите вслух, один раз, что прежнее число измеряло нечто более узкое, чем все предполагали: тихая правка оставляет то же непонимание доступным следующему человеку, который откроет график.

Стоит записать и то, какая именно проверка разрешила спор, потому что тот же разрыв откроется снова по той же причине. Команда, однажды нашедшая пробел в покрытии, найдёт его снова, когда появится очередной сегмент или очередная возможность, а заметка о том, что мы сначала проверили покрытие и дело было в нём, превращает следующее расследование из вечера в десять минут.

Единственный ход, которого стоит избегать

Не разрешайте расхождение подгонкой измерения до согласия с оценкой. Поднять порог, выбросить трудную категорию из набора, перейти на метрику, которая случайно выглядит лучше, — всё это доступно и быстро, и каждое превращает решаемую проблему измерения в нерешаемую проблему доверия. Смысл оценки был в том, чтобы она была тем, что с вами спорит.