Ошибка выжившего

Ошибка выжившего возникает тогда, когда измеренная вами группа — это та, что осталась. В продуктовой отчётности это самая обыденная ошибка и самая трудноразличимая, потому что ушедшие аккаунты не оставляют ни одной строки в таблице, на которую вы смотрите. Оценку удовлетворённости, собранную внутри продукта, ставят те, кто продуктом ещё пользуется. Исследование о том, какие шаги онбординга предсказывают успех, проводят по аккаунтам, которые онбординг завершили. Использование функции выглядит здоровым, потому что клиенты, для которых она оказалась бесполезной, перестали её открывать, затем перестали платить и унесли свои нули из среднего вместе с собой. Каждый раз цифра арифметически верна и описывает группу, отобранную ровно тем исходом, который вы пытаетесь объяснить. Признак один: вывод всегда лестный. Оставшиеся довольны, оставшиеся пользовались функцией, оставшиеся прошли сценарий. Если у наблюдения вовсе нет несчастливого хвоста, хвост, скорее всего, ушёл, а не отсутствовал. Лечение сводится к тому, чтобы настаивать на том знаменателе, который вы имели в виду. Опирайте анализ на когорту в том виде, в каком она была на старте, — все, кто зарегистрировался в том месяце, включая исчезнувшие аккаунты, — а не на тех, кто присутствует сегодня; тогда отток проявляется как результат, а не как пустота. Спрашивайте, куда делись ушедшие, тем же запросом, которым отчитываетесь по оставшимся. Замеряйте недовольство за пределами продукта, где ушедших ещё можно достать: опрос внутри приложения не дотянется до них по своему устройству. И относитесь с недоверием к любому сравнению давних аккаунтов с новыми, потому что стаж — не воздействие: старые аккаунты стары отчасти потому, что это те, кому продукт подошёл. Та же форма проявляется в конкурентном анализе, где изучить можно тех поставщиков и те функции, что дожили до сегодняшнего дня, и в любой внутренней ретроспективе, разбирающей выпущенные проекты без тех, что свернули на полпути. Ни то ни другое не повод перестать смотреть; и то и другое — повод вслух назвать группу, которую вывод описывает.