Парадокс Симпсона

Парадокс Симпсона — это ситуация, когда тенденция выполняется в каждом сегменте данных и меняется на противоположную при их объединении. Конверсия выросла у самостоятельных регистраций и выросла у корпоративных, а суммарная конверсия упала, потому что за тот же период самостоятельные регистрации росли гораздо быстрее, а конвертируются они хуже. В этом предложении нет ошибки: оба прочтения арифметически верны. Итоговую цифру сдвинул состав аудитории, а не поведение кого-либо внутри неё. Назвать это стоит потому, что бытовая версия встречается куда чаще учебного разворота. Обычно состав просто смещается достаточно, чтобы сдвинуть агрегат, и движение приписывают продуктовому изменению или кампании, которые тут ни при чём. Средняя выручка на аккаунт падает после удачного месяца привлечения на младший тариф. Удовлетворённость поддержкой снижается после выхода на рынок с другими ожиданиями. Задержка растёт после подключения одного крупного клиента с более тяжёлыми нагрузками. Каждое выглядит как регресс и является изменением того, кого усредняют. Привычки, которые это ловят, недороги. Прежде чем объяснять движение сводной цифры, постройте ту же метрику в разрезе тех измерений, чей вес мог измениться, — тариф, канал, регион, стаж, устройство — и проверьте, двигались ли сегменты вообще. Показывайте состав рядом с метрикой, чтобы сдвиг знаменателя был виден на том же графике, а не обнаруживался в споре. И считайте любой агрегат, объединяющий аудитории, которыми вы никогда не управляли бы одинаково, удобством отчётности, а не фактом о продукте. Стоит остерегаться и обратной ошибки: если дробить цифру достаточно долго, рано или поздно найдётся сегмент, сдвинувшийся в желаемую сторону, — поэтому решение о том, какие разрезы проверять, принимается до выгрузки данных, а не после того, как первый разрез разочаровал.