Эффект новизны

Эффект новизны — это временный подъём метрики оттого, что изменение новое, а не оттого, что оно лучше. Действующие пользователи замечают, что что-то сдвинулось, кликают, чтобы понять, что это, и показатель растёт неделю. Поведение настоящее, измерение настоящее, а вывод из него неверный, потому что измерили внимание к отличию, а не пользу от функции. Зеркальное отражение эффекта — сопротивление изменению, иногда его называют эффектом первичности: аудиторию с устоявшимися привычками любая перестановка временно замедляет, поэтому подлинное улучшение читается как ухудшение ровно столько, сколько люди заново учатся, где что лежит. Вместе это значит, что короткий тест на зрелом продукте может быть смещён в любую сторону, и ни одно из смещений не видно в главной цифре. Обнаружение — это в основном время и когорты. Стройте эффект по дням с момента показа, а не усредняйте по всему периоду: эффект новизны затухает к нулю, а устойчивое улучшение держит примерно ровный разрыв. Разделите результат на тех, кто никогда не видел старую версию, и тех, кто видел: у новой когорты нет старой привычки, которую нужно разучивать или к которой можно испытывать любопытство, поэтому она оценивает установившийся эффект куда лучше общего среднего. И если изменение достаточно велико, держите эксперимент открытым дольше момента статистической значимости, потому что значимость отвечает на вопрос, существует ли эффект, и ничего не говорит о том, сохранится ли он. Честное ограничение в том, что разделение стоит недель, которые команда обычно тратить не хочет, — поэтому эффект чаще называют после запуска, чем до него.