Как понять, действительно ли число сдвинулось

Проверки, которые идут раньше объяснения

Число сдвинулось, и в течение часа появляется история о том, почему. История обычно правдоподобна, иногда верна и почти никогда не проверена против более скучных возможностей: период не закончен, что-то поменялось в конвейере, календарь всё уже объясняет, состав внизу сместился — или эта цифра прыгает примерно настолько каждую неделю, просто раньше никто не смотрел.

Ниже — короткая последовательность проверок, которые стоит пройти до того, как на причины будет потрачена встреча. Это не про постановку эксперимента и не про то, справляется ли со своей работой ИИ-функция или агент: это отдельные вопросы со своими методами. Здесь всё начинается там, где начинается большинство недель: перед вами график и цифра, отличная от прошлой.

Спросите, закончился ли период

Самое частое призрачное падение — незакрытая корзина. События приходят с опозданием: очередь, переигранная ночью, партнёр, отчитывающийся раз в неделю, возвраты и расчёты, доезжающие через дни после продажи, офлайновый клиент, синхронизирующийся при подключении. Поэтому самый свежий день, неделя или месяц всегда самый лёгкий, и график, прочитанный в понедельник утром, показывает спад, который к среде заполнил себя сам.

Сначала спросите, за какое время именно эта цифра устаканивается, а потом сравнивайте подобное с подобным: полную неделю с полной неделей или неполный период с той же точкой внутри прежних периодов, а не с их итогами. Если срок дозревания никто не знает, установить его один раз стоит часа: это снимает ложную тревогу, которая иначе будет повторяться каждый месяц.

Спросите, что изменилось в конвейере

«Ничего не менялось» — это утверждение, а не факт, и код отслеживания лишь одно из мест, где число меняется без чьей-либо намеренной правки. Релиз передвинул кнопку, и событие срабатывает уже в другом месте. Фильтр, отсекавший внутренний трафик, перестал совпадать после смены домена. Поле выше по потоку переименовали, оно приходит пустым, и целый срез тихо схлопнулся в «неизвестно». Пришёл автоматический трафик, а классифицировать его нечем. С ростом объёма включилась выборка.

Загляните в журнал выкладок, в историю запусков самого конвейера и в последние правки определения метрики прежде, чем искать причину в бизнесе. Подсказка — форма: настоящее поведение обычно движется склоном или волной, а цифра, скакнувшая ровно на границе и ровно стоящая на новом уровне, куда чаще означает изменение сбора или определения, чем что-то сделанное клиентами.

Спросите, не объясняет ли это календарь

Изрядная часть движения — просто календарь. Будни и выходные ведут себя по-разному почти в любом продукте, поэтому неделя с государственным праздником несопоставима с предыдущей, а месяцы различаются числом рабочих дней. Биллинговые циклы стягивают продления и отмены на определённые даты, а общеотраслевые тихие недели двигают целые категории разом, и всё это не про вас.

Сравнивайте не только с прошлым периодом, но и с тем же периодом год назад, а если истории хватает, посмотрите на ту же неделю за несколько лет, прежде чем считать нынешний провал новостью. Остерегайтесь и обратной ошибки: сезонность — это то, что можно показать, а «в это время года всегда тихо» — гипотеза для проверки, а не готовый вывод.

Спросите, не сместился ли состав

Итог может двигаться, когда каждая его часть стоит на месте. Если быстрорастущий канал приводит людей, которые конвертируются хуже остальных, смешанная конверсия падает, хотя ни у кого ничего не ухудшилось, — и та же арифметика работает в обратную сторону, приукрашивая цифру всякий раз, когда растёт сильный сегмент. Любое среднее по меняющейся совокупности движется по причинам, никак не связанным с качеством.

Проверка в том, чтобы разложить цифру по двум-трём измерениям, которые вероятнее всего смещаются, — канал, тариф, регион, устройство, возраст клиента, — и читать доли вместе с весами. Когда все сегменты идут в одну сторону, а итог в другую, ответ — состав, и честный отчёт это сегменты вместе с их размерами, а не один заголовочный показатель.

Спросите, больше ли это обычного колебания

У каждого числа есть нормальная величина шатания, и большинство команд свою никогда не измеряли. Оглянитесь на недавний отрезок, когда, насколько всем известно, ничего не происходило, и посмотрите, насколько цифра всё равно гуляла от недели к неделе. Этот размах и есть планка, которую движение этой недели обязано взять, прежде чем оно вообще что-то значит.

Сильнее всего это кусается при малых знаменателях. Доля, посчитанная на нескольких десятках случаев, гуляет на несколько пунктов от одного-двух событий; поэтому недельные цифры по узкому сегменту выглядят драматично и затем отыгрывают себя обратно. Редкие исходы и средние, которые тянет горстка крупных аккаунтов, ведут себя так же. Когда знаменатель мал, либо расширьте окно, либо публикуйте количество рядом с долей, чтобы читатель видел, из чего сделан процент.

И только потом спрашивайте о причине

Движение, пережившее эти проверки, реально — но это не то же самое, что объяснено. В том же окне случилось сразу несколько вещей: кампания, изменение цен, авария у конкурента, упоминание где-то, релиз, который никто не связывал с этой метрикой, — и выбирать между ними по тому, чья команда как раз выкатывалась, есть слабейшее из доступных доказательств.

Сильнейшее доказательство, какое у вас скорее всего есть, — группа, не получившая изменения: поэтапная выкатка, где остаток служит контролем, придержанный регион, набор аккаунтов, оставленный вне кампании. Если такой группы нет, скажите это прямо в формулировке. «Выручка выросла после запуска» — факт; «запуск поднял выручку» — заявление, требующее сравнения, которого вы не делали. Написать более слабую фразу не стоит ничего и не даёт ложному уроку применяться потом целый год.

Запишите, к чему пришли

Каким бы ни был ответ, запишите его рядом с метрикой: дата, движение, что проверяли, чем это оказалось. Следующим тот же провал замечает чаще всего тот же человек несколько месяцев спустя, и альтернатива заметке — заново проходить всю последовательность по памяти.

Заметки к тому же складываются во что-то полезнее любой из них по отдельности: в картину того, как эта цифра ведёт себя обычно, какие причины повторяются и какие уверенные объяснения позже оказались неверными. Команды, которые их ведут, перестают вести один и тот же спор каждый квартал и быстрее замечают движения, действительно новые.