Как описать метрику так, чтобы две команды получили одно число

Спор идёт об определении, а не о данных

Два человека открывают две панели, обе честно построены на одном и том же хранилище, и называют разные числа за одну и ту же неделю. Никто ничего не сломал. События сработали, конвейер отработал, оба запроса верны. Они считают разные вещи и называют их одним словом, а следующая за этим встреча уходит на сверку арифметики вместо решения.

Этот материал о том, как записать определение, чтобы так больше не выходило. Он не об инструментировании — где срабатывают события, что должно быть в плане отслеживания, какой инструмент их собирает — и не о выборе того, какие метрики компании вообще стоит считать важными. Считайте, что данные приходят и что кто-то уже решил: это число имеет значение. Работа здесь в том, чтобы сказать, что именно оно такое.

Начните со знаменателя

Большинство метрик, вызывающих споры, — это отношения, и почти всё несогласие живёт под чертой. Конверсия, посчитанная на визиты, на людей, на людей, дошедших до нужной страницы, и на людей, имевших право купить, — четыре разных числа, и каждое из них защитимо. Незащитимо оставить это невысказанным: каждый читатель молча заполнит пробел тем знаменателем, который выбрал бы сам.

Сначала опишите совокупность — фразой, которую человек со стороны применит без уточняющего вопроса. Потом опишите, что внутри неё считается. Порядок важен: команды, начинающие с числителя, склонны определять знаменатель как то место, откуда числитель и взялся, — так и появляется доля, посчитанная по той самой группе, которую числитель и отобрал, и потому никогда не падающая.

Решите, что считается одной штукой

Любому счёту нужна единица и правило схлопывания повторов. Человек, зарегистрировавшийся дважды с двух адресов, — это один клиент или два? Если разговор с поддержкой перешёл во второй канал, это одно обращение или два? Человек с тремя устройствами считается один раз? Всё это звучит как краевые случаи ровно до того момента, когда кто-нибудь измерит их долю в общем итоге.

Двойной счёт редко приходит ошибкой в запросе. Он приходит, когда складывают два источника — приложение и сайт, самообслуживание и продажи с менеджером, два региона, каждый из которых считает своим одного и того же международного клиента, — и пересечение слишком мало, чтобы броситься в глаза, и достаточно велико, чтобы изменить решение. Если число — сумма по источникам, определение обязано сказать, как обработано пересечение, даже когда честный ответ: пока никак.

Зафиксируйте часы

Дата — не одна вещь. У события есть момент, когда оно произошло, момент, когда оно дошло до ваших систем, и момент, когда строка была записана или последний раз обновлена; отчёты, построенные на каждом из них, будут расходиться. Заметнее всего они расходятся на границах — а именно там читают месяцы и кварталы и там же судят о целях. Скажите, какую отметку времени берёт метрика, и так, чтобы это пережило пересборку таблицы.

Скажите и про часовой пояс, выбрав один на всю компанию, а не позволяя каждому отчёту следовать поясу читателя. А там, где одно событие относят к более раннему — покупку к кампании, продление к когорте онбординга, — длина этого окна есть часть определения, а не настройка внутри инструмента, который выполняет расчёт.

Скажите, когда число становится окончательным

Почти никакая цифра не полна в день своего появления. Платежи проводятся, возвраты доезжают, очередь копится за ночь, партнёр отчитывается раз в неделю, офлайновый клиент синхронизируется при подключении. Поэтому самая свежая корзина любого графика всегда самая лёгкая, и команда, читающая панель каждое утро, будет снова и снова видеть спад, который есть лишь форма прибытия данных.

Определение должно нести зрелость: через какое время после закрытия периода цифра перестаёт шевелиться и насколько глубоко в прошлое ожидается более поздняя правка. И показывайте незавершённый период как незавершённый, а не обрезайте с графика — привычный обходной путь, убирающий ровно те дни, о которых спрашивают.

Назовите исключения, потому что спор именно о них

Любая настоящая метрика что-то исключает: внутренние аккаунты, тестовые данные, автоматический трафик, сотрудников, песочницы, возвраты и оспоренные платежи, отменённые заказы, одного огромного клиента, поведение которого перекрывает всех остальных. Эти решения обычно принимает один раз тот, кто писал первую версию запроса, а затем их годами молча наследуют люди, не знавшие, что решение принималось.

Перечислите их явно и держите перечень там, где читают число. Читатель, знающий, что осталось за скобками, способен судить, отвечает ли цифра на его вопрос; читатель, не знающий этого, предполагает, что охвачено всё, — и это предположение всегда щедрее правды. То же касается выборки: если цифра считается по части данных, а не по всем, это относится к определению, а не к всплывающей подсказке.

Дайте ей одного владельца и способ меняться

Определение без владельца — это определение, которое разветвляется. Назначьте человека, отвечающего за каждую ключевую метрику, — не комитет и не аналитика, к кому попала заявка, — и сделайте изменение его решением. А потом заранее договоритесь, что происходит с историей при изменении, потому что сложная часть редко в самом изменении.

Пересчитать число задним числом законно и часто правильно; сделать это молча — вот что стоит вам доверия зала. Если исправленное определение сдвигает цифру прошлого квартала, опубликуйте обе и скажите, что изменилось. Ведите датированный журнал каждой правки каждой ключевой метрики. Вести его — минуты, а отвечает он на вопрос, который иначе съедает половину дня: сдвинулось число или сдвинулось определение.

Положите определение туда, где лежит число

Определение, живущее в документе, который никто не открывает, работу не делает. Прикрепите его к графику: одна фраза, несущая совокупность, предмет счёта, часы, исключения и владельца, видимая рядом с цифрой, которую описывает. Если инструменты позволяют описать метрику один раз и переиспользовать — тем лучше: чем ближе определение к запросу, тем меньше возможностей реализовать его чуть-чуть иначе.

Проверку того, сработало ли всё это, стоит действительно провести. Попросите двух человек из разных команд независимо получить одно и то же число, опираясь только на определение. Совпало — у вас есть определение. Не совпало — вы нашли, где оно двусмысленно, а обнаружить это в упражнении заметно дешевле, чем на встрече, где от него зависело решение.