Прокси-метрика

Прокси-метрика — это то, что можно посчитать, поставленное вместо того, что важно, но подсчёту не поддаётся. Никто не умеет инструментировать утверждение «клиент получил ценность на этой неделе», поэтому продукт считает недельные активные аккаунты, созданные документы или запущенные отчёты. Инструмент поддержки считает закрытые сессии, потому что не видит, действительно ли проблема человека исчезла. Такая подмена неизбежна и обычно разумна; ошибка в том, чтобы забыть о ней и спорить о прокси так, будто это и есть сам предмет. У любой прокси-метрики есть зазор между тем, что она считает, и тем, что представляет, и большинство споров вокруг дашборда — это на самом деле споры об этом зазоре. Если относиться к прокси как к гипотезе, с ней можно работать, потому что гипотезы проверяемы. Утверждение звучит так: движение считаемой величины означает движение того, что действительно важно. Проверить его можно один раз и дорого — против чего-то более медленного и прямого: интервью, результаты продления у аккаунтов с высоким и низким значением прокси, опрос, заданный обеим группам. Результат не вечен. Прокси откалибрована под конкретную версию продукта, и редизайн способен разорвать связь, не изменив ни строки кода трекинга: метрика запущенных отчётов перестаёт означать вовлечённость на той неделе, когда отчёты начинают запускаться по расписанию. Честной прокси делают две привычки. Отчитывайтесь по ней под её собственным именем, а не под именем исхода, чтобы «созданные документы» не превращались тихо в «ценность для клиента» на слайде. И если прокси стала целью, ждите, что она износится быстрее: мера под давлением теряет связь с предметом раньше, чем мера, за которой просто наблюдают. Полезно сразу записать и то, чего прокси заведомо не видит: в день решения этот список очевиден, а через год невидим — те, кто помнил оговорку, ушли в другие команды, а цифра успела обрасти авторитетом долгого употребления.