Инкрементальность

Инкрементальность — это доля результата, которого без измеряемого воздействия не случилось бы. Именно на этот вопрос атрибуция ответить не может: отчёт, записывающий каналу тысячу регистраций, говорит вам, что эти люди коснулись канала по дороге, а не что канал стал причиной их прихода. Часть из них шла и так. Разрыв между «записано» и «вызвано» обычно велик и максимален ровно там, где атрибуция выглядит лучше всего: каналы, перехватывающие человека близко к моменту покупки, — брендовый поиск, ретаргетинг, письмо со скидкой активному пользователю — чаще всего собирают заслуги за спрос, который уже существовал. Для измерения нужна группа сравнения, не получившая воздействия; именно это отличает тест на инкрементальность от отчёта. Там, где можно рандомизировать на уровне пользователя, обычный контролируемый эксперимент отвечает на вопрос напрямую. Там, где нельзя — потому что решает рекламная платформа или потому что воздействие представляет собой охватную кампанию на целые рынки, — стандартные схемы работают крупнее: одни регионы держат вне кампании, пока сопоставимые её получают, либо расход выключают и включают чередующимися периодами и сравнивают с прогнозом, который дают предыдущие периоды. Обе схемы грубы, обеим нужна действительно сопоставимая контрольная группа, и обе стоят реальных денег, пока идут; это честная причина их редкости. Разумная позиция соразмерна. Тест на инкрементальность не нужен для каждой строки расходов, но для самых крупных строк он должен быть проведён хотя бы раз: канал, который под атрибуцией выглядит эффективным, а на деле в основном собирает уже существующий спрос, — самая дорогая ошибка в бюджете. Стоит прямо сказать, что нулевой результат здесь — тоже результат. Тест, который не может отличить группу воздействия от контрольной, сообщил вам дорогую и полезную вещь, а типичная ошибка — перезапускать его со всё меньшей контрольной группой, пока разница не появится снова.