Перцентиль

Перцентиль — значение, ниже которого лежит заданная доля ваших измерений: медиана, которую пишут как p50, — это значение, под которым находится половина, а p95 — то, под которым находятся девяносто пять процентов. Перцентили важны потому, что средние прячут форму распределения, а для всего, чего пользователь ждёт, форма и есть опыт. Страница с комфортным средним временем ответа всё равно может быть медленной для заметного меньшинства запросов, и сколько ни смотри на среднее, это не проявится: небольшое число очень медленных ответов почти не двигает среднее, посчитанное по множеству быстрых. Медиана говорит, как выглядит типичный запрос; верхние перцентили — как выглядит худшая часть опыта и сколько людей в ней живёт. Это касается далеко не только задержки. Время первого ответа в поддержке, длительность онбординга, длина сгенерированного ответа, стоимость отдельного запроса к модели — у всего этого длинные хвосты, и всякий раз среднее описывает запрос, которого может не существовать. Стоит держать в уме две оговорки. Перцентили не складываются и не усредняются между сервисами: соединив p95 трёх компонентов, вы узнаете очень мало о p95 пути через все три, и дашборд по каждому сервису может выглядеть здоровым, пока сквозной опыт таковым не является. И перцентиль, посчитанный на длинном окне, сглаживает ровно тот инцидент, который вы искали, — значит, окно является частью числа, а не настройкой отображения. Показывайте медиану и верхний перцентиль вместе и называйте окно в подписи: перцентиль, названный без окна, — не измерение. Напоследок стоит сказать, что перцентили описывают запросы, а не людей. Один пользователь, раз за разом попадающий на медленный путь, и сто пользователей, попавших туда по разу, дают одинаковый p99 и представляют совершенно разные проблемы, поэтому хвост, ради которого стоит что-то менять, обычно требует второго взгляда на то, кто внутри него.