Перплексия (Perplexity)

Перплексия измеряет, насколько хорошо языковая модель предсказывает образец текста: это экспонента среднего отрицательного лог-правдоподобия на токен, интуитивно — число вариантов, между которыми модель «колеблется» на каждом шаге. Перплексия 1 означает идеальное предсказание; 20 — что модель в среднем не увереннее равновероятного выбора из 20 токенов. Чем ниже, тем лучше. Это рабочая метрика языкового моделирования ещё с эпохи n-грамм, и она по-прежнему хорошо отслеживает прогресс предобучения и ущерб от квантизации: сжатая модель, чья перплексия почти не сдвинулась, скорее всего уцелела. Но границы важны: значения перплексии сравнимы только между моделями с одним токенизатором, а низкая перплексия не гарантирует следования инструкциям, фактической точности или полезности — поэтому оценка моделей чат-эпохи опирается на бенчмарки и сравнения с судьёй-человеком или LLM. Не путать с Perplexity AI — продуктом-поисковиком ответов. По-настоящему своё место перплексия занимает не на продуктовом дашборде, а внутри исследовательского и тренировочного цикла: отслеживание кривых потерь при предобучении, сравнение чекпоинтов и — самое полезное для разработчиков — проверка того, не навредил ли шаг сжатия. Квантизуйте модель и замерьте перплексию до и после на отложенном тексте из вашей предметной области: если значение почти не сдвинулось, сжатие, скорее всего, сохранило способность модели моделировать язык; если подскочило — вы получили дешёвое раннее предупреждение ещё до запуска дорогой оценки на уровне задач. Осмысленность числа определяют два ограничения. Первое: перплексия несопоставима между моделями с разными токенизаторами или словарями, потому что метрика определена на токен, а разные токенизаторы режут один и тот же текст на разное число токенов — модель, чей токенизатор дробит ваш язык мельче, покажет другую перплексию на идентичном тексте, ни в чём не будучи ни лучше, ни хуже. Больнее всего это бьёт по неанглоязычным текстам, где эффективность токенизации сильно разнится от вендора к вендору. Второе: низкая перплексия ненадёжно предсказывает поведение на реальных задачах — модель может блестяще предсказывать следующий токен и при этом проваливать многошаговые инструкции, поддаваться джейлбрейку или терять фактическую точность, потому что ни одно из этих свойств метрика не измеряет. Посттренировочные вмешательства вроде настройки на инструкции и оптимизации предпочтений способны даже сдвинуть перплексию в одну сторону, а полезность — в другую. Считайте её проверкой здоровья языковой модели под капотом, а не рейтингом ассистентов, — и никогда не подменяйте ею оценку той задачи, которую вы действительно выпускаете. Практическое правило: используйте перплексию не как абсолютный балл качества, а как сигнал о разнице, измеренной на вашем собственном тексте. Тот же токенизатор, тот же оценочный корпус, та же длина контекста — только при этих трёх зафиксированных условиях изменение между двумя замерами что-то значит.