Вычисления во время инференса (Test-Time Compute)

Вычисления во время инференса (test-time compute) — идея о том, что модель может давать более качественные ответы, тратя больше вычислений в момент запроса, а не только за счёт большего размера или более долгого обучения. Вместо того чтобы выдать первый пришедший ответ, модель строит длинную цепочку рассуждений, генерирует несколько вариантов и голосует за лучший или ведёт поиск по возможным решениям. Именно это лежит в основе рассуждающих моделей. Поразительный вывод: небольшая модель со щедрым бюджетом вычислений во время инференса способна догнать гораздо более крупную на сложных задачах — вы покупаете возможности ценой инференса, а не размера модели. Для SaaS-разработчиков это рычаг: на сложном запросе можно поднять бюджет на размышление и повысить качество, а на простом — держать его минимальным, экономя деньги и время отклика. Компромисс прямой: больше вычислений во время инференса — больше оплачиваемых токенов и медленнее ответы, поэтому привязывайте их к сложности задачи, а не включайте везде.