Инференс

Инференс (inference) — это процесс времени выполнения, при котором на уже обученную модель подаётся вход и генерируется выход — это фаза «использования», в отличие от обучения, более раннего и значительно более дорогого процесса, при котором модель впервые получает свои веса. Каждый вызов API к Claude, GPT или любой другой LLM — это запрос на инференс: модель не учится и не обновляет свои веса от этого вызова, она просто вычисляет прямой проход через свою (фиксированную) сеть, чтобы получить ответ. Это различие критически важно для SaaS-разработчиков, поскольку обучение и инференс имеют совершенно разные профили стоимости, задержки и инфраструктуры: обучение топовой модели стоит от десятков до сотен миллионов долларов и происходит редко (новая версия модели раз в несколько месяцев — раз в год), тогда как инференс происходит на каждом отдельном пользовательском запросе, и его стоимость/задержка напрямую определяют юнит-экономику и отзывчивость вашего продукта. Стоимость и скорость инференса определяются размером модели (числом параметров), длиной входа и выхода (токенами), железом, на котором она работает (GPU вроде NVIDIA H100 или специализированные чипы вроде Google TPU), и техниками оптимизации вроде квантизации (снижение числовой точности для ускорения вычислений) и кэширования (повторное использование вычислений для повторяющихся префиксов промпта). Конкретный пример: SaaS поддержки клиентов, обрабатывающий 10 000 сообщений чата в день, делает 10 000 отдельных вызовов инференса к API LLM — каждый независим, каждый тарифицируется по входным/выходным токенам, каждый занимает от нескольких сотен миллисекунд до нескольких секунд в зависимости от размера модели и длины вывода. Именно поэтому разработчики так одержимы оптимизацией инференса в масштабе: переход с крупной топовой модели на меньшую, дистиллированную модель для простой задачи классификации может снизить стоимость инференса в 10-20 раз при минимальной потере точности, а такие техники, как кэширование промптов (повторное использование вычислений для повторяющегося системного промпта между вызовами) или батчинг запросов, могут заметно снизить и стоимость, и задержку в высоконагруженных продакшн-системах. Стоимость и задержка инференса также зависят от того, обслуживается ли запрос синхронно (вызывающий ждёт полного ответа) или асинхронно через потоковую передачу (streaming, где токены приходят инкрементально по мере генерации) — стриминг не снижает общую стоимость инференса, но резко улучшает воспринимаемую задержку для функций, ориентированных на пользователя, поэтому чат-интерфейсы почти повсеместно используют потоковую передачу ответов вместо ожидания полного ответа перед показом чего-либо. Разработчикам, оценивающим юнит-экономику новой AI-функции, стоит моделировать стоимость инференса на запрос с первого дня (входные токены + выходные токены, умноженные на цену поставщика за токен), поскольку стоимость инференса ИИ — в отличие от большинства инфраструктурных затрат SaaS — масштабируется напрямую и линейно с использованием, а не выигрывает от экономики фиксированных затрат традиционных вычислений.