Как снизить стоимость эксплуатации ИИ-функции

Измерьте удельную стоимость, прежде чем что-то менять

Абсолютные траты растут вместе с внедрением, а это хорошая новость, — и потому они прячут проблемы эффективности. Смотреть надо на стоимость единицы работы: на диалог, на документ, на решённое обращение. Это отделяет дороговизну одного взаимодействия от их количества.

Получить эту цифру можно, инструментировав приложение, а не читая счёт. Каждый вызов модели должен записывать число входных и выходных токенов, модель и версию, обслуженную функцию, арендатора и шаг процесса. Без этих полей стоимость — одна строка, которую никто не может разложить, а любая оптимизация — догадка.

Найдите, где на самом деле сидят токены

Прежде чем оптимизировать, посмотрите на состав типичного запроса. В большинстве систем самая крупная входная составляющая — найденный контекст, затем системный промпт и история диалога. Вывод меньше по объёму, но обычно дороже за токен, а модели с интенсивным рассуждением способны потратить много на короткий видимый ответ.

Смотрите и на распределение, а не только на среднее. Небольшая доля запросов с огромным контекстом или длинными агентными циклами часто даёт непропорциональную часть счёта, и починить эти патологические случаи дешевле и безопаснее, чем подрезать всё подряд.

Отправлять меньше: проход по поиску и промпту

Вернуть меньше, но лучше ранжированных фрагментов почти всегда выгоднее, чем вернуть много, и это нередко повышает точность: модели неравномерно распределяют внимание по длинному входу, а малозначимые документы разбавляют важные. Переранжирование небольшого набора кандидатов часто и есть самое дешёвое доступное улучшение качества.

Затем проверьте системный промпт построчно — каждое слово оплачивается при каждом вызове — и перестаньте пересылать историю дословно, когда она разрослась: сжимайте давние реплики, сохраняя недавние. Примеры для обучения в контексте окупают токены лишь до тех пор, пока не задан шаблон.

Выбирайте модель поменьше там, где задача позволяет

Не каждому запросу нужна самая крупная модель. Направлять простую, хорошо описанную работу в меньшую модель, а дорогую беречь для случаев, которым она нужна, — обычно самый мощный доступный рычаг; каскад, эскалирующий только при провале проверки дешёвого ответа, сохраняет качество, платя премиальную ставку за меньшинство трафика.

Работает это только если вы способны понять, что дешёвый ответ не годится. Структурные задачи дают такую проверку дёшево — разбирается ли, соответствует ли схеме, существует ли источник ссылки, — а свободную генерацию маршрутизировать безопасно гораздо труднее.

Повторяться меньше: кэш и дедупликация

Там, где провайдер поддерживает кэш стабильного префикса промпта, порядок, при котором неизменная часть идёт первой, превращает повторяющуюся стоимость в куда меньшую. Дальше: схлопывайте одинаковые параллельные запросы в одно выполнение, кэшируйте ответы на действительно повторяющиеся вопросы и ограничивайте любой кэш арендатором и пользователем, чтобы общий ответ не перешёл границу прав.

Прекратите случайные траты

Повторы по таймауту, выставленному ниже реальной задержки операции, тихо удваивают стоимость. Агентные циклы без ограничения шагов способны крутиться, пока их что-нибудь не остановит. Неудачные генерации, повторяемые без выдержки, превращают сбой провайдера в крупный счёт. Каждое из этого — баг, а не возможность оптимизации, и каждое обычно стоит больше недели подрезки промптов.

Берегите качество по дороге

Прогоняйте каждое изменение по фиксированному оценочному набору до выкатки и следите в проде за метрикой качества рядом со стоимостью. Экономия, преследуемая в одиночку, рано или поздно найдёт ту обрезку, которая сохранит деньги и сломает функцию: короткий промпт, потерявший инструкцию, меньшую модель, падающую на неудобных случаях, кэш, отдающий устаревший ответ.

Наконец, поставьте ограждения, которые остановят следующий сюрприз: лимиты расходов, ограничения на арендатора, оповещения по удельной стоимости, а не по сумме, и аварийный выключатель, падающий в то, что продукт переживёт.