Экономия токенов

Экономия токенов — это практика достигать заданного качества вывода меньшим числом входных и выходных токенов. Это одна из немногих оптимизаций в ИИ-системе, улучшающих сразу три вещи: стоимость падает, потому что провайдеры берут плату за токены; задержка падает, потому что меньше нужно обработать и сгенерировать; а точность часто растёт, потому что более короткому и лучше устроенному промпту модели легче следовать. Последний пункт удивляет тех, кто считает, что больше контекста — безопаснее. Модели неравномерно распределяют внимание по длинному входу, и материал в середине большого контекста чаще недооценивается по сравнению с материалом по краям. Набивка промпта едва релевантными документами поэтому не просто стоит дороже: она способна разбавить те инструкции и свидетельства, которые важны, — вот почему агрессивные настройки поиска часто делают ответы одновременно хуже и дороже. Крупнейший выигрыш обычно структурный, а не стилистический. Системный промпт, отправляемый с каждым запросом, стоит проверять жёстко: каждое слово в нём оплачивается при каждом вызове. Найденный контекст — обычно самая крупная и легче всего раздуваемая составляющая, и вернуть меньше, но лучше ранжированных фрагментов почти всегда выгоднее, чем вернуть много. История диалога, воспроизводимая целиком, растёт без предела, и сжатие давних реплик с сохранением недавних дословно — стандартная практика. Примеры для обучения в контексте окупают токены лишь до тех пор, пока не задан шаблон; дальше это расход без эффекта. Вывод заслуживает такой же придирчивости, а часто и большей, поскольку выходные токены обычно дороже. Просьба вернуть структуру, а не прозу, разумный предел длины, указание не пересказывать вопрос и отказ от объяснений, которых никто не читает, срезают расход напрямую. Там, где модель просят рассуждать перед ответом, рассуждение — настоящая работа и его стоит оплачивать, но только там, где задача этого требует. Вторая половина дисциплины — кэширование. Там, где провайдер поддерживает кэш стабильного префикса промпта, порядок, при котором неизменная часть идёт первой, превращает повторяющуюся стоимость в гораздо меньшую. Семантическое кэширование целых ответов помогает при повторяющихся вопросах, а простая дедупликация одинаковых параллельных запросов убирает траты, которых никто не хотел. Измеряйте это как число токенов на единицу работы — на диалог, на документ, на решённый случай — рядом с метрикой качества и следите за обеими при любом изменении конфигурации. Экономия без метрики качества рядом рано или поздно находит ту обрезку, которая экономит деньги и тихо ломает функцию.