Цена контекстного окна

Цена контекстного окна — практическое следствие моделей с длинным контекстом: окно это ёмкость, а её использование — регулярный расход. Окно в 200 000 токенов не означает 200 000 бесплатных токенов; оно означает, что вы можете столько потратить на запрос, если захотите. Ловушка в том, что заполнить окно — самый простой способ поднять качество. Вставить документ целиком, приложить всю историю, добавить все найденные фрагменты: точность растёт, а вместе с ней и счёт на каждом следующем запросе диалога, ведь история отправляется заново каждый ход. Диалог из десяти ходов с растущей стенограммой оплачивает ранние ходы десять раз. Стандартных мер три. Искать, а не вставлять, чтобы ехали только релевантные фрагменты. Суммаризировать диалог после порога, а не пересылать дословно. И использовать кэширование промпта там, где провайдер это поддерживает: длинный статичный системный промпт или префикс документа, оплаченный один раз и переиспользуемый, часто даёт крупнейшую экономию. Считайте входные токены отдельно от выходных. Большинство команд оптимизирует длину ответа и потом обнаруживает, что девяносто процентов расходов были на входе.