Бюджет токенов

Бюджет токенов — явный потолок того, сколько токенов может потратить запрос, функция или клиент. Это продуктовое решение, выраженное в инфраструктурных терминах; без него контекст растёт, пока кто-нибудь не заметит счёт. Контекст растёт по уважительным причинам — именно поэтому это опасно. Один добавляет ещё три найденных документа ради точности, другой прикладывает всю историю диалога, третий кладёт в системный промпт корпоративный гайд по стилю. Каждое изменение оправдано, а совокупный эффект — запрос, который стоит вчетверо дороже прошлого квартала ради пары процентов качества. Бюджет выносит компромисс на свет. Дайте каждой функции лимит, измеряйте p95 относительно него и требуйте от превышения обоснования — обычно в виде сдвинувшейся метрики качества. Точки применения на практике: политика усечения (что выбрасывается первым при упоре в лимит — обычно самые старые реплики, но никогда системные правила), ограничение на объём выдачи поиска и жёсткий максимум длины ответа. Задайте их осознанно: по умолчанию их задал тот, кто писал пример в SDK, который вы скопировали.