[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-token::ru":3,"gloss-cluster-token::ru":23,"gloss-next-token::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"token","core-ai","Токен","Токен — это наименьшая единица текста, на которые токенизатор LLM разбивает вход и выход для обработки — это не совсем символ и не совсем слово, а статистически выбранный фрагмент, который может быть целым распространённым словом («the»), частью более длинного слова («token» → «tok» + «en») или одним знаком препинания. В английском языке полезное эмпирическое правило: 100 токенов ≈ 75 слов, хотя это варьируется в зависимости от языка (нерусские, а точнее не-английские языки, особенно использующие не-латинские алфавиты, часто токенизируются гораздо менее эффективно, то есть то же самое предложение обходится в большее число токенов; это касается и русского языка с кириллицей). Токены критически важны для SaaS-разработчиков, потому что это буквальная единица всего, что стоит денег и времени в приложениях с LLM: цена API указывается за миллион входных\u002Fвыходных токенов (например, Claude Sonnet 4.5 — примерно 3$\u002F15$ за миллион входных\u002Fвыходных токенов), контекстное окно измеряется в токенах (а не словах или символах), а задержка генерации масштабируется с количеством выходных токенов, поскольку модели генерируют по одному токену за раз. Конкретный пример: предложение «Пожалуйста, суммируй этот документ в трёх пунктах» токенизируется примерно в 11 токенов. Если разработчик отправляет документ на 10 000 слов (~13 000 токенов) плюс инструкцию на 50 токенов и получает обратно резюме на 100 токенов, вызов API стоит примерно 13 050 входных токенов и 100 выходных токенов — а поскольку выходные токены обычно оцениваются в 4-5 раз дороже входных, многословные ответы непропорционально дороги. Именно поэтому экономные разработчики инструктируют модели быть краткими, кэшируют повторяющийся контекст (prompt caching) и выбирают меньшие\u002Fдешёвые модели для задач с высоким объёмом и низкой сложностью. Понимание токенизации также объясняет странное поведение LLM, например, историческую проблему моделей с подсчётом букв в слове («сколько букв р в слове клубника») — потому что модель видит токены, а не отдельные символы. Разработчикам также стоит знать, что токены расходуются с обеих сторон запроса — каждый токен в вашем промпте (системные инструкции, история диалога, извлечённый RAG-контекст) считается входным токеном, а каждый токен, сгенерированный моделью, считается выходным токеном, причём большинство поставщиков оценивают выходные токены в несколько раз дороже входных, потому что генерация вычислительно дороже на токен, чем чтение. Эта асимметрия — причина, по которой инструкция модели «быть краткой» или ограничение `max_tokens` в вызове API — это настоящий рычаг контроля затрат, а не просто предпочтение по UX, и почему функция чата, позволяющая истории диалога расти неограниченно (пересылая всю историю как входные токены на каждом ходу), может незаметно стать одной из самых дорогих частей структуры затрат ИИ в SaaS-продукте по мере удлинения разговоров.","Токен — базовая единица текста, которую обрабатывает LLM (примерно ¾ слова в английском); в токенах измеряют цену, лимиты контекста и задержку.",null,[11,14,17,20],{"slug":12,"name":13},"context-window","Контекстное окно",{"slug":15,"name":16},"inference","Инференс",{"slug":18,"name":19},"latency","Задержка (Latency)",{"slug":21,"name":22},"tokenizer","Токенизатор (Tokenizer)",[24,28,32,36,39,42,45,48,51,54,55,58],{"slug":25,"category":5,"name":26,"updated_at":27},"agentic","Агентный AI (Agentic AI)","2026-08-24T02:46:36+00:00",{"slug":29,"category":5,"name":30,"updated_at":31},"alignment-tax","Налог на выравнивание (Alignment Tax)","2026-08-24T02:46:37+00:00",{"slug":33,"category":5,"name":34,"updated_at":35},"artificial-intelligence","Искусственный интеллект (ИИ)","2026-08-24T02:46:38+00:00",{"slug":37,"category":5,"name":38,"updated_at":27},"attention","Внимание (Attention)",{"slug":40,"category":5,"name":41,"updated_at":35},"beam-search","Лучевой поиск",{"slug":43,"category":5,"name":44,"updated_at":31},"benchmark-contamination","Загрязнение бенчмарка (Benchmark Contamination)",{"slug":46,"category":5,"name":47,"updated_at":31},"catastrophic-forgetting","Катастрофическое забывание (Catastrophic Forgetting)",{"slug":49,"category":5,"name":50,"updated_at":35},"computer-vision","Компьютерное зрение",{"slug":52,"category":5,"name":53,"updated_at":31},"constitutional-ai","Конституционный ИИ (Constitutional AI)",{"slug":12,"category":5,"name":13,"updated_at":27},{"slug":56,"category":5,"name":57,"updated_at":35},"deep-learning","Глубокое обучение",{"slug":59,"category":5,"name":60,"updated_at":27},"diffusion-model","Диффузионная модель (Diffusion Model)"]