[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-sliding-window-attention::ru":3,"gloss-cluster-sliding-window-attention::ru":26,"gloss-next-sliding-window-attention::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"sliding-window-attention","core-ai","Внимание со скользящим окном","Внимание со скользящим окном ограничивает каждый токен фиксированной по размеру окрестностью недавних токенов вместо всей последовательности. Обычное внимание сравнивает каждый токен с каждым, поэтому стоимость и память растут как квадрат длины последовательности — отсюда и дороговизна обслуживания длинных контекстов. Окно, скажем, в несколько тысяч токенов превращает этот рост в линейный, потому что работа на токен перестаёт зависеть от длины документа. Информация всё же распространяется дальше одного окна: раз каждый слой смотрит внутри своего окна, токен может испытать влияние материала, отстоящего на несколько окон, — так же, как стопка небольших свёрток покрывает широкое рецептивное поле. Поэтому многие модели с длинным контекстом чередуют оконные слои с несколькими слоями полного внимания: большая часть последовательности обрабатывается дёшево, а часть слоёв сохраняет глобальный обзор. Компромисс стоит назвать прямо. Оконность снижает стоимость длинных входов, но ослабляет точное припоминание детали, лежащей далеко за пределами текущего окна, — именно этот эффект делает модель ненадёжной в задачах вида «найди в этом договоре один пункт». Если ваша нагрузка зависит от прицельного извлечения из большого документа, шаг поиска, который кладёт нужный фрагмент рядом с вопросом, надёжнее любой надежды на то, что механизм внимания дотянется через весь вход.","Внимание со скользящим окном ограничивает токен ближней зоной: квадратичная стоимость становится линейной, но точное припоминание дальних деталей слабеет.",null,[11,14,17,20,23],{"slug":12,"name":13},"attention","Внимание (Attention)",{"slug":15,"name":16},"context-window","Контекстное окно",{"slug":18,"name":19},"flash-attention","FlashAttention",{"slug":21,"name":22},"kv-cache","KV-кэш (KV Cache)",{"slug":24,"name":25},"transformer","Трансформер",[27,31,35,39,40,43,46,49,52,55,56,59],{"slug":28,"category":5,"name":29,"updated_at":30},"agentic","Агентный AI (Agentic AI)","2026-08-24T02:46:36+00:00",{"slug":32,"category":5,"name":33,"updated_at":34},"alignment-tax","Налог на выравнивание (Alignment Tax)","2026-08-24T02:46:37+00:00",{"slug":36,"category":5,"name":37,"updated_at":38},"artificial-intelligence","Искусственный интеллект (ИИ)","2026-08-24T02:46:38+00:00",{"slug":12,"category":5,"name":13,"updated_at":30},{"slug":41,"category":5,"name":42,"updated_at":38},"beam-search","Лучевой поиск",{"slug":44,"category":5,"name":45,"updated_at":34},"benchmark-contamination","Загрязнение бенчмарка (Benchmark Contamination)",{"slug":47,"category":5,"name":48,"updated_at":34},"catastrophic-forgetting","Катастрофическое забывание (Catastrophic Forgetting)",{"slug":50,"category":5,"name":51,"updated_at":38},"computer-vision","Компьютерное зрение",{"slug":53,"category":5,"name":54,"updated_at":34},"constitutional-ai","Конституционный ИИ (Constitutional AI)",{"slug":15,"category":5,"name":16,"updated_at":30},{"slug":57,"category":5,"name":58,"updated_at":38},"deep-learning","Глубокое обучение",{"slug":60,"category":5,"name":61,"updated_at":30},"diffusion-model","Диффузионная модель (Diffusion Model)"]