Skeleton-of-Thought

Skeleton-of-Thought (SoT, «скелет мысли») — приём, при котором модель сначала выдаёт короткий «скелет» ответа: голый список пунктов, которые нужно раскрыть, — а затем разворачивает каждый пункт отдельно. Поскольку раскрытия не зависят друг от друга, их можно генерировать параллельно, а не токен за токеном. В этом и суть: SoT (Ning et al., 2023) предложили прежде всего для снижения задержки длинных ответов — иногда почти вдвое — при сохранении, а порой и улучшении качества на задачах со списочной структурой. Для SaaS-разработчиков практическая ценность — скорость отклика в функциях с многочастным выводом: «сгенерируй 5 черновиков онбординг-писем» или разбор сравнения, где пользователь чувствует каждую секунду задержки стрима. Плата за это — усложнение оркестрации: один вызов на скелет, затем параллельные вызовы на каждый раздел и сборка результата. Подходит для перечислимых ответов, но не для плотных рассуждений, где каждый шаг опирается на предыдущий.