Гипотетические эмбеддинги документов (HyDE)

Гипотетические эмбеддинги документов (HyDE) — приём поиска, улучшающий retrieval за счёт эмбеддинга поддельного ответа вместо самого вопроса. В методе (Gao et al., 2022) поток такой: попросите LLM написать правдоподобный документ, который отвечал бы на запрос пользователя, вычислите эмбеддинг этого гипотетического текста и по его вектору найдите похожие реальные документы. Идея в том, что полноценный гипотетический ответ в пространстве эмбеддингов ближе к настоящим фрагментам-ответам, чем короткий, бедный на ключевые слова вопрос, — так закрывается разрыв в лексике «вопрос против ответа», мешающий плотному поиску. Приём работает zero-shot, без обучения ретривера на ваших данных, что делает его привлекательным на ранней стадии RAG-проекта. Для разработчиков это шаг перед вашим векторным поиском; сгенерированный черновик выбрасывается, используется только его эмбеддинг. Оговорки: он добавляет вызов LLM перед каждым поиском (задержка и стоимость), и если модель нафантазирует ответ не по теме, retrieval может уйти в сторону — поэтому пользы больше всего, когда у модели есть реальная предметная компетентность.