Что такое Retrieval-Augmented Generation (RAG), простыми словами

Какую проблему решает RAG

Языковая модель знает только то, что усвоила во время обучения. У неё нет памяти о внутренних документах вашей компании, а у её знаний есть дата отсечки, поэтому она не может надёжно отвечать на вопросы о ваших конкретных правилах, продуктах или недавних событиях. Retrieval-augmented generation, обычно сокращаемое до RAG, — это способ закрыть этот разрыв без переобучения модели. Идея проста: прежде чем модель ответит, вы находите нужную информацию и передаёте её модели как часть вопроса.

Как складываются части

Система RAG состоит из двух этапов. Первый — ретривал: получив вопрос пользователя, система ищет по коллекции документов и достаёт отрывки, в которых вероятнее всего содержится ответ. Второй — генерация: эти отрывки помещаются в промпт рядом с исходным вопросом, и модель пишет ответ, опираясь на них как на справочный материал. По сути, вы даёте модели открытую книгу и просите отвечать по странице перед ней, а не по памяти.

Как обычно устроен ретривал

Чтобы поиск был осмысленным, документы обычно разбивают на небольшие фрагменты и преобразуют в числовые представления — embedding'и, которые передают смысл, а не точные слова. Вопрос преобразуется так же, и система находит фрагменты, embedding'и которых ближе всего к embedding'у вопроса. Именно поэтому RAG способен найти релевантный отрывок, даже если в нём нет тех же ключевых слов, что и в вопросе. Многие системы сочетают такой семантический поиск с обычным поиском по ключевым словам, чтобы взять лучшее от обоих подходов.

Почему команды выбирают этот подход

RAG популярен, потому что он сравнительно дёшев, быстро обновляется и прозрачен. Добавить или исправить информацию можно, изменив сами документы, а не переобучая что-либо, — так система остаётся актуальной. Поскольку ответ строится из извлечённых отрывков, вы можете показать пользователю, какие источники были использованы, а это укрепляет доверие и делает ответы проверяемыми. К тому же собственный контент остаётся в вашем хранилище, а не «запекается» в модель.

Где он приносит больше всего пользы

Подход хорошо подходит для ответов на вопросы по очерченному массиву знаний: ассистенты поддержки, опирающиеся на справочные статьи, внутренние инструменты, отвечающие по документации компании, и исследовательские помощники, указывающие свои источники. Всякий раз, когда правильный ответ где-то в наборе документов уже есть и задача лишь в том, чтобы найти его и сформулировать, RAG — естественный выбор.

Где он даёт сбой

RAG хорош ровно настолько, насколько хорош его ретривал. Если этап поиска пропускает нужный отрывок, модели не с чем работать и она может скатиться к правдоподобно звучащей догадке. Неудачно выбранный размер фрагментов, документы низкого качества и вопросы, требующие собрать информацию, разбросанную по многим местам, — всё это ухудшает результат. RAG также не обучает модель новым навыкам или рассуждению: он поставляет факты, а не способности. И поскольку итоговую формулировку по-прежнему пишет модель, она иногда может неверно прочитать отрывок или преувеличить сказанное в нём, — поэтому ссылки на источники и проверка остаются важны.

Главный вывод

Считайте RAG связкой из умелого автора и хорошего библиотекаря. Библиотекарь находит нужные страницы, автор превращает их в понятный ответ. Качество результата зависит от обоих. Оценивая инструмент, который заявляет, что отвечает по вашим документам, спросите, как он выполняет ретривал, показывает ли источники и как ведёт себя, когда ответа в документах нет вовсе, — эти вопросы и покажут, насколько прочен лежащий в его основе RAG.