Что такое RAG простыми словами

RAG расшифровывается как Retrieval-Augmented Generation, «генерация, дополненная поиском». Идея простая: прежде чем отвечать, нейросеть ищет нужные фрагменты в ваших документах и отвечает по ним.

Зачем это нужно

Обычная языковая модель отвечает по тому, чему научилась при обучении. О вашей компании она ничего не знает, поэтому либо признаётся в этом, либо придумывает. Переобучать модель под каждую компанию дорого и долго, а данные меняются каждую неделю.

RAG обходит эту проблему: модель остаётся общей, а знания о вашей компании подкладываются ей в момент вопроса.

Как это работает

Есть два этапа: подготовка и ответ.

Подготовка (один раз и при обновлении документов):

Документы и страницы сайта разбиваются на небольшие фрагменты.
Для каждого фрагмента строится числовое представление смысла, его называют эмбеддингом.
Фрагменты и их представления складываются в специальный индекс.

Ответ (на каждый вопрос):

Вопрос тоже превращается в числовое представление.
Система находит фрагменты, близкие по смыслу к вопросу. Так находится нужное, даже когда слова в вопросе и в документе разные.
Найденные фрагменты передаются модели вместе с вопросом и указанием отвечать только по ним.
Модель формулирует ответ, а система может показать, из каких фрагментов он собран.

Что здесь важно

Поиск решает всё. Если система нашла не тот фрагмент, даже хорошая модель ответит неправильно. Поэтому качество RAG во многом качество поиска. Полезно сочетать поиск по смыслу с точным поиском: артикулы, названия и цифры находятся по совпадению, а не по смыслу.

Разбиение на фрагменты. Слишком короткие фрагменты теряют контекст, слишком длинные размывают смысл.

Актуальность. Документ изменился, значит, индекс надо обновить. Иначе ответы будут устаревшими.

Где RAG ошибается

В материалах нет ответа, а система всё равно пытается ответить. Нужно правило «если нет, скажи, что нет».
Два документа противоречат друг другу.
Вопрос требует сложных вычислений или рассуждений, а не пересказа найденного.
Нужная информация записана в таблице или картинке, которую не удалось прочитать.

RAG снижает риск выдуманных ответов, но не убирает его полностью.

Что это значит для владельца сайта

Вам не нужно разбираться в эмбеддингах. Важно другое: качество ответов зависит от ваших материалов. Как их подготовить, описано в статье что положить в базу знаний ассистента.

Как устроено в Embedo

В Embedo смысловой поиск по знаниям работает на собственных серверах, тексты клиента для него сторонним сервисам не передаются. Поиск сочетает смысл и точные совпадения, а в ответе каждый факт помечен источником.