Как ИИ-ассистент не выдумывает ответы
Главный страх владельца сайта перед ИИ-ассистентом простой: а вдруг он наврёт клиенту про цену или условия возврата. Страх справедливый: обычная языковая модель отвечает на всё, даже когда не знает. Разберём, как это решается.
Почему модели придумывают
Языковая модель обучена продолжать текст правдоподобно. У неё нет ваших цен, сроков и правил, но если её спросить, она всё равно составит убедительный ответ. Это и называют «галлюцинациями».
Ответ по найденному, а не по памяти
Решение называют RAG, от англ. «поиск плюс генерация». Работает в два шага:
- Поиск. Получив вопрос, система ищет в документах компании подходящие фрагменты.
- Ответ. Модель формулирует ответ только на основе найденных фрагментов.
Модель здесь не источник знаний, а пересказчик: она объясняет то, что нашлось в ваших материалах, живым языком.
Источники в каждом ответе
В Embedo каждый факт в ответе помечен значком источника. Посетитель наводит курсор и видит название страницы или документа, откуда это взято, и может открыть её. Владелец видит те же источники в истории диалогов.
Это полезно дважды. Посетитель может проверить ответ, а вы можете быстро понять, откуда взялась ошибка: если ассистент ответил неверно, обычно виновата устаревшая страница или противоречие между документами.
Что происходит, когда ответа нет
Если в материалах нет ответа на вопрос, ассистент прямо об этом говорит. Это правило заложено в сам продукт, и клиентские настройки его не отключают. Инструкция ассистента может менять тон и роль, но не разрешает придумывать.
Так же с пустой базой: если знания ещё не загружены, ассистент так и скажет, а не сделает вид, что всё знает.
Что это не гарантирует
Честно: RAG сильно снижает риск выдуманных ответов, но не обнуляет его. Ассистент отвечает по тому, что вы ему дали. Поэтому:
- если на сайте две страницы с разными ценами, ответ может опираться на любую из них;
- устаревший прайс приведёт к устаревшему ответу;
- если документ написан расплывчато, ответ тоже будет расплывчатым.
Хорошая привычка: раз в неделю открывать диалоги и смотреть, на что отвечали. Быстро становится видно, какие документы надо поправить.