Перейти к содержимому
← Блог

Галлюцинации нейросетей: что это и как с ними бороться

  • 2 мин чтения
  • Команда Embedo

Галлюцинацией называют ситуацию, когда нейросеть выдаёт ответ, которого не существует в реальности, и делает это уверенным тоном. Она называет несуществующую функцию продукта, придумывает цену, ссылается на документ, которого никто не писал.

Откуда берутся галлюцинации

Языковая модель не хранит факты, как база данных. Она обучена подбирать следующее слово так, чтобы текст звучал правдоподобно. Если в обучающих данных не хватило информации, модель всё равно продолжает фразу. Для неё «не знаю» такой же вариант продолжения, как любой другой, и выбирается он реже, чем связный ответ.

Отсюда три частые причины:

  • Нет нужных данных. Модель ничего не знает о вашей компании, ваших ценах и условиях.
  • Данные устарели. Модель обучена на прошлом срезе, а прайс поменялся на прошлой неделе.
  • Вопрос сформулирован так, что ответ подразумевается. «Расскажи про бесплатную доставку от 500 рублей» модель скорее подтвердит, чем опровергнет.

Чем это опасно для сайта компании

Когда общий чат-бот ошибается в рецепте, это неприятно. Когда ассистент на сайте называет неверную цену или обещает возврат, которого у вас нет, это обязательство от лица компании. Клиент делает скриншот и приходит с ним к менеджеру.

Что помогает снизить риск

1. Отвечать только по вашим документам. Ассистенту не дают отвечать из общих знаний модели. Он сначала находит в материалах компании подходящие фрагменты и пересказывает их. Так устроен подход RAG, подробнее в статье что такое RAG простыми словами.

2. Разрешить сказать «не знаю». Правило «если ответа в материалах нет, так и скажи» должно быть заложено в систему, а не оставлено пожеланием. Иначе модель обходит его при первом же неудобном вопросе.

3. Показывать источники. Если рядом с ответом видна страница, откуда он взят, посетитель может проверить, а вы можете быстро найти причину ошибки.

4. Держать документы в порядке. Противоречия между страницами превращаются в противоречия в ответах. Устаревший прайс даёт устаревший ответ.

5. Читать диалоги. Раз в неделю откройте список разговоров и посмотрите, на какие вопросы ассистент ответил плохо. Обычно виноват документ, а не модель.

Можно ли убрать галлюцинации полностью

Нет, и честные производители так не обещают. Подход «отвечать по документам» сильно сокращает выдуманные ответы, но не отменяет ошибок: модель может неверно пересказать фрагмент или выбрать не тот. Поэтому источники в ответе так важны: они делают ошибку заметной.

Как это устроено в Embedo

Ассистент отвечает только по материалам компании, каждый факт помечен значком источника, а если ответа в документах нет, он прямо об этом говорит. Клиентская инструкция может менять тон и роль ассистента, но правило про «не выдумывать» она не отключает. Как эти механизмы работают на практике, описано в статье как ИИ-ассистент не выдумывает ответы.