Как проверить ответы ИИ-ассистента до и после запуска
Проверять ассистента нужно не один раз перед запуском, а регулярно. Материалы меняются, вопросы клиентов тоже. Для проверки не нужны специальные инструменты.
Шаг 1. Соберите набор вопросов
Возьмите 30 вопросов из реальных обращений: почта, мессенджеры, звонки. Сохраните формулировки клиентов, не переписывайте их красиво. Разбейте по темам: цены, доставка, оплата, возврат, сроки.
Добавьте в набор три типа вопросов:
- Обычные, на которые ответ есть в материалах.
- Без ответа, которых нет в документах. Например, про услугу, которую вы не оказываете.
- Каверзные, с ошибочной предпосылкой: «а по акции 50 % сколько получится?», хотя акции нет.
Шаг 2. Задайте вопросы и запишите ответы
Для каждого ответа отметьте:
| Оценка | Значение |
|---|---|
| Верно | Ответ соответствует документам |
| Неточно | Часть верна, часть упущена |
| Неверно | Ответ противоречит материалам |
| Выдумано | Ответ содержит то, чего нет в материалах |
| Не ответил | Ассистент сказал, что не знает |
Для вопросов без ответа правильная оценка «не ответил». Если ассистент вместо этого что-то придумал, это самая серьёзная ошибка. Причины и защита описаны в статье галлюцинации нейросетей.
Шаг 3. Проверьте источники
Откройте источник, на который ссылается ответ, и сверьте фактические данные: цифры, сроки, условия. Иногда ответ выглядит правдоподобно, а источник говорит другое.
Шаг 4. Найдите причины
Для каждой ошибки определите, что не так:
- Нет материала. Добавьте текст.
- Материал противоречит другому. Оставьте одну версию.
- Материал устарел. Обновите документ.
- Материал непонятен. Перепишите яснее: проще, с конкретными числами.
- Вопрос слишком общий. Добавьте в материалы примеры формулировок.
Обычно причина в документах, а не в ассистенте. Подробнее о подготовке: что положить в базу знаний.
Шаг 5. Повторите проверку
После исправлений задайте те же вопросы снова. Так видно, что стало лучше, а что сломалось.
Проверка после запуска
Раз в неделю читайте 10-15 реальных диалогов. Сравните с набором: появились ли новые темы. Добавляйте их в набор. Со временем он превращается в удобный тест перед каждым обновлением материалов.
Как считать результат по цифрам: как оценить эффективность чат-бота.