Как оценить эффективность чат-бота на сайте

После запуска чат-бота хочется понять, работает ли он. Ответить на это одним числом нельзя. Ниже метрики, которые можно собрать без специальных инструментов.

Основные метрики

Число диалогов. Сколько посетителей задали вопрос. Показывает, пользуются ли виджетом. Само по себе не говорит о качестве.

Доля вопросов с ответом. Сколько диалогов закончились ответом, а сколько «не нашёл информацию». Это главная метрика качества: она показывает, насколько ваши материалы покрывают реальные вопросы.

Корректность ответов. Возьмите выборку из 20-30 диалогов и проверьте вручную, верны ли ответы. Это самая трудоёмкая метрика и самая честная.

Темы вопросов. О чём спрашивают чаще всего. Пригодится не только для бота, но и для сайта: если все спрашивают про доставку, возможно, страница доставки плохо написана.

Нагрузка на менеджеров. Изменилось ли число повторяющихся вопросов, которые доходят до людей. Считается вашими силами, до и после запуска.

Чего в Embedo нет

В Embedo есть число диалогов за 30 дней, график по дням и полная переписка по каждому диалогу с источниками. Оценок ответов, тем обращений и воронок нет. Тематику и долю без ответа придётся смотреть по диалогам. Мы честно пишем об этом в списке ограничений.

Простой ритм проверки

Раз в неделю по 15-20 минут:

Откройте список диалогов.
Прочитайте 10-15 последних.
Отметьте вопросы, на которые бот не ответил, и ответы, которые вам не понравились.
Для каждого определите причину: нет материала, материал противоречив, материал устарел.
Исправьте материалы.

Через несколько недель доля вопросов без ответа обычно снижается.

Что не считать успехом

Большое число диалогов. Люди могут спрашивать одно и то же, потому что не находят ответ на сайте.
Отсутствие жалоб. Недовольные клиенты часто просто уходят.
Красивые проценты из чужих исследований. У каждой компании свои вопросы и свои документы.

Как связать бот с бизнес-результатом

Выберите один показатель до запуска и сравните после. Например, время ответа на вопрос клиента, число обращений в поддержку по типовым темам или число посетителей, которые ушли после вопроса без ответа. Измеряйте на своих данных, а не по чужим кейсам.

Связанные материалы: автоматизация поддержки клиентов, чат-бот для бизнеса: какие задачи он решает.