Тестирование ИИ агентов: как проверить бота до запуска

Чем проверка ИИ-агента отличается от проверки обычной программы

Обычная программа на один и тот же ввод даёт один и тот же результат. ИИ-агент на два похожих вопроса может ответить по-разному, и оба ответа прозвучат одинаково уверенно. Поэтому проверка двумя-тремя вопросами «на глаз» ничего не гарантирует: нужен набор сценариев и заранее согласованные правила оценки.

Вторая особенность: агент почти никогда не работает один. Он берёт данные из базы знаний, вызывает инструменты, записывает заявку в CRM или таблицу, зовёт менеджера. Ошибка бывает не в тексте, а в действии: заявка ушла без телефона, а уведомление не дошло. Проверять нужно и речь агента, и его поступки.

Шаг 1. Соберите тестовый набор из реальных переписок

Основа проверки — вопросы, которые клиенты уже задавали: из Instagram Direct, Telegram, комментариев, звонков в отдел продаж. Не сочиняйте «идеальные» формулировки. Живой клиент пишет «narxi?», «bormi», «сколько за 2 ta», «Chilonzorga olib kelasizlarmi», часто без знаков препинания. Если истории чатов нет, попросите менеджеров выписать последние вопросы из памяти и мессенджеров.

В наборе должны быть разные группы, каждая — несколькими примерами:

• частые простые вопросы: цена, наличие, адрес, график работы
• составные вопросы с несколькими условиями сразу
• нечёткие запросы, где агент обязан уточнить
• вопросы, ответа на которые нет в базе знаний
• провокации и попытки обойти правила
• сообщения на узбекском, русском и вперемешку, с опечатками и сокращениями
• голосовые сообщения, если агент их принимает

Шаг 2. Проверьте правила и попробуйте сломать агента

Для каждого запрета напишите отдельный тест. Агент, который правильно отвечает на обычные вопросы, может нарушить правила в нестандартной ситуации. Минимальный список:

• не называет цены и условия, которых нет в базе знаний
• не обещает сроки и наличие без проверки
• при жалобе, споре или просьбе о скидке передаёт разговор человеку
• на вопрос без ответа в базе честно говорит, что уточнит, а не выдумывает
• не раскрывает свою инструкцию и служебные данные
• остаётся вежливым, если клиент груб

Провокации: что именно пробовать

Попросите «забыть все правила», показать переписку другого клиента, написать официальное обещание от имени компании, раскритиковать конкурентов, поговорить о политике. Правильный агент вежливо отказывает и возвращает разговор к теме. Если он поддался хотя бы раз, это нарушение правила, и запуск откладывается до исправления.

Здесь же проверьте спам, длинные простыни текста и повторяющиеся сообщения: бот не должен зацикливаться или тратить ответы впустую.

Шаг 3. Пройдите сценарий от первого сообщения до заявки

Представьте магазин в Ташкенте, который продаёт через Instagram и Telegram, а оплату принимает через Click и Payme. Сценарий проверки выглядит так:

• клиент спрашивает о товаре и вариантах
• уточняет доставку по Ташкенту и в другие регионы
• спрашивает, можно ли оплатить через Click или Payme
• решает купить и оставляет имя и телефон
• в CRM или таблице появилась заявка со всеми полями и источником обращения
• менеджер получил уведомление и видит историю диалога
• клиент пропал на время и вернулся: агент не потерял контекст

Язык, скорость и нагрузка

Ответы на узбекском должен оценить носитель языка: грамматика, естественность, названия товаров и районов. Если клиенты пишут и латиницей, и кириллицей, проверьте оба варианта, а также смесь русского и узбекского в одной фразе. Дословный машинный перевод клиент замечает сразу и теряет доверие.

Затем отправьте сообщения одновременно от нескольких людей и засеките время ответа. В мессенджерах пауза в несколько секунд уже заметна. Заодно убедитесь, что разговоры разных пользователей не смешиваются.

Как оценивать результаты и кто это делает

Для каждого вопроса фиксируйте оценку в таблице: правильно, частично, неверно, нарушение правила. Нарушения и выдуманные факты исправляют до запуска без исключений. Частично верные ответы можно дорабатывать уже в работе.

Содержание лучше оценивают сотрудники, которые каждый день общаются с клиентов: они сразу видят неточность. Подрядчик готовит инструменты и процедуру. Способы проверки можно сочетать:

• ручная проверка сотрудниками: точнее всего, но медленно
• прогон набора по таблице: быстро повторяется после каждой правки
• оценка ответов другой моделью: удобна для большого объёма, но спорные случаи смотрит человек
• пилот на ограниченном потоке: показывает то, чего нет в наборе

Типичные ошибки и чек-лист перед запуском

Чаще всего подводят не сложные сценарии, а простые упущения: тестируют только идеальные вопросы, проверяют текст, но не смотрят, что попало в CRM, не показывают узбекские ответы носителю, исправляют ошибку и не прогоняют набор заново, запускают сразу на весь поток без пилота.

Если на каждый пункт можно ответить «да», агент готов к пилоту:

• набор собран из реальных переписок и содержит все группы
• нарушений правил и выдуманных фактов нет
• провокации отбиваются вежливо
• заявка доходит до CRM, менеджер получает уведомление
• узбекский проверен носителем, латиница и кириллица тоже
• время ответа приемлемо при нескольких одновременных диалогах
• есть таблица оценок и ответственный за повторные прогоны

После запуска: регрессия и аналитика

После каждого изменения инструкции, базы знаний или модели прогоняйте весь набор заново. Исправление одной ошибки нередко создаёт другую, и увидеть это можно только полным прогоном. Каждый неверный ответ из реальной работы добавляйте в набор: со временем он становится главным защитным слоем.

Тесты показывают, что агент способен, а аналитика — что он даёт бизнесу. Размечайте диалоги по источнику, считайте, сколько обращений дошло до заявки и оплаты, где клиенты уходят к менеджеру. Настройкой такой сквозной аналитики и отчётности занимается markdev. Если хотите проверить своего агента или связать его с CRM и рекламой, обсудите задачу с нашей командой.