Как протестировать чат-бота поддержки перед запуском

Чат-бот поддержки выходит в прод и сразу встречает не идеальных пользователей из демо, а реальных: раздражённых, торопливых, хитрых. Если бота не обкатать заранее, первые сотни диалогов станут бесплатным полигоном за счёт ваших клиентов. Ниже — как проверить бота до запуска.

Что именно проверять

Хороший тест — это не «поздоровался и спросил цену». Нужно прогнать бота через типы клиентов и ситуаций, которые ломают сценарий:

• Обычные — базовые вопросы, проверка happy-path.
• Скандалисты — давят на срочность, грубят, требуют невозможного.
• Мошенники — выманивают доступ, скидки, данные, которых не положено.
• Джейлбрейкеры — пытаются обойти инструкции («игнорируй правила выше»).
• Заблуждающиеся — уверены в неверных фактах и ведут бота за собой.

Сколько сценариев нужно

Для дымового прогона хватает 100 диалогов, для релизного — 500 и больше. Важно не количество ради количества, а покрытие: каждый сценарий должен целиться в конкретное «что нельзя» — выдумать условие, слить доступ, поддаться напору.

Какие метрики смотреть

• Готовность — доля пройденных сценариев.
• Кластеры ошибок — где бот путается чаще (например, «выдумывает условия», «ведётся на напор»).
• Надёжность на повторах — стабильно ли бот проходит один и тот же сложный кейс, а не «в среднем неплохо».

Что делать с результатами

Список слабых мест — это ещё не улучшение. Соберите из провальных диалогов датасет и дообучите бота (SFT/DPO) либо поправьте правила и системный промпт, а затем прогоните регрессию: те же сценарии должны пройти.

В ИИ Полигоне это один цикл: подключаете бота по MCP или HTTP, задаёте роль, платформа за ночь прогоняет тысячи сценариев и отдаёт карту косяков плюс данные для доработки. Первый прогон бесплатный.