На демонстрации агент уверенно отвечает на подготовленные вопросы. В реальном диалоге клиент меняет условия, просит исключение и противоречит предыдущему сообщению. Хороший показ не доказывает готовность к таким ситуациям.
До запуска задайте границы полномочий, подготовьте проверочные диалоги и оцените ошибки по последствиям. Начните с режима наблюдения или черновиков. Право отправлять сообщения и менять данные должно появляться после отдельной проверки конкретных действий.
Зафиксируйте полномочия
Разделите ответы из базы знаний, подготовку рекомендаций и действия во внешних системах. Агент, который может создать задачу, не должен автоматически получать право менять цену или закрывать сделку.
Укажите запрещенные обещания и случаи передачи человеку. Правила должны быть проверяемыми: например, отсутствие подтвержденных данных о совместимости ведет к уточнению, а не к уверенной рекомендации.
Подготовьте набор испытаний
| Сценарий | Что проверяется |
|---|---|
| Обычный вопрос | Точность и соответствие источнику |
| Неизвестное условие | Умение признать ограничение |
| Противоречие | Уточнение вместо случайного выбора |
| Просьба о скидке | Соблюдение полномочий |
| Просьба о человеке | Реальная передача |
| Повтор действия | Отсутствие технических дублей |
| Недоступный сервис | Сохранение состояния и корректное сообщение |
Проверочную часть не используйте постоянно для настройки. Иначе система может выглядеть хорошей только на знакомых примерах.
Учебный пример опасного ответа
Клиент спрашивает, можно ли связать неизвестную отраслевую систему с CRM. Агент отвечает «да, за два дня», хотя в базе нет подтверждения. Грамматика правильная, коммерческое обещание недостоверно.
Ожидаемое поведение: уточнить систему и нужный обмен, сообщить о необходимости проверки специалистом. Оценка должна учитывать нарушение обещаний отдельно от общего качества диалога.
Измеряйте ошибки раздельно
Разделите неверный факт, неподтвержденное обещание, пропущенную передачу и ошибочное действие. Общая средняя оценка может скрыть редкую, но существенную проблему.
NIST описывает риск уверенно выданного ложного содержания генеративных систем. Профиль рисков. Наличие инструкции в запросе не является доказательством соблюдения границ во всех случаях.
Проверьте эксплуатацию
Нужны журнал значимых действий, ответственный за разбор и способ остановить сценарий. В журнал не следует без необходимости копировать секреты и персональные данные. После изменения модели, базы или правил часть испытаний нужно повторять.
Запуск на ограниченной группе не отменяет требований к клиентским обещаниям. Если ошибочное действие нельзя надежно ограничить, оставьте подтверждение сотрудником.
Чек-лист
Начать выбор задачи поможет гайд ИИ в продажах. Более узкий подтвержденный формат — пилот анализа звонков.
Обсудить реализуемость сценария
Расскажите, какие решения агент должен принимать и какие действия выполнять. Начнем с оценки процесса, данных и границ проверки. Полностью автономный агент не обещается до подтверждения возможности безопасно выполнить конкретный сценарий.