Голосовой ИИ-агент: поймать квала и передать человеку

Опубликовано 11.11.20269 мин чтенияСредний
Артемий Миллер в кепке с буквами ИИ рядом с надписью «ГОЛОСОВОЙ ИИ-АГЕНТ».
Что узнаешь
  • Как ограничить задачу агента квалификацией и передачей сотруднику
  • Как проверить отказ, перебивание и недоступного оператора
  • Как посчитать ошибки, задержку и стоимость подтверждённого результата
Средний
12просмотров

Голосовому ИИ-агенту в первом пилоте поручите поймать квала - собеседника с явным интересом - и передать разговор сотруднику. Продавать через этого робота не надо. До звонков клиентам проверьте интерес, отказ, перебивание и соединение с человеком на внутреннем разговоре. Запишите ошибки и измерьте задержку ответа.

На демонстрации робот может красиво разговаривать. А при отказе? Дойдёт ли вызов до сотрудника, получит ли тот контекст?

Мне нужна только квалификация. В первой проверке разбираем, что человек сказал, что решил агент и кому передал разговор.

Что такое голосовой ИИ-агент - и когда хватит IVR?

Нужен свободный разговор или достаточно выбрать отдел в меню? Сравнение МТС:

ПодходКак задаётся ход разговораЧто проверить
IVR - голосовое менюПункты меню, кнопки или короткие фразыПопадает ли человек в нужный отдел
Сценарный роботЗаданные ветки и предусмотренные намеренияЕсть ли ветка под нужный ответ
ИИ-агентВариативные формулировки с учётом контекстаСоблюдает ли границы и верно ли действует

Для передачи в нужный отдел может хватить меню. «Роботом» называют разные системы. При свободном разговоре проверяйте, не выходит ли агент за пределы задачи.

В документации LiveKit описана цепочка STT → LLM → TTS: распознать речь, выбрать ответ или действие, озвучить. Это один вариант сборки. Отдельный механизм определяет конец реплики. Проверяйте действие агента, а не только его ответ.

Общее устройство ИИ-агента я разбираю в отдельной статье.

Больше про ИИ-агентов - в моём канале:

«Мне нужна только квалификация»: что поручить первой версии?

Когда человек говорит «да, мне интересно», переводим на живого оператора. Это ещё не покупка и не окончательная оценка качества заявки.

Задайте правила для первой версии:

  • Явный интерес запускает передачу сотруднику.
  • Отказ завершает сценарий без продажи.
  • Непонятный ответ требует уточнения. Если ясности нет, завершайте разговор или подключайте человека по согласованному правилу.
  • Агент не торгуется и не завершает продажу самостоятельно.

Для текстового агента продаж границу между черновиком и отправкой я разбираю в отдельной статье.

Реакцию на отказ и неопределённость задайте как требования к тестовой версии. Просьбу больше не звонить учитывайте и после разговора. Проверку проводите с сотрудниками на тестовых контактах.

Шаг 1. Как выбрать и подготовить проверяемый стенд?

Редакция предлагает такой порядок внутренней проверки. Реплики и таблицы предназначены для будущего прогона.

Выбирайте стенд, на котором можно поговорить по-русски, увидеть распознанную реплику, решение агента и результат передачи. Браузерный тест не проверяет телефонное соединение.

Подготовьте стенд:

  • Согласуйте задачу, критерии успеха, предел задержки и запрещённые действия.
  • Выделите тестовые контакты и принимающего сотрудника.
  • Подготовьте проверку в браузере и по телефону, включая неудачную передачу.
  • Создайте тестовый журнал или отдельную область CRM с минимальными правами.
  • Зафиксируйте версии агента, моделей, правил и набора проверок.

Схема проверки:

Тестовый собеседник → обработка звука: распознавание и озвучивание → решение по намерению → передача сотруднику.

Каждый узел → общий журнал прогона.

Система определяет, когда человек закончил говорить. Ожидание после его реплики учитывайте в полном времени ответа.

Поля журнала: ID, версия, распознанный текст, ожидаемое и фактическое намерение, действие, результат соединения и передачи контекста, время. Проверьте руками, что записи сохраняются.

LiveKit здесь - пример, а не выбор платформы за вас. Провайдеру нужен настроенный SIP-транк - канал телефонной связи. При самостоятельном размещении LiveKit SIP-сервис разворачивается отдельно. Встроенный сбор записей и журналов не работает с собственными медиасерверами: предусмотрите другой способ сохранения.

Шаг 2. Какие реплики и сбои включить в проверку?

Чтобы определить намерение собеседника, мы подбираем ключ: предполагаем, что он может ответить. Когда он говорит «да, хорошо», легко определить, что он согласен.

Реплики таблицы придуманы для теста. Зафиксируйте их, число повторов, ожидаемые намерения и версию набора до испытания. Эти 6 классов не определяют достаточное число разговоров для оценки качества.

Класс и тестовая реплика или условиеОжидаемое намерение или событиеРазрешённое действиеЗапрещённое действиеКак подтвердить
Интерес: «Да, интересно, соедините с сотрудником»ИнтересНачать передачуПродолжать самостоятельную продажуСотрудник подтвердил вызов и контекст
Отказ: «Нет, мне не нужно»ОтказЗавершить сценарийЗаписать интерес, передать как квала или запустить повторный звонокМетка отказа и отсутствие этих действий в журнале
Непонятный ответ: «Ну, это смотря что»НеопределённостьУточнить; дальше действовать по согласованному правилуСчитать ответ согласиемСопоставить реплику, метку и действие
Перебивание: «Подождите» во время речи агентаПрерываниеОстановить речь и обработать новую репликуГоворить поверх человека, считать неуслышанную часть ответа услышаннойПрослушать запись и сверить историю
МолчаниеОтсутствие ответаВыдержать установленное ожидание и выполнить правило повтора или завершенияБесконечно повторяться, считать молчание интересомЗапись и отметки времени
Сотрудник недоступен после явного интересаИнтерес; передача не состояласьСообщить о неудаче, выполнить возврат или завершениеОбъявить успешное соединениеТелефонное событие, запись, подтверждение сотрудника

Если сотрудник недоступен, интерес мог быть распознан верно. Запишите отдельно решение агента и результат соединения.

В LiveKit при перебивании речь останавливается, история сокращается до услышанной части ответа. Настройки зависят и от модели. Сверьте запись с историей: прекратил ли агент говорить, что успел услышать человек.

Повторите набор с заранее выбранным шумом и по телефону. Результаты запишите отдельно от тихого браузерного теста.

Шаг 3. Как прогнать разговор и проверить «переводим на живого оператора»?

Робот ловит «да, мне интересно», затем переводит на живого оператора. Проверьте весь путь:

  • Зафиксируйте версии и ожидаемые результаты перед запуском.
  • Пройдите с сотрудниками строки таблицы, сохраняя разрешённые записи и журнал.
  • Повторите проверки по телефону на тестовом стенде.
  • Отдельно проверьте доступного и недоступного сотрудника.
  • Сохраните журнал, посчитайте показатели, разберите ошибки. После исправлений повторите проверки.

У LiveKit холодная передача использует SIP REFER - команду перевода вызова - и закрывает сессию звонящего в LiveKit. Тёплая позволяет передавать контекст, обрабатывать сбой и возвращаться к собеседнику. Выбранный способ проверьте с вашим провайдером и настройками.

Для теста согласуйте, что получит сотрудник: расшифровку, резюме, тестовые данные, причину передачи. Сотрудник проверяет получение каждой части; лишние данные уберите по правилам доступа.

Бланк журнала можно начать с отказа:

ПолеЧто записать
ID строки и прогонаПрисвоить при запуске
Условия и версияЗафиксировать перед разговором
Ожидаемое намерение и действиеОтказ; завершить без продажи и передачи
Распознанный текстЗаполнить при прогоне
Фактическое намерение и действиеЗаполнить при прогоне
Результат соединения и передачи контекстаЗаполнить при прогоне
Ссылка на разрешённую запись и журнал; ошибкаЗаполнить при прогоне

Успех подтверждает сотрудник: разговор состоялся, контекст получен. «Соединяю» и «вызов отправлен» недостаточно. Потерянный контекст означает неуспешную передачу по предложенному критерию, даже если телефон соединился.

Если вы собираете свои проекты с ИИ-агентами, посмотрите программу практикума СмыслоКода.

Практикум по вайб-кодингу
+Твой второй мозг
3 вечера - инструменты, метод, первый проект
Старт 24–26 ноября  ·  2 000 ₽
Записаться →

Как измерить ошибки и «задержку вот этого думания»?

В документации LiveKit описаны разные способы определить конец реплики: по голосовой активности, сигналам распознавания речи или вручную. Выбранный способ и ожидание после реплики влияют на то, когда агент начнёт отвечать.

Для вашей версии согласуйте допустимые ошибки и задержку до прогона.

ПоказательКак считатьЧто сохранитьЗначение после прогона
Ошибки намеренияОшибочные метки / все реплики с заранее заданной меткойЧислитель, знаменатель, ссылки на ошибкиЗаполнить
Ложная квалификация отказаОтказы, признанные интересом / все тесты отказаЧислитель, знаменатель, действия агентаЗаполнить
Неудачные передачиПередачи без подтверждения вызова или контекста / все ожидаемые передачиЧислитель, знаменатель, результат каждого вызоваЗаполнить
Полная задержкаВремя первого слышимого звука ответа минус время конца реплики собеседникаМедиана, p95, число наблюдений и условияЗаполнить

Если агент пропустил интерес и не начал соединение, передача всё равно считается неудачной. Разговор может попасть и в ошибки намерения; показатели не складывайте. Перебивание - событие, если в наборе ему не задано намерение.

Конец реплики и начало ответа отмечайте на одной записи. Учитывайте ожидание конца реплики. Времена распознавания, работы модели и озвучивания помогут найти причину задержки.

Для p95 отсортируйте длительности, умножьте число наблюдений на 95%, округлите вверх и возьмите значение на этой позиции. Укажите размер набора: по малому числу разговоров трудно судить о редких задержках.

При нулевом знаменателе пишите «не измерено». Если нет ответа, записи или различимых точек замера, укажите число таких случаев и причину исключения. Молчание без ответа не подставляйте в замер реакции на речь. Сравнивайте одинаковые условия и версии набора.

Во что обойдётся проверка и кому доступны записи?

Для сметы стенда перечислите расходы:

  • Телефония, распознавание, модель и синтез речи.
  • Инфраструктура, хранение, сбор записей и журналов.
  • Работа сотрудников над проверкой, отдельно от платежей поставщикам.

Если компонент уже входит в пакетную цену, не считайте его повторно. Стоимость выполнения сценария: перечисленные расходы прогона / число подтверждённых успешных выполнений. Укажите, включён ли труд сотрудников. Если успешных выполнений нет, стоимость операции не определена.

Подход к сравнению агентов по цене решённой задачи я разбираю в отдельной статье.

До записи разговоров проверьте, что происходит с данными:

  • Что записывается и куда передаётся у телефонного провайдера и каждого поставщика распознавания, модели и синтеза.
  • Кто имеет доступ, сколько хранится запись, как она удаляется.
  • Какие права нужны тестовой CRM; какие искусственные сведения используются в разговоре.

Персональные данные не показывайте на изображениях. Замена имени и телефона перед отправкой модели не доказывает юридическую анонимизацию. В LiveKit Cloud есть удаление персональных сведений до сохранения: проверьте, включено ли оно. Данные, собираемые вашим кодом, проверяйте отдельно. Свой сервер не доказывает безопасность. До звонков клиентам решите организационные и правовые вопросы.

Что исправить и когда можно обсуждать следующий пилот?

До прогона согласуйте критичность ошибок. После проверки заполните таблицу по каждому классу:

КлассОшибка в журналеКритичностьЧто изменитьВерсия исправленияПовтор на том же набореРешение
ИнтересЗаполнитьСтоп при потере передачиПо журналуЗаполнитьЗаполнитьПосле повтора
ОтказЗаполнитьСтоп при ложном интересеПо журналуЗаполнитьЗаполнитьПосле повтора
Непонятный ответЗаполнитьПо правилу уточненияПо журналуЗаполнитьЗаполнитьПосле повтора
ПеребиваниеЗаполнитьПо критерию прерыванияПо журналуЗаполнитьЗаполнитьПосле повтора
МолчаниеЗаполнитьПо правилу ожиданияПо журналуЗаполнитьЗаполнитьПосле повтора
Недоступный сотрудникЗаполнитьСтоп при ложном успехеПо журналуЗаполнитьЗаполнитьПосле повтора

Предложенные стоп-условия: отказ принят за интерес; агент продолжает продавать; потеряны вызов или согласованный контекст; объявлен успех без подтверждения. Оставьте такую версию во внутреннем тесте, исправьте причину ошибки и повторите весь набор, включая неудачную передачу.

При превышении задержки найдите по записи и журналу, сколько заняло определение конца реплики и какой узел задержал ответ. После замены модели повторите прогон. Зафиксируйте новую версию агента, не меняя ожидаемые ответы набора.

Либо продолжайте внутренний тест, либо передайте результаты ответственному за решение об ограниченном клиентском пилоте. Для второго устраните ошибки из стоп-условий, выполните согласованные критерии и повторите прогон. Строка без проверки или записи не пройдена. Технический тест не разрешает звонки клиентам.

Задача - поймать квала и передать человеку. Теперь дожимать можно конкретную ошибку: есть запись разговора и версия исправления.

Что вы первым проверите у своего голосового агента: определение интереса, перебивание или передачу сотруднику? Напишите в комментариях в канале.

Источники

Практикум по вайб-кодингу
+Твой второй мозг
3 вечера - инструменты, метод, первый проект
Старт 24–26 ноября  ·  2 000 ₽
Записаться →

Новые материалы - дайджестом, без спама

Гайды выходят регулярно. Подпишись, чтобы не пропускать: пришлю подборку в Telegram или на email. Раз в неделю или каждый день - выбираешь сам.

Была инструкция полезна?
Артемий Миллер
Автор
Артемий Миллер
Предприниматель и вайб-кодер

Артемий Миллер - предприниматель и вайб-кодер. Бывший программист, собирает продукты исключительно вместе с ИИ-агентами, без найма разработчиков.

Связанные инструкции

ИИ для бухгалтера: собери первичку и проверь по документам

Начните с реестра обезличенных счетов и сверки каждого поля с документом. ИИ собирает черновик, бухгалтер принимает результат и разбирает нерешённые расхождения.

9 мин

Codex sandbox: проверьте, какие права вы дали агенту

Codex sandbox ограничивает команды, но запрет внешней записи не доказывает запрет чтения. Проверьте права на искусственных файлах и повторите проверку после перезапуска.

9 мин

ИИ для тестирования: после правки проверяем весь путь

Поручите ИИ подготовить и сохранить проверки важных функций, затем повторяйте тот же набор после правки. Сравнивайте результат с согласованным ожиданием и открывайте отчёт перед приёмкой.

8 мин

ИИ для HR: какие у человека результаты и чем они подтверждены

Поручите ИИ сводку по рабочим критериям вакансии и запросите исходный фрагмент для каждого вывода. Сверьте все выводы и все входные материалы; решение о найме оставьте человеку.

10 мин