Как работает речевая аналитика?

Компании активно внедряют ИИ-систему речевой аналитики, чтобы отслеживать стандарты и находить важные сигналы в общении с клиентами и сотрудниками без ручной прослушки. Но что кроется внутри этой технологии? 

Ниже разберем, как работает речевая аналитика.

Как система речевой аналитики обрабатывает звонки и сообщения

1. Запись звонка

Всё начинается с обычного общения с клиентом. Источники могут быть разными:

• телефонные звонки из АТС, CRM или корпоративной телефонии;
• сообщения из чатов, мессенджеров, социальных сетей и электронной почты;
• записи очных разговоров — например, консультаций в аптеке, клинике, банке или магазине.

Обычно звонки записываются средствами корпоративной телефонии, переписки поступают в систему сразу в виде текста, а для очного разговора могут использоваться отдельные устройства: микрофоны, диктофоны или бейджи сотрудников. 

Вместе с самой записью или перепиской передаётся доступная информация о ней: кто и когда общался с клиентом, сколько длился разговор и через какой канал пришло обращение. Для офлайн-разговора это может быть ещё и конкретная точка или смена.

Так у системы появляется первый контекст. Чем структурнее и чище голосовые данные на этом этапе, тем меньше неопределённости дальше по цепочке.

2. Распознавание речи: транскрибация и диаризация

Если система получает звонок или запись очного разговора, аудио сначала нужно перевести в текст. Этот процесс называется транскрибацией и выполняется с помощью нейросетевой модели распознавания речи.

Качество исходной записи здесь имеет значение для разбора звукового потока: тихий голос в шумной среде распознать сложнее, чем звонок по телефонной линии. С переписками всё немного проще: переводить речь в текст уже не нужно. 

Затем проводится диаризация — процесс, в котором система речевой аналитики определяет, кому принадлежит каждая реплика. В общей записи отделяются слова сотрудника и клиента, даже если технически разговор не был разделён на два аудиоканала.

На выходе получается:

• текст разговора;
• разделение реплик по участникам;
• таймкоды, по которым можно вернуться к нужному моменту записи.

После этого звонок, очный разговор и переписка выглядят для аналитической системы примерно одинаково: это диалог с понятными участниками и порядком реплик. Можно переходить к работе с содержанием.

3. Оценка диалога: смысл, структура, отклонения

Когда текст звонка готов и роли участников определены, система переходит к следующему этапу — автоматической оценке диалога. Это также делает ИИ-модель, которая анализирует, насколько разговор соответствует требованиям.

Например, система может проверить:

• было ли приветствие и корректное завершение разговора;
• выяснил ли сотрудник потребность клиента;
• сообщил ли обязательную информацию;
• провёл ли презентацию продукта;
• предложил ли решение или следующий шаг;
• как справился с вопросами и возражениями;
• соблюдал ли скрипт и внутренние правила компании.

Для звонков и очных разговоров можно дополнительно учитывать паузы, перебивания, запинки, слова-паразиты и другие особенности устной речи. В переписке будут важнее другие вещи: как быстро сотрудник ответил и насколько понятно сформулировал решение.

По итогам каждая коммуникация получает оценки по заданным критериям и общий балл. Руководитель контролирует конкретные факты: здесь сотрудник хорошо выявил потребность, а здесь не предложил следующий шаг.

4. Визуализация и аналитика

Результаты анализа собираются в едином дашборде. В нём руководитель видит:

• общий индекс качества обслуживания;
• рейтинги команд и сотрудников;
• соблюдение стандартов и этапов разговора;
• долю повторных обращений, жалоб и эскалаций;
• динамику показателей;
• основные проблемные зоны.

От общей картины можно перейти к конкретной команде, сотруднику или диалогу и понять, где именно теряется качество: например, операторы не полностью выявляют запрос, предлагают неподходящее решение или некорректно завершают разговор.

Система также формирует отчёты по направлениям, группам, сменам и темам обращений. Они помогают определить, кому требуется обучение, какие сценарии нужно пересмотреть и дали ли результат уже внесённые изменения. Например, можно сравнить показатели до и после обучения специалистов.

Какие модели лежат в основе речевой аналитики

В основе того, как работает речевая аналитика, лежит связка нескольких ИИ-моделей. 

• ASR-модели переводят аудиозапись в текст. К ним относятся, например, Whisper и модели на базе NVIDIA NeMo.
• NLP-модели помогают классифицировать обращения, находить темы, определять тональность и извлекать из текста нужные данные. Например, модель BERT. 
• LLM анализируют содержание диалога целиком: понимают контекст, оценивают действия сотрудника и формируют выводы. Примеры таких моделей — GPT, Claude, Llama, Mistral, Qwen, GigaChat и YandexGPT.

В одной системе могут сочетаться несколько моделей. Например, ASR переводит звонок в текст, небольшая NLP-модель определяет тему обращения, а LLM проверяет, полностью ли сотрудник выявил запрос и помог ли клиенту. 

Где обрабатываются и хранятся данные

Обычно используют один из трёх вариантов:

• готовый сервис на инфраструктуре поставщика — компания передаёт записи и получает результаты анализа;
• отдельное развёртывание в облаке — под систему выделяют собственный облачный контур;
• развёртывание на серверах заказчика — записи и результаты анализа остаются внутри компании.

Выбор зависит от объёма коммуникаций, доступных мощностей и требований к данным. Если система размещается в облаке, стоит уточнить, какой сегмент для этого используется, какими сертификатами или аттестатами подтверждается его защищённость, кто получает доступ к записям и как долго они хранятся.

Как использовать результаты анализа

Когда через систему проходят все разговоры и переписки, у бизнеса появляется полная картина коммуникаций с клиентами. И это без случайных выводов, которые основаны на выборочном прослушивании.

Результаты анализа можно использовать, чтобы:

• контролировать стандарты — проверять, соблюдают ли сотрудники скрипты и обязательные этапы диалога;
• обучать команду — разбирать конкретные ошибки, сложные ситуации и удачные приёмы;
• улучшать сценарии общения — находить этапы, на которых клиент не получает нужного ответа, отказывается от покупки или обращается повторно;
• проверять изменения — сравнивать показатели до и после обучения, обновления скрипта или внедрения нового стандарта;
• находить бизнес-инсайты — выявлять частые вопросы, причины отказов, жалобы и неудовлетворённый спрос.

Одна и та же технология может решать совсем разные задачи: в маркетинге быть источником гипотез, в продажах — контроль работы с лидами. В промышленности с её помощью можно проверять, правильно ли сотрудники проводят обязательные инструктажи — об этом мы рассказывали в отдельном кейсе. В другом нашем проекте в рекрутинге система помогает анализировать разговор с кандидатом. Поэтому сценарий анализа каждый раз настраивается под конкретный процесс.

Как внедрить систему 

Формат внедрения зависит от объёма коммуникаций, требований к данным и того, насколько индивидуальным должно быть решение.

• Пилотный проект. Подходит, если компания хочет проверить речевую аналитику на своих данных до полноценного внедрения. Для пилота выбирают конкретную задачу и ограниченный массив записей. В Aiston пилот проводится на нашей инфраструктуре, поэтому заказчику не нужно сразу закупать оборудование или разворачивать систему в своём контуре.
• SaaS, или готовый облачный сервис. Подходит малому и среднему бизнесу, небольшим контакт-центрам и компаниям со стандартными сценариями анализа. Сервис можно запустить в течение пары дней: подключить источники данных и выбрать преднастроенный отраслевой пакет. Инфраструктуру обеспечивает поставщик, а доступ предоставляется по подписке. 
• Enterprise, или on-premise. Подходит крупным компаниям, проектам с индивидуальной логикой анализа и организациям, которым важно оставить данные внутри собственного контура. Система разворачивается на серверах заказчика и интегрируется с его телефонией, CRM и внутренними сервисами. Мы в Aiston также подбираем и настраиваем необходимую IT-инфраструктуру и вычислительные мощности. Развёртывание занимает несколько недель без учёта закупки оборудования и внутренних согласований.

Если вам важно понять, что происходит в коммуникациях с клиентами, сотрудниками или кандидатами, но пока непонятно, как будет работать речевая аналитика у вас, напишите нам. Обсудим задачу и предложим подходящий формат.