Автоматизация оценки контроля качества звонков

Заказчик — компания «Ленремонт», федеральный сервисный бренд, специализирующийся на ремонте бытовой техники. Основная часть взаимодействия с клиентами проходит по телефону, поэтому компания выстроила собственную инфраструктуру клиентского сервиса с контакт-центром и службой контроля качества.

Ключевое звеносервиса —колл-центр

Ключевое звено сервиса —колл-центр

Каждый день сюда поступает более 18 000 обращений клиентов: заявки, статусы, согласование выездов мастеров

Проблема Заказчика

В сервисном бизнесе клиент обращается не просто так — что‑то сломалось, не работает или требует срочного решения. В такие моменты люди редко пишут в чат: быстрее и надёжнее позвонить. Поэтому, несмотря на развитие онлайн-заявок и мессенджеров, колл-центр в «Ленремонте» до сих пор остаётся ключевым каналом коммуникации.

Компания 24/7 принимает тысячи обращений, и такой масштаб требует системной оценки звонков, что физически не может быть обеспечено силами внутреннего отдела контроля качества.

Сложившаяся ситуация создаёт несколько проблем:

Компания обратилась в Aiston с пониманием, что при сохранении ручных процессов рост штата не решит задачу — нужны были инструменты для автоматизации процессов контроля качества.

Цели и задачи

Для решения проблемы Заказчика мы разработали систему речевой аналитики, которая с помощью искусственного интеллекта автоматически обрабатывает и оценивает большой поток звонков. ИИ-инструмент усиливает возможности специалистов отдела контроля качества, фокусируя их внимание только на проблемных ситуациях. Принято решение создать собственную систему для достижение бизнес-задач:

Мы заложили дополнительные задачи, которые должна была выполнять система для автоматизации оценки качества: — Расшифровка звонков и определение участников диалога и их роли. — Оценка разговоров по заданным критериям и стандартам общения. — Выявление проблемных и отклоняющихся от норм диалогов. — Формирование аналитических отчётов и показателей качества. — Визуализация результатов в едином интерфейсе для внутреннего отдела контроля качества. Система должна была интегрироваться в существующий контур Заказчика и соответствовать требованиям его инфраструктуры и политики безопасности данных.

Работа велась в тесном сотрудничестве с отделом контроля качества и ИТ-службой Заказчика. Это помогло учесть специфику корпоративных процессов, ускорить настройку критериев и обеспечить плавное внедрение без перестройки инфраструктуры.

Аналитика

Самым сложным и трудоёмким стал этап аналитики — именно здесь ИИ-система должна была научиться выполнять и оценивать работу сотрудников внутреннего отдела контроля качества. От качества технической и методологической настройки зависела её точность. 

Сбор и систематизация данных

Мы начали с описания того, как в колл-центре выстроена оценка качества звонков (AS-IS). Для этого мы провели серию интервью с сотрудниками Заказчика. Дополнительно разобрали рабочие таблицы отдела контроля качества. В итоге первичного анализа выяснили, что существующая методикаоценки применяется неравномерно: из объёмного документа с множеством критериев и пометок в повседневной работе стабильно используются лишь 3-4, формулировки расходятся между отделами, а часть правил трактуется субъективно

Для каждого типа определили отдельные критерии и прописали, за что именно ставится тот или иной балл. Мы сохранили подход, привычный команде Заказчика: большинство критериев фиксируют ошибки и отклонения в разговоре, а единственным положительным сигналом остаётся благодарность клиента мастеру как знак идеального обслуживания.

Все критерии перевели в простую шкалу (от 0 до 3 баллов или «да / нет») и описали, как их учитывать при расчёте итоговой оценки.

Так получилась единая структура оценки, которая стала основой для автоматизации процессов контроля качества.

Подготовка данных

Прежде, чем обучать систему оценивать звонки, нужно было обеспечить качество исходных данных. В качестве базовой модели для распознавания речи выбрали WhisperX — за счёт высокой точности и встроенной временной разметки она позволила синхронизировать текст с аудио и облегчить дальнейшую диаризацию. Источниками данных стали:

Этап помог отсеять часть данных, так как в общей базе встречались нерелевантные диалоги — например, внутренние разговоры сотрудников.

Разработка промптов и структуры аналитики

Следующим этапом стало создание рабочей методики взаимодействия нейросетей. Для тестов собрали пилотный набор из 40 реальных диалогов — по десять для каждого типа коммуникации (оператор, мастер, ОКК, телемаркетинг).  Для каждого из типов создали отдельные промпты с уникальными наборами критериев и логикой интерпретации, которые корректировали по ходу тестирования.

Изначально методику тестировали на модели Qwen — она использовалась как безопасная среда для проверки промптов и структуры JSON-ответов, а еще как инструмент корректировки транскриптов WhisperX. Модель показала хорошие результаты на коротких диалогах, но на длинных звонках теряла контекст, нарушала структуру вывода и периодически зацикливалась. Из-за нестабильности и непредсказуемого поведения исключили ИИ-модель для использования в процессах контроля качества. Тем не менее, на этапе работы с Qwen удалось отладить логику промптов и зафиксировать рабочую структуру аналитического процесса:

Позже, в ходе тестирования, шаги 2 и 3 были объединены, чтобы сократить время обработки (вдвое и без потери качества). Этот подход стал основой для тестирования на разных LLM и лёг в основу финального решения.

Выбор моделей

После отладки структуры аналитики команда провела серию сравнительных тестов языковых моделей. Суммарно мы протестировали 6 моделей, чтобы определить оптимальное соотношение качества, скорости и стабильности. Для ускорения исследования создали Python-скрипты, которые автоматически формировали и отправляли наборы промптов в модели. Система сохраняла результаты в текстовые файлы, после чего данные агрегировались в таблицы для анализа точности, стабильности и времени отклика.

Чтобы повысить точность моделей, дополнительно мы добавляли примеры корректных ответов. Это позволило моделям точнее следовать инструкции и снизить вариативность вывода. На основе собранных данных сформирована сводная матрица, где сравнивались результаты всех моделей по единым метрикам.

По результатам анализа мы выбрали модель Mistral-NEMO — она показала наилучший баланс между скоростью (в среднем 1–1,5 минуты на звонок), устойчивостью и качеством интерпретации критериев даже на длинных записях. Дополнительно WhisperX и pyannote.audio закреплены за этапами транскрибации и диаризации. Результатом этапа аналитики стала законченная архитектура системы, объединяющая методологию оценки, набор моделей и логику их взаимодействия.

Backend и интеграция

Архитектура решения включает два ключевых сервиса, работающих в закрытом контуре заказчика:

1. Сервис нейросетевой обработки.

Разработан как Python-обёртка на Django, которая управляет взаимодействием с нейросетями. Он принимает запросы на обработку — транскрибацию, определение ролей, анализ критериев — передаёт их нужной модели и возвращает готовые результаты. Вся логика построена на очередях и webhook-уведомлениях, а это помогает выполнять задачи асинхронно и параллельно обрабатывать большое количество звонков.

2. Основной backend Ленремонта.

Это внутренний сервис компании, в который интегрировано решение. Он формирует пакеты новых записей, передаёт их в нейросетевой сервис на транскрибацию и получает обратно готовые результаты анализа, которые сохраняются в базу и отображаются в интерфейсе аналитики. Такое разделение позволяет системе быть масштабируемой, безопасной и автономной: все данные остаются внутри инфраструктуры Заказчика, а обновления или замена моделей не требуют изменений во внутреннем контуре.

Проектирование интерфейсов

Мы детально проработали сценарии взаимодействия и логику экранов, чтобы интерфейс отражал реальные процессы отдела контроля качества — от загрузки звонка до анализа и обратной связи сотруднику. Опирались на существующие интерфейсы, чтобы сохранить привычную навигацию и снизить порог внедрения. Решение реализовано в виде модуля «Диалоги с клиентами», который объединяет аналитику и операционную работу в одном окне. Он включает три представления данных: — по звонкам, — по сотрудникам, — по заявкам.

Звонки

Полный реестр обработанных разговоров с фильтрами, поиском и сводной статистикой в сайдбаре. Помогает быстро оценивать объём, динамику и качество обращений.

Раздел «Звонки» показывает полный список всех обработанных разговоров.

Проблемные разговоры подсвечиваются цветом — это позволяет фокусироваться на отклонениях от стандарта. Мы добавили фильтры, поиск и боковую панель со сводной статистикой, которая помогает специалистам ОКК быстро оценивать объём и динамику обращений.

Карточка диалога

Центральный элемент системы, где собраны все данные о звонке: сотрудник, заявка, клиент и аудиозапись с расшифровкой.

Каждый звонок открывается в карточке, где отображаются: — данные сотрудника (специальность, Ф.И.О., контакт); — связанная заявка и клиент; — аудиоплеер с возможностью регулировки скорости и громкости; — автоматическая расшифровка и краткое содержание разговора; — числовая оценка и критерии качества. Для каждого типа диалога применяется собственный набор критериев (от 12 до 51 пунктов), определенный на этапе аналитики. Вся информация представлена в едином окне — без необходимости переключаться между вкладками или системами. На основе оценки специалисты видят причины снижения показателей и дают адресную обратную связь.

Заявки и Сотрудники

Используют общую логику карточки диалога, но позволяют смотреть на данные под разными углами.

Разделы «Сотрудники» и «Заявки» позволяют анализировать данные по людям и процессам: сравнивать результаты, искать закономерности, отслеживать динамику качества и повторяющиеся нарушения. Звонки автоматически связываются с карточками заявок. Так обеспечивается непрерывная связь аналитики и операционной деятельности, что делает систему инструментом и контроля, и развития сервиса..

Дополнительные интеграции

Внутри информационной системы заказчика решение интегрировано с существующими модулями «Заявки» и «Справочники».  В справочниках можно обновлять данные о сотрудниках и номерах телефонов, которые используются при идентификации участников диалога.

Результаты

Внедрение системы речевой аналитики на базе ИИ позволило «Ленремонту» перейти от выборочного контроля к комплексному управлению качеством обслуживания на основе данных.

Для диспетчеров система стала источником объективной оценки. Теперь они могут учиться на реальных диалогах, анализировать успешные кейсы и понимать, в каких ситуациях клиент остался недоволен.  Для отдела контроля качества появился единый центр управления сервисом. ИИ-автоматизация в колл-центре снижает ручную работу и помогает фокусироваться только на проблемных диалогах. Для компании контроль качества стал масштабируемым процессом. Компания теперь видит, где теряются клиенты, какие процессы влияют на выручку, и строит обучение сотрудников на основе фактических данных, а не интуиции.

При этом все данные обрабатываются в локальном контуре компании без передачи информации внешним сервисам.