Мурлок и Ко: голос ребёнка распознаётся на нашем сервере и никуда не уходит
В тренажёре для 4 класса ребёнок разговаривает с котиком голосом. Голос ребёнка это чувствительные данные, поэтому распознавание речи работает на открытой модели на нашем собственном сервере: аудио не сохраняется и не передаётся сторонним сервисам. Облачная языковая модель получает уже готовый текст.
Задача
Детям 6+ удобнее говорить, чем печатать, поэтому котику в тренажёре нужен голосовой ввод. Отдавать записи детских голосов в облачный сервис распознавания мы не хотели. Нужно было распознавать русскую детскую речь у себя, на обычном сервере без видеокарты, и успевать ответить, пока ребёнок не заскучал.
Что сделали
- Развернули открытую модель распознавания речи Whisper (сборка faster-whisper) на собственном сервере. Модель работает на процессоре в сжатом виде int8, видеокарта не нужна.
- Сделали сервис распознавания внутренним: он принимает запросы только с того же сервера, снаружи к нему не подключиться.
- Аудио обрабатывается во временном файле и удаляется сразу после распознавания, записи голоса не хранятся.
- Подсказали модели словарь тренажёра (имена героев, школьные слова) и включили отсечение тишины: детская речь с паузами распознаётся точнее.
- Разделили контуры: голос остаётся на нашем сервере, а облачная языковая модель, которая ведёт диалог, получает только текст реплики.
Результат
Голосовой ввод работает в продукте на обычном сервере без видеокарты. Записи детских голосов не покидают сервер и не хранятся. Это та же схема двух контуров, которую мы предлагаем компаниям: чувствительные данные обрабатывает локальная модель, облако получает только то, что можно выносить.