Распознавание голоса

Yandex DataSphere позволяет строить модели машинного обучения, используя интерфейс Jupyter Notebook. Познакомьтесь с решением задачи распознавания спикера по голосу с помощью моделирования речевых сигналов числовыми признаками:

1. Установите зависимости.
2. Выполните загрузку данных и извлечение признаков.
3. Обучите модель на голосовых данных.
4. Получите результаты предсказания признаков на тестовых данных.

Перед началом работы

1. Создайте проект в DataSphere и откройте его.

2. Склонируйте Git-репозиторий, в котором находится подготовленный ноутбук с набором данных:

   https://github.com/yandex-cloud/examples
   

   Дождитесь завершения клонирования, это может занять некоторое время. После завершения операции в блоке File Browser появится каталог склонированного репозитория.

3. Откройте каталог examples/datasphere/ и ознакомьтесь с содержимым ноутбука speech-recognition.ipynb. В начале ноутбука кратко изложены основные принципы моделирования речевого сигнала аудиопризнаками.

   Примечание

   Если вы обновите вкладку браузера, на которой запущен ноутбук, или закроете ее, то состояние ноутбука сохранится. Переменные и результаты уже сделанных вычислений при этих действиях не сбрасываются.

Установите зависимости

1. Выделите все ячейки с кодом в разделе Установка и импорт необходимых пакетов, удерживая Shift и нажимая слева от нужных ячеек:

   %pip install numba==0.48.0
   %pip install librosa
   %pip install cffi==1.14.2
   %pip show numba
   import time
   import os
   from tqdm import tqdm
   ...
   

2. Запустите выделенные ячейки, выбрав в меню Run → Run Selected Cells (также можно использовать сочетание клавиш Shift+Enter).

3. Дождитесь завершения операции.

4. Перезапустите ядро, выбрав в меню Kernel → Restart kernel.

Часть пакетов уже установлена и импортируется с помощью команды import, часть устанавливается с помощью команды %pip install и затем импортируется. Полный список предустановленных в DataSphere пакетов см. в разделе Список предустановленного ПО.

Загрузите набор данных из звуковых файлов

Перейдите к разделу Генерация аудиопризнаков. В нем выполняются следующие операции:

1. Определяется функция для извлечения аудиопризнаков из набора данных (используется библиотека librosa).
2. Загружается тестовый набор коротких десятисекундных аудиофрагментов. С помощью этой функции извлекаются аудиопризнаки. Так как данные распределены по папкам, относящимся к разным спикерам, можно однозначно сопоставить набору признаков конкретного спикера.
3. Полученный массив признаков нормируется.

Чтобы выполнить загрузку и обработку данных:

1. Выделите все ячейки с кодом в разделе Генерация аудиопризнаков и запустите их.
2. Дождитесь завершения операции.

Обучите модель на голосовых данных

Перейдите к ячейке с кодом обучения моделей в разделе Обучение моделей. В данной ячейке в цикле по каждому спикеру выполняются следующие операции:

1. Модель обучается на фрагментах его речи.
2. Модуль pickle выполняет сохранение объекта обученной модели в файл в папке ./data/speaker-models.

Чтобы обучить модель:

1. Выделите ячейку с кодом в разделе Обучение моделей.
2. Запустите ячейку.
3. Дождитесь завершения операции.

Обратите внимание на первую строку в ячейке с кодом:

#!c1.8

start = time.time()
...

Обучение модели — ресурсоемкая операция, и для ее эффективного выполнения конфигурация вычислительных ресурсов повышается до M.

Получите результаты предсказания признаков на тестовых данных

Перейдите к разделу Тестирование на тестовом семпле. В нем выполняются следующие операции:

1. Загружаются обученные модели из файлов pickle.
2. Выполняется загрузка и обработка аудиофайлов из тестового набора данных подобно тому, как это делалось для обучающего набора.
3. Каждая модель предсказывает спикера по признакам.
4. Наилучший результат предсказания определяет выбор спикера.
5. Отображается точность определения выбранного в тесте спикера.

Чтобы получить результаты тестирования:

1. Выделите ячейку в разделе Тестирование на тестовом семпле.
2. Запустите ячейку.
3. Дождитесь завершения операции.
4. Убедитесь, что полученная точность определения спикера не менее 98%.