Подключиться
Yandex SpeechKit

Синтез речи

Статья создана

Синтез речи в Yandex SpeechKit позволяет озвучить любой текст на нескольких языках.

Голосовые модели SpeechKit используют технологию глубоких нейронных сетей. При синтезе речи модель обращает внимание на большое количество деталей исходного голоса. Перед началом синтеза модель оценивает весь текст целиком, а не отдельные предложения. Благодаря этому синтезированный голос звучит чисто и естественно, без электронных искажений, и воспроизводит уместные интонации, присущие речи живого человека.

Возможности синтеза

Работа со SpeechKit осуществляется через API. Подробнее о принципах работы API Yandex Cloud см. в документе Концепции API.

Синтез SpeechKit имеет два API — API v1 (REST) и API v3 (gRPC).

API v1 API v3
Спецификация REST gRPC
Выбор голоса Параметр voice Параметр hint: voice
Выбор языка Зависит от голоса
Параметр lang		 Зависит от голоса, в запросе явно не указан
Задание амплуа Зависит от голоса
Параметр emotion		 Зависит от голоса
Параметр hint: role
Управление произношением SSML
TTS		 TTS
Скорость произношения Параметр speed Параметр hint: speed
Настройка громкости Нет Параметр loudness_normalization_type
Формат результирующего аудио Параметр format Параметр output_audio_spec
Задание параметров LPCM Параметр sampleRateHertz Параметр output_audio_spec: raw_audio
Синтез по шаблону Нет Параметр text_template
Способ тарификации Суммарное количество символов в запросах По запросам
Автоматическое разбиение длинных фраз Не требуется Параметр unsafe_mode

Языки и голоса

Вы можете выбрать голос, который будет озвучивать ваш текст. Каждый голос соответствует модели, обученной на речи диктора. Голоса отличаются тембром, полом и языком говорящего. Список голосов и их характеристики см. в разделе Список голосов.

Если ни один голос не подходит вашему бизнесу, SpeechKit может создать уникальный — специально для вас. Подробнее об этом — в разделе Yandex SpeechKit Brand Voice.

SpeechKit может синтезировать речь на разных языках:

  • русский — ru-RU;
  • казахский — kk-KK;
  • английский — en-US.

Каждый голос предназначен для синтеза речи на определенном языке. Голоса могут произносить и текст на иностранном языке, однако в этом случае качество синтезированной речи будет хуже: диктор> будет говорить с акцентом, а слова могут быть синтезированы с ошибками.

Амплуа

Синтезированная речь будет звучать по-разному в зависимости от выбранного амплуа. Амплуа — это характер произношения для одного и того же диктора. Для разных голосов доступны разные наборы амплуа. Попытка использовать амплуа, которого нет у выбранного голоса, вызовет ошибку сервиса.

Управление произношением

Чтобы контролировать произношение в синтезированном тексте, явно размечайте исходный текст. SpeechKit может синтезировать тексты, размеченные по правилам Speech Synthesis Markup Language (SSML) или TTS-разметки. Эти способы разметки позволяют настроить длительность пауз, произношение отдельных звуков и многое другое. SSML и TTS-разметка отличаются параметрами передачи данных:

  • SSML поддерживается только в запросах API v1. Чтобы передать текст в формате SSML, укажите параметр ssml в теле запроса, а текст оберните в тег <speak>. Подробнее о тегах SSML читайте в разделе Разметка SSML.
  • TTS-разметка поддерживается в API v1 и API v3. В запросах API v1 передавайте текст, размеченный по правилам TTS, в параметре text в теле запроса. API v3 не требует специальных параметров и считает любой переданный текст размеченным по правилам TTS. Подробнее об использовании TTS-разметки читайте в разделе TTS-разметка текста.

Качество переданного текста

В некоторых случаях в синтезированном тексте может меняться голос. Это происходит, если для синтеза передан текст низкого качества:

  • длинный текст без пунктуации;
  • текст, содержащий специфичные предложения и сленг;
  • текст с большим количеством слов из других языков.

Настройки синтеза

Вы можете настраивать не только произношение, но и технические характеристики синтезируемой речи.

Скорость синтезированной речи

Скорость синтезируемой речи влияет на восприятие информации. Слишком быстрое или слишком медленное произношение звучит неестественно, но может быть полезно в рекламе, где каждая секунда эфира стоит дорого.

По умолчанию скорость генерируемой речи соответствует средней скорости речи человека.

Нормализация громкости

В запросах API v3 вы можете задать тип и уровень нормализации громкости. Это может потребоваться, если вы используете синтез SpeechKit вместе с другими источниками звука. Например, чтобы громкость голосового ассистента не отличалась от уведомлений телефона.

SpeechKit поддерживает два типа нормализации:

  • Пиковая нормализация MAX_PEAK, при которой уровень звукового сигнала поднимается до максимально возможного значения для цифрового звука без появления искажений.
  • Нормализация LUFS — взвешенная нормализация на основе стандарта EBU R 128, в соответствии с которым нормализация громкости производится относительно цифровой полной шкалы.

Тип нормализации можно задать в параметре loudness_normalization_type. По умолчанию SpeechKit использует тип LUFS.

Уровень нормализации задается параметром hint: volume. Возможные значения зависят от типа нормализации:

  • для MAX_PEAK параметр может принимать значения в интервале (0;1], значение по умолчанию — 0.7;
  • для LUFS параметр изменяется в интервале [-149;0), значение по умолчанию — -19.

Если значение уровня нормализации не попадает в интервал, поддерживаемый уровнем нормализации, сервер SpeechKit вернет ошибку InvalidArgument.

Формат синтезированного аудиофайла

Вы можете выбрать формат аудиофайлов, в котором SpeechKit будет синтезировать речь.

Полный список доступных форматов и их характеристики см. в разделе Поддерживаемые форматы аудио.

Что дальше

В этой статье: