Распознавание длинных аудио

Распознавание длинных аудио подходит для многоканальных аудиофайлов до 1 ГБ.

Распознавание длинных аудио немного дешевле других способов распознавания, однако не подходит в сценариях распознавания речи онлайн — время ответа больше. Подробнее о стоимости в разделе Правила тарификации для SpeechKit.

Распознать длинное аудио

Чтобы распознать длинное аудио, необходимо выполнить 2 запроса:

1. Отправить файл на распознавание.
2. Получить результаты распознавания.

Если вы отправляете файлы с помощью gRPC, дополнительно прочитайте раздел Особенности использования gRPC.

Перед началом

1. Запрос на распознавание необходимо отправлять от имени сервисного аккаунта с ролью editor на каталог, в котором он создан.

   Если необходимо, воспользуйтесь инструкциями:

   • Создание сервисного аккаунта. В консоли управления вы можете назначить необходимые роли при создании сервисного аккаунта.
   • Просмотр назначенных ролей.
   • Назначение роли сервисному аккаунту.

2. Получите IAM-токен или API-ключ для вашего сервисного аккаунта. В примерах для аутентификации используется IAM-токен.

   Чтобы использовать API-ключ, передайте его в заголовке Authorization в следующем формате:

   Authorization: Api-Key <API-ключ>
   

3. Загрузите аудиофайл в сервис Yandex Object Storage и получите ссылку на загруженный файл:

   1. Если у вас еще нет бакета в Object Storage, создайте его.

   2. Загрузите аудиофайл в ваш бакет. В терминах Object Storage загружаемые файлы называются объектами.

   3. Получите ссылку на загруженный файл. Используйте эту ссылку в запросе на распознавание аудио.

      Ссылка на загруженный файл имеет вид:

      https://storage.yandexcloud.net/<имя-бакета>/<путь-к-файлу>
      

      Для бакета с ограниченным доступом в ссылке будут дополнительные query-параметры (после знака ?). В SpeechKit эти параметры не надо передавать — они игнорируются.

Отправить файл на распознавание

HTTP-Запрос

POST https://transcribe.api.cloud.yandex.net/speech/stt/v2/longRunningRecognize

Параметры в теле запроса

{
    "config": {
        "specification": {
            "languageCode": "string",
            "model": "string",
            "profanityFilter": "string",
            "audioEncoding": "string",
            "sampleRateHertz": "integer",
            "audioChannelCount": "integer"
        }
    },
    "audio": {
        "uri": "string"
    }
}

Ответ

Если запрос был составлен правильно, сервис возвращает объект Operation, в котором содержится идентификатор операции распознавания (id):

{
 "done": false,
 "id": "e03sup6d5h7rq574ht8g",
 "createdAt": "2019-04-21T22:49:29Z",
 "createdBy": "ajes08feato88ehbbhqq",
 "modifiedAt": "2019-04-21T22:49:29Z"
}

Используйте полученный идентификатор на следующем шаге.

Получить результаты распознавания

Проверяйте результаты распознавания, используя полученный идентификатор. Количество запросов на проверку результатов ограничено, поэтому учитывайте скорость распознавания: 1 минута одноканального аудио распознается примерно за 10 секунд.

HTTP-запрос

GET https://operation.api.cloud.yandex.net/operations/{operationId}

Path-параметры

Ответ

Когда распознавание будет закончено, значение поля done будет true, а в поле response будет список результатов распознавания chunks[].

Каждый результат в chunks[] содержит поля:

• alternatives[] - список вариантов распознанного текста. Каждый вариант содержит поля:
  • words[] - список распознанных слов.
    • startTime — временная отметка начала слова на аудиозаписи. Возможна погрешность в пределах 1-2 секунд.
    • endTime — временная отметка конца слова. Возможна погрешность в пределах 1-2 секунд.
    • word — распознанное слово. Распознанные числа пишутся прописью, например не 12, а двенадцать.
    • confidence - это поле сейчас не поддерживается, не используйте его.
  • text - распознанный текст целиком. По умолчанию числа пишутся цифрами. Чтобы весь текст был прописью, укажите true в поле raw_results.
  • confidence - это поле сейчас не поддерживается, не используйте его.
• channelTag - аудиоканал, для которого выполнено распознавание.

{
 "done": true,
 "response": {
  "@type": "type.googleapis.com/yandex.cloud.ai.stt.v2.LongRunningRecognitionResponse",
  "chunks": [
   {
    "alternatives": [
     {
      "words": [
       {
        "startTime": "0.879999999s",
        "endTime": "1.159999992s",
        "word": "при",
        "confidence": 1
       },
       {
        "startTime": "1.219999995s",
        "endTime": "1.539999988s",
        "word": "написании",
        "confidence": 1
       },
       ...
      ],
      "text": "при написании хоббита толкин обращался к мотивам скандинавской мифологии древней английской поэмы беовульф",
      "confidence": 1
     }
    ],
    "channelTag": "1"
   },
   ...
  ]
 },
 "id": "e03sup6d5h7rq574ht8g",
 "createdAt": "2019-04-21T22:49:29Z",
 "createdBy": "ajes08feato88ehbbhqq",
 "modifiedAt": "2019-04-21T22:49:36Z"
}

Особенности использования gRPC

Чтобы использовать сервис, создайте приложение, которое будет отправлять аудиофрагменты и обрабатывать ответ с результатами распознавания.

Чтобы приложение смогло отправлять запросы и запрашивать результат, необходимо сгенерировать код интерфейса клиента для используемого языка программирования. Сгенерируйте этот код из файлов stt_service.proto и operation_service.proto
из репозитория Yandex.Cloud API.

В документации gRPC вы можете найти подробные инструкции по генерации интерфейсов и реализации клиентских приложений для различных языков программирования.

Чтобы получить ответ целиком, повысьте ограничение на максимальный размер сообщения:

• для Go используйте функцию MaxCallRecvMsgSize.
• для C++ в методе call задайте значение max_receive_message_size.

Примеры

• Распознать русскую речь в формате OggOpus
• Распознать речь в формате LPCM

Распознать русскую речь в формате OggOpus

Чтобы распознать речь в формате OggOpus, достаточно указать в конфигурации язык распознавания в поле languageCode. По умолчанию будет использована языковая модель general.

Распознать речь в формате LPCM

Чтобы распознать речь в формате LPCM, в настройках распознавания укажите частоту дискретизации файла и количество аудиоканалов. Язык распознавания укажите в поле languageCode, языковую модель задайте в поле model.

1. Сформируйте тело запроса и сохраните его в файл, например body.json:

   Примечание

   Чтобы использовать языковую модель по умолчанию, не передавайте поле model в запросе.

   {
       "config": {
           "specification": {
               "languageCode": "ru-RU",
               "model": "general:rc",
               "audioEncoding": "LINEAR16_PCM",
               "sampleRateHertz": 8000,
               "audioChannelCount": 1
           }
       },
       "audio": {
           "uri": "https://storage.yandexcloud.net/speechkit/speech.pcm"
       }
   }
   

2. Отправьте запрос на распознавание:

   $ export IAM_TOKEN=CggaATEVAgA...
   $ curl -X POST \
       -H "Authorization: Bearer ${IAM_TOKEN}" \
       -d '@body.json' \
       https://transcribe.api.cloud.yandex.net/speech/stt/v2/longRunningRecognize
   
   {
       "done": false,
       "id": "e03sup6d5h1qr574ht99",
       "createdAt": "2019-04-21T22:49:29Z",
       "createdBy": "ajes08feato88ehbbhqq",
       "modifiedAt": "2019-04-21T22:49:29Z"
   }
   

   Сохраните идентификатор операции распознавания, полученный в ответе.

3. Подождите немного, пока закончится распознавание. 1 минута одноканального аудио распознается примерно за 10 секунд.

4. Отправьте запрос на получение информации об операции:

   $ curl -H "Authorization: Bearer ${IAM_TOKEN}" \
       https://operation.api.cloud.yandex.net/operations/e03sup6d5h1qr574ht99
   
   {
   "done": true, "response": {
    "@type": "type.googleapis.com/yandex.cloud.ai.stt.v2.LongRunningRecognitionResponse",
    "chunks": [
     {
      "alternatives": [
       {
        "text": "привет мир",
        "confidence": 1
       }
      ],
      "channelTag": "1"
     }
    ]
   },
   "id": "e03sup6d5h1qr574ht99",
   "createdAt": "2019-04-21T22:49:29Z",
   "createdBy": "ajes08feato88ehbbhqq",
   "modifiedAt": "2019-04-21T22:49:36Z"
   }