Распознавание архива изображений в Yandex Vision

Используйте сервис Yandex Vision для распознавания текста на изображениях. Также вы можете использовать Yandex Object Storage для хранения исходных изображений и результатов распознавания.

Чтобы настроить инфраструктуру для распознавания текста с помощью Vision и автоматической выгрузки результатов в Object Storage:

1. Подготовьте облако к работе.
2. Создайте бакет.
3. Создайте виртуальную машину.
4. Настройте виртуальную машину.
5. Создайте архив с изображениями.
6. Подготовьте скрипт для распознавания и загрузки изображений.
7. Проверьте корректность распознавания.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Перед работой нужно зарегистрироваться в Yandex Cloud и создать платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.
2. На странице биллинга убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсы

В стоимость поддержки инфраструктуры для распознавания изображений и хранения данных входят:

• плата за вычислительные ресурсы и диски ВМ (см. тарифы Yandex Compute Cloud);
• плата за хранение данных в бакете и операции с ними (см. тарифы Yandex Object Storage);
• плата за использование динамического или статического внешнего IP-адреса (см. тарифы Yandex Virtual Private Cloud);
• плата за использование Yandex Vision (см. тарифы для Yandex Vision).

Создайте бакет

Чтобы создать бакет Object Storage для хранения исходных изображений и результатов распознавания:

Создайте виртуальную машину

Настройте виртуальную машину

Настройте Yandex Cloud CLI

1. Подключитесь к ВМ по протоколу SSH.

2. Установите на ВМ Yandex Cloud CLI и создайте профиль.

3. Убедитесь, что Yandex Cloud CLI функционирует корректно:

   CLI

   На ВМ выполните команду:

   yc config list
   

   Результат:

   token: AQ...gs
   cloud-id: b1gdtdqb1900f5rqqvli
   folder-id: b1gveg9vude9g3uioa50
   

   Сохраните идентификатор каталога — параметр folder-id, он понадобится для настройки сервисного аккаунта.

Настройте сервисный аккаунт

Настройте AWS CLI

1. Обновите пакеты, установленные в операционной системе ВМ, для этого выполните команду:

   sudo yum update -y
   

2. Установите AWS CLI:

   sudo yum install awscli -y
   

3. Настройте AWS CLI:

   aws configure
   

   Укажите значения параметров:

   • AWS Access Key ID — идентификатор статического ключа доступа key_id, который вы получили при настройке сервисного аккаунта.
   • AWS Secret Access Key — секретный ключ secret, который вы получили при настройке сервисного аккаунта.
   • Default region name — ru-central1.
   • Default output format — json.

4. Проверьте, что файл ~/.aws/credentials содержит правильные значения параметров key_id и secret:

   cat ~/.aws/credentials
   

5. Проверьте, что файл ~/.aws/config содержит правильные значения параметров Default region name и Default output format:

   cat ~/.aws/config
   

Создайте архив с изображениями

1. Загрузите изображения с текстом в бакет.

   Совет

   Воспользуйтесь примером изображения дорожного знака, предупреждающего о пингвинах.

2. Убедитесь, что изображения были загружены, указав в запросе имя бакета:

   aws --endpoint-url=https://storage.yandexcloud.net s3 ls s3://<имя_бакета>/
   

3. Сохраните изображения из бакета на ВМ, например в директорию my_pictures:

   aws --endpoint-url=https://storage.yandexcloud.net s3 cp s3://<имя_бакета>/ my_pictures --recursive
   

4. Запакуйте изображения в архив, например в my_pictures.tar:

   tar -cf my_pictures.tar my_pictures/*
   

5. Удалите директорию с изображениями:

   rm -rfd my_pictures
   

Подготовьте скрипт для распознавания и загрузки изображений

Настройте окружение

1. Установите пакет jq, который понадобится для обработки результатов из Vision:

   sudo yum install jq -y
   

2. Установите текстовый редактор nano:

   sudo yum install nano -y
   

3. Задайте переменные окружения, необходимые для работы скрипта:

   export BUCKETNAME="<имя_бакета>"
   export FOLDERID="<идентификатор_каталога>"
   export IAMTOKEN="<IAM-токен>"
   

   Где:

   • BUCKETNAME — имя бакета.
   • FOLDERID — идентификатор каталога.
   • IAMTOKEN — IAM-токен, который вы получили при настройке сервисного аккаунта.

Создайте скрипт

В скрипте выполняются следующие этапы:

1. Создаются необходимые директории.
2. Распаковывается архив с изображениями.
3. Последовательно обрабатываются все изображения:
   1. Изображение кодируется по стандарту Base64.
   2. Формируется тело запроса для конкретного изображения.
   3. Изображение отправляется в POST-запросе в Vision для распознавания.
   4. Полученный результат записывается в файл output.json в формате JSON.
   5. Из файла output.json выделяется распознанный текст и записывается в текстовый файл.
4. Полученные текстовые файлы запаковываются в архив.
5. Архив с текстовыми файлами загружается в Object Storage.
6. Удаляются служебные файлы.

Для удобства в текст скрипта добавлены комментарии к каждому этапу.

Чтобы реализовать скрипт:

1. Создайте файл, например vision.sh, и откройте его в текстовом редакторе nano:

   sudo nano vision.sh
   

2. Скопируйте в файл vision.sh текст скрипта:

   #!/bin/bash
   
   # Создать необходимые директории
    echo "Creating directories..."
   
   # Создать директорию для распознанного текста
   mkdir my_pictures_text
   
   # Распаковать архив с изображениями в созданную директорию
   echo "Extract pictures in my_pictures directory..."
   tar -xf my_pictures.tar
   
   # Распознать изображения из архива
   FILES=my_pictures/*
   for f in $FILES
   # В цикле для каждого файла из директории произвести следующие действия:
   do
       # Закодировать изображение по стандарту Base64 для отправки в Vision
       CODEIMG=$(base64 -i $f | cat)
   
       # Создать файл body.json, который будет отправляться в POST-запросе в Vision
       cat <<EOF > body.json
   {
   "folderId": "$FOLDERID",
   "analyze_specs": [{
   "content": "$CODEIMG",
   "features": [{
   "type": "TEXT_DETECTION",
   "text_detection_config": {
   "language_codes": ["en","ru"]
   }
   }]
   }]
   }
   EOF
       # Отправить изображение в Vision для распознавания и записать результат в файл output.json
       echo "Processing file $f in Vision..."
       curl -X POST --silent \
       -H "Content-Type: application/json" \
       -H "Authorization: Bearer ${IAMTOKEN}" \
       -d '@body.json' \
       https://vision.api.cloud.yandex.net/vision/v1/batchAnalyze > output.json
   
       # Получить имя файла с изображением для дальнейшей подстановки
       IMAGE_BASE_NAME=$(basename -- "$f")
       IMAGE_NAME="${IMAGE_BASE_NAME%.*}"
   
       # Получить из файла output.json текстовые данные и записать их в TXT-файл с таким же именем, как у файла с изображением
       cat output.json | jq -r '.results[].results[].textDetection.pages[].blocks[].lines[].words[].text' | awk -v ORS=" " '{print}' > my_pictures_text/$IMAGE_NAME".txt"
   done
   
   # Запаковать содержимое директории с текстовыми файлами в архив
   echo "Packing text files to archive..."
   tar -cf my_pictures_text.tar my_pictures_text
   
   # Отправить архив с текстовыми файлами в бакет
   echo "Sending archive to Object Storage Bucket..."
   aws --endpoint-url=https://storage.yandexcloud.net s3 cp my_pictures_text.tar s3://$BUCKETNAME/ > /dev/null
   
   # Удалить служебные файлы
   echo "Cleaning up..."
   rm -f body.json
   rm -f output.json
   rm -rfd my_pictures
   rm -rfd my_pictures_text
   rm -r my_pictures_text.tar
   

3. Установите разрешения на запуск скрипта:

   sudo chmod 755 vision.sh
   

4. Запустите скрипт:

   ./vision.sh
   

Проверьте корректность распознавания

Как удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

1. Удалите все объекты в бакете.
2. Удалите бакет.
3. Удалите ВМ.
4. Удалите статический публичный IP-адрес, если вы его зарезервировали.