Выгрузка базы данных в Yandex Data Proc

Утилита Sqoop позволяет импортировать базы данных в кластер Data Proc. В зависимости от конфигурации кластера Data Proc вы можете выполнить импорт в:

• бакет Yandex Object Storage;
• директорию HDFS;
• Apache Hive;
• Apache HBase.

Чтобы импортировать базы данных кластера-источника с помощью Sqoop в кластер-приемник Data Proc:

1. Подготовьте кластер-источник.
2. Выполните импорт.
3. Проверьте корректность импорта.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

1. Создайте облачную сеть.
2. Создайте подсеть в зоне доступности ru-central1-c. При создании подсети выберите опцию NAT для доступа в интернет — это обязательное условие для работы кластера Data Proc.

Остальные ресурсы вы можете создать вручную или с помощью Terraform.

Вручную

1. Создайте кластер Managed Service for PostgreSQL любой подходящей вам конфигурации со следующими настройками:

   • базой данных db1;
   • пользователем user1.

2. Чтобы импортировать данные в бакет Object Storage:

   1. Создайте бакет.
   2. Создайте сервисный аккаунт.
   3. Выдайте этому сервисному аккаунту разрешения на чтение и запись в бакет.

3. Создайте кластер Data Proc любой подходящей вам конфигурации.

   Укажите настройки, соответствующие хранилищу, в которое будут импортированы данные:

   Бакет Object Storage

   Директория HDFS

   Apache Hive

   Apache HBase

   • Сервисный аккаунт — имя созданного ранее сервисного аккаунта.
   • Имя бакета — имя созданного ранее бакета.
   • Сервисы — Sqoop.

   Сервисы:

   • HBase,
   • HDFS,
   • Sqoop,
   • Yarn,
   • Zookeeper.

   • Сервисы:

     • HDFS,
     • Hive,
     • Mapreduce,
     • Sqoop,
     • Yarn.

   • Свойства — ключ hive:hive.execution.engine со значением mr.

   Сервисы:

   • HBase,
   • HDFS,
   • Sqoop,
   • Yarn,
   • Zookeeper.

4. Создайте виртуальную машину для подключения к кластерам Managed Service for PostgreSQL и Data Proc.

5. Настройте группы безопасности кластеров и виртуальной машины, чтобы разрешить подключение:

   • к виртуальной машине и кластеру Data Proc;
   • к кластеру Managed Service for PostgreSQL.

С помощью Terraform

1. Если у вас еще нет Terraform, установите его.

2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

3. Скачайте в ту же рабочую директорию файл конфигурации clusters-postgresql-data-proc-and-vm.tf.

   В этом файле описаны:

   • группы безопасности для кластеров и виртуальной машины;
   • сервисный аккаунт для кластера Data Proc;
   • бакет Object Storage;
   • кластер Managed Service for PostgreSQL;
   • кластер Data Proc;
   • виртуальная машина с публичным доступом из интернета.

4. Укажите параметры инфраструктуры в файле конфигурации clusters-postgresql-data-proc-and-vm.tf в блоке locals:

   • folder_id — идентификатор каталога, в котором будут созданы ресурсы.

   • network_id — идентификатор созданной ранее облачной сети.

   • subnet_id — идентификатор созданной ранее подсети.

   • storage_sa_id — идентификатор сервисного аккаунта, с помощью которого будет создан бакет в Object Storage.

   • data_proc_sa — имя сервисного аккаунта для кластера Data Proc. Оно должны быть уникальным в каталоге.

   • pg_cluster_version — версия PostgreSQL кластера Managed Service for PostgreSQL.

   • pg_cluster_password — пароль для пользователя user1 базы данных db1 Managed Service for PostgreSQL.

   • vm_image_id — идентификатор публичного образа с Ubuntu без GPU. Например, для Ubuntu 20.04 LTS.

   • vm_username и vm_public_key — логин и абсолютный путь к публичному SSH-ключу, которые будут использоваться для доступа к виртуальной машине. По умолчанию в образе Ubuntu 20.04 LTS указанный логин игнорируется, вместо него создается пользователь с логином ubuntu. Используйте его для подключения к виртуальной машине.

   • bucket_name — имя бакета в Object Storage. Оно должны быть уникальным для всего Object Storage.

   • dp_public_key — абсолютный путь к публичному SSH-ключу для кластера Data Proc.

     Для SSH-подключения к хостам кластера Data Proc версии 1.х используйте имя пользователя root.

5. Выполните команду terraform init в директории с конфигурационным файлом. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

6. Проверьте корректность файлов конфигурации Terraform с помощью команды:

   terraform validate
   

   Если в файлах конфигурации есть ошибки, Terraform на них укажет.

7. Создайте необходимую инфраструктуру:

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Подготовка кластера-источника

1. Подключитесь к базе данных db1 кластера Managed Service for PostgreSQL от имени пользователя user1.

2. Наполните базу тестовыми данными. В качестве примера используется простая таблица с именами и возрастом людей:

   1. Создайте таблицу:

      CREATE TABLE persons (
          Name VARCHAR(30) NOT NULL,
          Age INTEGER DEFAULT 0,
          PRIMARY KEY (Name)
      );
      

   2. Наполните таблицу данными:

      INSERT INTO persons (Name, Age) VALUES
          ('Anna', 19),
          ('Michael', 65),
          ('Fred', 28),
          ('Alsou', 50),
          ('Max', 27),
          ('John', 34),
          ('Dmitry', 42),
          ('Oleg', 19),
          ('Alina', 20),
          ('Maria', 28);
      

Импорт базы данных

Чтобы обеспечить параллелизм базы данных, Sqoop позволяет разделять импортируемые данные не только по первичному ключу, но и по другим столбцам таблицы. В примере разделение данных выполняется по столбцу age.

Пусть:

• FQDN хоста подкластера Data Proc для хранения данных: rc1c-dataproc-d-vfw6fa8xqfukq23m.mdb.yandexcloud.net.
• Имя бакета в Object Storage: my-bucket.
• Имена директорий в Object Storage и HDFS: import-directory.
• Имя базы данных Apache Hive: db-hive.
• Имя семейства столбцов Apache HBase: family1.
• Имена таблиц HBase и Hive: import-table.

• Идентификатор кластера Managed Service for PostgreSQL: c9qgcd6lplrsjt9jhtuu.

Проверка корректности импорта

Если импорт прошел успешно, вы увидите содержимое таблицы persons.

Удаление созданных ресурсов