Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Практические руководства

Импорт базы данных в Yandex Data Proc с использованием Sqoop

Статья создана

Утилита Sqoop позволяет импортировать базы данных в кластер Yandex Data Proc. В зависимости от конфигурации кластера Yandex Data Proc вы можете выполнить импорт в:

  • бакет Yandex Object Storage;
  • директорию HDFS;
  • Apache Hive;
  • Apache HBase.

Чтобы импортировать базы данных кластера-источника с помощью Sqoop в кластер-приемник Yandex Data Proc:

  1. Подготовьте кластер-источник.
  2. Выполните импорт.
  3. Проверьте корректность импорта.

Перед началом работы

Примечание

Разместите кластеры и виртуальную машину в одной облачной сети.

  1. Создайте кластер-источник:

    Создайте кластер Yandex Managed Service for MySQL любой подходящей вам конфигурации со следующими настройками:

    • с базой данных db1;
    • с пользователем user1.

    Создайте кластер Yandex Managed Service for PostgreSQL любой подходящей вам конфигурации со следующими настройками:

    • с базой данных db1;
    • с пользователем user1.

  2. Чтобы импортировать данные в бакет Yandex Object Storage:

    1. Создайте бакет с именем my-bucket.
    2. Создайте сервисный аккаунт с именем bucket-sa.
    3. Выдайте этому сервисному аккаунту права на запись в бакет my-bucket.

  3. Создайте кластер Yandex Data Proc любой подходящей вам конфигурации.

    Укажите настройки, соответствующие хранилищу, в которое будут импортированы данные:

    • Сервисный аккаунт — bucket-sa.
    • Имя бакета — my-bucket.
    • Сервисы — Sqoop.

    Сервисы:

    • HBase,
    • HDFS,
    • Sqoop,
    • Yarn,
    • Zookeeper.

    • Сервисы:

      • HDFS,
      • Hive,
      • Mapreduce,
      • Sqoop,
      • Yarn.

    • Свойства — ключ hive:hive.execution.engine со значением mr.

    Сервисы:

    • HBase,
    • HDFS,
    • Sqoop,
    • Yarn,
    • Zookeeper.

  4. Создайте виртуальную машину для подключения к кластеру-источнику и Yandex Data Proc.

  5. Настройте группы безопасности кластеров и виртуальной машины, чтобы разрешить подключение:

Подготовка кластера-источника

  1. Подключитесь к базе данных db1 кластера Yandex Managed Service for MySQL от имени пользователя user1.
  2. Наполните базу тестовыми данными. В качестве примера используется простая таблица с именами и возрастом людей:

    1. Создайте таблицу:

      CREATE TABLE persons (
    Name VARCHAR(30) NOT NULL,
    Age INTEGER DEFAULT 0,
    PRIMARY KEY (Name)
);

    2. Наполните таблицу данными:

      INSERT INTO persons (Name, Age) VALUES
    ('Anna', 19),
    ('Michael', 65),
    ('Fred', 28),
    ('Alsou', 50),
    ('Max', 27),
    ('John', 34),
    ('Dmitry', 42),
    ('Oleg', 19),
    ('Alina', 20),
    ('Maria', 28);
  1. Подключитесь к базе данных db1 кластера Yandex Managed Service for PostgreSQL от имени пользователя user1.
  2. Наполните базу тестовыми данными. В качестве примера используется простая таблица с именами и возрастом людей:

    1. Создайте таблицу:

      CREATE TABLE persons (
    Name VARCHAR(30) NOT NULL,
    Age INTEGER DEFAULT 0,
    PRIMARY KEY (Name)
);

    2. Наполните таблицу данными:

      INSERT INTO persons (Name, Age) VALUES
    ('Anna', 19),
    ('Michael', 65),
    ('Fred', 28),
    ('Alsou', 50),
    ('Max', 27),
    ('John', 34),
    ('Dmitry', 42),
    ('Oleg', 19),
    ('Alina', 20),
    ('Maria', 28);

Импорт базы данных

Чтобы обеспечить параллелизм базы данных, Sqoop позволяет разделять импортируемые данные не только по первичному ключу, но и по другим столбцам таблицы. В примере разделение данных выполняется по столбцу age.

Пусть:

  • FQDN хоста подкластера Yandex Data Proc для хранения данных: rc1c-dataproc-d-vfw6fa8xqfukq23m.mdb.yandexcloud.net.
  • Имя базы данных Apache Hive: db-hive.
  • Имя семейства столбцов Apache HBase: family1.
  • Имена директорий в Yandex Object Storage и HDFS: import-directory.
  • Имена таблиц HBase и Hive: import-table.
  • Идентификатор кластера Yandex Managed Service for MySQL: c9qo26aher8lc71ns36p.
  • Идентификатор кластера Yandex Managed Service for PostgreSQL: c9qgcd6lplrsjt9jhtuu.

Импорт в Yandex Object Storage

  1. Выполните все необходимые подготовительные шаги.

  2. Выполните команду:

    sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
    --connect "jdbc:mysql://c-c9qo26aher8lc71ns36p.rw.mdb.yandexcloud.net:3306/db1" \
    --username "user1" \
    --P \
    --table "persons" \
    --target-dir "s3a://my-bucket/import-directory" \
    --split-by "age"

    sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
    --connect "jdbc:postgresql://c-c9qgcd6lplrsjt9jhtuu.rw.mdb.yandexcloud.net:6432/db1" \
    --username "user1" \
    --P \
    --table "persons" \
    --target-dir "s3a://my-bucket/import-directory" \
    --split-by "age"

Импорт в директорию HDFS

  1. Выполните все необходимые подготовительные шаги.

  2. Выполните команду:

    sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
    --connect "jdbc:mysql://c-c9qo26aher8lc71ns36p.rw.mdb.yandexcloud.net:3306/db1" \
    --username "user1" \
    --table "persons" \
    --target-dir "import-directory" \
    --P \
    --split-by "age"

    sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
    --connect "jdbc:postgresql://c-c9qgcd6lplrsjt9jhtuu.rw.mdb.yandexcloud.net:6432/db1" \
    --username "user1" \
    --table "persons" \
    --target-dir "import-directory" \
    --P \
    --split-by "age"

Импорт в Apache Hive

  1. Выполните все необходимые подготовительные шаги.

  2. Выполните команду:

    sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
    --connect "jdbc:mysql://c-c9qo26aher8lc71ns36p.rw.mdb.yandexcloud.net:3306/db1" \
    --username "user1" \
    --P \
    --table "persons" \
    --hive-import \
    --create-hive-table \
    --hive-database "db-hive" \
    --hive-table "import-table" \
    --split-by "age"

    sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
    --connect "jdbc:postgresql://c-c9qgcd6lplrsjt9jhtuu.rw.mdb.yandexcloud.net:6432/db1" \
    --username "user1" \
    --P \
    --table "persons" \
    --hive-import \
    --create-hive-table \
    --hive-database "db-hive" \
    --hive-table "import-table" \
    --split-by "age"

Импорт в Apache HBase

  1. Выполните все необходимые подготовительные шаги.

  2. Выполните команду:

    sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
    --connect "jdbc:mysql://c-c9qo26aher8lc71ns36p.rw.mdb.yandexcloud.net:3306/db1" \
    --username "user1" \
    --P \
    --table "persons" \
    --hbase-create-table \
    --column-family "family1" \
    --hbase-table "import-table" \
    --split-by "age"

    sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
    --connect "jdbc:postgresql://c-c9qgcd6lplrsjt9jhtuu.rw.mdb.yandexcloud.net:6432/db1" \
    --username "user1" \
    --P \
    --table "persons" \
    --hbase-create-table \
    --column-family "family1" \
    --hbase-table "import-table" \
    --split-by "age"

Проверка корректности импорта

Если импорт прошел успешно, вы увидите содержимое таблицы persons.

Проверка импорта в Yandex Object Storage

Скачайте из бакета my-bucket файлы с результатами импорта.

Проверка импорта в директорию HDFS

  1. Подключитесь по SSH к хосту подкластера Data Proc для хранения данных.

  2. Выполните команду:

    hdfs dfs -cat /user/root/import-directory/*

Проверка импорта в Apache Hive

  1. Подключитесь по SSH к хосту подкластера Data Proc для хранения данных.

  2. Выполните команду:

    hive -e "SELECT * FROM import-table;"

Проверка импорта в Apache HBase

  1. Подключитесь по SSH к хосту подкластера Data Proc для хранения данных.

  2. Выполните команду:

    echo -e "scan 'import-table'" | hbase shell -n

Удаление созданных ресурсов

Если созданные ресурсы вам больше не нужны, удалите их:

  1. Удалите виртуальную машину.

  2. Если вы зарезервировали для виртуальной машины публичный статический IP-адрес, освободите и удалите его.

  3. Удалите кластеры:

  4. Если вы создавали бакет Yandex Object Storage, удалите его.

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье: