Использование Sqoop

Импорт баз данных в кластер Data Proc из внешних источников выполняется с помощью утилиты Sqoop. Раздел содержит:

• сведения о формировании строк подключения и установке драйверов для Sqoop;

• команды для импорта данных с помощью Sqoop в:

  • Yandex Object Storage;
  • директорию HDFS;
  • Apache Hive;
  • Apache HBase.

Формирование строки подключения JDBC

Строка подключения JDBC имеет вид:

jdbc:postgresql://<адрес сервера базы данных>:5432/<имя базы данных>

jdbc:postgresql://c-<идентификатор кластера>.rw.mdb.yandexcloud.net:6432/<имя базы данных>

jdbc:mysql://<адрес сервера базы данных>:3306/<имя базы данных>

jdbc:mysql://c-<идентификатор кластера>.rw.mdb.yandexcloud.net:3306/<имя базы данных>

Установка JDBC-драйвера

Чтобы Sqoop мог подключиться к базе данных через строку подключения JDBC, установите JDBC-драйвер:

MYSQL_VER="8.0.25" && \
wget "https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-${MYSQL_VER}.tar.gz" \
-O 'mysql-connector-java.tar.gz' && \
sudo tar -xf mysql-connector-java.tar.gz -C /var/lib/sqoop/ && \
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/var/lib/sqoop/mysql-connector-java-${MYSQL_VER}.jar

Импорт с помощью Sqoop

В Object Storage

Этот тип импорта доступен, если в кластере Data Proc активирован компонент Sqoop.

Чтобы импортировать данные в бакет Object Storage:

1. При создании или изменении кластера Data Proc укажите имя бакета для импорта в Object Storage. Убедитесь, что сервисный аккаунт Data Proc имеет права на запись в этот бакет.

2. Сформируйте строки подключения для JDBC.

3. Подключитесь по SSH к хосту подкластера Data Proc для хранения данных.

4. Установите драйверы для работы Sqoop, если они еще не установлены.

5. Выполните команду:

   sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
       --connect <строка подключения JDBC> \
       --username <имя пользователя базы данных> \
       --P \
       --table '<имя таблицы базы данных>' \
       --target-dir 's3a://<имя бакета для импорта>/<директория назначения>' \
       --split-by '<столбец таблицы, используемый для разделения>'
   

   Важно

   Не указывайте имя существующей директории бакета.

В директорию HDFS

Этот тип импорта доступен, если в кластере Data Proc включены сервисы:

• HBase,
• HDFS,
• Sqoop,
• Yarn,
• Zookeeper.

Чтобы импортировать данные в директорию HDFS:

1. Сформируйте строки подключения для JDB.

2. Подключитесь по SSH к хосту подкластера Data Proc для хранения данных.

3. Установите драйверы для работы Sqoop, если они еще не установлены.

4. Выполните команду:

   sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
       --connect <строка подключения JDBC> \
       --username <имя пользователя базы данных> \
       --table '<имя таблицы базы данных>' \
       --target-dir '<директория HDFS>' \
       --P \
       --split-by '<столбец таблицы, используемый для разделения>'
   

   Важно

   Не указывайте имя существующей директории HDFS.

В Apache Hive

Этот тип импорта доступен, если в кластере Data Proc включены сервисы:

• HDFS,
• Hive,
• Mapreduce,
• Sqoop,
• Yarn.

Чтобы импортировать данные в таблицу Hive:

1. При создании или изменении кластера Data Proc добавьте в свойства кластера ключ hive:hive.execution.engine со значением mr.

2. Сформируйте строки подключения для JDBC.

3. Подключитесь по SSH к хосту подкластера Data Proc для хранения данных.

4. Установите драйверы для работы Sqoop, если они еще не установлены.

5. Создайте базу данных Hive:

   hive -e "CREATE DATABASE <имя базы данных Hive>;"
   

6. Выполните команду:

   sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
       --connect <строка подключения JDBC> \
       --username <имя пользователя исходной базы данных> \
       --P \
       --table '<имя таблицы в исходной базе данных>' \
       --hive-import \
       --create-hive-table \
       --hive-database '<имя базы данных Hive>' \
       --hive-table '<имя таблицы Hive>' \
       --split-by '<столбец таблицы, используемый для разделения>'
   

   Важно

   Не указывайте имя существующей таблицы Hive.

В Apache HBase

Этот тип импорта доступен, если в кластере Data Proc включены сервисы:

• HBase,
• HDFS,
• Sqoop,
• Yarn,
• Zookeeper.

Чтобы импортировать данные в Apache HBase:

1. Сформируйте строки подключения для JDBC.

2. Подключитесь по SSH к хосту подкластера Data Proc для хранения данных.

3. Установите драйверы для работы Sqoop, если они еще не установлены.

4. Выполните команду:

   sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
       --connect <строка подключения JDBC> \
       --username <имя пользователя исходной базы данных> \
       --P \
       --table '<имя таблицы в исходной базе данных>' \
       --hbase-create-table \
       --column-family '<семейство столбцов HBase>' \
       --hbase-table '<имя таблицы HBase>' \
       --split-by '<столбец таблицы, используемый для разделения>'
   

   Важно

   Не указывайте имя существующей таблицы HBase.