Обмен данными между Yandex Managed Service for ClickHouse и Yandex Data Proc

Статья создана

Yandex Cloud

Подготовьте облако к работе
- Необходимые платные ресурсы
Выгрузите данные из Yandex Managed Service for ClickHouse
- Подготовьте кластер Yandex Managed Service for ClickHouse
- Запустите выгрузку из Yandex Managed Service for ClickHouse
Загрузите данные в Yandex Managed Service for ClickHouse
Как удалить созданные ресурсы

Чтобы настроить загрузку и выгрузку данных между кластерами Yandex Managed Service for ClickHouse и Yandex Data Proc:

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работе

Примечание

Создавайте кластеры и виртуальную машину в одной облачной сети.

Создайте кластер Yandex Managed Service for ClickHouse любой подходящей вам конфигурации со следующими настройками:
- с базой данных db1;
- с пользователем user1.
Создайте кластер Yandex Data Proc любой подходящей вам конфигурации со следующими настройками:
- с включенной опцией UI Proxy;
- c компонентами:
  - HBASE
  - HDFS
  - HIVE
  - MAPREDUCE
  - SPARK
  - TEZ
  - YARN
  - ZEPPELIN
  - ZOOKEEPER
Создайте виртуальную машину для подключения к кластерам Yandex Managed Service for ClickHouse и Yandex Data Proc.
Подключитесь к виртуальной машине по SSH и настройте подключения к кластерам:
- Yandex Managed Service for ClickHouse;
- Yandex Data Proc.
(Опционально) Чтобы экспортировать данные в бакет Yandex Object Storage:
1. Создайте бакет Yandex Object Storage.
2. Выдайте права на запись в него сервисному аккаунту кластера Yandex Data Proc.

Необходимые платные ресурсы

В стоимость поддержки обмена данными между Yandex Managed Service for ClickHouse и Yandex Data Proc входит:

плата за постоянно запущенную ВМ (см. тарифы Yandex Compute Cloud);
плата за использование динамического или статического внешнего IP-адреса (см. тарифы Yandex Virtual Private Cloud).

Выгрузите данные из Yandex Managed Service for ClickHouse

Подготовьте кластер Yandex Managed Service for ClickHouse

Подключитесь к базе данных db1 кластера Yandex Managed Service for ClickHouse от имени пользователя user1.

Наполните базу тестовыми данными. В качестве примера используется простая таблица с именами и возрастом людей.

Создайте таблицу:

CREATE TABLE persons (
    `name` String,
    `age` UInt8) ENGINE = MergeTree ()
ORDER BY
    `name`;

Наполните таблицу данными:

INSERT INTO persons VALUES
   ('Anna', 19),
   ('Michael', 65),
   ('Fred', 28),
   ('Alsou', 50),
   ('Max', 27),
   ('John', 34),
   ('Dmitry', 42),
   ('Oleg', 19),
   ('Alina', 20),
   ('Maria', 28);

Запустите выгрузку из Yandex Managed Service for ClickHouse

Откройте веб-интерфейс Zeppelin кластера Yandex Data Proc.
Нажмите ссылку Create new note и укажите параметры ноутбука Zeppelin:
- Note name — введите произвольное имя ноутбука;
- Default Interpreter — выберите spark.
Нажмите кнопку Create.

Чтобы сформировать датафрейм, создайте и запустите параграф с кодом. Чтобы запустить параграф, нажмите на кнопку Run this paragraph или используйте сочетание клавиш Shift + Enter. Текст параграфа зависит от наличия публичного доступа к хостам кластера Yandex Managed Service for ClickHouse.

Подключение без SSL

Подключение с SSL

%spark.pyspark
jdbcPort = 8123
jdbcHostname = "c-<идентификатор кластера Yandex Managed Service for ClickHouse>.rw.mdb.yandexcloud.net"
jdbcDatabase = "db1"
jdbcUrl = f"jdbc:clickhouse://{jdbcHostname}:{jdbcPort}/{jdbcDatabase}"
df = spark.read.format("jdbc") \
.option("url", jdbcUrl) \
.option("user","user1") \
.option("password","<пароль к базе данных Yandex Managed Service for ClickHouse>") \
.option("dbtable","persons") \
.load()
df.show()

%spark.pyspark
jdbcPort = 8443
jdbcHostname = "c-<идентификатор кластера Yandex Managed Service for ClickHouse>.rw.mdb.yandexcloud.net"
jdbcDatabase = "db1"
jdbcUrl = f"jdbc:clickhouse://{jdbcHostname}:{jdbcPort}/{jdbcDatabase}?ssl=true"
df = spark.read.format("jdbc") \
.option("url", jdbcUrl) \
.option("user","user1") \
.option("password","<пароль к базе данных Yandex Managed Service for ClickHouse>") \
.option("dbtable","persons") \
.load()
df.show()

Если датафрейм сформирован успешно, ответ на запрос будет содержать таблицу с исходными данными.

Чтобы выгрузить информацию из датафрейма в бакет Yandex Object Storage или таблицу Hive, создайте и запустите параграф с кодом.
Object Storage

Hive
```
%spark.pyspark
df.write.parquet('s3a://<имя бакета>/<директория бакета>/')
spark.read.parquet('s3a://<имя бакета>/<директория бакета/').show()
```
```
%spark.pyspark
df.createOrReplaceTempView("mytempTable")
spark.sql("CREATE TABLE IF NOT EXISTS persons AS SELECT * FROM mytempTable");
spark.sql("SELECT * FROM persons").show()
```
Если выгрузка прошла успешно, ответ на запрос будет содержать таблицу с исходными данными.

Загрузите данные в Yandex Managed Service for ClickHouse

Подготовьте исходные данные

Источником данных может быть директория HDFS или бакет Yandex Object Storage. В качестве исходных данных будет использоваться CSV-файл с именами и возрастом людей:

name,age
Anna,19
Michael,65
Fred,28
Alsou,50
Max,27
John,34
Dmitry,42
Oleg,19
Alina,20
Maria,28

Object Storage

Директория HDFS

Создайте файл example.csv с тестовыми данными и загрузите его в бакет Yandex Object Storage.

Подключитесь к хосту кластера Yandex Data Proc в подкластере для хранения данных.
Определите адрес сервера HDFS. Этот адрес понадобится указать при выгрузке данных в директорию HDFS.
```
hdfs getconf -confKey fs.defaultFS
```
Создайте файл example.csv с тестовыми данными.
Создайте директорию HDFS для записи тестовых данных:
```
hdfs fs -mkdir /user/testdata
```
Скопируйте файл с тестовыми данными из локальной файловой системы в директорию HDFS:
```
hdfs dfs -copyFromLocal example.csv /user/testdata/example.csv
```

Запустите выгрузку из Yandex Data Proc

Откройте веб-интерфейс Zeppelin кластера Yandex Data Proc.
Нажмите ссылку Create new note и укажите параметры ноутбука Zeppelin:
- Note name — введите произвольное имя ноутбука;
- Default Interpreter — выберите spark.
Нажмите кнопку Create.

Чтобы сформировать датафрейм, создайте и запустите параграф с кодом.