Обмен данными между Yandex Managed Service for ClickHouse и Yandex Data Proc

Чтобы настроить загрузку и выгрузку данных между кластерами Managed Service for ClickHouse и Data Proc:

1. Подготовьте облако к работе.
2. Выгрузите данные из Managed Service for ClickHouse.
3. Загрузите данные в Managed Service for ClickHouse.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работе

1. Создайте облачную сеть.
2. Создайте подсеть в зоне доступности ru-central1-c.
3. Настройте NAT-шлюз для созданной подсети — это обязательное условие для работы кластера Data Proc.

Создайте ресурсы:

Необходимые платные ресурсы

В стоимость поддержки обмена данными между Managed Service for ClickHouse и Data Proc входит:

• плата за постоянно запущенную ВМ (см. тарифы Yandex Compute Cloud);
• плата за использование динамического или статического внешнего IP-адреса (см. тарифы Yandex Virtual Private Cloud).

Выгрузите данные из Managed Service for ClickHouse

Подготовьте кластер Managed Service for ClickHouse

1. Подключитесь к базе данных db1 кластера Managed Service for ClickHouse от имени пользователя user1.

2. Наполните базу тестовыми данными. В качестве примера используется простая таблица с именами и возрастом людей.

   1. Создайте таблицу:

      CREATE TABLE persons (
          `name` String,
          `age` UInt8) ENGINE = MergeTree ()
      ORDER BY
          `name`;
      

   2. Наполните таблицу данными:

      INSERT INTO persons VALUES
         ('Anna', 19),
         ('Michael', 65),
         ('Alvar', 28),
         ('Lilith', 50),
         ('Max', 27),
         ('Jaimey', 34),
         ('Dmitry', 42),
         ('Qiang', 19),
         ('Augustyna', 20),
         ('Maria', 28);
      

Запустите выгрузку из Managed Service for ClickHouse

1. Откройте веб-интерфейс Zeppelin кластера Data Proc.

2. Нажмите ссылку Create new note и укажите параметры заметки:

   • Note name — введите произвольное имя заметки.
   • Default Interpreter — выберите spark.

3. Нажмите кнопку Create.

4. Чтобы сформировать датафрейм, создайте и запустите параграф с кодом. Для этого выделите нужный параграф и нажмите кнопку Run this paragraph (также можно использовать сочетание клавиш Shift+Enter).

   %spark.pyspark
   jdbcPort = 8443
   jdbcHostname = "c-<идентификатор кластера Managed Service for ClickHouse>.rw.mdb.yandexcloud.net"
   jdbcDatabase = "db1"
   jdbcUrl = f"jdbc:clickhouse://{jdbcHostname}:{jdbcPort}/{jdbcDatabase}?ssl=true"
   df = spark.read.format("jdbc") \
   .option("url", jdbcUrl) \
   .option("user","user1") \
   .option("password","<пароль к базе данных Managed Service for ClickHouse>") \
   .option("dbtable","persons") \
   .load()
   df.show()
   

   Если датафрейм сформирован успешно, ответ на запрос будет содержать таблицу с исходными данными.

5. Чтобы выгрузить информацию из датафрейма в бакет Object Storage или таблицу Hive, создайте и запустите параграф с кодом.

   Object Storage

   Hive

   %spark.pyspark
   df.write.parquet('s3a://<имя бакета>/<директория бакета>/')
   spark.read.parquet('s3a://<имя бакета>/<директория бакета/').show()
   

   %spark.pyspark
   df.createOrReplaceTempView("mytempTable")
   spark.sql("CREATE TABLE IF NOT EXISTS persons AS SELECT * FROM mytempTable");
   spark.sql("SELECT * FROM persons").show()
   

   Если выгрузка прошла успешно, ответ на запрос будет содержать таблицу с исходными данными.

Загрузите данные в Managed Service for ClickHouse

Подготовьте исходные данные

Источником данных может быть директория HDFS или бакет Object Storage. В качестве исходных данных будет использоваться CSV-файл с именами и возрастом людей:

name,age
Anna,19
Michael,65
Fred,28
Alsou,50
Max,27
John,34
Dmitry,42
Oleg,19
Alina,20
Maria,28

Запустите выгрузку из Data Proc

1. Откройте веб-интерфейс Zeppelin кластера Data Proc.

2. Нажмите ссылку Create new note и укажите параметры заметки:

   • Note name — введите произвольное имя заметки.
   • Default Interpreter — выберите spark.

3. Нажмите кнопку Create.

4. Чтобы сформировать датафрейм, создайте и запустите параграф с кодом.

   Object Storage

   Директория HDFS

   %spark.pyspark
   df = spark.read.option("header", True).csv("s3a://<имя бакета>/<директория бакета>/example.csv")
   df.show()
   

   %spark.pyspark
   df = spark.read.option("header", True).csv("hdfs://<адрес сервера HDFS>/user/testdata/example.csv")
   df.show()
   

5. Чтобы выгрузить информацию из датафрейма в базу данных Managed Service for ClickHouse, создайте и запустите параграф с кодом.

   %spark.pyspark
   jdbcPort = 8443
   jdbcHostname = "c-<идентификатор кластера Managed Service for ClickHouse>.rw.mdb.yandexcloud.net"
   jdbcDatabase = "db1"
   jdbcUrl = f"jdbc:clickhouse://{jdbcHostname}:{jdbcPort}/{jdbcDatabase}?ssl=true"
   df.write.format("jdbc") \
   .mode("error") \
   .option("url", jdbcUrl) \
   .option("dbtable", "example") \
   .option("createTableOptions", "ENGINE = MergeTree() ORDER BY age") \
   .option("user","user1") \
   .option("password","<пароль к базе данных Managed Service for ClickHouse>") \
   .save()
   

Проверьте загрузку данных в Managed Service for ClickHouse

1. Подключитесь к базе данных db1 кластера Managed Service for ClickHouse от имени пользователя user1.

2. Выполните запрос:

   SELECT * FROM example;
   

   Если выгрузка прошла успешно, ответ на запрос будет содержать таблицу с данными.

Удалите созданные ресурсы