Сохранение потока данных Yandex Data Streams в Yandex Managed Service for ClickHouse

Статья создана

Перед началом работы
Подготовьте поток данных Data Streams
Подготовьте и активируйте трансфер
Проверьте работоспособность трансфера
Удалите созданные ресурсы

С помощью сервиса Data Transfer вы можете поставлять данные из потока Data Streams в сервис Managed Service for ClickHouse.

Чтобы перенести данные:

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Подготовьте инфраструктуру:

Вручную

С помощью Terraform

Создайте базу данных Managed Service for YDB любой подходящей конфигурации.
Создайте кластер Managed Service for ClickHouse любой подходящей конфигурации.
Создайте эндпоинт для приемника:
- Тип базы данных — ClickHouse.
- Параметры эндпоинта:
  - Настройки подключения:
    - Тип подключения — Кластер Managed Service for ClickHouse.
      - Кластер Managed Service for ClickHouse — выберите кластер-приемник из списка.
    - База данных — укажите имя базы данных.
    - Пользователь и Пароль — укажите имя и пароль пользователя с доступом к базе, например, владельца базы данных.

Если у вас еще нет Terraform, установите и настройте его.
Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.
Скачайте в ту же рабочую директорию файл конфигурации data-transfer-yds-mch.tf.

В этом файле описаны:
- база данных Managed Service for YDB;
- сервисный аккаунт с ролью yds.editor;
- сеть;
- подсеть;
- группа безопасности и правила, необходимые для подключения к кластеру Managed Service for ClickHouse из интернета;
- кластер-приемник Managed Service for ClickHouse;
- эндпоинт для приемника;
- трансфер.
Укажите в файле data-transfer-yds-mch.tf:
- folder_id — идентификатор каталога, в котором будут созданы ресурсы.
- sa_name — имя сервисного аккаунта для использования в эндпоинтах.
- source_db_name — имя базы данных Managed Service for YDB.
- target_db_name — имя базы данных ClickHouse.
- target_user и target_password — имя и пароль пользователя-владельца базы данных ClickHouse.
- transfer_enabled – значение 0, чтобы не создавать трансфер до создания эндпоинта-источника вручную.
Выполните команду terraform init в директории с конфигурационным файлом. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.
Проверьте корректность файлов конфигурации Terraform с помощью команды:
```
terraform validate
```
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Создайте необходимую инфраструктуру:
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.
В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Подготовьте поток данных Data Streams

Создайте поток данных Data Streams.
Отправьте в поток тестовые данные. В качестве сообщения используйте данные от сенсоров автомобиля в формате JSON:

{
    "device_id":"iv9a94th6rztooxh5ur2",
    "datetime":"2022-06-05 17:27:00",
    "latitude":55.70329032,
    "longitude":37.65472196,
    "altitude":427.5,
    "speed":0,
    "battery_voltage":"23.5",
    "cabin_temperature":17,
    "fuel_level":null
}

Подготовьте и активируйте трансфер

Создайте эндпоинт для источника:

Тип базы данных — Yandex Data Streams.

Параметры эндпоинта:

Настройки подключения:
- База данных — выберите базу данных Managed Service for YDB из списка.
- Поток — укажите имя потока Data Streams.
- Сервисный аккаунт — выберите или создайте сервисный аккаунт с ролью yds.editor.

Расширенные настройки:

Правила конвертации — JSON.

Схема данных – Вы можете задать схему двумя способами:

Список полей.

Задайте список полей топика вручную:

Имя	Тип	Ключ
`device_id`	`STRING`	Да
`datetime`	`DATETIME`
`latitude`	`DOUBLE`
`longitude`	`DOUBLE`
`altitude`	`DOUBLE`
`speed`	`DOUBLE`
`battery_voltage`	`ANY`
`cabin_temperature`	`DOUBLE`
`fuel_level`	`ANY`

JSON спецификация.

Создайте и загрузите файл схемы данных в формате JSON json_schema.json:

json_schema.json

[
    {
        "name": "device_id",
        "type": "string",
        "key": true
    },
    {
        "name": "datetime",
        "type": "datetime"
    },
    {
        "name": "latitude",
        "type": "double"
    },
    {
        "name": "longitude",
        "type": "double"
    },
    {
        "name": "altitude",
        "type": "double"
    },
    {
        "name": "speed",
        "type": "double"
    },
    {
        "name": "battery_voltage",
        "type": "any"
    },
    {
        "name": "cabin_temperature",
        "type": "double"
    },
    {
        "name": "fuel_level",
        "type": "any"
    }
]

Создайте трансфер:
Вручную

С помощью Terraform
1. Создайте трансфер типа Репликация, использующий созданные эндпоинты.
2. Активируйте его.
1. Укажите в файле data-transfer-yds-mch.tf переменные:
  - source_endpoint_id — значение идентификатора эндпоинта для источника;
  - transfer_enabled – значение 1 для создания трансфера.
2. Проверьте корректность файлов конфигурации Terraform с помощью команды:
  terraform validate
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
3. Создайте необходимую инфраструктуру:
  1. Выполните команду для просмотра планируемых изменений:
    
    terraform plan
    
    Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
  2. Если вас устраивают планируемые изменения, внесите их:
    
    Выполните команду:
    
    terraform apply
    
    Подтвердите изменение ресурсов.
    
    Дождитесь завершения операции.
  Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфера

Дождитесь перехода трансфера в статус Реплицируется.

Отправьте в поток Data Streams новое сообщение:

{
    "device_id":"rhibbh3y08qmz3sdbrbu",
    "datetime":"2022-06-06 09:49:54",
    "latitude":55.71294467,
    "longitude":37.66542005,
    "altitude":429.13,
    "speed":55.5,
    "battery_voltage":null,
    "cabin_temperature":18,
    "fuel_level":32
}

Убедитесь, что в базу данных кластера Managed Service for ClickHouse перенеслись данные из потока Data Streams:
1. Подключитесь к кластеру-приемнику Managed Service for ClickHouse.
2. Проверьте, что в базе ClickHouse существует таблица с именем созданного потока Data Streams с теми же колонками, что и схема данных в эндпоинте-источнике, и отправленными тестовыми данными.

Удалите созданные ресурсы

Примечание

Перед тем как удалить созданные ресурсы, деактивируйте трансфер.

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

Удалите трансфер.
Удалите ресурсы в зависимости от способа их создания:
Вручную

С помощью Terraform
- Удалите эндпоинт для приемника.
- Удалите базу данных Managed Service for YDB.
- Удалите кластер Managed Service for ClickHouse.
1. В терминале перейдите в директорию с планом инфраструктуры.
2. Удалите конфигурационный файл data-transfer-yds-mch.tf.
3. Проверьте корректность файлов конфигурации Terraform с помощью команды:
  terraform validate
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
4. Подтвердите изменение ресурсов.
  1. Выполните команду для просмотра планируемых изменений:
    
    terraform plan
    
    Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
  2. Если вас устраивают планируемые изменения, внесите их:
    
    Выполните команду:
    
    terraform apply
    
    Подтвердите изменение ресурсов.
    
    Дождитесь завершения операции.
  Все ресурсы, которые были описаны в конфигурационном файле data-transfer-yds-mch.tf, будут удалены.
Удалите эндпоинт для источника.