Подключиться
Практические руководства

Миграция базы данных из MySQL в ClickHouse с помощью Yandex Data Transfer

Статья создана

С помощью сервиса Data Transfer вы можете перенести базу данных из кластера-источника MySQL в ClickHouse.

Чтобы перенести данные:

  1. Подготовьте кластер-источник.
  2. Подготовьте и активируйте трансфер.
  3. Проверьте работоспособность трансфера.
  4. Выполните выборку данных в ClickHouse.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Подготовьте инфраструктуру:

  1. Создайте кластер-источник Managed Service for MySQL любой подходящей конфигурации. Для подключения к кластеру с локальной машины пользователя, а не из облачной сети Yandex Cloud, включите публичный доступ к кластеру при его создании.

  2. Создайте кластер-приемник Managed Service for ClickHouse любой подходящей конфигурации со следующими настройками:

    • Количество хостов ClickHouse — не меньше 2 (для включения репликации в кластере).
    • Имя базы данных — такое же, как на кластере-источнике.
    • Для подключения к кластеру с локальной машины пользователя, а не из облачной сети Yandex Cloud, включите публичный доступ к кластеру при его создании.

  3. Если вы используете группы безопасности в кластерах, настройте их так, чтобы к кластерам можно было подключаться из интернета:

    Функциональность находится на стадии Preview.

  1. Если у вас еще нет Terraform, установите и настройте его.

  2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

  3. Скачайте в ту же рабочую директорию файл конфигурации data-transfer-mmy-mch.tf.

    В этом файле описаны:

    • сеть;
    • подсеть;
    • группа безопасности и правило, необходимое для подключения к кластеру Managed Service for MySQL;
    • кластер-источник Managed Service for MySQL;
    • кластер-приемник Managed Service for ClickHouse;
    • эндпоинт для источника;
    • эндпоинт для приемника;
    • трансфер.

  4. Укажите в файле data-transfer-mmy-mch.tf:

    • параметры кластера-источника Managed Service for MySQL, которые будут использоваться как параметры эндпоинта-источника:

      • source_mysql_version — версия MySQL;
      • source_db_name — имя базы данных MySQL, которое будет использоваться как имя базы данных Managed Service for ClickHouse;
      • source_user и source_password — имя и пароль пользователя-владельца базы данных.

    • параметры кластера-приемника Managed Service for ClickHouse, которые будут использоваться как параметры эндпоинта-приемника:

      • target_user и target_password — имя и пароль пользователя-владельца базы данных.

  5. Выполните команду terraform init в директории с конфигурационным файлом. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

  6. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  7. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Подготовьте кластер-источник

  1. Если вы создавали инфраструктуру вручную, подготовьте кластер-источник.

  2. Подключитесь к кластеру-источнику Managed Service for MySQL.

  3. Наполните базу тестовыми данными.

    1. Создайте таблицу x_tab:
    CREATE TABLE x_tab
(
    id INT,
    name TEXT,
    PRIMARY KEY (id)
);
    1. Заполните таблицу данными:
    INSERT INTO x_tab (id, name) VALUES
    (40, 'User1'),
    (41, 'User2'),
    (42, 'User3'),
    (43, 'User4'),
    (44, 'User5');

Подготовьте и активируйте трансфер

  1. Создайте эндпоинт для источника:

    • Тип базы данных — MySQL.

    • Параметры эндпоинта → Настройки подключения — Кластер Managed Service for MySQL.

      Выберите кластер-источник из списка и укажите настройки подключения к нему.

  2. Создайте эндпоинт для приемника:

    • Тип базы данных — ClickHouse.

    • Параметры эндпоинта → Настройки подключения — Кластер Managed Service for ClickHouse.

      Выберите кластер-приемник из списка и укажите настройки подключения к нему.

  3. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.

  4. Активируйте его.

  1. Укажите в файле data-transfer-mmy-mch.tf для переменной transfer_enabled значение 1.

  2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  3. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфера

  1. Дождитесь перехода трансфера в статус Реплицируется.

  2. Убедитесь, что в базу данных Managed Service for ClickHouse перенеслись данные из кластера-источника Managed Service for MySQL:

    1. Подключитесь к кластеру с помощью clickhouse-client.

    2. Выполните запрос:

      SELECT * FROM <имя базы данных ClickHouse>.x_tab

      Результат:

      ┌─id─┬─name──┬─__data_transfer_commit_time─┬─__data_transfer_delete_time─┐
│ 40 │ User1 │         1661952756538347180 │                           0 │
│ 41 │ User2 │         1661952756538347180 │                           0 │
│ 42 │ User3 │         1661952756538347180 │                           0 │
│ 43 │ User4 │         1661952756538347180 │                           0 │
│ 44 │ User5 │         1661952756538347180 │                           0 │
└────┴───────┴─────────────────────────────┴─────────────────────────────┘

      Таблица также содержит столбцы с временными метками __data_transfer_commit_time и __data_transfer_delete_time.

  3. Удалите строку с id 41 и измените с id 42 в таблице x_tab базы-источника MySQL:

    1. Подключитесь к кластеру-источнику Managed Service for MySQL.

    2. Выполните запросы:

      DELETE FROM x_tab WHERE id = 41;
UPDATE x_tab SET name = 'Key3' WHERE id = 42;

  4. Убедитесь, что в таблице x_tab на приемнике ClickHouse отобразились изменения:

    SELECT * FROM <имя базы данных ClickHouse>.x_tab WHERE id in (41,42);

    Результат:

    ┌─id─┬─name──┬─__data_transfer_commit_time─┬─__data_transfer_delete_time─┐
│ 41 │ User2 │         1661952756538347180 │                           0 │
│ 42 │ User3 │         1661952756538347180 │                           0 │
└────┴───────┴─────────────────────────────┴─────────────────────────────┘
┌─id─┬─name─┬─__data_transfer_commit_time─┬─__data_transfer_delete_time─┐
│ 41 │ ᴺᵁᴸᴸ │         1661953256000000000 │         1661953256000000000 │
└────┴──────┴─────────────────────────────┴─────────────────────────────┘
┌─id─┬─name─┬─__data_transfer_commit_time─┬─__data_transfer_delete_time─┐
│ 42 │ Key3 │         1661953280000000000 │                           0 │
└────┴──────┴─────────────────────────────┴─────────────────────────────┘

Выполните выборку данных в ClickHouse

На приемнике ClickHouse с включенной репликацией для воссоздания таблиц используются движки ReplicatedReplacingMergeTree и ReplacingMergeTree. В каждую таблицу автоматически добавляются столбцы:

  • __data_transfer_commit_time — время изменения строки на это значение, в формате TIMESTAMP;

  • __data_transfer_delete_time — время удаления строки в формате TIMESTAMP, если строка удалена в источнике. Если строка не удалялась, то устанавливается значение 0.

    Столбец __data_transfer_commit_time необходим для работы движка ReplicatedReplacedMergeTree. Если запись удаляется или изменяется, в таблицу вставляется новая строка со значением в этом столбце. Запрос по одному первичному ключу возвращает несколько записей с разными значениями в столбце __data_transfer_commit_time.

В статусе трансфера Реплицируется данные в источнике могут добавляться или удаляться. Чтобы обеспечить стандартное поведение команд SQL, когда первичный ключ указывает на единственную запись, дополните запросы к перенесенным таблицам в ClickHouse конструкцией с фильтром по столбцу __data_transfer_delete_time. Например, для таблицы x_tab:

SELECT * FROM <имя базы данных ClickHouse>.x_tab FINAL
WHERE __data_transfer_delete_time = 0;

Для упрощения запросов SELECT создайте представление с фильтром по столбцу __data_transfer_delete_time и обращайтесь к нему. Например, для таблицы x_tab:

CREATE VIEW x_tab_view AS SELECT * FROM <имя базы данных ClickHouse>.x_tab FINAL
WHERE __data_transfer_delete_time == 0;

Удалите созданные ресурсы

Примечание

Перед тем как удалить созданные ресурсы, деактивируйте трансфер.

Некоторые ресурсы платные. Удалите ресурсы, которые вы больше не будете использовать, во избежание списания средств за них:

  1. В терминале перейдите в директорию с планом инфраструктуры.

  2. Удалите конфигурационный файл data-transfer-mmy-mch.tf.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    Все ресурсы, которые были описаны в конфигурационном файле data-transfer-mmy-mch.tf, будут удалены.

В этой статье: