Подключиться
Практические руководства

Миграция базы данных из Greenplum® в ClickHouse

Статья создана
,
улучшена

Вы можете перенести базу данных из Greenplum® в ClickHouse с помощью сервиса Yandex Data Transfer.

Чтобы перенести базу данных из Greenplum® в ClickHouse:

  1. Подготовьте трансфер.
  2. Активируйте трансфер.
  3. Проверьте работу копирования при повторной активации.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Для примера все нужные ресурсы будут созданы в Yandex Cloud. Подготовьте инфраструктуру:

  1. Создайте кластер-источник Yandex Managed Service for Greenplum® любой подходящей конфигурации.

  2. Создайте кластер-приемник Yandex Managed Service for ClickHouse любой подходящей конфигурации с базой данных db1.

  3. Убедитесь, что группы безопасности кластеров настроены правильно и допускают подключение к ним:

  1. Если у вас еще нет Terraform, установите и настройте его.

  2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

  3. Скачайте в ту же рабочую директорию файл конфигурации greenplum-clickhouse.tf.

    В этом файле описаны:

    • сети и подсети для размещения кластеров;
      * группы безопасности для подключения к кластерам;
    • кластер-источник Managed Service for Greenplum®;
    • кластер-приемник Managed Service for ClickHouse.

  4. Укажите в файле greenplum-clickhouse.tf пароли пользователя-администратора Greenplum® и ClickHouse.

  5. Выполните команду terraform init в директории с конфигурационным файлом. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

  6. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  7. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Подготовьте трансфер

  1. Создайте эндпоинт-источник типа Greenplum® и укажите в нем параметры подключения к кластеру.

  2. Создайте эндпоинт-приемник типа ClickHouse.

  3. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

    Для этой пары эндпоинтов репликация недоступна, но вы можете настроить регулярное копирование при создании трансфера. Для этого в блоке Параметры трансфера в поле Копирование выберите Регулярно, затем укажите интервал копирования. Трансфер будет автоматически активироваться через указанный промежуток времени.

    Важно

    Перед настройкой регулярного копирования убедитесь, что в параметрах эндпоинта-приемника указана политика очистки Drop или Truncate. Иначе данные на приемнике будут дублироваться при копировании.

Активируйте трансфер

  1. Подключитесь к кластеру Managed Service for Greenplum®, создайте в нем таблицу x_tab и заполните ее данными:

    CREATE TABLE x_tab
(
    id NUMERIC,
    name CHARACTER(5)
);
CREATE INDEX ON x_tab (id);
INSERT INTO x_tab (id, name) VALUES
(40, 'User1'),
(41, 'User2'),
(42, 'User3'),
(43, 'User4'),
(44, 'User5');

  2. Активируйте трансфер и дождитесь его перехода в статус Завершен.

  3. Чтобы проверить корректность переноса данных, подключитесь к кластеру-приемнику Managed Service for ClickHouse и убедитесь, что колонки в таблице x_tab в базе db1 совпадают с колонками таблицы x_tab в базе источника:

    SELECT id, name FROM db1.x_tab;

    ┌─id─┬─name──┐
│ 40 │ User1 │
│ 41 │ User2 │
│ 42 │ User3 │
│ 43 │ User4 │
│ 44 │ User5 │
└────┴───────┘

Проверьте работу копирования при повторной активации

  1. Подключитесь к кластеру Managed Service for Greenplum®, удалите одну строку и измените другую в таблице x_tab:

    DELETE FROM x_tab WHERE id = 41;
UPDATE x_tab SET name = 'Key3' WHERE id = 42;

  2. Повторно активируйте трансфер и дождитесь его перехода в статус Завершен.

  3. Убедитесь, что в таблице x_tab на приемнике ClickHouse отобразились изменения:

    SELECT id, name FROM db1.x_tab;

    ┌─id─┬─name──┐
│ 42 │ Key3  │
│ 40 │ User1 │
│ 43 │ User4 │
│ 44 │ User5 │
└────┴───────┘

Удалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

  • Убедитесь, что трансфер находится в статусе Завершен и удалите его.

  • Удалите эндпоинт-источник и эндпоинт-приемник.

  • Удалите кластеры:

    Если вы создали ресурсы с помощью Terraform:

    1. В терминале перейдите в директорию с планом инфраструктуры.

    2. Удалите конфигурационный файл greenplum-clickhouse.tf.

    3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

    4. Подтвердите изменение ресурсов.

      1. Выполните команду для просмотра планируемых изменений:

        terraform plan

        Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

        1. Выполните команду:

          terraform apply

        2. Подтвердите изменение ресурсов.

        3. Дождитесь завершения операции.

      Все ресурсы, которые были описаны в конфигурационном файле greenplum-clickhouse.tf, будут удалены.

В этой статье: