Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex Data Transfer

Подготовка к трансферу

Статья создана
,
улучшена

Подготовка источника

Источник Apache Kafka®

Создайте учетную запись с ролью ACCESS_ROLE_CONSUMER на топик-источник.

  1. Убедитесь, что настройки сети, в которой размещен кластер, разрешают подключение к нему из интернета с IP-адресов, используемых сервисом Data Transfer.

  2. Настройте кластер-источник, чтобы к нему можно было подключиться из интернета.

  3. Настройте права доступа для учетной записи на нужный топик.

  4. (Опционально) Чтобы использовать авторизацию по логину и паролю, настройте SASL-аутентификацию.

Источник ClickHouse

  1. Убедитесь, что переносимые таблицы используют движки семейства MergeTree. Будут перенесены только эти таблицы и материализованные представления (MaterializedView).
  2. Создайте пользователя с доступом к базе источника.

  1. Убедитесь, что настройки сети, в которой размещен кластер, разрешают подключение к нему из интернета с IP-адресов, используемых сервисом Data Transfer.

  2. Настройте кластер-источник, чтобы к нему можно было подключиться из интернета.

  3. Убедитесь, что переносимые таблицы используют движки семейства MergeTree. Будут перенесены только эти таблицы и материализованные представления (MaterializedView).

  4. Создайте пользователя с доступом к базе источника.

Источник MongoDB

  1. Оцените общее количество баз данных для трансфера и общую нагрузку на Managed Service for MongoDB. Если нагрузка на базы выше 10000 транзакций на запись в секунду, создайте несколько эндпойнтов и трансферов. Подробнее см. в разделе Подготовка источника MongoDB.
  2. Создайте пользователя с ролью readWrite на базу источник.

  1. Убедитесь, что настройки сети, в которой размещен кластер, разрешают подключение к нему из интернета с IP-адресов, используемых сервисом Data Transfer.

  2. Оцените общее количество баз данных для трансфера и общую нагрузку на MongoDB. Если нагрузка на базы выше 10000 транзакций на запись в секунду, создайте несколько эндпойнтов и трансферов. Подробнее см. в разделе Подготовка источника MongoDB.

  3. Убедитесь, что мажорная версия MongoDB на приемнике не ниже 4.0.

  4. Настройте кластер-источник, чтобы к нему можно было подключиться из интернета:

    1. Измените в конфигурационном файле значение настройки net.bindIp со 127.0.0.1 на 0.0.0.0:

      # network interfaces
net:
  port: 27017
  bindIp: 0.0.0.0

    2. Перезапустите сервис mongod:

      sudo systemctl restart mongod.service

  5. Если кластер-источник не использует репликацию, включите ее:

    1. Добавьте в конфигурационный файл /etc/mongod.conf настройки репликации:

      replication:
  replSetName: <имя набора реплик>

    2. Перезапустите сервис mongod:

      sudo systemctl restart mongod.service

    3. Подключитесь к MongoDB и инициализируйте набор реплик командой:

      rs.initiate({
    _id: "<имя набора реплик>",
    members: [{
        _id: 0,
        host: "<IP-адрес, который слушает mongod>:<порт>"
    }]
});

  6. Создайте пользователя с ролью readWrite на базу-источник:

    use <имя базы>
db.createUser({
    user: "<имя пользователя>",
    pwd: "<пароль>",
    mechanisms: ["SCRAM-SHA-1"],
    roles: [
        {
            db: "<имя базы-источника>",
            role: "readWrite"
        }
    ]
});

    После старта трансфер подключится к источнику от имени этого пользователя.

Источник MySQL

  1. Включите режим полного бинарного лога на источнике с помощью параметра Binlog row image.

  2. (Опционально) Настройте лимит на размер отправляемых кусков данных (chunk) с помощью параметра Max allowed packet.

  3. Создайте пользователя для подключения к источнику.

    1. Назначьте пользователю роль ALL_PRIVILEGES для базы-источника.

    2. Выдайте пользователю привилегии REPLICATION CLIENT и REPLICATION SLAVE.

  4. Для типов трансфера Реплицировать и Копировать и реплицировать таблицы без первичных ключей не переносятся. Чтобы сохранить работоспособность трансфера при переносе базы с такими таблицами:

    • Не переносите таблицы без первичных ключей. Для этого добавьте их в список исключенных таблиц в настройках эндпоинта для источника.

    • Создайте первичные ключи (PRIMARY KEY) в тех мигрируемых таблицах, где их нет.

      1. Чтобы получить список таблиц без первичного ключа, выполните запрос:

        SELECT
    tab.table_schema AS database_name,
    tab.table_name AS table_name,
    tab.table_rows AS table_rows
FROM information_schema.tables tab
    LEFT JOIN information_schema.table_constraints tco
        ON (tab.table_schema = tco.table_schema
            AND tab.table_name = tco.table_name
            AND tco.constraint_type = 'PRIMARY KEY')
WHERE
    tab.table_schema NOT IN ('mysql', 'information_schema', 'performance_schema', 'sys')
    AND tco.constraint_type IS NULL
    AND tab.table_type = 'BASE TABLE';

      2. Изучите структуру таблиц без первичного ключа, которые необходимо перенести на приемник:

        SHOW CREATE TABLE <имя базы>.<имя таблицы>;

      3. Добавьте простой или составной первичный ключ к таблицам, которые необходимо перенести на приемник:

        ALTER TABLE <имя таблицы> ADD PRIMARY KEY (<столбец или группа столбцов>);

      4. Если в переносимой на приемник таблице нет столбца или группы столбцов, подходящих на роль первичного ключа, создайте новый столбец:

        ALTER TABLE <имя таблицы> ADD id BIGINT PRIMARY KEY AUTO_INCREMENT;

    Примечание

    Если создание первичного ключа завершается ошибкой Creating index 'PRIMARY' required more than 'innodb_online_alter_log_max_size' bytes of modification log. Please try again, увеличьте в настройках СУБД значение параметра Innodb log file size.

  5. Выключите перенос триггеров на стадии активации трансфера и включите его на стадии деактивации (для типов трансфера Реплицировать и Копировать и реплицировать). Подробнее см. в разделе Параметры эндпойнта-источника MySQL.

  1. Убедитесь, что настройки сети, в которой размещен кластер, разрешают подключение к нему из интернета с IP-адресов, используемых сервисом Data Transfer.

  2. Убедитесь, что источник использует подсистему хранения данных низкого уровня MyISAM или InnoDB. При использовании других подсистем трансфер может завершиться с ошибкой.

  3. Включите режим полного бинарного лога на источнике с помощью параметра binlog_row_image.

  4. Если источник репликации — кластер, который находится за балансером, включите для него GTID-режим (GTID-MODE = ON).

    Если по какой-то причине включить GTID-режим невозможно, убедитесь, что шаблон имен бинарных логов содержит имя хоста.

    В обоих случаях это позволит продолжить репликацию в случае смены хоста-мастера.

  5. (Опционально) Настройте лимит на размер отправляемых кусков данных (chunk) с помощью параметра max_allowed_packet.

  6. Создайте пользователя для подключения к источнику и выдайте ему необходимые привилегии:

    CREATE USER '<имя пользователя>'@'%' IDENTIFIED BY '<пароль>';
GRANT ALL PRIVILEGES ON <имя базы>.* TO '<имя пользователя>'@'%';
GRANT REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO '<имя пользователя>'@'%';

  7. Для типов трансфера Реплицировать и Копировать и реплицировать таблицы без первичных ключей не переносятся. Чтобы сохранить работоспособность трансфера при переносе базы с такими таблицами:

    • Не переносите таблицы без первичных ключей. Для этого добавьте их в список исключенных таблиц в настройках эндпоинта для источника.

    • Создайте первичные ключи (PRIMARY KEY) в тех мигрируемых таблицах, где их нет.

      1. Чтобы получить список таблиц без первичного ключа, выполните запрос:

        SELECT
    tab.table_schema AS database_name,
    tab.table_name AS table_name,
    tab.table_rows AS table_rows
FROM information_schema.tables tab
    LEFT JOIN information_schema.table_constraints tco
        ON (tab.table_schema = tco.table_schema
            AND tab.table_name = tco.table_name
            AND tco.constraint_type = 'PRIMARY KEY')
WHERE
    tab.table_schema NOT IN ('mysql', 'information_schema', 'performance_schema', 'sys')
    AND tco.constraint_type IS NULL
    AND tab.table_type = 'BASE TABLE';

      2. Изучите структуру таблиц без первичного ключа, которые необходимо перенести на приемник:

        SHOW CREATE TABLE <имя базы>.<имя таблицы>;

      3. Добавьте простой или составной первичный ключ к таблицам, которые необходимо перенести на приемник:

        ALTER TABLE <имя таблицы> ADD PRIMARY KEY (<столбец или группа столбцов>);

      4. Если в переносимой на приемник таблице нет столбца или группы столбцов, подходящих на роль первичного ключа, создайте новый столбец:

        ALTER TABLE <имя таблицы> ADD id BIGINT PRIMARY KEY AUTO_INCREMENT;

    Примечание

    Если создание первичного ключа завершается ошибкой Creating index 'PRIMARY' required more than 'innodb_online_alter_log_max_size' bytes of modification log. Please try again, увеличьте в настройках СУБД значение параметра inno_db_log_file_size.

  8. Выключите перенос триггеров на стадии активации трансфера и включите его на стадии деактивации (для типов трансфера Реплицировать и _Копировать и реплицировать). Подробнее см. в разделе Параметры эндпойнта для источника MySQL.

Источник PostgreSQL

  1. Настройте пользователя, от имени которого трансфер подключится к источнику:

    1. Создайте пользователя.

    2. Для типов трансфера Реплицировать и Копировать и реплицировать назначьте роль mdb_replication этому пользователю.

    3. Подключитесь к базе данных, которую нужно мигрировать, от имени владельца базы и настройте привилегии:

      • SELECT над всеми таблицами базы данных, которые переносит трансфер;
      • SELECT над всеми последовательностями базы данных, которые переносит трансфер;
      • USAGE на схемы этих таблиц и последовательностей.

  2. Если источник репликации — кластер, включите для него расширение pg_tm_aux. Это позволит продолжить репликацию в случае смены хоста-мастера.

  3. Для типов трансфера Реплицировать и Копировать и реплицировать таблицы без первичных ключей не переносятся. Чтобы сохранить работоспособность трансфера при переносе базы с такими таблицами:

    • Не переносите таблицы без первичных ключей. Для этого добавьте их в список исключенных таблиц в настройках эндпоинта для источника.
    • Добавьте идентификатор реплики на таблицах без primary key:

      • Для таблиц с индексом установите REPLICA IDENTITY по unique key:

        ALTER TABLE MY_TBL REPLICA IDENTITY USING INDEX MY_IDX;

      • Для таблиц без индекса измените REPLICA IDENTITY:

        ALTER TABLE MY_TBL REPLICA IDENTITY FULL;

  4. Выключите перенос триггеров на стадии активации трансфера и включите его на стадии деактивации (для типов трансфера Реплицировать и Копировать и реплицировать). Подробнее см. в разделе Параметры эндпойнта для источника PostgreSQL.

  1. Убедитесь, что настройки сети, в которой размещен кластер, разрешают подключение к нему из интернета с IP-адресов, используемых сервисом Data Transfer.

  2. Настройте пользователя, от имени которого трансфер подключится к источнику:

    • Для типа трансфера Копировать создайте пользователя командой:

      CREATE ROLE <имя пользователя> LOGIN ENCRYPTED PASSWORD '<пароль>';

    • Для типов трансфера Реплицировать и Копировать и реплицировать создайте пользователя с привилегией REPLICATION командой:

      CREATE ROLE <имя пользователя> WITH REPLICATION LOGIN ENCRYPTED PASSWORD '<пароль>';

  3. Выдайте созданному пользователю привилегию на выполнение операции SELECT над всеми таблицами базы данных, которые переносит трансфер, и привилегию USAGE на схемы этих таблиц:

    GRANT SELECT ON ALL TABLES IN SCHEMA <название схемы> TO <имя пользователя>;
GRANT USAGE ON SCHEMA <название схемы> TO <имя пользователя>;

  4. Установите плагин wal2json.

  5. Если источник репликации — кластер, установите на его хосты плагин pg_tm_aux. Это позволит продолжить репликацию в случае смены хоста-мастера.

  6. Для типов трансфера Реплицировать и Копировать и реплицировать таблицы без первичных ключей не переносятся. Чтобы сохранить работоспособность трансфера при переносе базы с такими таблицами:

    • Не переносите таблицы без первичных ключей. Для этого добавьте их в список исключенных таблиц в настройках эндпоинта для источника.
    • Добавьте идентификатор реплики на таблицах без primary key:

      • Для таблиц с индексом установите REPLICA IDENTITY по unique key:

        ALTER TABLE MY_TBL REPLICA IDENTITY USING INDEX MY_IDX;

      • Для таблиц без индекса измените REPLICA IDENTITY:

        ALTER TABLE MY_TBL REPLICA IDENTITY FULL;

  7. Выключите перенос триггеров на стадии активации трансфера и включите его на стадии деактивации (для типов трансфера Реплицировать и Копировать и реплицировать). Подробнее см. в разделе Параметры эндпойнта для источника PostgreSQL.

  8. Если на источнике настроена репликация через Patroni, добавьте в его конфигурацию блок ignore_slots:

    ignore_slots:
  - database: <имя базы данных, для которой настроен трансфер>
    name: <имя слота репликации>
    plugin: wal2json
    type: logical

    Имя базы данных и имя слота репликации должны совпадать со значениями, указанными в настройках эндпойнта для источника. По-умолчанию имя слота репликации совпадает с ID трансфера.

    В противном случае начало этапа репликации завершится ошибкой:

    Warn(Termination): unable to create new pg source: Replication slotID <имя слота репликации> does not exist.

Источник Yandex Data Streams

  1. Создайте поток данных.

  2. (Опционально) Создайте функцию обработки.

    Пример функции обработки
    const yc = require("yandex-cloud");
const { Parser } = require("@robojones/nginx-log-parser");
module.exports.handler = async function (event, context) {
    const schema =
        '$remote_addr - $remote_user [$time_local] "$request" $status $bytes_sent "$http_referer" "$http_user_agent"';
    const parser = new Parser(schema);
    return {
        Records: event.Records.map((record) => {
            const decodedData = new Buffer(record.kinesis.data, "base64")
                .toString("ascii")
                .trim();
            try {
                const result = parser.parseLine(decodedData);
                if (result.request == "") {
                    // empty request - drop message
                    return {
                        eventID: record.eventID,
                        invokeIdentityArn: record.invokeIdentityArn,
                        eventVersion: record.eventVersion,
                        eventName: record.eventName,
                        eventSourceARN: record.eventSourceARN,
                        result: "Dropped"
                    };
                }
                return {
                    // successfully parsed message
                    eventID: record.eventID,
                    invokeIdentityArn: record.invokeIdentityArn,
                    eventVersion: record.eventVersion,
                    eventName: record.eventName,
                    eventSourceARN: record.eventSourceARN,
                    kinesis: {
                        data: new Buffer(JSON.stringify(result)).toString(
                            "base64"
                        ),
                    },
                    result: "Ok"
                };
            } catch (err) {
                // error - fail message
                return {
                    eventID: record.eventID,
                    invokeIdentityArn: record.invokeIdentityArn,
                    eventVersion: record.eventVersion,
                    eventName: record.eventName,
                    eventSourceARN: record.eventSourceARN,
                    result: "ProcessingFailed",
                };
            }
        })
    };
};

  3. (Опционально) Подготовьте файл схемы данных в формате JSON.

    Пример файла со схемой данных:

    [
    {
        "name": "<имя поля>",
        "type": "<тип>"
    },
    ...
    {
        "name": "<имя поля>",
        "type": "<тип>"
    }
]

    Список допустимых типов:

    • int64
    • int32
    • int16
    • int8
    • uint64
    • uint32
    • uint16
    • uint8
    • double
    • boolean
    • string
    • utf8
    • any
    • datetime

Подготовка приемника

Приемник ClickHouse

  1. Создайте базу-приемник.

    Ее имя должно совпадать с именем базы-источника. Если нужно перенести несколько баз данных, создайте для каждой из них отдельный трансфер.

  2. Создайте пользователя с доступом к базе приемника.

    После старта трансфер подключится к приемнику от имени этого пользователя.

  1. Убедитесь, что настройки сети, в которой размещен кластер, разрешают подключение к нему из интернета с IP-адресов, используемых сервисом Data Transfer.

  2. Создайте базу-приемник. Ее имя должно совпадать с именем базы-источника. Если нужно перенести несколько баз данных, создайте для каждой из них отдельный трансфер.

  3. Создайте пользователя с доступом к базе приемника.

    После старта трансфер подключится к приемнику от имени этого пользователя.

Приемник MongoDB

  1. Создайте базу данных с тем же именем, что и на источнике.
  2. Создайте пользователя с ролью readWrite на созданную базу.

  1. Убедитесь, что настройки сети, в которой размещен кластер, разрешают подключение к нему из интернета с IP-адресов, используемых сервисом Data Transfer.

  2. Убедитесь, версия MongoDB на приемнике не ниже чем на источнике.

  3. Настройте кластер-приемник, чтобы к нему можно было подключиться из интернета:

    1. Измените в конфигурационном файле значение настройки net.bindIp со 127.0.0.1 на 0.0.0.0:

      # network interfaces
net:
  port: 27017
  bindIp: 0.0.0.0

    2. Перезапустите сервис mongod:

      sudo systemctl restart mongod.service

  4. Если кластер-приемник не использует репликацию, включите ее:

    1. Добавьте в конфигурационный файл /etc/mongod.conf настройки репликации:

      replication:
  replSetName: <имя набора реплик>

    2. Перезапустите сервис mongod:

      sudo systemctl restart mongod.service

    3. Подключитесь к MongoDB и инициализируйте набор реплик командой:

      rs.initiate({
    _id: "<имя набора реплик>",
    members: [{
        _id: 0,
        host: "<IP-адрес, который слушает mongod>:<порт>"
    }]
});

  5. Подключитесь к кластеру и создайте базу-приемник с тем же именем, что и на источнике:

    use <имя базы>

  6. Создайте пользователя с правами readWrite на базу-приемник:

    db.createUser({
    user: "<имя пользователя>",
    pwd: "<пароль>",
    mechanisms: ["SCRAM-SHA-1"],
    roles: [
        {
            db: "<имя базы-приемника>",
            role: "readWrite"
        }
    ]
});

    После старта трансфер подключится к приемнику от имени этого пользователя.

Приемник MySQL

  1. Убедитесь, что мажорная версия MySQL на приемнике не ниже версии на источнике.

  2. Установите SQL Mode, который совпадает с источником.

  3. Создайте пользователя для подключения к приемнику.

    1. Назначьте пользователю роль ALL_PRIVILEGES для базы-приемника.

  1. Убедитесь, что настройки сети, в которой размещен кластер, разрешают подключение к нему из интернета с IP-адресов, используемых сервисом Data Transfer.

  2. Убедитесь, что мажорная версия MySQL на приемнике не ниже версии на источнике.

  3. Убедитесь, что приемник использует подсистему хранения данных низкого уровня MyISAM или InnoDB.

  4. Установите SQL Mode, который совпадает с источником.

  5. Создайте пользователя для подключения к приемнику и выдайте ему необходимые привилегии:

    CREATE USER '<имя пользователя>'@'%' IDENTIFIED BY '<пароль>';
GRANT ALL PRIVILEGES ON <имя базы>.* TO '<имя пользователя>'@'%';

Приемник Object Storage

  1. Создайте бакет нужной вам конфигурации.
  2. Создайте сервисный аккаунт с ролью storage.uploader.

Приемник PostgreSQL

  1. Убедитесь, что мажорная версия PostgreSQL на приемнике не ниже версии на источнике.

  2. Отключите на приемнике:

    • проверку целостности внешних ключей;
    • триггеры;
    • другие ограничения (constraints).

    Важно

    Эти настройки не следует включать обратно до окончания трансфера для обеспечения целостности данных по внешним ключам.

    Если вы используете тип трансфера Копировать и реплицировать, настройки можно включить обратно после завершения стадии копирования.

  3. Создайте пользователя с доступом к базе приемника.

    После старта трансфер подключится к приемнику от имени этого пользователя.

  1. Убедитесь, что настройки сети, в которой размещен кластер, разрешают подключение к нему из интернета с IP-адресов, используемых сервисом Data Transfer.

  2. Убедитесь, что мажорная версия PostgreSQL на приемнике не ниже версии на источнике.

  3. Отключите на приемнике:

    • проверку целостности внешних ключей;
    • триггеры;
    • другие ограничения (constraints).

    Важно

    Эти настройки не следует включать обратно до окончания трансфера для обеспечения целостности данных по внешним ключам.

    Если вы используете тип трансфера Копировать и реплицировать, настройки можно включить обратно после завершения стадии копирования.

  4. Создайте пользователя командой:

    CREATE ROLE <имя пользователя> LOGIN ENCRYPTED PASSWORD '<пароль>';

  5. Выдайте созданному пользователю все привилегии на базу данных, схемы и переносимые таблицы командой:

    GRANT ALL PRIVILEGES ON DATABASE <название базы> TO <имя пользователя>;

    Если база не пустая, то пользователь должен быть ее владельцем (owner):

    ALTER DATABASE <название базы> OWNER TO <имя пользователя>;

    После старта трансфер подключится к приемнику от имени этого пользователя.

Yandex Database

Чтобы принимать данные в сервисе Yandex Database, подготовка не требуется.

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье: