Подключиться
Yandex Managed Service for MySQL®

Миграция базы данных из стороннего кластера MySQL

Статья создана

Примечание

Миграция данных в сторонний кластер MySQL описана в статье Миграция базы данных из Managed Service for MySQL в сторонний кластер MySQL.

Перенести данные из стороннего кластера-источника в кластер-приемник Managed Service for MySQL можно двумя способами:

  • Перенос данных с использованием сервиса Yandex Data Transfer.

    Этот способ прост в настройке, не требует создания промежуточной виртуальной машины и позволяет перенести базу целиком без остановки обслуживания пользователей. Для его использования разрешите подключение к кластеру-источнику из интернета.

    Подробнее см. в разделе Какие задачи решает сервис Yandex Data Transfer.

  • Перенос данных через создание и восстановление логического дампа.

    Логический дамп — файл с набором команд, последовательное выполнение которых позволяет восстановить состояние базы данных. Чтобы обеспечить полноту логического дампа, перед его созданием кластер-источник следует перевести в режим только чтение.

    Используйте этот способ только в том случае, если перенос данных с помощью Data Transfer по каким-либо причинам невозможен.

Перенос данных с использованием сервиса Data Transfer

Чтобы перенести базу данных из MySQL в Managed Service for MySQL:

  1. Запустите перенос данных.
  2. Завершите перенос данных.

Если созданные ресурсы вам больше не нужны, удалите их.

Запустите перенос данных

  1. Подготовьте кластер-источник.

  2. Подготовьте инфраструктуру и запустите перенос данных:

    1. Создайте кластер-приемник Managed Service for MySQL любой подходящей конфигурации. При этом:

      • Версия MySQL должна быть не ниже, чем в кластере-источнике.

        Перенос данных c повышением мажорной версии MySQL возможен, но не гарантируется. Подробнее см. в документации MySQL.

        Миграция с понижением версии MySQL невозможна.

      • Режим SQL должен быть таким же, как и в кластере-источнике.

    2. Подготовьте кластер-приемник.

    3. Создайте эндпоинт для источника:

      • Тип базы данных — MySQL.

      • Параметры эндпоинта → Настройки подключения — Пользовательская инсталляция.

        Укажите параметры подключения к кластеру-источнику.

    4. Создайте эндпоинт для приемника:

      • Тип базы данных — MySQL.

      • Параметры эндпоинта → Настройки подключения — Кластер MDB.

        Выберите кластер-приемник из списка и укажите настройки подключения к нему.

    5. Создайте трансфер типа Копировать и реплицировать, использующий созданные эндпоинты.

    6. Активируйте его.

      Важно

      Избегайте любых изменений в схеме данных в кластере-источнике и кластере-приемнике во время работы трансфера. Подробнее см. в разделе Работа с базами данных во время трансфера.

    1. Подготовьте кластер-источник.

    2. Если у вас еще нет Terraform, установите и настройте его.

    3. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

    4. Скачайте в ту же рабочую директорию файл конфигурации data-transfer-mysql-mmy.tf.

      В этом файле описаны:

      • сеть;
      • подсеть;
      • группа безопасности и правило, необходимое для подключения к кластеру;
      • кластер-приемник Managed Service for MySQL;
      • эндпоинт для источника;
      • эндпоинт для приемника;
      • трансфер.

    5. Укажите в файле data-transfer-mysql-mmy.tf:

      • параметры эндпоинта-источника;

      • параметры кластера-приемника, которые используются и как параметры эндпоинта-приемника:

        • target_mysql_version — версия MySQL, она должна быть не ниже чем в кластере-источнике;
        • target_sql_mode — режим SQL, он должен быть таким же, как и в кластере-источнике;
        • target_db_name — имя базы данных;
        • target_user и target_password — имя и пароль пользователя-владельца базы данных.

    6. Выполните команду terraform init в директории с конфигурационным файлом. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

    7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

    8. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

        terraform plan

        Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

        1. Выполните команду:

          terraform apply

        2. Подтвердите изменение ресурсов.

        3. Дождитесь завершения операции.

      В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

      Трансфер активируется автоматически после создания.

Завершите перенос данных

  1. Дождитесь перехода трансфера в статус Реплицируется.

  2. Переведите кластер-источник в режим только чтение и переключите нагрузку на кластер-приемник.

  3. На странице мониторинга трансфера дождитесь снижения до нуля характеристики Maximum lag on delivery. Это значит, что в кластер-приемник перенесены все изменения, произошедшие в кластере-источнике после завершения копирования данных.

  4. Деактивируйте трансфер и дождитесь его перехода в статус Остановлен.

    Подробнее о статусах трансфера см. в разделе Жизненный цикл трансфера.

Удалите созданные ресурсы

  1. В терминале перейдите в директорию с планом инфраструктуры.

  2. Удалите конфигурационный файл data-transfer-mysql-mmy.tf.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    Все ресурсы, которые были описаны в конфигурационном файле data-transfer-mysql-mmy.tf, будут удалены.

Реальный пример миграции базы данных MySQL с помощью сервиса Data Transfer см. в разделе Синхронизация данных из MySQL с помощью Yandex Data Transfer.

Перенос данных через создание и восстановление логического дампа

Чтобы перенести данные в кластер Managed Service for MySQL, создайте логический дамп нужной базы и восстановите его в кластере-приемнике. Это можно сделать двумя способами:

  • С помощью утилит mydumper и myloader. Дамп базы создается в виде набора файлов в отдельном каталоге.
  • С помощью утилит mysqldump и mysql. Дамп базы создается в виде одного файла.

Этапы миграции:

  1. Создайте дамп переносимой базы.

  2. (Опционально) Загрузите дамп на промежуточную виртуальную машину в Yandex Cloud.

    Переносить данные на промежуточную виртуальную машину в Yandex Compute Cloud нужно, если:

    • К вашему кластеру Managed Service for MySQL нет доступа из интернета.
    • Ваше оборудование или соединение с кластером в Yandex Cloud недостаточно надежны.

    Чем больше объем переносимых данных и необходимая скорость переноса, тем выше требования к виртуальной машине: числу ядер процессора, оперативной памяти и дисковому пространству.

  3. Восстановите данные из дампа.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Создайте необходимые ресурсы:

  1. Создайте кластер-приемник Managed Service for MySQL любой подходящей конфигурации. При этом:

    • Версия MySQL должна быть не ниже чем в кластере-источнике.

      Перенос данных c повышением мажорной версии MySQL возможен, но не гарантируется. Подробнее см. в документации MySQL.

      Миграция с понижением версии MySQL невозможна.

    • Режим SQL должен быть таким же, как и в кластере-источнике.

  2. (Опционально) Создайте виртуальную машину на базе Ubuntu 20.04 LTS со следующими параметрами:

    • Диски и файловые хранилища → Размер — достаточный для хранения распакованного и нераспакованного дампов.

      Рекомендуется использовать объем в два или более раза превышающий суммарный объем дампа и архива с ним.

    • Сетевые настройки:

      • Подсеть — выберите подсеть в той же облачной сети, в которой размещен кластер-приемник.
      • Публичный адрес — выберите Автоматически или один адрес из списка зарезервированных IP-адресов.

  3. Настройте группы безопасности промежуточной виртуальной машины и кластера Managed Service for MySQL.

  1. Если у вас еще нет Terraform, установите и настройте его.

  2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

  3. Скачайте в ту же рабочую директорию файл конфигурации data-migration-mysql-mmy.tf.

    В этом файле описаны:

    • сеть;
    • подсеть;
    • группа безопасности и правило, необходимое для подключения к кластеру;
    • кластер Managed Service for MySQL с публичным доступом из интернета;
    • (опционально) виртуальная машина с публичным доступом из интернета.

  4. Укажите в файле data-migration-mysql-mmy.tf:

    • параметры кластера-приемника:

      • target_mysql_version — версия MySQL, она должна быть не ниже чем в кластере-источнике;
      • target_sql_mode — режим SQL, он должен быть таким же, как и в кластере-источнике;
      • target_db_name — имя базы данных;
      • target_user и target_password — имя и пароль пользователя-владельца базы данных.

    • (опционально) параметры виртуальной машины:

      • vm_image_id — идентификатор публичного образа с Ubuntu без GPU. Например, для Ubuntu 20.04 LTS.
      • vm_username и vm_public_key — логин и абсолютный путь к публичному ключу, которые будут использоваться для доступа к виртуальной машине. По умолчанию в образе Ubuntu 20.04 LTS указанный логин игнорируется, вместо него создается пользователь с логином ubuntu. Используйте его для подключения к виртуальной машине.

  5. Выполните команду terraform init в директории с конфигурационным файлом. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

  6. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  7. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Создание дампа

  1. Переключите базу в режим только чтение, чтобы не потерять данные, которые могут появиться во время создания дампа.

  2. Установите утилиту mysqldump в кластер-источник, например (для Ubuntu):

    sudo apt update && sudo apt install mysql-client --yes

  3. Создайте дамп базы данных:

    mysqldump \
    --host=<FQDN или IP-адрес хоста-мастера в кластере-источнике> \
    --user=<имя пользователя> \
    --password \
    --port=<порт> \
    --set-gtid-purged=OFF \
    --quick \
    --single-transaction \
    <имя базы данных> > ~/db_dump.sql

    При необходимости передайте в команде создания дампа дополнительные параметры:

    • --events — если в вашей базе есть периодические события;
    • --routines — если в вашей базе есть хранимые процедуры и функции.

    Для таблиц InnoDB используйте опцию --single-transaction: она гарантирует целостность данных.

  4. В файле дампа исправьте имена движков таблиц на InnoDB:

    sed -i -e 's/MyISAM/InnoDB/g' -e 's/MEMORY/InnoDB/g' db_dump.sql

  5. Упакуйте дамп в архив:

    tar -cvzf db_dump.tar.gz ~/db_dump.sql

  1. Переключите базу в режим только чтение, чтобы не потерять данные, которые могут появиться во время создания дампа.

  2. Создайте директорию для файлов дампа:

    mkdir db_dump

  3. Установите утилиту mydumper в кластер-источник, например (для Ubuntu):

    sudo apt update && sudo apt install mydumper --yes

  4. Создайте дамп базы данных:

    mydumper \
    --triggers \
    --events \
    --routines \
    --outputdir=db_dump \
    --rows=10000000 \
    --threads=8 \
    --compress \
    --database=<имя базы данных> \
    --user=<имя пользователя> \
    --ask-password \
    --host=<FDQN или IP-адрес хоста-мастера в кластере-источнике>

    Где:

    • --triggers — дамп триггеров.
    • --events — дамп событий.
    • --routines — дамп хранимых процедур и функций.
    • --outputdir — директория для файлов дампа.
    • --rows — количество строк во фрагментах, на которые будут разбиты таблицы. Чем меньше значение, тем больше будет файлов в дампе.
    • --threads — количество используемых потоков. Рекомендуется использовать значение, равное половине свободных ядер на сервере.
    • --compress — сжатие выходных файлов.

  5. В файлах дампа исправьте имена движков таблиц на InnoDB:

    sed -i -e 's/MyISAM/InnoDB/g' -e 's/MEMORY/InnoDB/g' `find /db_dump -name '*-schema.sql'`

  6. Упакуйте дамп в архив:

    tar -cvzf db_dump.tar.gz ~/db_dump

(Опционально) Загрузка дампа на виртуальную машину в Yandex Cloud

  1. Подключитесь к промежуточной виртуальной машине по SSH.

  2. Скопируйте архив с дампом базы данных на промежуточную виртуальную машину, например, используя утилиту scp:

    scp ~/db_dump.tar.gz <имя пользователя ВМ>@<публичный IP-адрес ВМ>:~/db_dump.tar.gz

  3. Извлеките дамп из архива:

    tar -xzf ~/db_dump.tar.gz

Восстановление данных

Внимание

Для кластера Managed Service for MySQL по умолчанию включен AUTOCOMMIT. Не отключайте AUTOCOMMIT в рамках клиентской сессии при восстановлении базы данных из дампа, иначе возможно переполнение хранилища хоста и нарушение работы кластера.

Этот способ подходит, если вы создали дамп с помощью утилиты mysqldump.

  1. Установите утилиту mysql на хост, с которого выполняется восстановление дампа, например (для Ubuntu):

    sudo apt update && sudo apt install mysql-client --yes

  2. Запустите восстановление базы из дампа:

    • Если вы восстанавливаете дамп с виртуальной машины в Yandex Cloud:

      mysql \
    --host=c-<идентификатор кластера-приемника>.rw.mdb.yandexcloud.net \
    --user=<имя пользователя> \
    --port=3306 \
    <имя базы данных> < ~/db_dump.sql

    • Если вы восстанавливаете дамп с хоста, подключающегося к Yandex Cloud из интернета, получите SSL-сертификат и передайте параметры --ssl-ca и --ssl-mode в команде восстановления:

      mysql \
    --host=c-<идентификатор кластера-приемника>.rw.mdb.yandexcloud.net \
    --user=<имя пользователя> \
    --port=3306 \
    --ssl-ca=~/.mysql/root.crt \
    --ssl-mode=VERIFY_IDENTITY \
    <имя базы данных> < ~/db_dump.sql

Этот способ подходит, если вы создали дамп с помощью утилиты mydumper и используете для восстановления промежуточную виртуальную машину.

  1. Установите утилиту myloader на хост, с которого выполняется восстановление дампа, например (для Ubuntu):

    sudo apt update && sudo apt install mydumper --yes

  2. Запустите восстановление базы из дампа:

    myloader \
    --host=c-<идентификатор кластера-приемника>.rw.mdb.yandexcloud.net \
    --directory=db_dump/ \
    --overwrite-tables \
    --threads=8 \
    --compress-protocol \
    --user=<имя пользователя> \
    --ask-password

Идентификатор кластера можно получить со списком кластеров в каталоге.

Удаление созданных ресурсов

Если созданные ресурсы вам больше не нужны, удалите их:

Чтобы удалить инфраструктуру, созданную с помощью Terraform:

  1. В терминале перейдите в директорию с планом инфраструктуры.

  2. Удалите конфигурационный файл data-migration-mysql-mmy.tf.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    Все ресурсы, которые были описаны в конфигурационном файле data-migration-mysql-mmy.tf, будут удалены.

В этой статье: