Подключиться
Yandex Managed Service for MySQL

Миграция базы данных в Managed Service for MySQL

Статья создана

Перенести данные из стороннего кластера-источника в кластер-приемник Managed Service for MySQL можно двумя способами:

  • Перенос данных с использованием сервиса Yandex Data Transfer.

    Этот способ прост в настройке, не требует создания промежуточной виртуальной машины и позволяет перенести базу целиком без остановки обслуживания пользователей. Для его использования необходимо разрешить подключение к кластеру-источнику из интернета.
    Подробнее см. в разделе Какие задачи решает сервис Yandex Data Transfer.

  • Перенос данных через создание и восстановление логического дампа.

    Логический дамп — файл с набором команд, последовательное выполнение которых позволяет восстановить состояние базы данных. Чтобы обеспечить полноту логического дампа, перед его созданием кластер-источник следует перевести в режим только чтение.

    Этот способ используйте только в том случае, если перенос данных с помощью Yandex Data Transfer по каким-либо причинам невозможен.

Перед началом работы

Создайте кластер Managed Service for MySQL любой подходящей конфигурации. При этом:

  • Версия MySQL должна быть не ниже чем на кластере-источнике.

    Перенос данных c повышением мажорной версии MySQL возможен, но не гарантируется. Подробнее см. в документации MySQL.

    Миграция с понижением версии MySQL невозможна.

  • Режим SQL должен быть таким же, как и на кластере-источнике.

Перенос данных с использованием сервиса Yandex Data Transfer

  1. Подготовьте кластер-источник.

  2. Подготовьте кластер-приемник.

  3. Создайте эндпоинт-источник с типом базы данных MySQL.

  4. Создайте эндпоинт-приемник с типом базы данных Managed Service for MySQL.

  5. Создайте трансфер типа Копировать и реплицировать, использующий созданные эндпоинты.

  6. Активируйте его.

    Важно

    Избегайте любых изменений в схеме данных на кластере-источнике и кластере-приемнике во время работы трансфера. Подробнее см. в разделе Работа с базами данных во время трансфера.

  7. Дождитесь перехода трансфера в статус Реплицируется.

  8. Переведите кластер-источник в режим только чтение и переключите нагрузку на кластер-приемник.

  9. На странице мониторинга трансфера дождитесь снижения до нуля характеристики Maximum lag on delivery, [s]. Это значит, что на кластер-приемник перенесены все изменения, произошедшие в кластере-источнике после завершения копирования данных.

  10. Деактивируйте трансфер и дождитесь его перехода в статус Остановлен.

    Подробнее о жизненном цикле трансфера см. в соответствующем разделе.

  11. Удалите остановленный трансфер.

  12. Удалите эндпоинт-источник.

  13. Удалите эндпоинт-приемник.

Реальный пример миграции базы данных MySQL с помощью сервиса Data Transfer см. в разделе Синхронизация данных из MySQL с помощью Yandex Data Transfer.

Перенос данных через создание и восстановление логического дампа

Перенести данные в кластер Managed Service for MySQL можно с помощью утилит mysqldump и mysql: создайте логический дамп рабочей базы и восстановите его в нужном кластере.

Этапы миграции:

  1. Создайте дамп переносимой базы.
  2. При необходимости создайте промежуточную виртуальную машину в Yandex.Cloud и загрузите дамп на нее.
  3. Восстановите данные из дампа.

Создание дампа

Для создания дампа используйте утилиту mysqldump.

  1. Перед созданием дампа переключите базу в режим только чтение, чтобы не потерять данные, которые бы появились во время создания дампа. Сам дамп базы данных создайте следующей командой:

    mysqldump -h <адрес сервера-источника> \
          --user=<имя пользователя> \
          --password \
          --port=<порт> \
          --set-gtid-purged=OFF \
          --quick \
          --single-transaction <имя базы данных> \
          > ~/db_dump.sql

    При необходимости передайте в команде создания дампа дополнительные параметры:

    • --events — если в вашей базе есть периодические события;
    • --routines — если в вашей базе есть функции и хранимые процедуры.

    Для таблиц InnoDB используйте опцию --single-transaction: она гарантирует целостность данных. Для таблиц MyISAM она неприменима, но их можно преобразовать в InnoDB с помощью команды:

    sed -i 's/ENGINE=MyISAM/ENGINE=InnoDB/' ~/db_dump.sql

  2. Упакуйте дамп в архив:

    tar -cvzf db_dump.tar.gz ~/db_dump.sql

(опционально) Создание виртуальной машины в Yandex.Cloud и загрузка дампа

Переносить данные на промежуточную виртуальную машину в Yandex Compute Cloud нужно, если:

  • К вашему кластеру Managed Service for MySQL нет доступа из интернета.
  • Ваше оборудование или соединение с кластером в Yandex.Cloud недостаточно надежны.

Нужное количество оперативной памяти, ядер процессора и дискового пространства зависит от объема переносимых данных и требуемой скорости переноса.

Чтобы подготовить виртуальную машину для восстановления дампа:

  1. В консоли управления создайте виртуальную машину с публичным IP-адресом на базе Ubuntu Linux 18.04. Минимальной конфигурации (1 ядро, 2 ГБ RAM, 10 ГБ дискового пространства) хватит для переноса базы до 1 ГБ. Чем больше переносимая база, тем больше должно быть оперативной памяти и дискового пространства (как минимум в два раза больше размера базы).

    Разместите виртуальную машину в той же сети и зоне доступности, что и хост-мастер кластера Managed Service for MySQL.

  2. Настройте группы безопасности промежуточной виртуальной машины и кластера Managed Service for MySQL.

  3. Подключитесь к промежуточной виртуальной машине по SSH.

  4. Установите клиент MySQL, например (для Ubuntu):

    sudo apt install mysql-client

  5. Перенесите дамп базы данных на промежуточную виртуальную машину, например, используя утилиту scp:

    scp ~/db_dump.tar.gz <имя пользователя ВМ>@<публичный IP-адрес ВМ>:/tmp/db_dump.tar.gz

  6. Распакуйте дамп:

    tar -xzf /tmp/db_dump.tar.gz

Восстановление данных

Для восстановления базы из дампа используйте утилиту mysql. Чтобы получать больше информации при возникновении ошибок, запустите команду восстановления с флагом --line-numbers.

Внимание

Для кластера Managed Service for MySQL по умолчанию включен AUTOCOMMIT. Не отключайте AUTOCOMMIT в рамках клиентской сессии при восстановлении базы данных из дампа, иначе возможно переполнение хранилища хоста и нарушение работы кластера.

  • Если вы восстанавливаете дамп с виртуальной машины в Yandex.Cloud:

    mysql -h <FQDN хоста MySQL> \
      --user=<имя пользователя> \
      --password \
      --port=3306 \
      --line-numbers <имя базы данных> \
      < /tmp/db_dump.sql

    Пример команды с заполненным FQDN хоста доступен в консоли управления по нажатию кнопки Подключиться на странице кластера.

  • Если вы восстанавливаете дамп с собственного сервера, получите SSL-сертификат и передайте параметры --ssl-ca и --ssl-mode в команде восстановления:

    mysql -h <FQDN хоста MySQL> \
      --user=<имя пользователя> \
      --password \
      --port=3306 \
      --ssl-ca=~/.mysql/root.crt \
      --ssl-mode=VERIFY_IDENTITY \
      --line-numbers <имя базы данных>  \
      < ~/db_dump.sql

    Пример команды с заполненным FQDN хоста доступен в консоли управления по нажатию кнопки Подключиться на странице кластера.

В этой статье: