Миграция базы данных в Managed Service for MySQL

Статья создана

Перед началом работы
Перенос данных с использованием сервиса Yandex Data Transfer
Перенос данных через создание и восстановление логического дампа

Перенести данные из стороннего кластера-источника в кластер-приемник Managed Service for MySQL можно двумя способами:

Перенос данных с использованием сервиса Yandex Data Transfer.

Этот способ прост в настройке, не требует создания промежуточной виртуальной машины и позволяет перенести базу целиком без остановки обслуживания пользователей. Для его использования необходимо разрешить подключение к кластеру-источнику из интернета.
Подробнее см. в разделе Какие задачи решает сервис Yandex Data Transfer.
Перенос данных через создание и восстановление логического дампа.

Логический дамп — файл с набором команд, последовательное выполнение которых позволяет восстановить состояние базы данных. Чтобы обеспечить полноту логического дампа, перед его созданием кластер-источник следует перевести в режим только чтение.

Этот способ используйте только в том случае, если перенос данных с помощью Yandex Data Transfer по каким-либо причинам невозможен.

Перед началом работы

Создайте кластер Managed Service for MySQL любой подходящей конфигурации. При этом:

Версия MySQL должна быть не ниже чем на кластере-источнике.

Перенос данных c повышением мажорной версии MySQL возможен, но не гарантируется. Подробнее см. в документации MySQL.

Миграция с понижением версии MySQL невозможна.
Режим SQL должен быть таким же, как и на кластере-источнике.

Перенос данных с использованием сервиса Yandex Data Transfer

Подготовьте кластер-источник.
Подготовьте кластер-приемник.
Создайте эндпоинт для источника с типом базы данных MySQL.
Создайте эндпоинт для приемника с типом базы данных Managed Service for MySQL.
Создайте трансфер типа Копировать и реплицировать, использующий созданные эндпоинты.
Активируйте его.

Важно

Избегайте любых изменений в схеме данных на кластере-источнике и кластере-приемнике во время работы трансфера. Подробнее см. в разделе Работа с базами данных во время трансфера.
Дождитесь перехода трансфера в статус Реплицируется.
Переведите кластер-источник в режим только чтение и переключите нагрузку на кластер-приемник.
На странице мониторинга трансфера дождитесь снижения до нуля характеристики Maximum lag on delivery. Это значит, что на кластер-приемник перенесены все изменения, произошедшие в кластере-источнике после завершения копирования данных.
Деактивируйте трансфер и дождитесь его перехода в статус Остановлен.

Подробнее о жизненном цикле трансфера см. в соответствующем разделе.
Удалите остановленный трансфер.
Удалите эндпоинт для источника.
Удалите эндпоинт для приемника.

Реальный пример миграции базы данных MySQL с помощью сервиса Data Transfer см. в разделе Синхронизация данных из MySQL с помощью Yandex Data Transfer.

Перенос данных через создание и восстановление логического дампа

Перенести данные в кластер Managed Service for MySQL можно с помощью утилит mysqldump и mysql: создайте логический дамп рабочей базы и восстановите его в нужном кластере.

Этапы миграции:

Создайте дамп переносимой базы.
При необходимости создайте промежуточную виртуальную машину в Yandex.Cloud и загрузите дамп на нее.
Восстановите данные из дампа.

Создание дампа

Для создания дампа используйте утилиту mysqldump.

Перед созданием дампа переключите базу в режим только чтение, чтобы не потерять данные, которые бы появились во время создания дампа. Сам дамп базы данных создайте следующей командой:
```
mysqldump -h <адрес сервера-источника> \
          --user=<имя пользователя> \
          --password \
          --port=<порт> \
          --set-gtid-purged=OFF \
          --quick \
          --single-transaction <имя базы данных> \
          > ~/db_dump.sql
```
При необходимости передайте в команде создания дампа дополнительные параметры:
- --events — если в вашей базе есть периодические события;
- --routines — если в вашей базе есть функции и хранимые процедуры.
Для таблиц InnoDB используйте опцию --single-transaction: она гарантирует целостность данных. Для таблиц MyISAM она неприменима, но их можно преобразовать в InnoDB с помощью команды:
```
sed -i 's/ENGINE=MyISAM/ENGINE=InnoDB/' ~/db_dump.sql
```
Упакуйте дамп в архив:
```
tar -cvzf db_dump.tar.gz ~/db_dump.sql
```

(опционально) Создание виртуальной машины в Yandex.Cloud и загрузка дампа

Переносить данные на промежуточную виртуальную машину в Yandex Compute Cloud нужно, если:

К вашему кластеру Managed Service for MySQL нет доступа из интернета.
Ваше оборудование или соединение с кластером в Yandex.Cloud недостаточно надежны.

Нужное количество оперативной памяти, ядер процессора и дискового пространства зависит от объема переносимых данных и требуемой скорости переноса.

Чтобы подготовить виртуальную машину для восстановления дампа:

В консоли управления создайте виртуальную машину с публичным IP-адресом на базе Ubuntu Linux 18.04. Минимальной конфигурации (1 ядро, 2 ГБ RAM, 10 ГБ дискового пространства) хватит для переноса базы до 1 ГБ. Чем больше переносимая база, тем больше должно быть оперативной памяти и дискового пространства (как минимум в два раза больше размера базы).

Разместите виртуальную машину в той же сети и зоне доступности, что и хост-мастер кластера Managed Service for MySQL.
Настройте группы безопасности промежуточной виртуальной машины и кластера Managed Service for MySQL.
Подключитесь к промежуточной виртуальной машине по SSH.
Установите клиент MySQL, например (для Ubuntu):
```
sudo apt install mysql-client
```
Перенесите дамп базы данных на промежуточную виртуальную машину, например, используя утилиту scp:
```
scp ~/db_dump.tar.gz <имя пользователя ВМ>@<публичный IP-адрес ВМ>:/tmp/db_dump.tar.gz
```
Распакуйте дамп:
```
tar -xzf /tmp/db_dump.tar.gz
```

Восстановление данных

Для восстановления базы из дампа используйте утилиту mysql. Чтобы получать больше информации при возникновении ошибок, запустите команду восстановления с флагом --line-numbers.

Внимание

Для кластера Managed Service for MySQL по умолчанию включен AUTOCOMMIT. Не отключайте AUTOCOMMIT в рамках клиентской сессии при восстановлении базы данных из дампа, иначе возможно переполнение хранилища хоста и нарушение работы кластера.

Если вы восстанавливаете дамп с виртуальной машины в Yandex.Cloud:
```
mysql -h <FQDN хоста MySQL> \
      --user=<имя пользователя> \
      --password \
      --port=3306 \
      --line-numbers <имя базы данных> \
      < /tmp/db_dump.sql
```
Пример команды с заполненным FQDN хоста доступен в консоли управления по нажатию кнопки Подключиться на странице кластера.
Если вы восстанавливаете дамп с собственного сервера, получите SSL-сертификат и передайте параметры --ssl-ca и --ssl-mode в команде восстановления:
```
mysql -h <FQDN хоста MySQL> \
      --user=<имя пользователя> \
      --password \
      --port=3306 \
      --ssl-ca=~/.mysql/root.crt \
      --ssl-mode=VERIFY_IDENTITY \
      --line-numbers <имя базы данных>  \
      < ~/db_dump.sql
```
Пример команды с заполненным FQDN хоста доступен в консоли управления по нажатию кнопки Подключиться на странице кластера.