Миграция коллекций из стороннего кластера MongoDB в Yandex Managed Service for MongoDB

Чтобы перенести коллекции, хранящиеся в стороннем кластере MongoDB, в кластер Managed Service for MongoDB, нужно непосредственно перенести данные, закрыть старые базы данных на запись и переключить нагрузку на кластер в Yandex Cloud.

Перед началом работы

Убедитесь, что к хостам кластера-источника можно подключиться из интернета.

Перенос данных с использованием сервиса Yandex Data Transfer

1. Подготовьте кластер-источник.

2. Подготовьте кластер-приемник.

3. Создайте эндпоинт для источника со следующими параметрами:

   • Тип базы данных — MongoDB.

   • Параметры эндпоинта → Настройки подключения — Пользовательская инсталляция.

     Укажите параметры подключения к кластеру-источнику.

4. Создайте эндпоинт для приемника со следующими параметрами:

   • Тип базы данных — MongoDB.

   • Параметры эндпоинта → Настройки подключения — Кластер MDB.

     Укажите идентификатор кластера-приемника.

5. Создайте трансфер типа Копировать и реплицировать, использующий созданные эндпоинты.

   Чтобы ускорить копирование больших коллекций (более 1 ГБ), включите шардирование в настройках трансфера: Среда исполнения → Yandex Cloud → Параметры шардированного копирования → Количество инстансов. Укажите значение 2 или больше. Коллекция разделится на указанное количество частей, которые будут копироваться параллельно.

   Чтобы шардирование работало, тип данных поля _id у всех документов коллекции должен быть одинаковым. Если трансфер обнаруживает неоднородность типов, то коллекция не разбивается на части и переносится в одном потоке. При необходимости перед началом трансфера удалите из коллекции документы с отличающимися типами данных.

   Примечание

   Если после активации трансфера в коллекцию добавится документ с отличающимся типом данных, трансфер перенесет его на стадии репликации, после шардированного копирования. Но при повторной активации трансфер не сможет разбить коллекцию на части, так как требование к типу поля _id во всех документах коллекции не будет выполнено.

6. Активируйте трансфер.

7. Дождитесь перехода трансфера в статус Реплицируется.

8. Переведите кластер-источник в режим только чтение и переключите нагрузку на кластер-приемник.

9. На странице мониторинга трансфера дождитесь снижения до нуля характеристики Maximum lag on delivery. Это значит, что на кластер-приемник перенесены все изменения, произошедшие в кластере-источнике после завершения копирования данных.

10. Деактивируйте трансфер и дождитесь его перехода в статус Остановлен.

    Подробнее о статусах трансфера см. в разделе Жизненный цикл трансфера.

11. Удалите остановленный трансфер.

12. Удалите эндпоинты для источника и приемника.

Пример переноса коллекции

1. Настройте кластер-источник.
2. Создайте и настройте кластер-приемник.
3. Настройте эндпоинты и трансфер.
4. Перенесите данные.
5. Удалите созданные ресурсы.

Настройте кластер-источник

1. Подключитесь к хосту mongos кластера-источника MongoDB с помощью утилиты mongosh.

2. Создайте базу данных db1.

3. Создайте пользователя с правами владельца базы данных db1 и авторизуйтесь под его именем:

   use admin
   db.createUser({
     user: "user1",
     pwd: passwordPrompt(),
     roles: [
         {
             role: "dbOwner",
             db: "db1"
         }
     ]
   })
   
   db.auth("user1")
   

4. Заполните коллекцию collection1 в базе db1 случайными значениями. В коллекцию будет вставлено 200 000 записей:

   use db1
   function randomName() {
     // Base 36 uses letters and digits to represent a number:
     return (Math.random()+1).toString(36).substring(2);
   }
   
   var day = 1000 * 60 * 60 * 24;
   function randomDate () {
     return new Date(Date.now() - (Math.floor(Math.random() * day)));
   }
   
   for (var i = 1; i <= 200000; ++i) {
     db.collection1.insertOne({
      name: randomName(),
      creationDate: randomDate(),
      uid: i
     });
   }
   

Создайте и настройте кластер-приемник

Настройте эндпоинты и трансфер

Перенесите данные

Удалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

1. Деактивируйте трансфер и дождитесь его перехода в статус Остановлен.

   Подробнее о жизненном цикле трансфера читайте в документации Yandex Data Transfer.

2. Удалите остановленный трансфер.

3. Удалите эндпоинты для источника и приемника.

4. Удалите созданный кластер Managed Service for MongoDB.