Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Практические руководства
  • Веб-сервис
    • Все руководства
    • Cтатический сайт в Object Storage
    • Cайт на LAMP- или LEMP-стеке
    • Отказоустойчивый сайт с балансировкой нагрузки через Network Load Balancer
    • Отказоустойчивый сайт с балансировкой нагрузки через Application Load Balancer
    • Сайт на базе Joomla с БД PostgreSQL
    • Сайт на WordPress
    • Сайт на WordPress с БД MySQL
    • Перенос WordPress сайта с хостинга в Yandex Cloud
    • Веб-сайт на базе 1С-Битрикс
    • Интеграция L7-балансировщика с Cloud CDN и Object Storage
    • Сине-зеленое и канареечное развертывание версий сервиса
  • Интернет-магазины
    • Все руководства
    • Интернет-магазин на 1С-Битрикс
    • Интернет-магазин на Opencart
  • Архив данных
    • Все руководства
    • Однонодовый файловый сервер
    • Настройка SFTP-сервера на Centos 7
    • Резервное копирование в Object Storage через Acronis
    • Резервное копирование в Object Storage через CloudBerry Desktop Backup
    • Резервное копирование в Object Storage через Duplicati
    • Резервное копирование в Object Storage через Bacula
    • Резервное копирование в Object Storage через Veritas Backup Exec
    • Оцифровка архива в Yandex Vision
  • Тестовая среда
    • Все руководства
    • Тестирование приложений с помощью GitLab
    • Создание тестовых ВМ через GitLab CI
    • Высокопроизводительные вычисления на прерываемых виртуальных машинах
    • Эмуляция множества IoT-устройств
    • Нагрузочное тестирование gRPC-сервиса
    • HTTPS-тест с постоянной нагрузкой с помощью Phantom
    • HTTPS-тест со ступенчатой нагрузкой с помощью Pandora
  • Управление инфраструктурой
    • Все руководства
    • Начало работы с Terraform
    • Загрузка состояний Terraform в Object Storage
    • Начало работы с Packer
    • Сборка образа ВМ с набором инфраструктурных инструментов с помощью Packer
    • Автоматизация сборки образов ВМ с помощью Jenkins
    • Непрерывное развертывание контейнеризованных приложений с помощью GitLab
    • Создание кластера Linux-серверов «1С:Предприятия» с кластером Managed Service for PostgreSQL
    • Создание кластера Windows-серверов «1С:Предприятия» с базой данных SQL Server
    • Миграция в Yandex Cloud с помощью Hystax Acura
    • Защита от сбоев с помощью Hystax Acura
    • Настройка отказоустойчивой архитектуры в Yandex Cloud
    • Создание SAP-программы в Yandex Cloud
  • Построение Data Platform
    • Все руководства
    • Синхронизация данных из MySQL с помощью Yandex Data Transfer
    • Миграция базы данных из Yandex Managed Service for MySQL в MySQL
    • Настройка управляемой базы данных в кластере ClickHouse для Graphite
    • Обмен данными между Yandex Managed Service for ClickHouse и Yandex Data Proc
    • Импорт базы данных в Yandex Data Proc с использованием Sqoop
    • Использование Confluent Schema Registry с Yandex Managed Service for Apache Kafka®
    • Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Debezium
    • Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
    • Миграция данных в Yandex Managed Service for Apache Kafka®
    • Перенос коллекций из MongoDB в Yandex Managed Service for MongoDB
    • Миграция базы данных в Yandex Managed Service for SQL Server
    • Перенос данных из PostgreSQL в ClickHouse с помощью Yandex Data Transfer
    • Настройка Kafka Connect для работы с кластером Yandex Managed Service for Apache Kafka®
    • Настройка Yandex Cloud DNS для доступа к кластерам управляемых баз данных из других облачных сетей
    • Миграция в Yandex Managed Service for Elasticsearch с помощью Reindex API
    • Использование скриптов инициализации для настройки GeeseFS в Yandex Data Proc
  • Windows в Yandex Cloud
    • Все руководства
    • Развертывание Active Directory
    • Развертывание Microsoft Exchange
    • Развертывание Remote Desktop Services
    • Развертывание группы доступности Always On
    • Развертывание группы доступности Always On с внутренним сетевым балансировщиком
    • Развертывание Remote Desktop Gateway
  • Сетевая маршрутизация
    • Все руководства
    • Маршрутизация с помощью NAT-инстанса
    • Создание VPN-туннеля
    • Установка виртуального роутера Cisco CSR1000v
    • Установка виртуального роутера Mikrotik CHR
    • Соединение с облачной сетью при помощи OpenVPN
    • Настройка сети для Yandex Data Proc
  • Визуализация и анализ данных
    • Все руководства
    • Визуализация данных из CSV-файла
    • Создание и публикация диаграммы с картой Москвы из CSV-файла
    • Анализ продаж сети магазинов из БД ClickHouse
    • Анализ открытых данных ДТП на дорогах России
    • Анализ продаж и локаций пиццерий на данных из БД ClickHouse и Marketplace
    • Веб-аналитика с подключением к Яндекс Метрике
    • Веб-аналитика с расчетом воронок и когорт на данных Яндекс Метрики
    • Аналитика мобильного приложения на данных AppMetrica
    • Анализ статистики подкастов Яндекс Музыки (для авторов подкастов)
    • Визуализация данных с помощью SQL-чарта
    • Анализ customer journey мобильного приложения на данных AppMetrica
    • Анализ логов Object Storage при помощи DataLens
  • Интернет вещей
    • Руководства по работе с интернетом вещей
    • Мониторинг состояния географически распределенных устройств
    • Мониторинг показаний датчиков и уведомления о событиях
  • Бессерверные технологии
    • Сокращатель ссылок
    • Ввод данных в системы хранения
    • Хранение журналов работы приложения
  1. Построение Data Platform
  2. Перенос коллекций из MongoDB в Yandex Managed Service for MongoDB

Перенос коллекций из MongoDB в Yandex Managed Service for MongoDB

Статья создана
Yandex Cloud
  • Перед началом работы
  • Перенос данных с использованием сервиса Yandex Data Transfer
  • Пример переноса коллекции
    • Настройте кластер-источник
    • Создайте и настройте кластер-приемник
    • Настройте эндпоинты и трансфер
    • Перенесите данные
    • Удалите созданные ресурсы

Чтобы перенести коллекции, хранящиеся в стороннем кластере MongoDB, в кластер Managed Service for MongoDB, нужно непосредственно перенести данные, закрыть старые базы данных на запись и переключить нагрузку на кластер в Yandex Cloud.

Перед началом работы

Убедитесь, что к хостам кластера-источника можно подключиться из интернета.

Перенос данных с использованием сервиса Yandex Data Transfer

  1. Подготовьте кластер-источник.

  2. Подготовьте кластер-приемник.

  3. Создайте эндпоинт для источника со следующими параметрами:

    • Тип базы данных — MongoDB.

    • Параметры эндпоинта → Настройки подключения — Пользовательская инсталляция.

      Укажите параметры подключения к кластеру-источнику.

  4. Создайте эндпоинт для приемника со следующими параметрами:

    • Тип базы данных — MongoDB.

    • Параметры эндпоинта → Настройки подключения — Кластер MDB.

      Укажите идентификатор кластера-приемника.

  5. Создайте трансфер типа Копировать и реплицировать, использующий созданные эндпоинты.

  6. Активируйте трансфер.

  7. Дождитесь перехода трансфера в статус Реплицируется.

  8. Переведите кластер-источник в режим только чтение и переключите нагрузку на кластер-приемник.

  9. На странице мониторинга трансфера дождитесь снижения до нуля характеристики Maximum lag on delivery. Это значит, что на кластер-приемник перенесены все изменения, произошедшие в кластере-источнике после завершения копирования данных.

  10. Деактивируйте трансфер и дождитесь его перехода в статус Остановлен.

    Подробнее о статусах трансфера см. в разделе Жизненный цикл трансфера.

  11. Удалите остановленный трансфер.

  12. Удалите эндпоинты для источника и приемника.

Пример переноса коллекции

  1. Настройте кластер-источник.
  2. Создайте и настройте кластер-приемник.
  3. Настройте эндпоинты и трансфер.
  4. Перенесите данные.
  5. Удалите созданные ресурсы.

Настройте кластер-источник

  1. Подключитесь к хосту mongos кластера-источника MongoDB с помощью утилиты mongosh.

  2. Создайте базу данных db1.

  3. Создайте пользователя с правами владельца базы данных db1 и авторизуйтесь под его именем:

    use admin
    db.createUser({
      user: "user1",
      pwd: passwordPrompt(),
      roles: [
          {
              role: "dbOwner",
              db: "db1"
          }
      ]
    })
    
    db.auth("user1")
    
  4. Заполните коллекцию collection1 в базе db1 случайными значениями. В коллекцию будет вставлено 200 000 записей:

    use db1
    function randomName() {
      // Base 36 uses letters and digits to represent a number:
      return (Math.random()+1).toString(36).substring(2);
    }
    
    var day = 1000 * 60 * 60 * 24;
    function randomDate () {
      return new Date(Date.now() - (Math.floor(Math.random() * day)));
    }
    
    for (var i = 1; i <= 200000; ++i) {
      db.collection1.insertOne({
       name: randomName(),
       creationDate: randomDate(),
       uid: i
      });
    }
    

Создайте и настройте кластер-приемник

Нешардированный кластер-приемник
Шардированный кластер-приемник
  1. Создайте кластер Managed Service for MongoDB любой подходящей конфигурации.
  2. Создайте базу данных db1.
  3. Создайте пользователя user_transfer с ролью readWrite на созданную базу.
  1. Создайте кластер Managed Service for MongoDB любой подходящей конфигурации. В кластере должно быть не менее двух хостов.
  2. Включите шардирование.
  3. Создайте базу данных db1.
  4. Создайте пользователя user_transfer с ролью readWrite на созданную базу и ролью mdbShardingManager на служебную базу admin.
  5. Следуя инструкции, создайте и настройте в базе db1 пустую шардированную коллекцию collection1.

Настройте эндпоинты и трансфер

Нешардированный кластер-приемник
Шардированный кластер-приемник
  1. Создайте эндпоинт для кластера-источника:
    • Тип базы данных — MongoDB.
    • Настройки подключения — Пользовательская инсталляция.
      • Сертификат CA — загрузите файл сертификата, если при подключении к кластеру-источнику требуется шифрование.
      • Список хостов — укажите FQDN хостов кластера-источника.
      • Порт — укажите порт для подключения к хостам.
      • Источник аутентификации — db1.
      • Имя пользователя — user1.
      • Пароль — укажите пароль пользователя user1.
  2. Создайте эндпоинт для кластера-приемника:
    • Тип базы данных — MongoDB.
    • Настройки подключения — Кластер MDB.
      • Укажите идентификатор кластера-приемника.
      • Имя пользователя — user_transfer.
      • Пароль — укажите пароль пользователя user_transfer.
      • Политика очистки — DROP.
  3. Создайте трансфер:
    • Тип трансфера — Копировать и реплицировать.
    • Источник — выберите созданный эндпоинт для кластера-источника.
    • Приемник — выберите созданный эндпоинт для кластера-приемника.
  1. Создайте эндпоинт для кластера-источника:
    • Тип базы данных — MongoDB.
    • Настройки подключения — Пользовательская инсталляция.
      • Сертификат CA — загрузите файл сертификата, если при подключении к кластеру-источнику требуется шифрование.
      • Список хостов — укажите FQDN хостов кластера-источника.
      • Порт — укажите порт для подключения к хостам.
      • Источник аутентификации — db1.
      • Имя пользователя — user1.
      • Пароль — укажите пароль пользователя user1.
  2. Создайте эндпоинт для кластера-приемника:
    • Тип базы данных — MongoDB.
    • Настройки подключения — Кластер MDB.
      • Укажите идентификатор кластера-приемника.
      • Имя пользователя — user_transfer.
      • Пароль — укажите пароль пользователя user_transfer.
      • Политика очистки — DISABLED или TRUNCATE.
  3. Создайте трансфер:
    • Тип трансфера — Копировать и реплицировать.
    • Источник — выберите созданный эндпоинт для кластера-источника.
    • Приемник — выберите созданный эндпоинт для кластера-приемника.

Перенесите данные

Нешардированный кластер-приемник
Шардированный кластер-приемник
  1. Активируйте созданный трансфер.

  2. Дождитесь перехода трансфера в статус Реплицируется.

  3. Переведите кластер-источник в режим только чтение и переключите нагрузку на кластер-приемник.

  4. На странице мониторинга трансфера дождитесь снижения до нуля характеристики Maximum lag on delivery, [s]. Это значит, что на кластер-приемник перенесены все изменения, произошедшие в кластере-источнике после завершения копирования данных.

  5. Подключитесь к кластеру-приемнику.

  6. Проверьте, что коллекция collection1 перенесена и количество документов в ней равно 200 000, как в кластере-источнике:

    use db1
    db.collection1.countDocuments()
    
    200000
    
  1. Активируйте созданный трансфер.

  2. Дождитесь перехода трансфера в статус Реплицируется.

  3. Переведите кластер-источник в режим только чтение и переключите нагрузку на кластер-приемник.

  4. На странице мониторинга трансфера дождитесь снижения до нуля характеристики Maximum lag on delivery, [s]. Это значит, что на кластер-приемник перенесены все изменения, произошедшие в кластере-источнике после завершения копирования данных.

  5. Подключитесь к кластеру-приемнику.

  6. Проверьте, что коллекция collection1 перенесена, количество документов в ней равно 200 000, как в кластере-источнике, и документы распределены по шардам:

    use db1
    db.collection1.countDocuments()
    
    200000
    
    db.collection1.getShardDistribution()
    
    Shard rs01 at rs01/<host1>
    {
      data: '7.05MiB',
      docs: 99752,
      chunks: 2,
      'estimated data per chunk': '3.52MiB',
      'estimated docs per chunk': 49876
    }
    ---
    Shard rs02 at rs02/<host2>
    {
      data: '7.08MiB',
      docs: 100248,
      chunks: 2,
      'estimated data per chunk': '3.54MiB',
      'estimated docs per chunk': 50124
    }
    ---
    ...
    

Удалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

  1. Деактивируйте трансфер и дождитесь его перехода в статус Остановлен.

    Подробнее о жизненном цикле трансфера читайте в документации Yandex Data Transfer.

  2. Удалите остановленный трансфер.

  3. Удалите эндпоинты для источника и приемника.

  4. Удалите созданный кластер Managed Service for MongoDB.

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье:
  • Перед началом работы
  • Перенос данных с использованием сервиса Yandex Data Transfer
  • Пример переноса коллекции
  • Настройте кластер-источник
  • Создайте и настройте кластер-приемник
  • Настройте эндпоинты и трансфер
  • Перенесите данные
  • Удалите созданные ресурсы