Как начать работать с Data Transfer

Копируйте или реплицируйте данные из источника в приемник, создав эндпоинты и настроив между ними трансферы.

Перед началом работы

1. Перейдите в консоль Yandex.Cloud и выберите каталог, в котором будете выполнять операции. Если такого каталога нет, создайте его:

   Консоль управления

   CLI

   API

   1. На стартовой странице консоли управления нажмите кнопку Создать каталог.

   2. Введите имя каталога.

      • Длина — от 3 до 63 символов.
      • Может содержать строчные буквы латинского алфавита, цифры и дефисы.
      • Первый символ — буква. Последний символ — не дефис.

   3. Выберите опцию Создать сеть по умолчанию. Будет создана сеть с подсетями в каждой зоне доступности. Также в этой сети будет создана группа безопасности по умолчанию, внутри которой весь сетевой трафик разрешен.

   4. Нажмите кнопку Создать.

   Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

   1. Посмотрите описание команды создания каталога:

      yc resource-manager folder create --help
      

   2. Создайте новый каталог:

      • с именем и без описания:

        yc resource-manager folder create \
           --name new-folder
        

        • Длина — от 3 до 63 символов.
        • Может содержать строчные буквы латинского алфавита, цифры и дефисы.
        • Первый символ — буква. Последний символ — не дефис.

      • с именем и описанием:

        yc resource-manager folder create \
           --name new-folder \
           --description "my first folder with description"
        

   Воспользуйтесь методом create для ресурса Folder сервиса Yandex Resource Manager.

2. На странице биллинга убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его.

3. На странице Управление доступом убедитесь, что у вас есть роль editor или выше на нужный каталог или облако, которому принадлежит этот каталог.

Настройте источник и приемник

Подготовьте сервис-источник к отправке данных:

• Apache Kafka^®;
• ClickHouse;
• MongoDB;
• MySQL;
• PostgreSQL;
• Yandex Data Streams.

Подготовьте сервис-приемник к получению данных:

• ClickHouse;
• MongoDB;
• MySQL;
• Object Storage;
• PostgreSQL.

Чтобы принимать данные в сервисе Yandex Database, подготовка не требуется.

Создайте эндпоинт для источника

1. Перейдите на страницу каталога и выберите сервис Data Transfer.
2. На вкладке Эндпоинты нажмите кнопку Создать эндпоинт.
3. Убедитесь, что в поле Направление указано Источник.
4. Укажите имя эндпоинта.
5. В поле Тип базы данных выберите тип СУБД, из которой вы хотите передавать данные.
6. Укажите параметры эндпоинта в соответствующем блоке настроек.
7. Нажмите кнопку Создать.

Подробнее см. в разделе Управление эндпоинтом для источника.

Создайте эндпоинт для приемника

1. Перейдите на страницу каталога и выберите сервис Data Transfer.
2. На вкладке Эндпоинты нажмите кнопку Создать эндпоинт.
3. Убедитесь, что в поле Направление указано Приемник.
4. Укажите имя эндпоинта.
5. В поле Тип базы данных выберите тип СУБД, в которую вы хотите передавать данные.
6. Укажите параметры эндпоинта в соответствующем блоке настроек.
7. Нажмите кнопку Создать.

Подробнее см. в разделе Управление эндпоинтом для приемника.

Создайте трансфер

1. Перейдите на страницу каталога и выберите сервис Data Transfer.
2. На вкладке Трансферы нажмите кнопку Создать трансфер.
3. Выберите эндпоинт для источника и эндпоинт для приемника.
4. Укажите имя трансфера.
5. Выберите тип трансфера:
   • Копировать и реплицировать — чтобы создать полную копию данных источника и поддерживать ее в актуальном состоянии.
   • Копировать — чтобы создать полную копию данных без дальнейшего получения обновлений из источника.
   • Реплицировать — чтобы непрерывно получать изменения данных от источника и применять их к приемнику (без создания полной копии данных источника).
6. (Опционально) добавьте описание трансфера.
7. Нажмите кнопку Создать.

Подробнее см. в разделе Типы трансферов.

Активируйте трансфер

1. Перейдите на страницу каталога и выберите сервис Data Transfer.
2. На вкладке Трансферы нажмите на значок рядом с именем нужного трансфера и выберите пункт Активировать.

Начнется процесс переноса данных.

Подробнее см. в разделе Управление трансфером.

Что дальше

• Изучите концепции сервиса.
• Узнайте больше о подготовке баз данных для использования сервиса и настройке трансферов.
• Ознакомьтесь с вопросами и ответами.