Как начать работать с Data Transfer

Статья создана

Yandex Cloud

Перед началом работы
Настройте источник и приемник
- Совместимость источников и приемников
- Подготовка источников и приемников
Создайте эндпоинт для источника
Создайте эндпоинт для приемника
Создайте трансфер
Активируйте трансфер
Что дальше

Копируйте или реплицируйте данные из источника в приемник, создав эндпоинты и настроив между ними трансферы.

Перед началом работы

Перейдите в консоль Yandex Cloud и выберите каталог, в котором будете выполнять операции. Если такого каталога нет, создайте его:
Консоль управления

CLI

API
1. На странице облака нажмите кнопку Создать каталог.
2. Введите имя каталога. Требования к имени:
  - Длина — от 3 до 63 символов.
  - Может содержать строчные буквы латинского алфавита, цифры и дефисы.
  - Первый символ — буква. Последний символ — не дефис.
3. (опционально) Введите описание каталога.
4. Выберите опцию Создать сеть по умолчанию. Будет создана сеть с подсетями в каждой зоне доступности. Также в этой сети будет создана группа безопасности по умолчанию, внутри которой весь сетевой трафик разрешен.
5. Нажмите кнопку Создать.
Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.
1. Посмотрите описание команды создания каталога:
  yc resource-manager folder create --help
2. Создайте новый каталог:
  - с именем и без описания:
    
    yc resource-manager folder create \ --name new-folder
    
    Длина — от 3 до 63 символов.
    
    Может содержать строчные буквы латинского алфавита, цифры и дефисы.
    
    Первый символ — буква. Последний символ — не дефис.
  - с именем и описанием:
    
    yc resource-manager folder create \ --name new-folder \ --description "my first folder with description"
Воспользуйтесь методом create для ресурса Folder сервиса Yandex Resource Manager.
На странице биллинга убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его.
На странице Управление доступом убедитесь, что у вас есть роль editor или выше на нужный каталог или облако, которому принадлежит этот каталог.

Настройте источник и приемник

В качестве источника и приемника могут выступать разные системы.

Совместимость источников и приемников

Доступные комбинации источников и приемников:

Источник \ Приемник	Apache Kafka®	ClickHouse	Greenplum®	MongoDB	MySQL	PostgreSQL	Managed Service for YDB	Object Storage
Apache Kafka®	-	Репликация¹	-	Репликация¹	Репликация¹	Репликация¹	Репликация¹	Репликация¹
AWS CloudTrail	-	Копирование	-	Копирование	Копирование	Копирование	Копирование	-
BigQuery	-	Копирование	-	Копирование	Копирование	Копирование	Копирование	-
ClickHouse	-	Копирование¹	-	-	-	-	-	-
Greenplum®	-	Копирование²	Копирование²	-	-	Копирование²	-	-
MongoDB	Репликация¹	Копирование¹, репликация¹	-	Копирование, репликация	-	-	-	Копирование¹
MySQL	Репликация¹	Копирование¹, репликация¹	-	Копирование¹, репликация¹	Копирование, репликация	-	Копирование¹, репликация¹	Копирование¹
Oracle	-	Копирование¹, репликация¹	-	-	-	Копирование¹, репликация¹	-	-
PostgreSQL	Репликация¹	Копирование¹, репликация¹	Копирование²	Копирование¹, репликация¹	-	Копирование, репликация	Копирование¹, репликация¹	Копирование¹
S3	-	Копирование	-	Копирование	Копирование	Копирование	Копирование	-
Yandex Data Streams	-	Копирование¹, репликация¹	-	Копирование¹	Копирование¹	Копирование¹	Репликация¹	Репликация¹

¹ Функциональность находится на стадии Preview.
² Функциональность находится на стадии Preview и предоставляется по запросу. Обратитесь в техническую поддержку или к вашему аккаунт-менеджеру.

Подготовка источников и приемников

Подготовьте источник к отправке данных:

Подготовьте приемник к получению данных:

Чтобы принимать данные в сервисе Managed Service for YDB, подготовка не требуется.

Создайте эндпоинт для источника

Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
Нажмите кнопку Создать эндпоинт.
Убедитесь, что в поле Направление указано Источник.
Укажите имя эндпоинта.
В поле Тип базы данных выберите тип СУБД, из которой вы хотите передавать данные.
Укажите параметры эндпоинта в соответствующем блоке настроек.
Нажмите кнопку Создать.

Подробнее см. в разделе Управление эндпоинтами.

Создайте эндпоинт для приемника

Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
Нажмите кнопку Создать эндпоинт.
Убедитесь, что в поле Направление указано Приемник.
Укажите имя эндпоинта.
В поле Тип базы данных выберите тип СУБД, в которую вы хотите передавать данные.
Укажите параметры эндпоинта в соответствующем блоке настроек.
Нажмите кнопку Создать.

Подробнее см. в разделе Управление эндпоинтами.

Создайте трансфер

Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
На панели слева выберите Трансферы.
Нажмите кнопку Создать трансфер.
Выберите эндпоинт для источника и эндпоинт для приемника.
Укажите имя трансфера.
Выберите тип трансфера:
- Копировать и реплицировать — чтобы создать полную копию данных источника и поддерживать ее в актуальном состоянии.
- Копировать — чтобы создать полную копию данных без дальнейшего получения обновлений из источника.
- Реплицировать — чтобы непрерывно получать изменения данных от источника и применять их к приемнику (без создания полной копии данных источника).
(опционально) Добавьте описание трансфера.
Нажмите кнопку Создать.

Подробнее см. в разделе Типы трансферов.

Активируйте трансфер

Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
На панели слева выберите Трансферы.
Нажмите значок рядом с именем нужного трансфера и выберите пункт Активировать.

Начнется процесс переноса данных.

Подробнее см. в разделе Управление трансфером.

Что дальше

Изучите концепции сервиса.
Узнайте больше о подготовке баз данных для использования сервиса и настройке трансферов.
Ознакомьтесь с вопросами и ответами.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками VMware, Inc в США и/или других странах.