Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex Data Transfer
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Подготовка к трансферу
    • Настройка эндпоинтов
      • Управление эндпоинтами
      • Настройка эндпоинтов-источников
        • Apache Kafka®
        • AWS CloudTrail
        • BigQuery
        • ClickHouse
        • Greenplum®
        • MongoDB
        • MySQL
        • Oracle
        • PostgreSQL
        • S3
        • Yandex Data Streams
      • Настройка эндпоинтов-приемников
        • ClickHouse
        • Greenplum®
        • MongoDB
        • MySQL
        • Object Storage
        • PostgreSQL
        • YDB
    • Управление трансфером
    • Работа с базами данных во время трансфера
    • Мониторинг состояния трансфера
  • Практические руководства
    • Все руководства
    • Миграция базы данных в Yandex Managed Service for Greenplum®
    • Миграция базы данных в Yandex Managed Service for MongoDB
    • Миграция базы данных в Yandex Managed Service for MySQL
    • Миграция базы данных из Yandex Managed Service for MySQL в MySQL
    • Миграция базы данных в Yandex Managed Service for PostgreSQL
    • Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka®
    • Перенос данных из PostgreSQL в ClickHouse
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Сеть в Yandex Data Transfer
    • Какие задачи решает сервис
    • Жизненный цикл трансфера
    • Квоты и лимиты
  • Решение проблем
    • Обзор
    • MongoDB
    • MySQL
    • PostgreSQL
    • Yandex Managed Service for YDB и Yandex Data Streams
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • EndpointService
      • TransferService
      • OperationService
    • REST (англ.)
      • Overview
      • Endpoint
        • Overview
        • create
        • delete
        • get
        • list
        • update
      • Transfer
        • Overview
        • activate
        • create
        • deactivate
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Начало работы

Как начать работать с Data Transfer

Статья создана
Yandex Cloud
  • Перед началом работы
  • Настройте источник и приемник
    • Совместимость источников и приемников
    • Подготовка источников и приемников
  • Создайте эндпоинт для источника
  • Создайте эндпоинт для приемника
  • Создайте трансфер
  • Активируйте трансфер
  • Что дальше

Копируйте или реплицируйте данные из источника в приемник, создав эндпоинты и настроив между ними трансферы.

Перед началом работы

  1. Перейдите в консоль Yandex Cloud и выберите каталог, в котором будете выполнять операции. Если такого каталога нет, создайте его:

    Консоль управления
    CLI
    API
    1. На странице облака нажмите кнопку Создать каталог.

    2. Введите имя каталога. Требования к имени:

      • Длина — от 3 до 63 символов.
      • Может содержать строчные буквы латинского алфавита, цифры и дефисы.
      • Первый символ — буква. Последний символ — не дефис.
    3. (опционально) Введите описание каталога.

    4. Выберите опцию Создать сеть по умолчанию. Будет создана сеть с подсетями в каждой зоне доступности. Также в этой сети будет создана группа безопасности по умолчанию, внутри которой весь сетевой трафик разрешен.

    5. Нажмите кнопку Создать.

    Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

    1. Посмотрите описание команды создания каталога:

      yc resource-manager folder create --help
      
    2. Создайте новый каталог:

      • с именем и без описания:

        yc resource-manager folder create \
          --name new-folder
        
        • Длина — от 3 до 63 символов.
        • Может содержать строчные буквы латинского алфавита, цифры и дефисы.
        • Первый символ — буква. Последний символ — не дефис.
      • с именем и описанием:

        yc resource-manager folder create \
          --name new-folder \
          --description "my first folder with description"
        

    Воспользуйтесь методом create для ресурса Folder сервиса Yandex Resource Manager.

  2. На странице биллинга убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его.

  3. На странице Управление доступом убедитесь, что у вас есть роль editor или выше на нужный каталог или облако, которому принадлежит этот каталог.

Настройте источник и приемник

В качестве источника и приемника могут выступать разные системы.

Совместимость источников и приемников

Доступные комбинации источников и приемников:

Источник \ Приемник Apache Kafka® ClickHouse Greenplum® MongoDB MySQL PostgreSQL Managed Service for YDB Object Storage
Apache Kafka® - Репликация1 - Репликация1 Репликация1 Репликация1 Репликация1 Репликация1
AWS CloudTrail - Копирование - Копирование Копирование Копирование Копирование -
BigQuery - Копирование - Копирование Копирование Копирование Копирование -
ClickHouse - Копирование1 - - - - - -
Greenplum® - Копирование2 Копирование2 - - Копирование2 - -
MongoDB Репликация1 Копирование1, репликация1 - Копирование, репликация - - - Копирование1
MySQL Репликация1 Копирование1, репликация1 - Копирование1, репликация1 Копирование, репликация - Копирование1, репликация1 Копирование1
Oracle - Копирование1, репликация1 - - - Копирование1, репликация1 - -
PostgreSQL Репликация1 Копирование1, репликация1 Копирование2 Копирование1, репликация1 - Копирование, репликация Копирование1, репликация1 Копирование1
S3 - Копирование - Копирование Копирование Копирование Копирование -
Yandex Data Streams - Копирование1, репликация1 - Копирование1 Копирование1 Копирование1 Репликация1 Репликация1

1 Функциональность находится на стадии Preview.
2 Функциональность находится на стадии Preview и предоставляется по запросу. Обратитесь в техническую поддержку или к вашему аккаунт-менеджеру.

Подготовка источников и приемников

Подготовьте источник к отправке данных:

  • Apache Kafka®
  • AWS CloudTrail
  • BigQuery
  • ClickHouse
  • Greenplum®
  • MongoDB
  • MySQL
  • PostgreSQL
  • S3
  • Yandex Data Streams

Подготовьте приемник к получению данных:

  • ClickHouse
  • Greenplum®
  • MongoDB
  • MySQL
  • Object Storage
  • PostgreSQL

Чтобы принимать данные в сервисе Managed Service for YDB, подготовка не требуется.

Создайте эндпоинт для источника

  1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
  2. Нажмите кнопку Создать эндпоинт.
  3. Убедитесь, что в поле Направление указано Источник.
  4. Укажите имя эндпоинта.
  5. В поле Тип базы данных выберите тип СУБД, из которой вы хотите передавать данные.
  6. Укажите параметры эндпоинта в соответствующем блоке настроек.
  7. Нажмите кнопку Создать.

Подробнее см. в разделе Управление эндпоинтами.

Создайте эндпоинт для приемника

  1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
  2. Нажмите кнопку Создать эндпоинт.
  3. Убедитесь, что в поле Направление указано Приемник.
  4. Укажите имя эндпоинта.
  5. В поле Тип базы данных выберите тип СУБД, в которую вы хотите передавать данные.
  6. Укажите параметры эндпоинта в соответствующем блоке настроек.
  7. Нажмите кнопку Создать.

Подробнее см. в разделе Управление эндпоинтами.

Создайте трансфер

  1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
  2. На панели слева выберите Трансферы.
  3. Нажмите кнопку Создать трансфер.
  4. Выберите эндпоинт для источника и эндпоинт для приемника.
  5. Укажите имя трансфера.
  6. Выберите тип трансфера:
    • Копировать и реплицировать — чтобы создать полную копию данных источника и поддерживать ее в актуальном состоянии.
    • Копировать — чтобы создать полную копию данных без дальнейшего получения обновлений из источника.
    • Реплицировать — чтобы непрерывно получать изменения данных от источника и применять их к приемнику (без создания полной копии данных источника).
  7. (опционально) Добавьте описание трансфера.
  8. Нажмите кнопку Создать.

Подробнее см. в разделе Типы трансферов.

Активируйте трансфер

  1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
  2. На панели слева выберите Трансферы.
  3. Нажмите значок рядом с именем нужного трансфера и выберите пункт Активировать.

Начнется процесс переноса данных.

Подробнее см. в разделе Управление трансфером.

Что дальше

  • Изучите концепции сервиса.
  • Узнайте больше о подготовке баз данных для использования сервиса и настройке трансферов.
  • Ознакомьтесь с вопросами и ответами.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками VMware, Inc в США и/или других странах.

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье:
  • Перед началом работы
  • Настройте источник и приемник
  • Совместимость источников и приемников
  • Подготовка источников и приемников
  • Создайте эндпоинт для источника
  • Создайте эндпоинт для приемника
  • Создайте трансфер
  • Активируйте трансфер
  • Что дальше