Взаимосвязь ресурсов в Data Transfer
Yandex Data Transfer помогает переносить данные между СУБД, объектными хранилищами или брокерами сообщений. Сервис позволяет сократить время на процесс миграции и минимизировать простой при переключении на новую базу данных.
Yandex Data Transfer настраивается через стандартные интерфейсы Yandex Cloud.
Сервис подходит для создания постоянной реплики базы. Перенос схемы базы данных из источника на приемник автоматизирован.
Эндпоинт
Эндпоинт — это конфигурация для подключения к сервису-источнику или приемнику данных. Кроме настроек подключения, эндпоинт может содержать информацию о том, какие данные будут участвовать в трансфере и как они должны быть обработаны в процессе переноса.
В качестве источника или приемника данных могут выступать:
| Сервис | Источник | Приемник |
|---|---|---|
| Топик Apache Kafka® — собственный или в составе сервиса Managed Service for Apache Kafka® | ||
| Поток сообщений AWS CloudTrail | ||
| Собственная база данных BigQuery | ||
| База данных ClickHouse — собственная или в составе сервиса Managed Service for ClickHouse | ||
| База данных Greenplum® — собственная или в составе сервиса Managed Service for Greenplum® | ||
| База данных MongoDB — собственная или в составе сервиса Managed Service for MongoDB | ||
| База данных MySQL — собственная или в составе сервиса Managed Service for MySQL | ||
| Собственная база данных Oracle | ||
| База данных PostgreSQL — собственная или в составе сервиса Managed Service for PostgreSQL | ||
| S3-совместимый бакет | ||
| Поток данных Yandex Data Streams | ||
| База данных Managed Service for YDB — в составе сервиса Managed Service for YDB | ||
| Бакет Yandex Object Storage |
Трансфер
Трансфер — это процесс переноса данных между сервисом-источником и сервисом-приемником. Он должен находиться в одном каталоге с используемыми эндпоинтами.
Если для эндпоинтов заданы подсети, то они должны быть размещены в одной зоне доступности. Иначе активация трансфера с такими эндпоинтами завершится с ошибкой.
Типы трансферов
Трансферы бывают следующих типов:
- Копировать — переносит снапшот источника на приемник.
- Реплицировать — непрерывно получает изменения из источника и применяет их на приемнике. При этом первоначальная синхронизация данных не выполняется.
- Копировать и реплицировать — переносит текущее состояние источника на приемник и поддерживает его актуальность.
Подробнее о различиях между типами трансферов читайте в разделе Жизненный цикл трансфера.
Совместимость источников и приемников
Доступные комбинации источников и приемников:
| Источник \ Приемник | Apache Kafka® | ClickHouse | Greenplum® | MongoDB | MySQL | PostgreSQL | Managed Service for YDB | Object Storage |
|---|---|---|---|---|---|---|---|---|
| Apache Kafka® | - | Репликация1 | - | Репликация1 | Репликация1 | Репликация1 | Репликация1 | Репликация1 |
| AWS CloudTrail | - | Копирование | - | Копирование | Копирование | Копирование | Копирование | - |
| BigQuery | - | Копирование | - | Копирование | Копирование | Копирование | Копирование | - |
| ClickHouse | - | Копирование1 | - | - | - | - | - | - |
| Greenplum® | - | Копирование2 | Копирование2 | - | - | Копирование2 | - | - |
| MongoDB | Репликация1 | Копирование1, репликация1 | - | Копирование, репликация | - | - | - | Копирование1 |
| MySQL | Репликация1 | Копирование1, репликация1 | - | Копирование1, репликация1 | Копирование, репликация | - | Копирование1, репликация1 | Копирование1 |
| Oracle | - | Копирование1, репликация1 | - | - | - | Копирование1, репликация1 | - | - |
| PostgreSQL | Репликация1 | Копирование1, репликация1 | Копирование2 | Копирование1, репликация1 | - | Копирование, репликация | Копирование1, репликация1 | Копирование1 |
| S3 | - | Копирование | - | Копирование | Копирование | Копирование | Копирование | - |
| Yandex Data Streams | - | Копирование1, репликация1 | - | Копирование1 | Копирование1 | Копирование1 | Репликация1 | Репликация1 |
1 Функциональность находится на стадии Preview.
2 Функциональность находится на стадии Preview и предоставляется по запросу. Обратитесь в техническую поддержку или к вашему аккаунт-менеджеру.
Особенности работы сервиса с источниками и приемниками
ClickHouse
Если на приемнике ClickHouse включена репликация, то движки для воссоздания таблиц будут выбраны в зависимости от типа источника:
- При переносе данных из строковых СУБД будут использоваться движки ReplicatedReplacingMergeTree и ReplacingMergeTree.
- При переносе данных из ClickHouse будут использоваться движки семейства ReplicatedMergeTree.
Greenplum®
Трансфер из и в Greenplum® предоставляется по запросу. Обратитесь в техническую поддержку или к вашему аккаунт-менеджеру.
MongoDB
По умолчанию сервис не шардирует коллекции, переносимые в шардированный кластер. Подробнее см. в разделе Подготовка к трансферу.
Трансфер в MongoDB не переносит индексы. Когда трансфер перейдет в статус Реплицируется, создайте индекс для каждой шардируемой коллекции вручную:
db.<имя коллекции>.createIndex(<свойства индекса>)
Описание функции createIndex() см. в документации MongoDB.
PostgreSQL
-
Сервис не переносит материализованные представления (
MATERIALIZED VIEW). При переносе данных из одного кластера PostgreSQL в другой создайте вручную все необходимые материализованные представления в кластере-приемнике после деактивации трансфера. -
Сервис не переносит пользовательские типы данных, если в эндпоинте для источника задан список включенных или исключенных таблиц. В этом случае перенесите пользовательские типы данных вручную.
Захват изменения данных
CDC (change data capture — захват изменения данных) — это процесс отслеживания изменений в базе данных и поставка этих изменений к потребителям в режиме почти реального времени. CDC может применяться для:
- создания приложений, которые реагируют на изменение данных в реальном времени;
- поставки данных из централизованного хранилища в микросервисы;
- сбора и поставки данных из продакшен-окружения во внутренние хранилища данных — для обработки и анализа.
В Yandex Cloud одним из способов реализации CDC-подхода может быть трансфер из базы данных в брокер сообщений. Все обновления в базе отслеживаются трансфером и отправляются в брокер сообщений, а потребители подключаются к брокеру и считывают поступающие собщения.
Data Transfer поддерживает CDC-режим для трансферов из баз данных PostgreSQL в Apache Kafka® и Yandex Data Streams. При этом данные в приемник попадают в формате Debezium.
Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками VMware, Inc в США и/или других странах.