Взаимосвязь ресурсов в Data Transfer
Yandex Data Transfer помогает переносить данные между СУБД, объектными хранилищами или брокерами сообщений. Сервис позволяет сократить время на процесс миграции и минимизировать простой при переключении на новую базу данных.
Yandex Data Transfer настраивается через стандартные интерфейсы Yandex.Cloud.
Сервис подходит для создания постоянной реплики базы. Перенос схемы базы данных из источника на приемник автоматизирован.
Эндпоинт
Эндпоинт — это конфигурация для подключения к сервису-источнику или приемнику данных. Кроме настроек подключения, эндпоинт может содержать информацию о том, какие данные будут участвовать в трансфере и как они должны быть обработаны в процессе переноса.
В качестве источника или приемника данных могут выступать:
| Сервис | Источник | Приемник |
|---|---|---|
| База данных ClickHouse — собственная или в составе сервиса Managed Service for ClickHouse | ||
| База данных MongoDB — собственная или в составе сервиса Managed Service for MongoDB | ||
| База данных MySQL — собственная или в составе сервиса Managed Service for MySQL | ||
| Собственная база данных Oracle | ||
| База данных PostgreSQL — собственная или в составе сервиса Managed Service for PostgreSQL | ||
| Топик Apache Kafka® — собственный или в составе сервиса Managed Service for Apache Kafka® | ||
| Поток данных Yandex Data Streams | ||
| База данных Yandex Database — в составе сервиса Yandex Database | ||
| Бакет Yandex Object Storage |
Трансфер
Трансфер — это процесс переноса данных между сервисом-источником и сервисом-приемником. Он должен находиться в одном каталоге с используемыми эндпоинтами.
Типы трансферов
Трансферы бывают следующих типов:
- Копировать — переносит снапшот источника на приемник.
- Реплицировать — непрерывно получает изменения из источника и применяет их на приемнике. При этом первоначальная синхронизация данных не выполняется.
- Копировать и реплицировать — переносит текущее состояние источника на приемник и поддерживает его актуальность.
Подробнее о различиях между типами трансферов читайте в разделе Жизненный цикл трансфера.
Совместимость источников и приемников
В качестве источника и приемника могут выступать разные СУБД. Доступные комбинации источников и приемников:
| Источник \ Приемник | PostgreSQL | MySQL | MongoDB | Yandex Database | ClickHouse | Object Storage |
|---|---|---|---|---|---|---|
| PostgreSQL | Копирование , репликация | - | - | Копирование1, репликация1 | Копирование1, репликация1 | Копирование1 |
| MySQL | - | Копирование, репликация | - | Копирование1, репликация1 | Копирование1, репликация1 | Копирование1 |
| MongoDB | - | - | Копирование1, репликация1 | - | - | Копирование1 |
| Oracle | Копирование1, репликация1 | - | - | - | Копирование1, репликация1 | - |
| ClickHouse | - | - | - | - | Копирование1 | - |
| Yandex Data Streams | - | - | - | Репликация1 | Копирование1, репликация1 | Репликация1 |
| Apache Kafka® | - | - | - | Репликация1 | Репликация1 | Репликация1 |
1 Функциональность находится на стадии Preview.
Особенности работы сервиса с источниками и приемниками
ClickHouse
Если на приемнике ClickHouse включена репликация, то движки для воссоздания таблиц будут выбраны в зависимости от типа источника:
- При переносе данных из строковых СУБД будут использоваться движки ReplicatedReplacingMergeTree и ReplacingMergeTree.
- При переносе данных из ClickHouse будут использоваться движки семейства ReplicatedMergeTree.
Пропускная способность
При копировании скорость может достигать 15 МБ/с. База размером 100 ГБ обычно копируется за 2–3 часа. Точное время зависит от настроек приемника.
При репликации пропускная способность может достигать 20–30 тысяч транзакций в секунду.