Взаимосвязь ресурсов в Data Transfer
Yandex Data Transfer помогает переносить данные между СУБД, объектными хранилищами или брокерами сообщений. Сервис позволяет сократить время на процесс миграции, минимизировать простой при переключении на новую базу данных или иметь постоянную реплику базы.
Для переноса данных вам не нужно устанавливать драйверы, вся настройка делается в консоли управления. При трансфере Yandex Data Transfer также переносит схему базы данных из источника на приемник. Благодаря этому не нужно создавать схему данных на приемнике вручную.
Эндпоинт
Эндпоинт — это конфигурация для подключения сервису-источнику или приемнику данных. Кроме настроек подключения, эндпоинт может содержать информацию о том, какие данные будут участвовать в трансфере и как они должны быть обработаны в процессе переноса.
В качестве источника или приемника данных могут выступать:
- база данных ClickHouse — собственная или в составе сервиса Managed Service for ClickHouse;
- база данных MongoDB — собственная или в составе сервиса Managed Service for MongoDB;
- база данных MySQL — собственная или в составе сервиса Managed Service for MySQL;
- база данных PostgreSQL — собственная или в составе сервиса Managed Service for PostgreSQL;
- топик Apache Kafka® — собственный или в составе сервиса Managed Service for Apache Kafka® (только в качестве источника);
- поток данных Yandex Data Streams (только в качестве источника);
- база данных Yandex Database — в составе сервиса Yandex Database (только в качестве приемника);
- бакет Yandex Object Storage (только в качестве приемника).
Трансфер
Трансфер — это процесс переноса данных между эндпоинтом-источником и эндпоинтом-приемником. Трансфер должен находиться в одном каталоге с эндпоинтами, которые он соединяет.
Типы трансферов
Трансферы бывают следующих типов:
- Копировать — конечный процесс переноса снапшота базы данных.
- Реплицировать — процесс непрерывного получения изменений из источника и применения их к приемнику. При этом первоначальная синхронизация данных не выполняется.
- Копировать и реплицировать — перенос и поддержка текущего состояния источника на приемник.
Подробнее об отличиях между разными типами трансферов читайте в разделе Жизненный цикл трансфера.
Совместимость эндпоинтов
В качестве источника и приемника могут выступать разные СУБД. Доступные комбинации источников и приемников приведены в таблице:
| Источник \ Приемник | PostgreSQL | MySQL | MongoDB | Yandex Database | ClickHouse | Object Storage |
|---|---|---|---|---|---|---|
| PostgreSQL | Копирование , репликация | - | - | Копирование1, репликация1 | Копирование1, репликация1 | Копирование1 |
| MySQL | - | Копирование, репликация | - | Копирование1, репликация1 | Копирование1, репликация1 | Копирование1 |
| MongoDB | - | - | Копирование1, репликация1 | - | - | Копирование1 |
| Oracle | Копирование1, репликация1 | - | - | - | Копирование1, репликация1 | - |
| ClickHouse | - | - | - | - | Копирование1 | - |
| Yandex Data Streams | - | - | - | Репликация1 | Копирование1, репликация1 | Репликация1 |
| Apache Kafka® | - | - | - | Репликация1 | Репликация1 | Репликация1 |
1 Функциональность находится на стадии Preview.
Если на приемнике ClickHouse включена репликация, то движки для воссоздания таблиц будут выбраны в зависимости от типа источника:
- При переносе данных из строковых СУБД будут использоваться движки ReplicatedReplacingMergeTree и ReplacingMergeTree.
- При переносе данных из ClickHouse будут использоваться движки семейства ReplicatedMergeTree.