Практические руководства Data Transfer
C помощью Data Transfer вы можете реализовать различные сценарии миграции данных, захвата изменений, поставок данных из очередей, загрузки в витрины, зеркалирования и загрузки данных в масштабируемое хранилище.
Миграция данных
Миграция — задача, в рамках которой требуется перенести данные из одного хранилища в другое. В Data Transfer миграция часто означает перенос базы в облако из устаревших локальных баз в управляемые облачные.
- Миграция кластера PostgreSQL
- Миграция кластера MySQL
- Миграция кластера ClickHouse®
- Миграция кластера Greenplum®
- Миграция кластера MongoDB
- Миграция кластера MongoDB с версии 4.4 на 6.0
- Миграция из AWS RDS for PostgreSQL
- Миграция кластера OpenSearch
Отдельной задачей миграции является зеркалирование данных между очередями.
Миграция со сменой типа хранения данных.
- MySQL в YDB
- PostgreSQL в YDB
- MySQL в PostgreSQL
- PostgreSQL в MySQL
- MySQL в Greenplum®
- Elasticsearch в OpenSearch
Захват изменений данных
Change Data Capture (СDC) — это процесс отслеживания изменений в базе данных и поставка этих изменений потребителям, поддерживающий публичный формат сериализации при записи в очередь Debezium.
СDC используется для создания приложений, которые чувствительны к изменению данных в реальном времени, обмена данными между различными сервисами, в том числе, с разным уровнем доступности, сбора и поставки данных из продакшен-окружения во внутренние хранилища данных для обработки и анализа.
- Захват изменений MySQL и поставка в
- Захват изменений PostgreSQL и поставка в
- Захват изменений YDB и поставка в
Поставка данных из очередей
Поставка данных — процесс доставки произвольных данных в целевые хранилища. Процесс поставки включает извлечение данных из очереди и их десериализацию с последующей трансформацией данных в формат целевого хранилища.
- Apache Kafka® в ClickHouse®
- Apache Kafka® в PostgreSQL
- Apache Kafka® в Greenplum®
- Apache Kafka® в MongoDB
- Apache Kafka® в MySQL
- Apache Kafka® в OpenSearch
- Apache Kafka® в YDB
- Apache Kafka® в YDS
- YDS в ClickHouse®
- YDS в Object Storage
- YDS в OpenSearch
Загрузка данных в витрины
Загрузка данных в витрины — процесс трансфера подготовленных данных в хранилища с целью последующей визуализации. Источники — хранилища, используемые для массивно-параллельной обработки данных. Приемники — хранилища, способные быстро отдать данные.
- Greenplum® в ClickHouse®
- MySQL в ClickHouse®
- Яндекс Метрика в ClickHouse®
- PostgreSQL в ClickHouse®
- Greenplum® в PostgreSQL
- Яндекс Директ в ClickHouse®
- Object Storage в PostgreSQL
- Object Storage в Greenplum®
- Object Storage в MySQL
- Object Storage в ClickHouse®
- Object Storage в YDB
Загрузка данных в Object Storage
Загрузка данных в масштабируемое хранилище Object Storage позволяет удешевить хранение и облегчает обмен данных с контрагентами.
Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками VMware, Inc в США и/или других странах.
ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc