Построение Data Platform на базе Yandex Cloud

Apache Kafka®

• Миграция базы данных из стороннего кластера Apache Kafka® в Yandex Managed Service for Apache Kafka®

• Поставка данных из Yandex Managed Service for MySQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer

• Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer

• Поставка данных из Yandex Managed Service for MySQL в Yandex Managed Service for Apache Kafka® с помощью Debezium

• Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Debezium

• Настройка Kafka Connect для работы с кластером Yandex Managed Service for Apache Kafka®

• Использование реестра схем форматов данных с Managed Service for Apache Kafka®:

  • Управление схемами данных
  • Использование Managed Schema Registry с Yandex Managed Service for Apache Kafka®
  • Использование Confluent Schema Registry с Yandex Managed Service for Apache Kafka®

ClickHouse

• Миграция базы данных из PostgreSQL в ClickHouse с помощью Yandex Data Transfer
• Обмен данными между Yandex Managed Service for ClickHouse и Yandex Data Proc
• Настройка Yandex Managed Service for ClickHouse для Graphite
• Получение данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for ClickHouse
• Получение данных из RabbitMQ в Yandex Managed Service for ClickHouse
• Использование гибридного хранилища в Yandex Managed Service for ClickHouse
• Шардирование таблиц Yandex Managed Service for ClickHouse

Cloud DNS

• Настройка Yandex Cloud DNS для доступа к кластерам управляемых баз данных из других облачных сетей
• Настройка Yandex Cloud DNS для доступа к кластеру Yandex Managed Service for ClickHouse из других облачных сетей

Data Proc

• Обмен данными между Yandex Managed Service for ClickHouse и Yandex Data Proc
• Импорт данных из Yandex Managed Service for MySQL в Yandex Data Proc с помощью Sqoop
• Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Proc с помощью Sqoop
• Использование скриптов инициализации для настройки GeeseFS в Yandex Data Proc.

Elasticsearch

• Миграция данных из стороннего кластера Elasticsearch в Yandex Managed Service for Elasticsearch с помощью Reindex API

MongoDB

• Миграция коллекций из стороннего кластера MongoDB в Yandex Managed Service for MongoDB

MySQL

• Миграция базы данных из стороннего кластера MySQL в кластер Yandex Managed Service for MySQL
• Синхронизация данных из стороннего кластера MySQL в Yandex Managed Service for MySQL с помощью Yandex Data Transfer
• Миграция базы данных из Yandex Managed Service for MySQL в сторонний кластер MySQL
• Импорт данных из Yandex Managed Service for MySQL в Yandex Data Proc с помощью Sqoop
• Поставка данных из Yandex Managed Service for MySQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
• Поставка данных из Yandex Managed Service for MySQL в Yandex Managed Service for Apache Kafka® с помощью Debezium

PostgreSQL

• Создание кластера PostgreSQL для 1С:Предприятия
• Анализ производительности и оптимизация Managed Service for PostgreSQL
• Миграция базы данных из Managed Service for PostgreSQL
• Миграция базы данных из стороннего кластера PostgreSQL в Managed Service for PostgreSQL
• Миграция базы данных из PostgreSQL в ClickHouse с помощью Yandex Data Transfer
• Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
• Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Debezium
• Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Proc с помощью Sqoop

Redis

• Миграция базы данных из стороннего кластера Redis в Yandex Managed Service for Redis

SQL Server

• Миграция базы данных из стороннего кластера SQL Server в Yandex Managed Service for SQL Server
• Миграция базы данных из Managed Service for SQL Server в сторонний кластер SQL Server