Построение Data Platform на базе Yandex Cloud

Apache Kafka®

• Миграция базы данных из стороннего кластера Apache Kafka® в Yandex Managed Service for Apache Kafka®
• Поставка данных из Yandex Managed Service for MySQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
• Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
• Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for ClickHouse с помощью Yandex Data Transfer
• Перенос данных между кластерами Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
• Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for YDB с помощью Yandex Data Transfer
• Поставка данных из Yandex Managed Service for MySQL в Yandex Managed Service for Apache Kafka® с помощью Debezium
• Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Debezium
• Настройка Kafka Connect для работы с кластером Yandex Managed Service for Apache Kafka®
• Использование реестра схем форматов данных с Yandex Managed Service for Apache Kafka®:
  • Управление схемами данных в Yandex Managed Service for Apache Kafka®
  • Использование Managed Schema Registry с Yandex Managed Service for Apache Kafka®
  • Использование Confluent Schema Registry с Yandex Managed Service for Apache Kafka®

ClickHouse

• Миграция базы данных из MySQL в ClickHouse с помощью Yandex Data Transfer

• Асинхронная репликация данных из PostgreSQL в ClickHouse

• Обмен данными между Yandex Managed Service for ClickHouse и Yandex Data Proc

• Настройка Yandex Managed Service for ClickHouse для Graphite

• Получение данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for ClickHouse

• Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for ClickHouse с помощью Yandex Data Transfer

• Получение данных из RabbitMQ в Yandex Managed Service for ClickHouse

• Сохранение потока данных Yandex Data Streams в Yandex Managed Service for ClickHouse

• Использование гибридного хранилища в Yandex Managed Service for ClickHouse

• Шардирование таблиц Yandex Managed Service for ClickHouse

Yandex Cloud DNS

• Настройка Yandex Cloud DNS для доступа к кластерам управляемых баз данных из других облачных сетей
• Настройка Yandex Cloud DNS для доступа к кластеру Yandex Managed Service for ClickHouse из других облачных сетей

Yandex Data Proc

• Обмен данными между Yandex Managed Service for ClickHouse и Yandex Data Proc

• Импорт данных из Yandex Managed Service for MySQL в Yandex Data Proc с помощью Sqoop

• Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Proc с помощью Sqoop

• Использование скриптов инициализации для настройки GeeseFS в Yandex Data Proc

Elasticsearch

• Миграция данных из стороннего кластера Elasticsearch в Yandex Managed Service for Elasticsearch с помощью Reindex API

MongoDB

• Перенос коллекций из MongoDB в Managed Service for MongoDB
• Миграция данных в Managed Service for MongoDB
• Шардирование коллекций MongoDB
• Анализ производительности и оптимизация MongoDB

MySQL

• Миграция базы данных из стороннего кластера MySQL в кластер Yandex Managed Service for MySQL

• Анализ производительности и оптимизация Managed Service for MySQL

• Синхронизация данных из стороннего кластера MySQL в Yandex Managed Service for MySQL с помощью Yandex Data Transfer

• Миграция базы данных из Yandex Managed Service for MySQL в сторонний кластер MySQL

• Миграция базы данных из MySQL в ClickHouse с помощью Yandex Data Transfer

• Миграция базы данных из Yandex Managed Service for MySQL в Yandex Object Storage

• Импорт данных из Yandex Managed Service for MySQL в Yandex Data Proc с помощью Sqoop

• Поставка данных из Yandex Managed Service for MySQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer

• Поставка данных из Yandex Managed Service for MySQL в Yandex Managed Service for Apache Kafka® с помощью Debezium

• Миграция базы данных из Yandex Managed Service for MySQL в Yandex Managed Service for YDB с помощью Yandex Data Transfer

PostgreSQL

• Создание кластера PostgreSQL для «1С:Предприятия»

• Анализ производительности и оптимизация Yandex Managed Service for PostgreSQL

• Миграция базы данных из Yandex Managed Service for PostgreSQL

• Миграция базы данных из стороннего кластера PostgreSQL в Yandex Managed Service for PostgreSQL

• Асинхронная репликация данных из PostgreSQL в ClickHouse

• Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer

• Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Debezium

• Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Proc с помощью Sqoop

• Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for YDB с помощью Yandex Data Transfer

• Миграция базы данных из Yandex Managed Service for PostgreSQL в Yandex Object Storage

Greenplum®

• Миграция базы данных из Greenplum® в ClickHouse
• Миграция базы данных из Greenplum® в PostgreSQL

Redis

• Миграция базы данных из стороннего кластера Redis в Yandex Managed Service for Redis
• Использование кластера Managed Service for Redis в качестве хранилища сессий PHP