Построение Data Platform на базе Yandex Cloud
Статья создана
Обновлена 23 апреля 2024 г.
Apache Kafka®
- Развертывание веб-интерфейса Apache Kafka®
- Миграция базы данных из стороннего кластера Apache Kafka® в Yandex Managed Service for Apache Kafka®
- Перенос данных между кластерами Managed Service for Apache Kafka® с помощью Data Transfer
- Поставка данных из Yandex Managed Service for MySQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for MySQL в Yandex Managed Service for Apache Kafka® с помощью Debezium
- Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Debezium
- Поставка данных из Yandex Managed Service for YDB в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for ClickHouse® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for Greenplum® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for MongoDB с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for MySQL с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for PostgreSQL с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Data Streams с помощью Yandex Data Transfer
- Настройка Kafka Connect для работы с кластером Yandex Managed Service for Apache Kafka®
- Использование реестра схем форматов данных с Yandex Managed Service for Apache Kafka®:
ClickHouse®
- Миграция базы данных из MySQL в ClickHouse® с помощью Yandex Data Transfer
- Асинхронная репликация данных из PostgreSQL в ClickHouse®
- Обмен данными между Yandex Managed Service for ClickHouse® и Yandex Data Proc
- Настройка Yandex Managed Service for ClickHouse® для Graphite
- Получение данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for ClickHouse®
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for ClickHouse® с помощью Yandex Data Transfer
- Получение данных из RabbitMQ в Yandex Managed Service for ClickHouse®
- Сохранение потока данных Yandex Data Streams в Yandex Managed Service for ClickHouse®
- Использование гибридного хранилища в Yandex Managed Service for ClickHouse®
- Шардирование таблиц Yandex Managed Service for ClickHouse®
- Загрузка данных из Яндекс Директ в витрину Yandex Managed Service for ClickHouse® с использованием Yandex Cloud Functions, Yandex Object Storage и Yandex Data Transfer
- Загрузка данных из Yandex Object Storage в Yandex Managed Service for ClickHouse® с помощью Yandex Data Transfer
Greenplum®
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for Greenplum® с помощью Yandex Data Transfer
- Миграция данных из Yandex Managed Service for MySQL в Yandex Managed Service for Greenplum® с помощью Yandex Data Transfer
- Миграция базы данных из Greenplum® в ClickHouse®
- Миграция базы данных из Greenplum® в PostgreSQL
- Выгрузка данных Greenplum® в холодное хранилище Yandex Object Storage
- Загрузка данных из Yandex Object Storage в Yandex Managed Service for Greenplum® с помощью Yandex Data Transfer
Elasticsearch
MongoDB
- Перенос коллекций из MongoDB в Managed Service for MongoDB
- Миграция данных в Managed Service for MongoDB
- Миграция кластера Yandex Managed Service for MongoDB с версии 4.4 на 6.0 c помощью Yandex Data Transfer
- Шардирование коллекций MongoDB
- Анализ производительности и оптимизация MongoDB
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for MongoDB с помощью Yandex Data Transfer
MySQL
- Миграция базы данных из стороннего кластера MySQL в кластер Yandex Managed Service for MySQL
- Анализ производительности и оптимизация Managed Service for MySQL
- Синхронизация данных из стороннего кластера MySQL в Yandex Managed Service for MySQL с помощью Yandex Data Transfer
- Миграция базы данных из Yandex Managed Service for MySQL в сторонний кластер MySQL
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for MySQL с помощью Yandex Data Transfer
- Миграция базы данных из MySQL в ClickHouse® с помощью Yandex Data Transfer
- Миграция базы данных из Yandex Managed Service for MySQL в Yandex Object Storage
- Миграция данных из Yandex Object Storage в Yandex Managed Service for MySQL с помощью Yandex Data Transfer
- Захват изменений MySQL и поставка в YDS
- Миграция данных из Managed Service for MySQL в Managed Service for PostgreSQL с помощью Data Transfer
- Миграция данных из Yandex Managed Service for MySQL в Yandex Managed Service for Greenplum® с помощью Yandex Data Transfer
- Импорт данных из Yandex Managed Service for MySQL в Yandex Data Proc с помощью Sqoop
- Поставка данных из Yandex Managed Service for MySQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for MySQL в Yandex Managed Service for Apache Kafka® с помощью Debezium
- Миграция базы данных из Yandex Managed Service for MySQL в Yandex Managed Service for YDB с помощью Yandex Data Transfer
OpenSearch
- Миграция данных из Elasticsearch в Yandex Managed Service for OpenSearch
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer
- Миграция данных в Yandex Managed Service for OpenSearch из стороннего кластера OpenSearch с помощью Yandex Data Transfer
PostgreSQL
- Создание кластера PostgreSQL для «1С:Предприятия»
- Анализ производительности и оптимизация Managed Service for PostgreSQL
- Миграция базы данных из Managed Service for PostgreSQL
- Миграция базы данных из стороннего кластера PostgreSQL в Managed Service for PostgreSQL
- Асинхронная репликация данных из PostgreSQL в ClickHouse®
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for PostgreSQL с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Debezium
- Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Proc с помощью Sqoop
- Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Миграция базы данных из Managed Service for PostgreSQL в Object Storage
- Перенос данных из Yandex Object Storage в Yandex Managed Service for PostgreSQL с использованием Yandex Data Transfer
- Миграция данных из Managed Service for PostgreSQL в Managed Service for MySQL с помощью Data Transfer
- Захват изменений PostgreSQL и поставка в YDS
- Миграция данных из AWS RDS for PostgreSQL в Yandex Managed Service for PostgreSQL с помощью Yandex Data Transfer
Redis
- Миграция базы данных из стороннего кластера Redis в Yandex Managed Service for Redis
- Использование кластера Managed Service for Redis в качестве хранилища сессий PHP
YDB
- Поставка данных из Yandex Managed Service for YDB в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for Apache Kafka® в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Миграция базы данных из Yandex Managed Service for MySQL в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for YDB с помощью Yandex Data Transfer
- Загрузка данных из Yandex Object Storage в Yandex Managed Service for YDB с помощью Yandex Data Transfer
Yandex Cloud DNS
Yandex Data Proc
- Миграция кластера Yandex Data Proc с файловой системой HDFS в другую зону доступности
- Обмен данными между Yandex Managed Service for ClickHouse® и Yandex Data Proc
- Импорт данных из Yandex Managed Service for MySQL в Yandex Data Proc с помощью Sqoop
- Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Proc с помощью Sqoop
- Использование скриптов инициализации для настройки GeeseFS в Yandex Data Proc
- Автоматизация работы с Yandex Data Proc с помощью Yandex Managed Service for Apache Airflow™
- Перенос метаданных между кластерами Data Proc с помощью Metastore
ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc