Построение корпоративной аналитической платформы
- Всего час теории и 12 часов практики
- Автор — архитектор Yandex Cloud
- Курс бесплатный
На нашем курсе вы
Научитесь собирать и анализировать данные
Узнаете, как с помощью облака организовать сбор и анализ данных в компании для организации внешнего хранилища данных
Узнаете, какие бывают архитектуры для проектов
Определите подходящую архитектуру проекта и освоите работу с MySQL, Apache Kafka, ClickHouse и Change Data Capture (CDC)
Будете много практиковаться
Решите практические задания, основанные на реальных кейсах клиентов Yandex Cloud
Кому подойдёт курс
Архитекторам данных и техническим директорам
Научим выбирать архитектуру проекта и подходящие инструменты. Расскажем, как пошагово организовать работу по созданию собственной аналитической платформы
Инженерам и администраторам данных
Научим выбирать подходящую схему данных и способ работы с ними, самостоятельно настраивать сервисы и интегрировать их между собой
Для прохождения курса вам потребуется
Понимание принципов работы реляционных баз данных
Будем работать с MySQL и Microsoft SQL Server
Представление о принципах контейнерной разработки
Для развёртывания компонентов архитектуры стенда будем использовать Docker
Умение работать с запросами к внешним ресурсам
Будем взаимодействовать с инструментами Yandex Cloud через REST API сервисов
Краткий обзор
Автор курса, архитектор Yandex Cloud Максим Хлупнов, расскажет, о чём курс и чем он будет полезен
После прохождения курса вы сможете
Создавать хранилища
Строить внешнее аналитическое хранилище с репликацией данных в реальном времени
Работать с большими данными
Снимать нагрузку с основной системы и обрабатывать тяжёлые аналитические запросы во внешнем хранилище
Обращаться с внешними источниками
Безопасно работать с внешними источниками, обеспечивая к каждому отдельное подключение
Использовать ресурсы эффективно
Запускать эффективные сценарии ETL с максимальным использованием средств, встроенных в сервисы
Программа курса
Модуль 1 — Обзор задачи и архитектуры.
Модуль 2 — Загрузка в промежуточный слой.
2.1 — Синхронизация данных из MySQL (PostgreSQL) с помощью Yandex Data Transfer.
2.2 — Синхронизация данных из MS SQL Server DWH (Oracle) с помощью CDC на основе Debezium и Managed Service for Kafka.
Модуль 3 — Гибридное хранение и обработка данных в ClickHouse.
Модуль 4 — Загрузка данных из промежуточного слоя в аналитические витрины.
Модуль 5 — Построение сводных аналитических панелей в Yandex DataLens.
Как устроено обучение
Изучение теории
Смотрите короткие видеоуроки в любое удобное время.
Решение практических заданий
Получите инструкции по настройке сервисов и решите прикладную задачу. Для примера в курсе мы проанализируем запасы интернет-магазина в точках отгрузки.
Поддержка и обмен опытом
Поделитесь опытом с коллегами и задайте вопросы специалистам Yandex Cloud в специальном Telegram-чате.
Начните обучение сегодня
Постройте корпоративную аналитическую платформу на базе Yandex Cloud вместе с нашим архитектором
