Мероприятия
Запись

DataOps Community Meetup

2 ноября 2021 г., 17:00Online
  • Data Proc

Запись

О мероприятии

Систематизировать и извлекать из данных ценность помогает DataOps — одна из самых молодых и обсуждаемых концепций в ИТ. Как и в случае DevOps, DataOps — не только принципы организации работы с данными, но и инструменты, облегчающие задачу, и архитектурные паттерны работы с этими инструментами.

Узнать о реальных возможностях использования новых инструментов по обработке данных помогает обмен опытом с коллегами.

Послушайте опыт экспертов из Yandex.Cloud, Glowbyte Consulting, Beeline, Lamoda и Anabar и примите решение об актуальности использования таких инструментов в ваших проектах.

Докладчики

Иван Кровяков
Yandex.Cloud
Дмитрий Морозов
Glowbyte Consulting
Михаил Епихин
Yandex.Cloud
Донат Фетисов
Билайн
Павел Тарасов
anabar.ai
Никита Василюк
Lamoda

Программа

17:00
Открытие мероприятия
Иван Кровяков
17:05
Готовим данные по-облачному: как собрать витрины в S3 на временных кластерах Data Proc

Разберёмся, почему держать постоянные кластеры для периодических расчётов не всегда оптимально, как автоматизировать задачи развёртывания и расчётов в Yandex.Cloud c помощью Airflow, и что

...читать ещё
Дмитрий Морозов
17:30
Как организовать работу с объектным хранилищем для Apache Spark

Посмотрим на плюсы и минусы использования объектного хранилища при работе со Apache Spark. Разберём виды оптимизаций: какие уже включены, а какие в планах.
Узнаем, как увеличить скорость

...читать ещё
Михаил Епихин
17:55
Airflow in production: как обустроить использование Airflow для оркестрации Spark-задач в мультитенантной среде

Airflow — один из наиболее бурно обсуждаемых инструментов экосистемы Big Data, но как он будет себя вести на действительно больших объёмах задач в продуктивной среде? Посмотрим, с чем

...читать ещё
Донат Фетисов
18:20
Trino - единый sql или как поджойнить все со всем

Покажем, как работать с ним в production и для ad-hoc, с примерами использования и лайфхаками настройки.

Павел Тарасов
18:45
Apache Hudi: Update и Delete в data lake без СМС и регистрации

Классические подходы по работе с табличными данными в озёрах данных, например, через Hive и Spark не позволяют выполнять операции Update и Delete в привычном нам виде. Поэтому обычно

...читать ещё
Никита Василюк
19:10
Общение

Как добраться

Online