Улучшаем управление данными с помощью Managed Service for Apache Airflow™

Yandex Managed Service for Apache Airflow^™ объединяет все этапы работы с данными на платформе Yandex Cloud в единый процесс. Это позволяет компаниям быстрее создавать дата‑проекты в облаке — от корпоративных хранилищ данных до рекомендательных систем.

В Yandex Cloud Apache Airflow интегрирован с объектным хранилищем, управляемыми СУБД, BI‑инструментами, сервисами машинного обучения облачной платформы. Также Apache Airflow работает с сервисом для обработки массивов данных Yandex Data Proc, что позволяет эффективнее использовать вычислительные ресурсы. А чтобы сделать процесс управления данными надёжнее и безопаснее, настройте доставку секретов в Apache Airflow через Yandex Lockbox.

«Развитие технологий для работы с данными в облаке остаётся одним из наших главных приоритетов. Мы планомерно развиваем технологический стек в соответствии с запросами дата‑инженеров, аналитиков, ML‑специалистов. Управляемый Apache Airflow был одним из важных запросов пользователей платформы. Теперь координация разрозненных источников данных и сервисов в облаке станет удобнее».

Мы берём большую часть задач по развёртыванию и поддержке технологии на себя. Специалистам будет проще организовать процесс обработки данных с помощью Airflow. Кроме этого, предоставление технологии в виде управляемого сервиса сократит вероятность отказов и сбоев при её использовании. Yandex Managed Service for Apache Airflow^™ предоставляется бесплатно на этапе Public Preview и уже доступен по запросу для пользователей платформы.