PreviewYandex Managed Service for Apache Airflow™
Сервис для управления оркестратором потоков операций по обработке данных Apache Airflow™ в инфраструктуре Yandex Cloud.
Сервис предоставляется бесплатно и находится на стадии Preview.
Развёртывание по кнопке
Вы сможете развернуть компоненты Apache Airflow всего за несколько минут. Настройки продукта уже оптимизированы под выбранный размер кластера.
Безопасность доступа
Авторизация пользователей происходит через инфраструктуру Yandex Cloud с шагом проверки IAM-роли.
Автоматизация обработки данных
Обрабатывайте данные и подготавливайте результат при помощи уже известных инструментов в автоматическом режиме, используя интеграции сервисов Yandex Cloud в Yandex Managed Service for Apache Airflow.
Интеграция с Data Proc
Позволит эффективнее использовать вычислительные ресурсы за счёт автоматического создания временного кластера Data Proc, который удаляется после завершения процесса обработки данных.
Мы берём на себя большую часть работы по обслуживанию базы данных
Самостоятельный контроль
Контроль на стороне Yandex Cloud
С чего начать
С чего начать
Создайте кластер Yandex Managed Service for Apache Airflow.
Начните работу в веб-интерфейсе Apache Airflow.
Вопросы и ответы
В чём отличие Apache Airflow от других оркестраторов процессов?
В чём отличие Apache Airflow от других оркестраторов процессов?
Apache Airflow обладает несколькими особенностями, которые делают его уникальным и мощным инструментом для автоматизации задач, планирования и управления рабочими процессами (workflow orchestration). Основные черты, которые выделяют Apache Airflow:
- Поддержка множества источников данных и плагинов. Apache Airflow имеет более 150 интеграций с сервисами хранения и обработки данных, включая сервисы Yandex Cloud.
- Масштабируемость. Apache Airflow поддерживает динамическое создание вычислительных ресурсов для выполнения задач и может подстраиваться под текущую нагрузку.
- Open source и активное сообщество. Apache Airflow — проект с открытым исходным кодом. Сообщество разработчиков и пользователей обеспечивает поддержку и постоянное обновление инструмента.
- Определение зависимостей. Apache Airflow позволяет явно определять зависимости между задачами, что обеспечивает контроль над порядком их выполнения. Это полезно при оркестрации сложных процессов.
- Мониторинг и журналирование. Apache Airflow предоставляет инструменты для мониторинга и логирования выполнения задач. Вы можете легко отслеживать статус и прогресс задач, а также анализировать журналы для выявления ошибок и повышения производительности.
- Настраиваемость. Вы можете настраивать Apache Airflow под свои потребности, создавая собственные операторы и расширяя функциональность с помощью пользовательских плагинов.
Какие версии Apache Airflow доступны в Yandex Cloud?
Какие версии Apache Airflow доступны в Yandex Cloud?
Как настроить окружение для Apache Airflow в Yandex Cloud?
Как настроить окружение для Apache Airflow в Yandex Cloud?
Начните пользоваться Yandex Managed Service for Apache Airflow
Полезные ссылки
Apache® и Apache Airflow™ являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах.