Neoflex Datagram — платформа для интеграции данных. Datagram@DataProc — комплексное решение, которое включает графический редактор Neoflex Datagram, интегрированный с кластером Apache Spark на сервисах Yandex Data Proc.
В графическом редакторе Neoflex Datagram можно проектировать приложения для обработки информации из разных источников, например Oracle, Microsoft SQL Server, PostgreSQL, Hadoop, HBase, XML, Excel, CSV, а также загружать данные на основе метаданных источников. Neoflex Datagram поддерживает пакетный и потоковый режимы обработки.
Приложение, разработанное в виде набора диаграмм, трансформируется в код на Scala, преобразуется в исполняемые модули, затем запускается на Apache Oozie и Apache Livy.
Для поддержки потокового режима используются Apache Kafka и Spark Streaming. Интеграция с BRMS позволяет применять бизнес-правила для потоков событий в реальном времени.
Преимущества
- Просмотр содержимого, структуры источников и приемников данных.
- Прямая загрузка данных из источников без необходимости определять промежуточные этапы трансформации.
- Отслеживание источников объектов потока данных до отдельных полей (lineage).
- Частичное преобразование и отображение промежуточных результатов, отдельных шагов и веток преобразований.
- Просмотр сгенерированного кода приложения.
- Автоматическая валидация при трансформации данных.
- Поддержка Spark Catalyst Optimizer для преобразования сложных запросов в код.
- Загрузка данных в аналитические системы.
- Миграция баз данных в облако.
- Визуальное проектирование Data Pipelines.
- Потоковая обработка данных.
- Разработка решений на стеке BigData.
Neoflex
Neoflex осуществляет техническую поддержку пользователей Datagram в Yandex Cloud. Вы можете связаться с технической поддержкой по электронной почте support-datagram@neoflex.ru. Инженеры поддержки отвечают на обращения c 9 до 18 по рабочим дням.
Yandex Cloud
Служба технической поддержки Yandex Cloud отвечает на запросы 24 часа в сутки, 7 дней в неделю. Доступные виды запросов и срок их обработки зависят от тарифного плана. Подключить платную поддержку можно в консоли управления. Подробнее о порядке оказания технической поддержки.
Yandex Cloud не предоставляет техническую поддержку продукта. При возникновении проблем обращайтесь к информационным ресурсам разработчика.
