Datagram

Neoflex Datagram — это платформа для интеграции данных, которая позволяет проектировать, разрабатывать и исполнять задачи по обработке данных из любых источников с помощь удобного графического редактора.

Это решение поставляется со встроенным кластером Apache Spark для исполнения задач. Чтобы использовать Serverless Spark сервисов Yandex DataProc используйте решение Neoflex Datagram@DataProc.

Neoflex Datagram предоставляет среду для разработки процессов трансформации данных в графическом виде. Задача, разработанная в виде набора диаграмм, трансформируется в код на Scala, преобразуется в исполняемые модули и исполняется на Apache Oozie, Apache Livy. Продукт содержит большое количество готовых коннекторов: Oracle, Microsoft SQL Server, PostgreSQL, Hadoop, HBase, XML, Excel, CSV др. и позволяет загружать данные на основе метаданных источников as-is, не опускаясь на уровень разработки source-to-target мэппингов.

Neoflex Datagram позволяет разрабатывать приложения по обработке данных как в батчевом, так и в потоковом режимах. Для поддержки потокового режима используется Apache Kafka и Spark Streaming. Также в продукте реализована нативная интеграция с BRMS, что позволяет применять бизнес-правила для потоков событий в реальном времени.

Neoflex Datagram предоставляет удобные средства для отладки и оптимизации:
• Просмотр содержимого, структуры источников и приемников;
• Отслеживание происхождения объектов потока данных до отдельных полей (lineage);
• Частичное выполнение преобразования с просмотром промежуточных результатов;
• Выполнение отдельных шагов и веток преобразований;
• Просмотр сгенерированного кода приложения;
• Автоматическая валидация трансформации;
• Поддержка Spark Catalyst Optimizer.

Тип тарификации
Hourly (Pay as you go)
Категория
Аналитика
Базы данных
Инструменты для разработчиков
Издатель
Neoflex
Примеры использования

Загрузка данных в аналитические системы
Миграция баз данных в Облако
Визуальное проектирование Data Pipelines
Потоковая обработка данных
Разработка решений на стеке BigData

Техническая поддержка

Neoflex осуществляет техническую поддержку пользователей Datagram в Yandex.Cloud. Вы можете связаться с технической поддержкой по электронной почте support-datagram@neoflex.ru. Инженеры поддержки разбирают обращения c 9 до 18 по рабочим дням.

Лицензионное соглашение
Используя данный продукт, вы соглашаетесь с Условиями использования Yandex Cloud Marketplace и с условиями использования следующих продуктов: Datagram (EULA)
Тип тарификации
Hourly (Pay as you go)
Категория
Аналитика
Базы данных
Инструменты для разработчиков
Издатель
Neoflex