NEWYandex Data Proc

Сервис помогает разворачивать кластеры Apache Hadoop®* и Apache Spark™ в инфраструктуре Яндекс.Облака. Вы сами определяете размер кластера, мощность узлов и набор сервисов Apache® (Spark, HDFS, YARN, Hive, HBase, Oozie, Sqoop, Flume, Tez, Zeppelin).
Apache Hadoop используется для хранения и анализа больших объёмов структурированных и неструктурированных данных.
Apache Spark — это инструмент для быстрой обработки данных, который может быть интегрирован как с Apache Hadoop, так и с другими системами хранения.
Инфраструктура Яндекс.Облака защищена в соответствии с ФЗ-152.
Запускайте хосты кластера на базе процессоров 2nd Gen Intel® Xeon® Gold.
  • Быстрые операции с кластерами
    Создание кластера займёт всего несколько минут. Вам не нужно думать о создании хостов, настройке, установке пакетов и объединении хостов в кластер — все это сервис сделает автоматически. В дальнейшем вы сможете изменить количество или вычислительные мощности хостов кластера.
  • Гибкая настройка каждого кластера
    У вас будет полный контроль над кластером за счёт доступа ко всем хостам с правами пользователя «root». Вы можете устанавливать только необходимые сервисы Hadoop, загружать свои приложения и, при необходимости, настраивать кластер в любой момент.
  • Эластичность
    Добавляйте динамически новые хосты в кластер для увеличения его мощности и платите только за время их использования. Размещайте данные в объектном хранилище и удаляйте неиспользуемые хосты, чтобы сэкономить на вычислительных ресурсах.
  • Выбор типа хранилища
    Для каждого кластера можно выбрать свой способ хранения данных. Мы предоставляем два варианта: стандартное сетевое и быстрое сетевое хранилище. Первый из них более дешёвый, а второй обеспечивает более высокую скорость.
  • Изоляция и шифрование
    В Yandex Data Proc данные разных клиентов Яндекс.Облака полностью изолированы друг от друга. Благодаря отсутствию общих компонентов никто помимо вас не сможет получить доступ к данным, которые вы загрузили. Вы также сами можете настроить шифрование для вашего кластера, если это необходимо.

Какие задачи можно решать с Yandex Data Proc

  • Создавайте инфраструктуру для анализа событий на основе кластера Hadoop. Используйте инструменты аналитики для категоризации, выявления закономерностей и тенденций.

  • Стройте инфраструктуру на основе Apache Spark и обрабатывайте потоки данных в режиме реального времени. Стройте метрики и сохраняйте необходимые срезы, интегрируя Yandex Data Proc c Yandex Object Storage.

  • Потоки данных в кластеры Yandex Data Proc и их обработку удобно описывать с помощью таких инструментов, как Apache Oozie™. Вы можете автоматически строить витрины данных и бизнес-метрики.

Попробуйте Yandex Data Proc:

ПодключитьсяВсе сервисы

  1. *
    Apache®, Apache Hadoop®, Apache Spark™ и Apache Oozie™ являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах.