NEWYandex Data Proc

Сервис помогает разворачивать кластеры Apache Hadoop®* и Apache Spark™ в инфраструктуре Яндекс.Облака. Вы сами определяете размер кластера, мощность узлов и набор сервисов Apache® (Spark, HDFS, YARN, Hive, HBase, Oozie, Sqoop, Flume, Tez, Zeppelin).
Инфраструктура Яндекс.Облака защищена в соответствии с ФЗ-152.
Запускайте хосты кластера на базе процессоров 2nd Gen Intel® Xeon® Gold.
  • Быстрые операции с кластерами
    Создание кластера займёт всего несколько минут. Вам не нужно думать о создании хостов, настройке, установке пакетов и провязке хостов в единый кластер — все это сервис сделает автоматически. В дальнейшем вы сможете легко изменить количество или вычислительные мощности хостов кластера.
  • Гибкая настройка каждого кластера
    У вас будет полный контроль над кластером за счёт доступа ко всем хостам с правами пользователя «root». Вы можете устанавливать только необходимые сервисы Hadoop, загружать свои приложения и, при необходимости, настраивать кластер в любой момент.
  • Эластичность
    Добавляйте динамические новые хосты в кластер для увеличения его мощности и платите только за время их использования. Храните данные в объектном хранилище и удаляйте неиспользуемые хосты, чтобы сэкономить на вычислительных ресурсах.
  • Выбор типа хранилища
    Для каждого кластера можно выбрать свой способ хранения данных. Мы предоставляем два варианта: стандартное сетевое и быстрое сетевое хранилище. Первый из них более дешёвый, а второй обеспечивает более высокую скорость.
  • Изоляция и шифрование
    В Yandex Data Proc данные разных клиентов Яндекс.Облака полностью изолированы друг от друга. Благодаря отсутствию общих компонентов никто помимо вас не сможет получить доступ к данным, которые вы загрузили. Вы также сами можете настроить шифрование для вашего кластера, если это необходимо.

Какие задачи можно решать с Yandex Data Proc

  • Создавайте инфраструктуру для анализа событий на основе кластера Hadoop. Используйте инструменты аналитики для категоризации, выявления закономерностей и тенденций.

  • Стройте инфраструктуру на основе Apache Spark и обрабатывайте потоки данных в онлайне. Стройте метрики и сохраняйте необходимые срезы, интегрируя Yandex Data Proc c Yandex Object Storage.

  • Потоки данных в кластеры Yandex Data Proc и их обработку удобно описывать с помощью таких инструментов, как Apache Oozie™. Вы можете автоматически строить витрины данных и бизнес-метрики.

Попробуйте Yandex Data Proc:

ПодключитьсяВсе сервисы

  1. *
    Apache®, Apache Hadoop®, Apache Spark™ и Apache Oozie™ являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах.