Подключиться
Yandex Data Proc

Создание кластера Data Proc

    1. В консоли управления выберите каталог, в котором нужно создать кластер.

    2. Нажмите кнопку Создать ресурс и выберите Кластер Data Proc в выпадающем списке.

    3. Введите имя кластера в поле Имя кластера. Имя кластера должно быть уникальным в рамках каталога.

    4. Выберите подходящую версию образа и компоненты, которые вы хотите использовать в кластере.

      Примечание

      Обратите внимание на то, что некоторые компоненты обязательны для использования других компонентов. Например, чтобы использовать Spark необходим YARN.

    5. Вставьте в поле Публичный ключ публичную часть вашего SSH-ключа. Как сгенерировать и использовать SSH-ключи, читайте в документации Yandex Compute Cloud.

    6. Выберите или создайте сервисный аккаунт, которому нужно разрешить доступ к кластеру.

    7. Выберите зону доступности для кластера.

    8. При необходимости задайте свойства Hadoop и его компонентов, например:

      hdfs:dfs.replication : 2
hdfs:dfs.blocksize : 1073741824
spark:spark.driver.cores : 1

      Доступные свойства перечислены в официальной документации компонентов:

    9. Выберите или создайте сеть для кластера.

    10. Включите опцию UI Proxy, чтобы получить доступ к веб-интерфейсам компонентов Data Proc.

    11. Настройте подкластеры: не больше одного главного подкластера с управляющим хостом (обозначается как Мастер), и подкластеры для хранения данных или вычислений.

      Роли подкластеров (Compute и Data) различаются тем, что на Data-подкластерах можно разворачивать компоненты для хранения данных, а на Compute — компоненты обработки данных. Хранилище на подкластере Compute предназначено только для временного хранения обрабатываемых файлов.

    12. Для каждого подкластера можно настроить:

      • Количество хостов.
      • Класс хостов — платформа и вычислительные ресурсы, доступные хосту.
      • Размер и тип хранилища.
      • Подсеть сети, в которой расположен кластер.

    13. Для Compute подкластеров можно задать параметры автоматического масштабирования.

      Примечание

      Для работы автоматического масштабирования необходимо выдать следующие роли сервисному аккаунту кластера:

      • editor;
      • dataproc.agent.
      1. В блоке Добавить подкластер нажмите кнопку Добавить.
      2. В поле Роли выберите COMPUTENODE.
      3. В блоке Масштабирование включите настройку Автоматическое масштабирование.
      4. Задайте параметры автоматического масштабирования.
      5. По умолчанию в качестве метрики для автоматического масштабирования используется yarn.cluster.containersPending. Чтобы включить масштабирование на основе загрузки CPU, выключите настройку Масштабирование по умолчанию и укажите целевой уровень загрузки CPU.
      6. Нажмите кнопку Добавить.

    14. После того как все нужные подкластеры настроены, нажмите кнопку Создать кластер.

    Data Proc запустит операцию создания кластера. После того, как кластер перейдет в статус Running, вы можете подключиться к любому активному подкластеру с помощью указанного SSH-ключа.