Подключиться
Language / Region
© 2021 ООО «Яндекс.Облако»
Yandex Data Proc

Создание кластера Data Proc

Статья создана

Настройте сеть

В подсети, к которой будет подключен подкластер Data Proc с ролью Мастер, включите NAT в интернет. Это необходимо, чтобы подкластер мог взаимодействовать c сервисами Yandex.Cloud или хостами в других сетях.

Настройте группы безопасности

Важно

Группы безопасности необходимо создать и настроить перед созданием кластера. Если в выбранных группах безопасности не будет необходимых правил, Yandex.Cloud заблокирует создание кластера.

  1. Создайте одну или несколько групп безопасности для служебного трафика кластера.

  2. Добавьте правила:

    • По одному правилу для входящего и исходящего служебного трафика:

      • диапазон портов: 0-65535.
      • протокол: Any;
      • тип источника: Группа безопасности;
      • назначение: текущая группа безопасности (Self).

    • Отдельное правило для исходящего HTTPS-трафика:

      • диапазон портов: 443;
      • протокол: TCP;
      • тип источника: CIDR;
      • назначение: 0.0.0.0/0.

      Это позволит использовать бакеты Object Storage, UI Proxy и автоматическое масштабирование кластеров.

Если планируется использовать несколько групп безопасности для кластера, разрешите весь трафик между этими группами.

Примечание

Вы можете задать более детальные правила для групп безопасности, например, разрешающие трафик только в определенных подсетях.

Группы безопасности должны быть корректно настроены для всех подсетей, в которых будут размещены хосты кластера.

Настройку групп безопасности для подключения к хостам кластера через промежуточную ВМ можно выполнить после создания кластера.

Создайте кластер

  1. В консоли управления выберите каталог, в котором нужно создать кластер.

  2. Нажмите кнопку Создать ресурс и выберите Кластер Data Proc в выпадающем списке.

  3. Введите имя кластера в поле Имя кластера. Имя кластера должно быть уникальным в рамках каталога.

  4. Выберите подходящую версию образа и компоненты, которые вы хотите использовать в кластере.

    Примечание

    Обратите внимание на то, что некоторые компоненты обязательны для использования других компонентов. Например, чтобы использовать Spark необходим YARN.

  5. Вставьте в поле Публичный ключ публичную часть вашего SSH-ключа. Как сгенерировать и использовать SSH-ключи, читайте в документации Yandex Compute Cloud.

  6. Выберите или создайте сервисный аккаунт, которому нужно разрешить доступ к кластеру.

  7. Выберите зону доступности для кластера.

  8. При необходимости задайте свойства компонентов кластера, заданий и среды окружения.

  9. Выберите или создайте сеть для кластера.

  10. Выберите группы безопасности, в которых имеются необходимые разрешения.

    Важно

    При создании кластера проверяются настройки групп безопасности. Если функционирование кластера с этими настройками невозможно, то будет выведено предупреждение. Пример работающих настроек приведен выше.

  11. Включите опцию UI Proxy, чтобы получить доступ к веб-интерфейсам компонентов Data Proc.

  12. Чтобы отправлять логи кластера в сервис Cloud Logging, выберите лог-группу из списка. При необходимости создайте новую лог-группу.

    Для работы этой функции назначьте сервисному аккаунту кластера роль logging.writer. Подробнее см. в документации Yandex Cloud Logging.

  13. Настройте подкластеры: не больше одного главного подкластера с управляющим хостом (обозначается как Мастер), и подкластеры для хранения данных или вычислений.

    Роли подкластеров (Compute и Data) различаются тем, что на Data-подкластерах можно разворачивать компоненты для хранения данных, а на Compute — компоненты обработки данных. Хранилище на подкластере Compute предназначено только для временного хранения обрабатываемых файлов.

  14. Для каждого подкластера можно настроить:

    • Количество хостов.

    • Класс хостов — платформа и вычислительные ресурсы, доступные хосту.

    • Размер и тип хранилища.

    • Подсеть.

      В подсети для подкластера с ролью Мастер должен быть включен NAT в интернет. Подробнее см. в разделе Настройте сеть.

  15. Для Compute подкластеров можно задать параметры автоматического масштабирования.

    Примечание

    Для работы автоматического масштабирования необходимо выдать следующие роли сервисному аккаунту кластера:

    • editor;
    • dataproc.agent.
    1. В блоке Добавить подкластер нажмите кнопку Добавить.
    2. В поле Роли выберите COMPUTENODE.
    3. В блоке Масштабирование включите настройку Автоматическое масштабирование.
    4. Задайте параметры автоматического масштабирования.
    5. По умолчанию в качестве метрики для автоматического масштабирования используется yarn.cluster.containersPending. Чтобы включить масштабирование на основе загрузки CPU, выключите настройку Масштабирование по умолчанию и укажите целевой уровень загрузки CPU.
    6. Нажмите кнопку Добавить.

  16. При необходимости задайте дополнительные настройки кластера:

    Защита от удаления — управляет защитой кластера от непреднамеренного удаления пользователем.

    Включенная защита не помешает подключиться к кластеру вручную и удалить данные.

  17. Нажмите кнопку Создать кластер.

Data Proc запустит операцию создания кластера. После того, как кластер перейдет в статус Running, вы можете подключиться к любому активному подкластеру с помощью указанного SSH-ключа.

Language / Region
© 2021 ООО «Яндекс.Облако»
В этой статье: