Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex Data Proc
  • Практические руководства
    • Работа с заданиями
      • Обзор
      • Работа с заданиями Hive
      • Работа с заданиями MapReduce
      • Работа с заданиями PySpark
      • Работа с заданиями Spark
      • Использование Apache Hive
      • Запуск Spark-приложений
      • Запуск приложений с удаленного хоста
    • Настройка сети для кластеров Data Proc
    • Использование Yandex Object Storage в Data Proc
    • Обмен данными с Managed Service for ClickHouse
    • Импорт базы данных с использованием Sqoop
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к кластеру
    • Изменение кластера
    • Изменение подкластера
    • Управление подкластерами
    • Подключение к интерфейсам компонентов
    • Использование Sqoop
    • Управление заданиями
      • Все задания
      • Задания Spark
      • Задания PySpark
      • Задания Hive
      • Задания MapReduce
    • Удаление кластера
    • Работа с логами
    • Мониторинг состояния кластера и хостов
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Среда исполнения
    • Интерфейсы и порты компонентов Data Proc
    • Задания в Data Proc
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Техническое обслуживание
    • Квоты и лимиты
    • Свойства компонентов
    • Логи в Data Proc
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST (англ.)
      • Overview
      • Cluster
        • Overview
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • listUILinks
        • start
        • stop
        • update
      • Job
        • Overview
        • cancel
        • create
        • get
        • list
        • listLog
      • ResourcePreset
        • Overview
        • get
        • list
      • Subcluster
        • Overview
        • create
        • delete
        • get
        • list
        • update
  • История изменений
    • Изменения сервиса
    • Образы
  • Вопросы и ответы
  1. Пошаговые инструкции
  2. Управление подкластерами

Управление подкластерами Data Proc

Статья создана
Yandex.Cloud
  • Получить список подкластеров в кластере
  • Добавить подкластер
  • Удалить подкластер

Помимо изменения настроек отдельного подкластера вы можете создавать новые и удалять имеющиеся подкластеры.

Важно

В каждом кластере может быть не больше 1 подкластера с ролью MASTERNODE, поэтому создавать и удалять подкластеры с этой ролью невозможно. Также невозможно удалять подкластеры с ролью DATANODE.

Получить список подкластеров в кластере

Консоль управления
  1. Перейдите на страницу каталога и выберите сервис Data Proc.

  2. Нажмите на имя нужного кластера, затем выберите вкладку Подкластеры.

Добавить подкластер

Количество хостов в кластерах Data Proc ограничено квотами на количество vCPU и объем памяти, которые могут использовать виртуальные машины в вашем облаке. Чтобы увидеть доступные ресурсы, откройте раздел Квоты и найдите блок Compute Cloud.

Чтобы добавить подкластер:

Консоль управления
Terraform
  1. В консоли управления выберите нужный каталог.

  2. Выберите сервис Data Proc и выберите нужный кластер.

  3. Перейдите в раздел Подкластеры.

  4. Нажмите кнопку Добавить подкластер.

  5. Выберите количество хостов.

  6. Выберите Роли подкластера. Для этого определитесь с сервисами, которые должны быть развернуты на хостах:

    • В подкластерах с ролью COMPUTENODE могут быть развернуты:
      • YARN NodeManager;
      • библиотеки Spark.
    • В подкластерах с ролью DATANODE могут быть развернуты:
      • HDFS Datanode;
      • YARN NodeManager;
      • HBase RegionServer;
      • библиотеки Spark.
  7. Выберите остальные настройки подкластера:

    • Класс хостов — платформа и вычислительные ресурсы, доступные хосту.
    • Тип и размер хранилища.
    • Формат указания сети.
    • Подсеть сети, в которой расположен кластер.
    • (опционально) Включите опцию Автоматическое масштабирование.
  8. Нажмите кнопку Добавить подкластер.

Data Proc запустит операцию создания подкластера.

  1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

    О том, как создать такой файл, см. в разделе Создание кластера Data Proc.

  2. Добавьте в описании кластера Data Proc блок subcluster_spec с параметрами нового подкластера:

    resource "yandex_dataproc_cluster" "<имя кластера>" {
      ...
      cluster_config {
        ...
        subcluster_spec {
          name = "<имя подкластера>"
          role = "<тип подкластера: COMPUTENODE или DATANODE>"
          resources {
            resource_preset_id = "<класс хоста>"
            disk_type_id       = "<тип хранилища>"
            disk_size          = <объем хранилища, ГБ>
          }
          subnet_id   = "<идентификатор подсети в Terraform>"
          hosts_count = <число хостов в подкластере>
          ...
        }
      }
    }
    
  3. Проверьте корректность настроек.

    1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

    2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply
        
      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Удалить подкластер

Важно

Удалить подкластеры с ролью DATANODE невозможно.

Консоль управления
Terraform

Чтобы удалить подкластер:

  1. В консоли управления выберите нужный каталог.
  2. Выберите сервис Data Proc и выберите нужный кластер.
  3. Перейдите в раздел Подкластеры.
  4. Нажмите значок для нужного подкластера и выберите пункт Удалить.
  5. (опционально) Укажите таймаут декомиссии.
  6. Подтвердите удаление.

Data Proc запустит операцию удаления подкластера.

  1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

    О том, как создать такой файл, см. в разделе Создание кластера Data Proc.

  2. Удалите из описания кластера Data Proc блок subcluster_spec нужного подкластера.

  3. Проверьте корректность настроек.

    1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

    2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите удаление ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply
        
      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье:
  • Получить список подкластеров в кластере
  • Добавить подкластер
  • Удалить подкластер