Управление подкластерами Data Proc

Статья создана

Получить список подкластеров в кластере
Добавить подкластер
Удалить подкластер

Помимо изменения настроек отдельного подкластера вы можете создавать новые и удалять имеющиеся подкластеры.

Важно

В каждом кластере может быть не больше 1 подкластера с ролью MASTERNODE, поэтому создавать и удалять подкластеры с этой ролью невозможно. Также невозможно удалять подкластеры с ролью DATANODE.

Получить список подкластеров в кластере

Консоль управления

Перейдите на страницу каталога и выберите сервис Data Proc.
Нажмите на имя нужного кластера, затем выберите вкладку Подкластеры.

Добавить подкластер

Количество хостов в кластерах Data Proc ограничено квотами на количество vCPU и объем памяти, которые могут использовать виртуальные машины в вашем облаке. Чтобы увидеть доступные ресурсы, откройте раздел Квоты и найдите блок Compute Cloud.

Чтобы добавить подкластер:

Консоль управления

Terraform

В консоли управления выберите нужный каталог.
Выберите сервис Data Proc и выберите нужный кластер.
Перейдите в раздел Подкластеры.
Нажмите кнопку Добавить подкластер.
Выберите количество хостов.
Выберите Роли подкластера. Для этого определитесь с сервисами, которые должны быть развернуты на хостах:
- В подкластерах с ролью COMPUTENODE могут быть развернуты:
  - YARN NodeManager;
  - библиотеки Spark.
- В подкластерах с ролью DATANODE могут быть развернуты:
  - HDFS Datanode;
  - YARN NodeManager;
  - HBase RegionServer;
  - библиотеки Spark.
Выберите остальные настройки подкластера:
- Класс хостов — платформа и вычислительные ресурсы, доступные хосту.
- Тип и размер хранилища.
- Формат указания сети.
- Подсеть сети, в которой расположен кластер.
- (опционально) Включите опцию Автоматическое масштабирование.
Нажмите кнопку Добавить подкластер.

Data Proc запустит операцию создания подкластера.

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера Data Proc.

Добавьте в описании кластера Data Proc блок subcluster_spec с параметрами нового подкластера:

resource "yandex_dataproc_cluster" "<имя кластера>" {
  ...
  cluster_config {
    ...
    subcluster_spec {
      name = "<имя подкластера>"
      role = "<тип подкластера: COMPUTENODE или DATANODE>"
      resources {
        resource_preset_id = "<класс хоста>"
        disk_type_id       = "<тип хранилища>"
        disk_size          = <объем хранилища, ГБ>
      }
      subnet_id   = "<идентификатор подсети в Terraform>"
      hosts_count = <число хостов в подкластере>
      ...
    }
  }
}

Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Подтвердите изменение ресурсов.
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Удалить подкластер

Важно

Удалить подкластеры с ролью DATANODE невозможно.

Консоль управления

Terraform

Чтобы удалить подкластер:

В консоли управления выберите нужный каталог.
Выберите сервис Data Proc и выберите нужный кластер.
Перейдите в раздел Подкластеры.
Нажмите значок для нужного подкластера и выберите пункт Удалить.
(опционально) Укажите таймаут декомиссии.
Подтвердите удаление.

Data Proc запустит операцию удаления подкластера.

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера Data Proc.
Удалите из описания кластера Data Proc блок subcluster_spec нужного подкластера.
Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Подтвердите удаление ресурсов.
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Управление подкластерами Data Proc

Получить список подкластеров в кластере

Добавить подкластер

Удалить подкластер

Была ли статья полезна?