Управление подкластерами Data Proc
Помимо изменения настроек отдельного подкластера вы можете создавать новые и удалять имеющиеся подкластеры.
Важно
В каждом кластере может быть не больше 1 подкластера с ролью MASTERNODE
, поэтому создавать и удалять подкластеры с этой ролью невозможно. Также невозможно удалять подкластеры с ролью DATANODE
.
Получить список подкластеров в кластере
-
Перейдите на страницу каталога и выберите сервис Data Proc.
-
Нажмите на имя нужного кластера, затем выберите вкладку Подкластеры.
Добавить подкластер
Количество хостов в кластерах Data Proc ограничено квотами на количество vCPU и объем памяти, которые могут использовать виртуальные машины в вашем облаке. Чтобы увидеть доступные ресурсы, откройте раздел Квоты и найдите блок Compute Cloud.
Чтобы добавить подкластер:
-
В консоли управления выберите нужный каталог.
-
Выберите сервис Data Proc и выберите нужный кластер.
-
Перейдите в раздел Подкластеры.
-
Нажмите кнопку Добавить подкластер.
-
Выберите количество хостов.
-
Выберите Роли подкластера. Для этого определитесь с сервисами, которые должны быть развернуты на хостах:
- В подкластерах с ролью
COMPUTENODE
могут быть развернуты:- YARN NodeManager;
- библиотеки Spark.
- В подкластерах с ролью
DATANODE
могут быть развернуты:- HDFS Datanode;
- YARN NodeManager;
- HBase RegionServer;
- библиотеки Spark.
- В подкластерах с ролью
-
Выберите остальные настройки подкластера:
- Класс хостов — платформа и вычислительные ресурсы, доступные хосту.
- Тип и размер хранилища.
- Формат указания сети.
- Подсеть сети, в которой расположен кластер.
- (опционально) Включите опцию Автоматическое масштабирование.
-
Нажмите кнопку Добавить подкластер.
Data Proc запустит операцию создания подкластера.
-
Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.
О том, как создать такой файл, см. в разделе Создание кластера Data Proc.
-
Добавьте в описании кластера Data Proc блок
subcluster_spec
с параметрами нового подкластера:resource "yandex_dataproc_cluster" "<имя кластера>" { ... cluster_config { ... subcluster_spec { name = "<имя подкластера>" role = "<тип подкластера: COMPUTENODE или DATANODE>" resources { resource_preset_id = "<класс хоста>" disk_type_id = "<тип хранилища>" disk_size = <объем хранилища, ГБ> } subnet_id = "<идентификатор подсети в Terraform>" hosts_count = <число хостов в подкластере> ... } } }
-
Проверьте корректность настроек.
-
В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
-
Выполните команду:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
-
Подтвердите изменение ресурсов.
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
-
Подробнее см. в документации провайдера Terraform.
Удалить подкластер
Важно
Удалить подкластеры с ролью DATANODE
невозможно.
Чтобы удалить подкластер:
- В консоли управления выберите нужный каталог.
- Выберите сервис Data Proc и выберите нужный кластер.
- Перейдите в раздел Подкластеры.
- Нажмите значок для нужного подкластера и выберите пункт Удалить.
- (опционально) Укажите таймаут декомиссии.
- Подтвердите удаление.
Data Proc запустит операцию удаления подкластера.
-
Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.
О том, как создать такой файл, см. в разделе Создание кластера Data Proc.
-
Удалите из описания кластера Data Proc блок
subcluster_spec
нужного подкластера. -
Проверьте корректность настроек.
-
В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
-
Выполните команду:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
-
Подтвердите удаление ресурсов.
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
-
Подробнее см. в документации провайдера Terraform.