Управление подкластерами Data Proc
Помимо изменения настроек отдельного подкластера вы можете создавать новые и удалять имеющиеся подкластеры.
Важно
В каждом кластере может быть не больше 1 подкластера типа MASTERNODE, поэтому создавать и удалять подкластеры этого типа невозможно. Также невозможно удалять подкластеры типа DATANODE.
Получить список подкластеров в кластере
-
Перейдите на страницу каталога и выберите сервис Data Proc.
-
Нажмите на имя нужного кластера, затем выберите вкладку Подкластеры.
Добавить подкластер
Количество хостов в кластерах Data Proc ограничено квотами на количество vCPU и объем памяти, которые могут использовать виртуальные машины в вашем облаке. Чтобы увидеть доступные ресурсы, откройте раздел Квоты и найдите блок Compute Cloud.
Чтобы добавить подкластер:
-
В консоли управления выберите нужный каталог.
-
Выберите сервис Data Proc и выберите нужный кластер.
-
Перейдите в раздел Подкластеры.
-
Нажмите кнопку Добавить подкластер.
-
Выберите тип подкластера. Для этого определитесь с сервисами, которые должны быть развернуты на хостах:
- В подкластерах типа COMPUTENODE могут быть развернуты:
- YARN NodeManager;
- библиотеки Spark.
- В подкластерах типа DATANODE могут быть развернуты:
- HDFS Datanode;
- YARN NodeManager;
- HBase RegionServer;
- библиотеки Spark.
- В подкластерах типа COMPUTENODE могут быть развернуты:
-
Выберите остальные настройки подкластера:
- Количество хостов.
- Класс хостов — платформа и вычислительные ресурсы, доступные хосту.
- Размер и тип хранилища.
- Подсеть сети, в которой расположен кластер.
-
Нажмите кнопку Добавить подкластер.
Data Proc запустит операцию создания подкластера.
Удалить подкластер
Важно
Удалить подкластеры типа DATANODE невозможно.
Чтобы удалить подкластер:
- В консоли управления выберите нужный каталог.
- Выберите сервис Data Proc и выберите нужный кластер.
- Перейдите в раздел Подкластеры.
- Опционально укажите таймаут декомиссии.
- Нажмите значок для нужного подкластера и выберите пункт Удалить.
- Подтвердите удаление.
Data Proc запустит операцию удаления подкластера.