Подключиться
Yandex Data Proc

Управление подкластерами Data Proc

Помимо изменения настроек отдельного подкластера вы можете создавать новые и удалять имеющиеся подкластеры.

Важно

В каждом кластере может быть не больше 1 подкластера типа MASTERNODE, поэтому создавать и удалять подкластеры этого типа невозможно. Также невозможно удалять подкластеры типа DATANODE.

Получить список подкластеров в кластере

  1. Перейдите на страницу каталога и выберите сервис Data Proc.

  2. Нажмите на имя нужного кластера, затем выберите вкладку Подкластеры.

Добавить подкластер

Количество хостов в кластерах Data Proc ограничено квотами на количество vCPU и объем памяти, которые могут использовать виртуальные машины в вашем облаке. Чтобы увидеть доступные ресурсы, откройте раздел Квоты и найдите блок Compute Cloud.

Чтобы добавить подкластер:

  1. В консоли управления выберите нужный каталог.

  2. Выберите сервис Data Proc и выберите нужный кластер.

  3. Перейдите в раздел Подкластеры.

  4. Нажмите кнопку Добавить подкластер.

  5. Выберите тип подкластера. Для этого определитесь с сервисами, которые должны быть развернуты на хостах:

    • В подкластерах типа COMPUTENODE могут быть развернуты:
      • YARN NodeManager;
      • библиотеки Spark.
    • В подкластерах типа DATANODE могут быть развернуты:
      • HDFS Datanode;
      • YARN NodeManager;
      • HBase RegionServer;
      • библиотеки Spark.

  6. Выберите остальные настройки подкластера:

    • Количество хостов.
    • Класс хостов — платформа и вычислительные ресурсы, доступные хосту.
    • Размер и тип хранилища.
    • Подсеть сети, в которой расположен кластер.

  7. Нажмите кнопку Добавить подкластер.

Data Proc запустит операцию создания подкластера.

Удалить подкластер

Важно

Удалить подкластеры типа DATANODE невозможно.

Чтобы удалить подкластер:

  1. В консоли управления выберите нужный каталог.
  2. Выберите сервис Data Proc и выберите нужный кластер.
  3. Перейдите в раздел Подкластеры.
  4. Нажмите значок image для нужного подкластера и выберите пункт Удалить.
  5. Подтвердите удаление.

Data Proc запустит операцию удаления подкластера.