Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Data Proc
  • Сценарии использования
    • Настройка сети для кластеров Data Proc
    • Использование Apache Hive
    • Запуск Spark-приложений
    • Запуск приложений с удаленного хоста
    • Копирование файлов из Yandex Object Storage
  • Пошаговые инструкции
    • Все инструкции
    • Создание кластера
    • Подключение к кластеру
    • Изменение подкластера
    • Управление подкластерами
    • Удаление кластера
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Версии Hadoop и компонентов
    • Интерфейсы и порты компонентов
    • Веб-интерфейсы компонентов
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Квоты и лимиты
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • start
        • stop
        • update
      • Job
        • Обзор
        • create
        • get
        • list
      • ResourcePreset
        • Обзор
        • get
        • list
      • Subcluster
        • Обзор
        • create
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Пошаговые инструкции
  2. Управление подкластерами

Управление подкластерами Data Proc

  • Получить список подкластеров в кластере
  • Добавить подкластер
  • Удалить подкластер

Помимо изменения настроек отдельного подкластера вы можете создавать новые и удалять имеющиеся подкластеры.

Важно

В каждом кластере может быть не больше 1 подкластера типа MASTERNODE, поэтому создавать и удалять подкластеры этого типа невозможно. Также невозможно удалять подкластеры типа DATANODE.

Получить список подкластеров в кластере

Консоль управления
  1. Перейдите на страницу каталога и выберите сервис Data Proc.

  2. Нажмите на имя нужного кластера, затем выберите вкладку Подкластеры.

Добавить подкластер

Количество хостов в кластерах Data Proc ограничено квотами на количество vCPU и объем памяти, которые могут использовать виртуальные машины в вашем облаке. Чтобы увидеть доступные ресурсы, откройте раздел Квоты и найдите блок Compute Cloud.

Чтобы добавить подкластер:

Консоль управления
  1. В консоли управления выберите нужный каталог.

  2. Выберите сервис Data Proc и выберите нужный кластер.

  3. Перейдите в раздел Подкластеры.

  4. Нажмите кнопку Добавить подкластер.

  5. Выберите тип подкластера. Для этого определитесь с сервисами, которые должны быть развернуты на хостах:

    • В подкластерах типа COMPUTENODE могут быть развернуты:
      • YARN NodeManager;
      • библиотеки Spark.
    • В подкластерах типа DATANODE могут быть развернуты:
      • HDFS Datanode;
      • YARN NodeManager;
      • HBase RegionServer;
      • библиотеки Spark.
  6. Выберите остальные настройки подкластера:

    • Количество хостов.
    • Класс хостов — платформа и вычислительные ресурсы, доступные хосту.
    • Размер и тип хранилища.
    • Подсеть сети, в которой расположен кластер.
  7. Нажмите кнопку Добавить подкластер.

Data Proc запустит операцию создания подкластера.

Удалить подкластер

Важно

Удалить подкластеры типа DATANODE невозможно.

Консоль управления

Чтобы удалить подкластер:

  1. В консоли управления выберите нужный каталог.
  2. Выберите сервис Data Proc и выберите нужный кластер.
  3. Перейдите в раздел Подкластеры.
  4. Опционально укажите таймаут декомиссии.
  5. Нажмите значок для нужного подкластера и выберите пункт Удалить.
  6. Подтвердите удаление.

Data Proc запустит операцию удаления подкластера.

В этой статье:
  • Получить список подкластеров в кластере
  • Добавить подкластер
  • Удалить подкластер
Language
Вакансии
Политика конфиденциальности
Условия использования
© 2021 ООО «Яндекс.Облако»