Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Data Proc
  • Сценарии использования
    • Настройка сети для кластеров Data Proc
    • Использование Apache Hive
    • Запуск Spark-приложений
    • Запуск приложений с удаленного хоста
    • Копирование файлов из Yandex Object Storage
  • Пошаговые инструкции
    • Все инструкции
    • Создание кластера
    • Подключение к кластеру
    • Изменение подкластера
    • Управление подкластерами
    • Удаление кластера
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Версии Hadoop и компонентов
    • Интерфейсы и порты компонентов
    • Веб-интерфейсы компонентов
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Квоты и лимиты
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • start
        • stop
        • update
      • Job
        • Обзор
        • create
        • get
        • list
      • ResourcePreset
        • Обзор
        • get
        • list
      • Subcluster
        • Обзор
        • create
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Концепции
  2. Декомиссия подкластеров и хостов

Декомиссия подкластеров и хостов

    Декомиссия — процедура уменьшения мощности кластера (числа хостов и их класса) без его остановки и прерывания рабочей нагрузки. Декомиссия поддерживается для кластеров Data Proc версии 1.2 и выше.

    В Data Proc декомиссия реализована на основе YARN и HDFS. При выполнении декомиссии уже запущенные пользовательские задания не будут прерваны, а данные на HDFS не будут потеряны.

    Для декомиссии подкластеров в кластере YARN вы можете задать таймаут ожидания. В этом случае кластер будет ждать завершения текущих операций, но не более указанного времени. Выводимые из состава хосты не будут брать новые операции и данные.

    Декомиссия ресурсов под YARN применяется при:

    • изменении класса хостов;
    • увеличении размера диска;
    • уменьшении числа хостов в подкластерах для обработки данных.

    Декомиссия ресурсов под HDFS применяется при:

    • уменьшении числа хостов в подкластерах для хранения данных;
    • удалении подкластеров для хранения данных.

    В случае, если изменение кластера требует перезагрузку хостов, сервис действует по следующему сценарию:

    1. Редактируемые или удаляемые хосты добавляются в список excluded в YARN.
    2. На хостах из списка excluded не запускаются новые задания. По мере того, как запущенные задания завершаются, хосты обновляются и перезагружаются.
    3. Если задания не успевают завершиться до окончания таймаута декомиссии, они завершаются принудительно и хост обновляется и перезагружается.
    4. После перезагрузки хосты удаляются из списка excluded.
    5. Сервис ждет, пока все хосты перейдут в статус Alive.

    Время операции декомиссии складывается из таймаута на декомиссию и времени операций по модификации кластера. Максимальное время таймаута декомиссии - 24 часа. Максимальное время операций над кластером - 1 час.

    Более подробно о декомиссиии кластеров YARN можно ознакомиться на странице Graceful Decommission of YARN Nodes в документации для Apache Hadoop.

    Language
    Вакансии
    Политика конфиденциальности
    Условия использования
    © 2021 ООО «Яндекс.Облако»