Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex Data Proc
  • Практические руководства
    • Все практические руководства
    • Работа с заданиями
      • Обзор
      • Работа с заданиями Hive
      • Работа с заданиями MapReduce
      • Работа с заданиями PySpark
      • Работа с заданиями Spark
      • Запуск заданий Apache Hive
      • Запуск Spark-приложений
      • Запуск заданий с удаленного хоста
    • Настройка сети для Data Proc
    • Использование Yandex Object Storage в Data Proc
    • Обмен данными с Managed Service for ClickHouse
    • Импорт базы данных с использованием Sqoop
    • Использование скриптов инициализации для настройки GeeseFS в Data Proc
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к кластеру
    • Изменение кластера
    • Управление подкластерами
    • Изменение подкластера
    • Подключение к интерфейсам компонентов
    • Использование Sqoop
    • Управление заданиями
      • Все задания
      • Задания Spark
      • Задания PySpark
      • Задания Hive
      • Задания MapReduce
    • Удаление кластера
    • Работа с логами
    • Мониторинг состояния кластера и хостов
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Классы хостов
    • Среда исполнения
    • Интерфейсы и порты компонентов Data Proc
    • Задания в Data Proc
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Техническое обслуживание
    • Квоты и лимиты
    • Хранилище в Data Proc
    • Свойства компонентов
    • Логи в Data Proc
    • Скрипты инициализации
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST (англ.)
      • Overview
      • Cluster
        • Overview
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • listUILinks
        • start
        • stop
        • update
      • Job
        • Overview
        • cancel
        • create
        • get
        • list
        • listLog
      • ResourcePreset
        • Overview
        • get
        • list
      • Subcluster
        • Overview
        • create
        • delete
        • get
        • list
        • update
  • История изменений
    • Изменения сервиса
    • Образы
  • Вопросы и ответы
  1. Концепции
  2. Декомиссия подкластеров и хостов

Декомиссия подкластеров и хостов

Статья создана
Yandex Cloud

    Декомиссия — процедура уменьшения мощности кластера (числа хостов и их класса) без его остановки и прерывания рабочей нагрузки. Декомиссия поддерживается для кластеров Data Proc версии 1.2 и выше.

    В Data Proc декомиссия реализована на основе YARN и HDFS. При выполнении декомиссии уже запущенные пользовательские задания не будут прерваны, а данные не будут потеряны.

    Для подкластеров YARN вы можете задать таймаут декомиссии. В этом случае кластер будет ждать завершения текущих операций, но не более указанного времени. Без таймаута хосты подкластера завершают свою работу немедленно. Выводимые из состава хосты не будут брать новые операции и данные.

    Длительность декомиссии зависит от таймаута и времени, потраченного на модификацию кластера. Максимальный таймаут — 24 часа. Максимальная длительность операций над кластером — 1 час.

    Декомиссия ресурсов подкластеров YARN запускается при:

    • изменении класса хостов;
    • увеличении размера диска;
    • уменьшении числа хостов в подкластерах для обработки данных.

    Декомиссия ресурсов подкластеров HDFS запускается при:

    • уменьшении числа хостов в подкластерах для хранения данных;
    • удалении подкластеров для хранения данных.

    Если для изменения кластера нужна перезагрузка хостов:

    1. Редактируемые или удаляемые хосты добавляются в список excluded в YARN.
    2. На хостах из списка excluded не запускаются новые задания. По мере того, как запущенные задания завершаются, хосты обновляются и перезагружаются.
    3. Если задания не успевают завершиться до окончания таймаута декомиссии, они завершаются принудительно и хост обновляется и перезагружается.
    4. После перезагрузки хосты удаляются из списка excluded.

    Когда все хосты перейдут в статус Alive, декомиссия считается завершенной.

    Подробнее о декомиссии подкластеров YARN читайте в документации Apache Hadoop.

    Была ли статья полезна?

    Language / Region
    © 2022 ООО «Яндекс.Облако»