Декомиссия подкластеров и хостов Data Proc

Декомиссия — процедура уменьшения мощности кластера (числа хостов и их класса) без его остановки и прерывания рабочей нагрузки. Декомиссия поддерживается для кластеров Data Proc версии 1.2 и выше.

В Data Proc декомиссия реализована на основе YARN и HDFS. При выполнении декомиссии уже запущенные пользовательские задания не будут прерваны, а данные не будут потеряны.

Для подкластеров YARN вы можете задать таймаут декомиссии. В этом случае кластер будет ждать завершения текущих операций, но не более указанного времени. Без таймаута хосты подкластера завершают свою работу немедленно. Выводимые из состава хосты не будут брать новые операции и данные.

Длительность декомиссии зависит от таймаута и времени, потраченного на модификацию кластера. Максимальный таймаут — 24 часа. Максимальная длительность операций над кластером — 1 час.

Декомиссия ресурсов подкластеров YARN запускается при:

• изменении класса хостов;
• увеличении размера диска;
• уменьшении числа хостов в подкластерах для обработки данных.

Декомиссия ресурсов подкластеров HDFS запускается при уменьшении числа хостов в подкластерах для хранения данных.

Если для изменения кластера нужна перезагрузка хостов:

1. Редактируемые или удаляемые хосты добавляются в список excluded в YARN.
2. На хостах из списка excluded не запускаются новые задания. По мере того как запущенные задания завершаются, хосты обновляются и перезагружаются.
3. Если задания не успевают завершиться до окончания таймаута декомиссии, они завершаются принудительно и хост обновляется и перезагружается.
4. После перезагрузки хосты удаляются из списка excluded.

Когда все хосты перейдут в статус Alive, декомиссия считается завершенной.

Подробнее о декомиссии подкластеров YARN читайте в документации Apache Hadoop.