Декомиссия подкластеров и хостов

Декомиссия — процедура уменьшения мощности кластера (числа хостов и их класса) без его остановки и прерывания рабочей нагрузки. Декомиссия поддерживается для кластеров Data Proc версии 1.2 и выше.

В Data Proc декомиссия реализована на основе YARN и HDFS. При выполнении декомиссии уже запущенные пользовательские задания не будут прерваны, а данные на HDFS не будут потеряны.

Для декомиссии подкластеров в кластере YARN вы можете задать таймаут ожидания. В этом случае кластер будет ждать завершения текущих операций, но не более указанного времени. Выводимые из состава хосты не будут брать новые операции и данные.

Декомиссия ресурсов под YARN применяется при:

• изменении класса хостов;
• увеличении размера диска;
• уменьшении числа хостов в подкластерах для обработки данных.

Декомиссии ресурсов под HDFS применяется при:

• уменьшении числа хостов в подкластерах для хранения данных;
• удалении подкластеров для хранения данных.

В случае, если изменение кластера требует перезагрузку хостов, сервис действует по следующему сценарию:

1. Редактируемые или удаляемые хосты добавляются в список excluded в YARN.
2. На хостах из списка excluded не запускаются новые задания. По мере того, как запущеные задания завершаются, хосты обновляются и перезагружаются.
3. Если задания не успевают завершиться до окончания таймаута декомиссии, они завершаются принудиительно и хост обновляется и перезагружается.
4. После перезагрузки хосты удаляются из списка excluded.
5. Сервис ждет, пока всех хосты перейдут в статус Alive.

Время операции декомиссии складывается из таймаута на декомиссию и времени операций по модификации кластера. Максимальное время таймаута декомиссии - 24 часа. Максимальное время операций над кластером - 1 час.

Более подробно о декомиссиии кластеров YARN можно ознакомиться на странице Graceful Decommission of YARN Nodes в документации для Apache Hadoop.