Изменение кластера Yandex Data Proc
После создания кластера вы можете изменить его основные и дополнительные настройки.
Вы можете выключить передачу логов кластера в сервис Yandex Cloud Logging. Подробнее см. в разделе Работа с логами.
Кластер Yandex Data Proc также можно переместить в другую зону доступности. Процесс зависит от типа кластера:
- Миграция легковесного кластера в другую зону доступности.
- Миграция кластера с файловой системой HDFS в другую зону доступности.
Чтобы изменить настройки кластера Yandex Data Proc:
-
Перейдите на страницу каталога
и выберите сервис Data Proc. -
Выберите кластер и нажмите кнопку Изменить кластер на панели сверху.
-
Чтобы изменить лог-группу, в которую отправляются логи кластера, выберите новую лог-группу из списка. При необходимости создайте новую лог-группу.
Для работы этой функции назначьте сервисному аккаунту кластера роль
logging.writer
. Подробнее см. в документации Yandex Cloud Logging. -
Чтобы изменить свойства компонентов кластера, укажите в поле Свойства ключ компонента и его новое значение.
-
Измените дополнительные настройки кластера:
Защита от удаления — управляет защитой кластера от непреднамеренного удаления пользователем.
Включенная защита не помешает подключиться к кластеру вручную и удалить данные.
-
Нажмите кнопку Сохранить изменения.
Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.
По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name
или --folder-id
.
-
Посмотрите описание команды CLI для изменения кластера:
yc dataproc cluster update --help
-
Чтобы изменить лог-группу, в которую отправляются логи кластера, передайте идентификатор нужной лог-группы в параметре
--log-group-id
:yc dataproc cluster update <имя_или_идентификатор_кластера> \ --log-group-id=<идентификатор_лог-группы>
Идентификатор лог-группы можно получить со списком лог-групп в каталоге.
-
Чтобы защитить кластер от непреднамеренного удаления пользователем вашего облака, задайте значение
true
для параметра--deletion-protection
:yc dataproc cluster update <имя_или_идентификатор_кластера> \ --deletion-protection=true
Включенная защита не помешает подключиться к кластеру вручную и удалить данные.
-
Чтобы изменить свойства компонентов, передайте необходимые свойства в параметре
--property
:yc dataproc cluster update <имя_или_идентификатор_кластера> \ --property "<префикс_ключа_1>:<ключ_1>=<значение>", "<префикс_ключа_2>:<ключ_2>=<значение>", ...
Важно
Использование параметра
--property
переопределит все свойства компонентов, которые не были явно переданы в параметре, на значения по умолчанию. Чтобы сохранить измененные ранее свойства, перечислите их в запросе наряду со свойствами, которые хотите изменить.
Идентификатор и имя кластера можно получить со списком кластеров в каталоге.
-
Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.
О том, как создать такой файл, см. в разделе Создание кластера.
-
Чтобы включить защиту от удаления кластера и доступ к веб-интерфейсам компонентов Yandex Data Proc, измените значения соответствующих полей в описании кластера Yandex Data Proc:
resource "yandex_dataproc_cluster" "data_cluster" { ... deletion_protection = true ui_proxy = true ... }
-
Проверьте корректность настроек.
-
В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
-
Выполните команду:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
-
Подтвердите изменение ресурсов.
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
-
Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера