Создание кластера Data Proc

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать кластер:

1. Посмотрите описание команды CLI для создания кластера:

   yc dataproc cluster create --help
   

2. Укажите параметры кластера в команде создания (в примере приведены не все доступные параметры):

   yc dataproc cluster create <имя кластера> \
     --zone <зона доступности кластера> \
     --service-account-name <имя сервисного аккаунта кластера> \
     --version <версия образа> \
     --services <список компонентов> \
     --subcluster name=<имя подкластера с ролью MASTERNODE>,`
                 `role=masternode,`
                 `resource-preset=<класс хоста>,`
                 `disk-type=<тип хранилища>,`
                 `disk-size=<размер хранилища, ГБ>,`
                 `subnet-name=<имя подсети>,`
                 `hosts-count=1`
                 `assign-public-ip=<назначение публичного IP-адреса всем хостам подкластера: true или false> \
     --subcluster name=<имя подкластера с ролью DATANODE>,`
                 `role=datanode,`
                 `resource-preset=<класс хоста>,`
                 `disk-type=<тип хранилища>,`
                 `disk-size=<размер хранилища, ГБ>,`
                 `subnet-name=<имя подсети>,`
                 `hosts-count=<количество хостов>,`
                 `assign-public-ip=<назначение публичного IP-адреса всем хостам подкластера: true или false> \
     --bucket <имя бакета> \
     --ssh-public-keys-file <путь к публичной части SSH-ключа> \
     --security-group-ids <список идентификаторов групп безопасности> \
     --deletion-protection=<защита от удаления кластера: true или false> \
     --log-group-id <идентификатор лог-группы>
   

   Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

3. Чтобы создать кластер, размещенный на группах выделенных хостов, укажите через запятую их идентификаторы в параметре --host-group-ids:

   yc dataproc cluster create <имя кластера> \
     ...
     --host-group-ids <идентификаторы групп выделенных хостов>
   

   Внимание

   Эту настройку нельзя изменить после создания кластера. Использование выделенных хостов существенно влияет на тарификацию кластера.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). Terraform и его провайдеры распространяются под лицензией Mozilla Public License.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Чтобы создать кластер:

1. В командной строке перейдите в каталог, в котором будут расположены конфигурационные файлы Terraform с планом инфраструктуры. Если такой директории нет — создайте ее.

2. Если у вас еще нет Terraform, установите его и создайте конфигурационный файл с настройками провайдера.

3. Создайте конфигурационный файл с описанием облачной сети и подсетей.

   Кластер размещается в облачной сети. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.

   Хосты кластера размещаются в подсетях выбранной облачной сети. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла, в котором описывается облачная сеть с одной подсетью:

   resource "yandex_vpc_network" "<имя сети в Terraform>" { name = "<имя сети>" }
   
   resource "yandex_vpc_subnet" "<имя подсети в Terraform>" {
     name           = "<имя подсети>"
     zone           = "<зона доступности>"
     network_id     = yandex_vpc_network.<имя сети в Terraform>.id
     v4_cidr_blocks = ["<подсеть>"]
   }
   

4. Создайте конфигурационный файл с описанием сервисного аккаунта, которому нужно разрешить доступ к кластеру, а также статического ключа и бакета Yandex Object Storage для хранения заданий и результатов.

   resource "yandex_iam_service_account" "<имя сервисного аккаунта в Terraform>" {
     name        = "<имя сервисного аккаунта>"
     description = "<описание сервисного аккаунта>"
   }
   
   resource "yandex_resourcemanager_folder_iam_binding" "dataproc" {
     role    = "mdb.dataproc.agent"
     members = [
       "serviceAccount:${yandex_iam_service_account.<имя сервисного аккаунта в Terraform>.id}"
     ]
   }
   
   resource "yandex_resourcemanager_folder_iam_binding" "bucket-creator" {
     role    = "editor"
     members = [
       "serviceAccount:${yandex_iam_service_account.<имя сервисного аккаунта в Terraform>.id}"
     ]
   }
   
   resource "yandex_iam_service_account_static_access_key" "<имя статического ключа в Terraform>" {
     service_account_id = yandex_iam_service_account.<имя сервисного аккаунта в Terraform>.id
   }
   
   resource "yandex_storage_bucket" "<имя бакета в Terraform>" {
     depends_on = [
       yandex_resourcemanager_folder_iam_binding.bucket-creator
     ]
   
     bucket     = "<имя бакета>"
     access_key = yandex_iam_service_account_static_access_key.<имя статического ключа в Terraform>.access_key
     secret_key = yandex_iam_service_account_static_access_key.<имя статического ключа в Terraform>.secret_key
   }
   

5. Создайте конфигурационный файл с описанием кластера и его подкластеров.

   При необходимости здесь же можно задать свойства компонентов кластера, заданий и среды окружения.

   Пример структуры конфигурационного файла, в котором описывается кластер из одного главного подкластера и одного подкластера для хранения данных:

   resource "yandex_dataproc_cluster" "<имя кластера в Terraform>" {
     bucket              = "<имя бакета в Terraform>"
     name                = "<имя кластера>"
     description         = "<описание кластера>"
     service_account_id  = "<идентификатор сервисного аккаунта в Terraform>"
     zone_id             = "<зона доступности>"
     security_group_ids  = ["<список идентификаторов групп безопасности>"]
     deletion_protection = <защита от удаления кластера: true или false>
   
     cluster_config {
       version_id = "<версия образа>"
   
       hadoop {
         services   = ["<список компонентов>"]
         # пример списка: ["HDFS", "YARN", "SPARK", "TEZ", "MAPREDUCE", "HIVE"]
         properties = {
           "<свойство компонента>" = <значение>
           ...
         }
         ssh_public_keys = [
           file("<путь к файлу публичной части SSH-ключа>")
         ]
       }
   
       subcluster_spec {
         name = "<имя подкластера>"
         role = "MASTERNODE"
         resources {
           resource_preset_id = "<класс хоста>"
           disk_type_id       = "<тип хранилища>"
           disk_size          = <объем хранилища, ГБ>
         }
         subnet_id   = "<идентификатор подсети в Terraform>"
         hosts_count = 1
       }
   
       subcluster_spec {
         name = "<имя подкластера>"
         role = "DATANODE"
         resources {
           resource_preset_id = "<класс хоста>"
           disk_type_id       = "<тип хранилища>"
           disk_size          = <объем хранилища, ГБ>
         }
         subnet_id   = "<идентификатор подсети в Terraform>"
         hosts_count = <число хостов в подкластере>
       }
   
       subcluster_spec {
         name = "<имя подкластера>"
         role = "COMPUTENODE"
         resources {
           resource_preset_id = "<класс хоста>"
           disk_type_id       = "<тип хранилища>"
           disk_size          = <объем хранилища, ГБ>
         }
         subnet_id   = "<идентификатор подсети в Terraform>"
         hosts_count = <число хостов в подкластере>
       }
     }
   }
   

   Включенная защита от удаления кластера не помешает подключиться вручную и удалить содержимое базы данных.

   Чтобы получить доступ к веб-интерфейсам компонентов Data Proc, добавьте в описание кластера поле ui_proxy:

   resource "yandex_dataproc_cluster" "<имя кластера в Terraform>" {
     ...
     ui_proxy            = <включить опцию UI Proxy: true или false>
     ...
   }
   

   Чтобы задать параметры автоматического масштабирования для Compute подкластеров, добавьте в описание соответствующего подкластера subcluster_spec блок autoscaling_config с нужными вам настройками:

   subcluster_spec {
     name = "<имя подкластера>"
     role = "COMPUTENODE"
     ...
     autoscaling_config {
       max_hosts_count        = <максимальное количество ВМ в группе>
       measurement_duration   = <промежуток измерения нагрузки (в секундах)>
       warmup_duration        = <время на разогрев ВМ (в секундах)>
       stabilization_duration = <период стабилизации (в секундах)>
       preemptible            = <использование прерываемых ВМ: true или false>
       cpu_utilization_target = <целевой уровень загрузки vCPU, %>
       decommission_timeout   = <таймаут декомиссии ВМ (в секундах)>
     }
   }
   

   Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера.

6. Проверьте корректность файлов конфигурации Terraform:

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

7. Создайте кластер:

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Чтобы создать кластер, воспользуйтесь методом API create и передайте в запросе:

• Идентификатор каталога, в котором должен быть размещен кластера, в параметре folderId.

• Имя кластера в параметре name.

• Конфигурацию кластера в параметре configSpec, в том числе:

  • Версию образа в параметре configSpec.versionId.
  • Список компонентов в параметре configSpec.hadoop.services.
  • Публичную часть SSH-ключа в параметре configSpec.hadoop.sshPublicKeys.
  • Настройки подкластеров в параметре configSpec.subclustersSpec.

• Зону доступности кластера в параметре zoneId.

• Идентификатор сервисного аккаунта кластера в параметре serviceAccountId.

• Имя бакета в параметре bucket.

• Идентификаторы групп безопасности кластера в параметре hostGroupIds.

• Настройки защиты от удаления кластера в параметре deletionProtection.

  Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

Чтобы назначить публичный IP-адрес всем хостам подкластера, передайте значение true в параметре configSpec.subclustersSpec.assignPublicIp.

Чтобы создать кластер, размещенный на группах выделенных хостов, передайте список их идентификаторов в параметре hostGroupIds.