Подключиться
Yandex Data Proc

ClusterService

Набор методов для управления кластерами Data Proc.

Вызов Описание
Get Возвращает указанный кластер Data Proc.
List Возвращает список кластеров в указанном каталоге.
Create Создает кластер в указанном каталоге.
Update Обновляет конфигурацию указанного кластера.
Delete Удаляет указанный кластер.
Start Запускает указанный кластер.
Stop Останавливает указанный кластер.
ListOperations Список операций для указанного кластера.
ListHosts Получает список хостов для указанного кластера.

Вызовы ClusterService

Get

Возвращает указанный кластер Data Proc.
Чтобы получить список доступных кластеров Data Proc, выполните запрос ClusterService.List.

rpc Get (GetClusterRequest) returns (Cluster)

GetClusterRequest

Поле Описание
cluster_id string
Обязательное поле. Идентификатор кластера Data Proc.
Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50.

Cluster

Поле Описание
id string
Идентификатор кластера. Генерируется во время создания.
folder_id string
Идентификатор каталога, которому принадлежит кластер.
created_at google.protobuf.Timestamp
Время создания.
name string
Имя кластера. Имя уникально в рамках каталога. Длина строки в символах должна быть от 1 до 63.
description string
Описание кластера. Длина строки в символах должна быть от 0 до 256.
labels map<string,string>
Метки кластера как пары key:value. Не более 64 на ресурс.
monitoring[] Monitoring
Описание систем мониторинга, относящихся к кластеру.
config ClusterConfig
Конфигурация кластера.
health enum Health
Агрегированная работоспособность кластера.
  • HEALTH_UNKNOWN: Состояние кластера неизвестно (Host.health для каждого хоста в кластере — UNKNOWN).
  • ALIVE: Кластер работает нормально (Host.health для каждого хоста в кластере — ALIVE).
  • DEAD: Кластер не работает (Host.health для каждого хоста в кластере — DEAD).
  • DEGRADED: Кластер работает неоптимально (Host.health по крайней мере для одного хоста в кластере не ALIVE).
    status enum Status
    Состояние кластера.
    • STATUS_UNKNOWN: Состояние кластера неизвестно.
    • CREATING: Кластер создается.
    • RUNNING: Кластер работает нормально.
    • ERROR: На кластере произошла ошибка, блокирующая работу.
    • STOPPING: Кластер останавливается.
    • STOPPED: Кластер остановлен.
    • STARTING: Кластер запускается.
      zone_id string
      Идентификатор зоны доступности, в которой находится кластер.
      service_account_id string
      Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами.
      bucket string
      Имя бакета Object Storage, который используется для задач Data Proc.

      Monitoring

      Поле Описание
      name string
      Название системы мониторинга.
      description string
      Описание системы мониторинга.
      link string
      Ссылка на систему мониторинга.

      ClusterConfig

      Поле Описание
      version_id string
      Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации.
      hadoop HadoopConfig
      Настройки конфигурации, специфические для Data Proc.

      HadoopConfig

      Поле Описание
      services[] enum Service
      Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию).
        properties map<string,string>
        Свойства, установленные для всех хостов в конфигурациях *-site.xml. В ключе должны быть указаны компонент и свойство.
        Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml.
        ssh_public_keys[] string
        Список публичных ключей SSH для доступа к хостам кластера.

        List

        Возвращает список кластеров в указанном каталоге.

        rpc List (ListClustersRequest) returns (ListClustersResponse)

        ListClustersRequest

        Поле Описание
        folder_id string
        Обязательное поле. Идентификатор каталога, для которого нужно получить список кластеров.
        Чтобы получить идентификатор каталога, используйте запрос yandex.cloud.resourcemanager.v1.FolderService.List. Максимальная длина строки в символах — 50.
        page_size int64
        Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size, сервис вернет значение ListClustersResponse.next_page_token, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000.
        page_token string
        Токен страницы. Установите значение page_token равным значению поля ListClustersResponse.next_page_token предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100.
        filter string
        1. Имя поля. В настоящее время фильтрация осуществляется только по полю Cluster.name.
        2. Оператор. Операторы = или != для одиночных значений, IN или NOT IN для списков значений.
        3. Значение. Значение длиной от 3 до 63 символов, совпадающее с регулярным выражением ^[a-z][-a-z0-9]{1,61}[a-z0-9]. Пример фильтра: name=my-cluster.
        Максимальная длина строки в символах — 1000.

        ListClustersResponse

        Поле Описание
        clusters[] Cluster
        Возвращает список кластеров в указанном каталоге.
        next_page_token string
        Токен для получения следующей страницы списка. Если количество результатов больше чем ListClustersRequest.page_size, используйте next_page_token в качестве значения параметра ListClustersRequest.page_token в следующем запросе списка ресурсов.
        У каждой последующей страницы будет собственный next_page_token, чтобы можно было продолжать просматривать результаты.

        Cluster

        Поле Описание
        id string
        Идентификатор кластера. Генерируется во время создания.
        folder_id string
        Идентификатор каталога, которому принадлежит кластер.
        created_at google.protobuf.Timestamp
        Время создания.
        name string
        Имя кластера. Имя уникально в рамках каталога. Длина строки в символах должна быть от 1 до 63.
        description string
        Описание кластера. Длина строки в символах должна быть от 0 до 256.
        labels map<string,string>
        Метки кластера как пары key:value. Не более 64 на ресурс.
        monitoring[] Monitoring
        Описание систем мониторинга, относящихся к кластеру.
        config ClusterConfig
        Конфигурация кластера.
        health enum Health
        Агрегированная работоспособность кластера.
        • HEALTH_UNKNOWN: Состояние кластера неизвестно (Host.health для каждого хоста в кластере — UNKNOWN).
        • ALIVE: Кластер работает нормально (Host.health для каждого хоста в кластере — ALIVE).
        • DEAD: Кластер не работает (Host.health для каждого хоста в кластере — DEAD).
        • DEGRADED: Кластер работает неоптимально (Host.health по крайней мере для одного хоста в кластере не ALIVE).
          status enum Status
          Состояние кластера.
          • STATUS_UNKNOWN: Состояние кластера неизвестно.
          • CREATING: Кластер создается.
          • RUNNING: Кластер работает нормально.
          • ERROR: На кластере произошла ошибка, блокирующая работу.
          • STOPPING: Кластер останавливается.
          • STOPPED: Кластер остановлен.
          • STARTING: Кластер запускается.
            zone_id string
            Идентификатор зоны доступности, в которой находится кластер.
            service_account_id string
            Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами.
            bucket string
            Имя бакета Object Storage, который используется для задач Data Proc.

            Monitoring

            Поле Описание
            name string
            Название системы мониторинга.
            description string
            Описание системы мониторинга.
            link string
            Ссылка на систему мониторинга.

            ClusterConfig

            Поле Описание
            version_id string
            Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации.
            hadoop HadoopConfig
            Настройки конфигурации, специфические для Data Proc.

            HadoopConfig

            Поле Описание
            services[] enum Service
            Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию).
              properties map<string,string>
              Свойства, установленные для всех хостов в конфигурациях *-site.xml. В ключе должны быть указаны компонент и свойство.
              Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml.
              ssh_public_keys[] string
              Список публичных ключей SSH для доступа к хостам кластера.

              Create

              Создает кластер в указанном каталоге.

              rpc Create (CreateClusterRequest) returns (operation.Operation)

              Метаданные и результат операции:

                  Operation.metadata:CreateClusterMetadata

                  Operation.response:Cluster

              CreateClusterRequest

              Поле Описание
              folder_id string
              Обязательное поле. Идентификатор каталога, в котором нужно создать кластер.
              Чтобы получить идентификатор каталога, используйте запрос yandex.cloud.resourcemanager.v1.FolderService.List. Максимальная длина строки в символах — 50.
              name string
              Имя кластера. Имя должно быть уникальным в рамках каталога. Имя не может быть изменено после того, как кластер Data Proc был создан. Значение должно соответствовать регулярному выражению `
              description string
              Описание кластера. Максимальная длина строки в символах — 256.
              labels map<string,string>
              Метки кластера как пары ключ: значение. Не более 64 на ресурс. Максимальная длина строки в символах для каждого значения — 63. Каждое значение должно соответствовать регулярному выражению [-_0-9a-z]*. Длина строки в символах для каждого ключа должна быть от 1 до 63. Каждый ключ должен соответствовать регулярному выражению [a-z][-_0-9a-z]*.
              config_spec CreateClusterConfigSpec
              Обязательное поле. Конфигурация и ресурсы хостов, которые должны быть созданы для кластера Data Proc.
              zone_id string
              Обязательное поле. Идентификатор зоны доступности, в которой должен быть размещен кластер.
              Чтобы получить список доступных зон, отправьте запрос yandex.cloud.compute.v1.ZoneService.List. Максимальная длина строки в символах — 50.
              service_account_id string
              Обязательное поле. Идентификатор сервисного аккаунта, которым должен пользоваться агент Data Proc для управления задачами.
              bucket string
              Имя бакета Object Storage, который следует использовать для задач Data Proc.

              CreateClusterConfigSpec

              Поле Описание
              version_id string
              Версия образа, которая используется при подготовке кластера.
              Все доступные версии перечислены в документации.
              hadoop HadoopConfig
              Настройки, специфические для Data Proc.
              subclusters_spec[] CreateSubclusterConfigSpec
              Спецификация создания подкластеров.

              HadoopConfig

              Поле Описание
              services[] enum Service
              Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию).
                properties map<string,string>
                Свойства, установленные для всех хостов в конфигурациях *-site.xml. В ключе должны быть указаны компонент и свойство.
                Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml.
                ssh_public_keys[] string
                Список публичных ключей SSH для доступа к хостам кластера.

                CreateSubclusterConfigSpec

                Поле Описание
                name string
                Имя подкластера. Значение должно соответствовать регулярному выражению `
                role enum Role
                Обязательное поле. Роль подкластера в кластере Data Proc.
                • MASTERNODE:
                  • HDFS: Namenode, Secondary Namenode
                  • YARN: ResourceManager, Timeline Server
                  • HBase Master
                  • Hive: Server, Metastore, HCatalog
                  • Spark History Server
                  • Zeppelin
                  • ZooKeeper
                • DATANODE:
                  • HDFS DataNode
                  • YARN NodeManager
                  • HBase RegionServer
                  • библиотеки Spark
                • COMPUTENODE:
                  • YARN NodeManager
                  • библиотеки Spark
                  resources Resources
                  Обязательное поле. Конфигурация ресурсов для хостов в подкластере.
                  subnet_id string
                  Обязательное поле. Идентификатор подсети VPC, используемой для хостов подкластера. Максимальная длина строки в символах — 50.
                  hosts_count int64
                  Обязательное поле. Количество хостов в подкластере. Минимальная значение — 1.

                  Resources

                  Поле Описание
                  resource_preset_id string
                  Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.
                  disk_type_id string
                  • network-hdd — сетевой HDD-диск;
                  • network-ssd — сетевой SSD-диск.
                  disk_size int64
                  Объем хранилища, доступного хосту, в байтах.

                  Operation

                  Поле Описание
                  id string
                  Идентификатор операции.
                  description string
                  Описание операции. Длина описания должна быть от 0 до 256 символов.
                  created_at google.protobuf.Timestamp
                  Время создания ресурса в формате в RFC3339.
                  created_by string
                  Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию.
                  modified_at google.protobuf.Timestamp
                  Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339.
                  done bool
                  Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response.
                  metadata google.protobuf.Any<CreateClusterMetadata>
                  Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata.
                  result oneof: error или response
                  Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error. Если done == true — задано значение ровно одного из полей error или response.
                    error google.rpc.Status
                  Описание ошибки в случае сбоя или отмены операции.
                    response google.protobuf.Any<Cluster>
                  в случае успешного выполнения операции.

                  CreateClusterMetadata

                  Поле Описание
                  cluster_id string
                  Идентификатор создаваемого кластера.

                  Cluster

                  Поле Описание
                  id string
                  Идентификатор кластера. Генерируется во время создания.
                  folder_id string
                  Идентификатор каталога, которому принадлежит кластер.
                  created_at google.protobuf.Timestamp
                  Время создания.
                  name string
                  Имя кластера. Имя уникально в рамках каталога. Длина строки в символах должна быть от 1 до 63.
                  description string
                  Описание кластера. Длина строки в символах должна быть от 0 до 256.
                  labels map<string,string>
                  Метки кластера как пары key:value. Не более 64 на ресурс.
                  monitoring[] Monitoring
                  Описание систем мониторинга, относящихся к кластеру.
                  config ClusterConfig
                  Конфигурация кластера.
                  health enum Health
                  Агрегированная работоспособность кластера.
                  • HEALTH_UNKNOWN: Состояние кластера неизвестно (Host.health для каждого хоста в кластере — UNKNOWN).
                  • ALIVE: Кластер работает нормально (Host.health для каждого хоста в кластере — ALIVE).
                  • DEAD: Кластер не работает (Host.health для каждого хоста в кластере — DEAD).
                  • DEGRADED: Кластер работает неоптимально (Host.health по крайней мере для одного хоста в кластере не ALIVE).
                    status enum Status
                    Состояние кластера.
                    • STATUS_UNKNOWN: Состояние кластера неизвестно.
                    • CREATING: Кластер создается.
                    • RUNNING: Кластер работает нормально.
                    • ERROR: На кластере произошла ошибка, блокирующая работу.
                    • STOPPING: Кластер останавливается.
                    • STOPPED: Кластер остановлен.
                    • STARTING: Кластер запускается.
                      zone_id string
                      Идентификатор зоны доступности, в которой находится кластер.
                      service_account_id string
                      Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами.
                      bucket string
                      Имя бакета Object Storage, который используется для задач Data Proc.

                      Monitoring

                      Поле Описание
                      name string
                      Название системы мониторинга.
                      description string
                      Описание системы мониторинга.
                      link string
                      Ссылка на систему мониторинга.

                      ClusterConfig

                      Поле Описание
                      version_id string
                      Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации.
                      hadoop HadoopConfig
                      Настройки конфигурации, специфические для Data Proc.

                      HadoopConfig

                      Поле Описание
                      services[] enum Service
                      Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию).
                        properties map<string,string>
                        Свойства, установленные для всех хостов в конфигурациях *-site.xml. В ключе должны быть указаны компонент и свойство.
                        Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml.
                        ssh_public_keys[] string
                        Список публичных ключей SSH для доступа к хостам кластера.

                        Update

                        Обновляет конфигурацию указанного кластера.

                        rpc Update (UpdateClusterRequest) returns (operation.Operation)

                        Метаданные и результат операции:

                            Operation.metadata:UpdateClusterMetadata

                            Operation.response:Cluster

                        UpdateClusterRequest

                        Поле Описание
                        cluster_id string
                        Идентификатор кластера, который следует изменить.
                        Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50.
                        update_mask google.protobuf.FieldMask
                        Маска поля, которая указывает, какие атрибуты кластера должны быть изменены.
                        description string
                        Новое описание кластера. Максимальная длина строки в символах — 256.
                        labels map<string,string>
                        Новый набор меток кластера в виде пар ключ: значение. Не более 64 на ресурс. Максимальная длина строки в символах для каждого значения — 63. Каждое значение должно соответствовать регулярному выражению [-_0-9a-z]*. Длина строки в символах для каждого ключа должна быть от 1 до 63. Каждый ключ должен соответствовать регулярному выражению [a-z][-_0-9a-z]*.
                        config_spec UpdateClusterConfigSpec
                        Конфигурация и ресурсы хостов, которые должны быть созданы для кластера Data Proc.
                        name string
                        Новое имя кластера Data Proc. Имя должно быть уникальным в рамках каталога. Значение должно соответствовать регулярному выражению `
                        service_account_id string
                        Идентификатор сервисного аккаунта, которым должен пользоваться агент Data Proc для управления задачами.
                        bucket string
                        Имя нового бакета Object Storage, который следует использовать для задач Data Proc.

                        UpdateClusterConfigSpec

                        Поле Описание
                        subclusters_spec[] UpdateSubclusterConfigSpec
                        Новая конфигурация для подкластеров в кластере.

                        UpdateSubclusterConfigSpec

                        Поле Описание
                        id string
                        Идентификатор подкластера, который следует изменить.
                        Чтобы получить идентификатор подкластера, используйте запрос SubclusterService.List.
                        name string
                        Имя подкластера. Значение должно соответствовать регулярному выражению `
                        resources Resources
                        Конфигурация ресурсов для каждого хоста в подкластере.
                        hosts_count int64
                        Количество хостов в подкластере. Минимальная значение — 1.

                        Resources

                        Поле Описание
                        resource_preset_id string
                        Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.
                        disk_type_id string
                        • network-hdd — сетевой HDD-диск;
                        • network-ssd — сетевой SSD-диск.
                        disk_size int64
                        Объем хранилища, доступного хосту, в байтах.

                        Operation

                        Поле Описание
                        id string
                        Идентификатор операции.
                        description string
                        Описание операции. Длина описания должна быть от 0 до 256 символов.
                        created_at google.protobuf.Timestamp
                        Время создания ресурса в формате в RFC3339.
                        created_by string
                        Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию.
                        modified_at google.protobuf.Timestamp
                        Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339.
                        done bool
                        Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response.
                        metadata google.protobuf.Any<UpdateClusterMetadata>
                        Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata.
                        result oneof: error или response
                        Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error. Если done == true — задано значение ровно одного из полей error или response.
                          error google.rpc.Status
                        Описание ошибки в случае сбоя или отмены операции.
                          response google.protobuf.Any<Cluster>
                        в случае успешного выполнения операции.

                        UpdateClusterMetadata

                        Поле Описание
                        cluster_id string
                        Идентификатор кластера, который изменяется.

                        Cluster

                        Поле Описание
                        id string
                        Идентификатор кластера. Генерируется во время создания.
                        folder_id string
                        Идентификатор каталога, которому принадлежит кластер.
                        created_at google.protobuf.Timestamp
                        Время создания.
                        name string
                        Имя кластера. Имя уникально в рамках каталога. Длина строки в символах должна быть от 1 до 63.
                        description string
                        Описание кластера. Длина строки в символах должна быть от 0 до 256.
                        labels map<string,string>
                        Метки кластера как пары key:value. Не более 64 на ресурс.
                        monitoring[] Monitoring
                        Описание систем мониторинга, относящихся к кластеру.
                        config ClusterConfig
                        Конфигурация кластера.
                        health enum Health
                        Агрегированная работоспособность кластера.
                        • HEALTH_UNKNOWN: Состояние кластера неизвестно (Host.health для каждого хоста в кластере — UNKNOWN).
                        • ALIVE: Кластер работает нормально (Host.health для каждого хоста в кластере — ALIVE).
                        • DEAD: Кластер не работает (Host.health для каждого хоста в кластере — DEAD).
                        • DEGRADED: Кластер работает неоптимально (Host.health по крайней мере для одного хоста в кластере не ALIVE).
                          status enum Status
                          Состояние кластера.
                          • STATUS_UNKNOWN: Состояние кластера неизвестно.
                          • CREATING: Кластер создается.
                          • RUNNING: Кластер работает нормально.
                          • ERROR: На кластере произошла ошибка, блокирующая работу.
                          • STOPPING: Кластер останавливается.
                          • STOPPED: Кластер остановлен.
                          • STARTING: Кластер запускается.
                            zone_id string
                            Идентификатор зоны доступности, в которой находится кластер.
                            service_account_id string
                            Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами.
                            bucket string
                            Имя бакета Object Storage, который используется для задач Data Proc.

                            Monitoring

                            Поле Описание
                            name string
                            Название системы мониторинга.
                            description string
                            Описание системы мониторинга.
                            link string
                            Ссылка на систему мониторинга.

                            ClusterConfig

                            Поле Описание
                            version_id string
                            Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации.
                            hadoop HadoopConfig
                            Настройки конфигурации, специфические для Data Proc.

                            HadoopConfig

                            Поле Описание
                            services[] enum Service
                            Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию).
                              properties map<string,string>
                              Свойства, установленные для всех хостов в конфигурациях *-site.xml. В ключе должны быть указаны компонент и свойство.
                              Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml.
                              ssh_public_keys[] string
                              Список публичных ключей SSH для доступа к хостам кластера.

                              Delete

                              Удаляет указанный кластер.

                              rpc Delete (DeleteClusterRequest) returns (operation.Operation)

                              Метаданные и результат операции:

                                  Operation.metadata:DeleteClusterMetadata

                                  Operation.response:google.protobuf.Empty

                              DeleteClusterRequest

                              Поле Описание
                              cluster_id string
                              Обязательное поле. Идентификатор удаляемого кластера.
                              Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50.

                              Operation

                              Поле Описание
                              id string
                              Идентификатор операции.
                              description string
                              Описание операции. Длина описания должна быть от 0 до 256 символов.
                              created_at google.protobuf.Timestamp
                              Время создания ресурса в формате в RFC3339.
                              created_by string
                              Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию.
                              modified_at google.protobuf.Timestamp
                              Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339.
                              done bool
                              Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response.
                              metadata google.protobuf.Any<DeleteClusterMetadata>
                              Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata.
                              result oneof: error или response
                              Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error. Если done == true — задано значение ровно одного из полей error или response.
                                error google.rpc.Status
                              Описание ошибки в случае сбоя или отмены операции.
                                response google.protobuf.Any<google.protobuf.Empty>
                              в случае успешного выполнения операции.

                              DeleteClusterMetadata

                              Поле Описание
                              cluster_id string
                              Идентификатор удаляемого кластера Data Proc.

                              Start

                              Запускает указанный кластер.

                              rpc Start (StartClusterRequest) returns (operation.Operation)

                              Метаданные и результат операции:

                                  Operation.metadata:StartClusterMetadata

                                  Operation.response:Cluster

                              StartClusterRequest

                              Поле Описание
                              cluster_id string
                              Обязательное поле. Идентификатор кластера, который следует запустить.
                              Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50.

                              Operation

                              Поле Описание
                              id string
                              Идентификатор операции.
                              description string
                              Описание операции. Длина описания должна быть от 0 до 256 символов.
                              created_at google.protobuf.Timestamp
                              Время создания ресурса в формате в RFC3339.
                              created_by string
                              Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию.
                              modified_at google.protobuf.Timestamp
                              Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339.
                              done bool
                              Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response.
                              metadata google.protobuf.Any<StartClusterMetadata>
                              Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata.
                              result oneof: error или response
                              Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error. Если done == true — задано значение ровно одного из полей error или response.
                                error google.rpc.Status
                              Описание ошибки в случае сбоя или отмены операции.
                                response google.protobuf.Any<Cluster>
                              в случае успешного выполнения операции.

                              StartClusterMetadata

                              Поле Описание
                              cluster_id string
                              Идентификатор запускаемого кластера Data Proc.

                              Cluster

                              Поле Описание
                              id string
                              Идентификатор кластера. Генерируется во время создания.
                              folder_id string
                              Идентификатор каталога, которому принадлежит кластер.
                              created_at google.protobuf.Timestamp
                              Время создания.
                              name string
                              Имя кластера. Имя уникально в рамках каталога. Длина строки в символах должна быть от 1 до 63.
                              description string
                              Описание кластера. Длина строки в символах должна быть от 0 до 256.
                              labels map<string,string>
                              Метки кластера как пары key:value. Не более 64 на ресурс.
                              monitoring[] Monitoring
                              Описание систем мониторинга, относящихся к кластеру.
                              config ClusterConfig
                              Конфигурация кластера.
                              health enum Health
                              Агрегированная работоспособность кластера.
                              • HEALTH_UNKNOWN: Состояние кластера неизвестно (Host.health для каждого хоста в кластере — UNKNOWN).
                              • ALIVE: Кластер работает нормально (Host.health для каждого хоста в кластере — ALIVE).
                              • DEAD: Кластер не работает (Host.health для каждого хоста в кластере — DEAD).
                              • DEGRADED: Кластер работает неоптимально (Host.health по крайней мере для одного хоста в кластере не ALIVE).
                                status enum Status
                                Состояние кластера.
                                • STATUS_UNKNOWN: Состояние кластера неизвестно.
                                • CREATING: Кластер создается.
                                • RUNNING: Кластер работает нормально.
                                • ERROR: На кластере произошла ошибка, блокирующая работу.
                                • STOPPING: Кластер останавливается.
                                • STOPPED: Кластер остановлен.
                                • STARTING: Кластер запускается.
                                  zone_id string
                                  Идентификатор зоны доступности, в которой находится кластер.
                                  service_account_id string
                                  Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами.
                                  bucket string
                                  Имя бакета Object Storage, который используется для задач Data Proc.

                                  Monitoring

                                  Поле Описание
                                  name string
                                  Название системы мониторинга.
                                  description string
                                  Описание системы мониторинга.
                                  link string
                                  Ссылка на систему мониторинга.

                                  ClusterConfig

                                  Поле Описание
                                  version_id string
                                  Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации.
                                  hadoop HadoopConfig
                                  Настройки конфигурации, специфические для Data Proc.

                                  HadoopConfig

                                  Поле Описание
                                  services[] enum Service
                                  Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию).
                                    properties map<string,string>
                                    Свойства, установленные для всех хостов в конфигурациях *-site.xml. В ключе должны быть указаны компонент и свойство.
                                    Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml.
                                    ssh_public_keys[] string
                                    Список публичных ключей SSH для доступа к хостам кластера.

                                    Stop

                                    Останавливает указанный кластер.

                                    rpc Stop (StopClusterRequest) returns (operation.Operation)

                                    Метаданные и результат операции:

                                        Operation.metadata:StopClusterMetadata

                                        Operation.response:Cluster

                                    StopClusterRequest

                                    Поле Описание
                                    cluster_id string
                                    Обязательное поле. Идентификатор кластера, который следует остановить.
                                    Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50.

                                    Operation

                                    Поле Описание
                                    id string
                                    Идентификатор операции.
                                    description string
                                    Описание операции. Длина описания должна быть от 0 до 256 символов.
                                    created_at google.protobuf.Timestamp
                                    Время создания ресурса в формате в RFC3339.
                                    created_by string
                                    Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию.
                                    modified_at google.protobuf.Timestamp
                                    Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339.
                                    done bool
                                    Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response.
                                    metadata google.protobuf.Any<StopClusterMetadata>
                                    Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata.
                                    result oneof: error или response
                                    Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error. Если done == true — задано значение ровно одного из полей error или response.
                                      error google.rpc.Status
                                    Описание ошибки в случае сбоя или отмены операции.
                                      response google.protobuf.Any<Cluster>
                                    в случае успешного выполнения операции.

                                    StopClusterMetadata

                                    Поле Описание
                                    cluster_id string
                                    Идентификатор останавливаемого кластера Data Proc.

                                    Cluster

                                    Поле Описание
                                    id string
                                    Идентификатор кластера. Генерируется во время создания.
                                    folder_id string
                                    Идентификатор каталога, которому принадлежит кластер.
                                    created_at google.protobuf.Timestamp
                                    Время создания.
                                    name string
                                    Имя кластера. Имя уникально в рамках каталога. Длина строки в символах должна быть от 1 до 63.
                                    description string
                                    Описание кластера. Длина строки в символах должна быть от 0 до 256.
                                    labels map<string,string>
                                    Метки кластера как пары key:value. Не более 64 на ресурс.
                                    monitoring[] Monitoring
                                    Описание систем мониторинга, относящихся к кластеру.
                                    config ClusterConfig
                                    Конфигурация кластера.
                                    health enum Health
                                    Агрегированная работоспособность кластера.
                                    • HEALTH_UNKNOWN: Состояние кластера неизвестно (Host.health для каждого хоста в кластере — UNKNOWN).
                                    • ALIVE: Кластер работает нормально (Host.health для каждого хоста в кластере — ALIVE).
                                    • DEAD: Кластер не работает (Host.health для каждого хоста в кластере — DEAD).
                                    • DEGRADED: Кластер работает неоптимально (Host.health по крайней мере для одного хоста в кластере не ALIVE).
                                      status enum Status
                                      Состояние кластера.
                                      • STATUS_UNKNOWN: Состояние кластера неизвестно.
                                      • CREATING: Кластер создается.
                                      • RUNNING: Кластер работает нормально.
                                      • ERROR: На кластере произошла ошибка, блокирующая работу.
                                      • STOPPING: Кластер останавливается.
                                      • STOPPED: Кластер остановлен.
                                      • STARTING: Кластер запускается.
                                        zone_id string
                                        Идентификатор зоны доступности, в которой находится кластер.
                                        service_account_id string
                                        Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами.
                                        bucket string
                                        Имя бакета Object Storage, который используется для задач Data Proc.

                                        Monitoring

                                        Поле Описание
                                        name string
                                        Название системы мониторинга.
                                        description string
                                        Описание системы мониторинга.
                                        link string
                                        Ссылка на систему мониторинга.

                                        ClusterConfig

                                        Поле Описание
                                        version_id string
                                        Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации.
                                        hadoop HadoopConfig
                                        Настройки конфигурации, специфические для Data Proc.

                                        HadoopConfig

                                        Поле Описание
                                        services[] enum Service
                                        Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию).
                                          properties map<string,string>
                                          Свойства, установленные для всех хостов в конфигурациях *-site.xml. В ключе должны быть указаны компонент и свойство.
                                          Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml.
                                          ssh_public_keys[] string
                                          Список публичных ключей SSH для доступа к хостам кластера.

                                          ListOperations

                                          Список операций для указанного кластера.

                                          rpc ListOperations (ListClusterOperationsRequest) returns (ListClusterOperationsResponse)

                                          ListClusterOperationsRequest

                                          Поле Описание
                                          cluster_id string
                                          Обязательное поле. Идентификатор кластера, для которого запрашивается список операций. Максимальная длина строки в символах — 50.
                                          page_size int64
                                          Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size, сервис вернет значение ListClusterOperationsResponse.next_page_token, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000.
                                          page_token string
                                          Токен страницы. Установите значение page_token равным значению поля ListClusterOperationsResponse.next_page_token предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100.

                                          ListClusterOperationsResponse

                                          Поле Описание
                                          operations[] operation.Operation
                                          Список операций для указанного кластера.
                                          next_page_token string
                                          Токен для получения следующей страницы списка. Если количество результатов больше чем ListClusterOperationsRequest.page_size, используйте next_page_token в качестве значения параметра ListClusterOperationsRequest.page_token в следующем запросе списка ресурсов.
                                          У каждой последующей страницы будет собственный next_page_token, чтобы можно было продолжать просматривать результаты.

                                          Operation

                                          Поле Описание
                                          id string
                                          Идентификатор операции.
                                          description string
                                          Описание операции. Длина описания должна быть от 0 до 256 символов.
                                          created_at google.protobuf.Timestamp
                                          Время создания ресурса в формате в RFC3339.
                                          created_by string
                                          Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию.
                                          modified_at google.protobuf.Timestamp
                                          Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339.
                                          done bool
                                          Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response.
                                          metadata google.protobuf.Any
                                          Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata.
                                          result oneof: error или response
                                          Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error. Если done == true — задано значение ровно одного из полей error или response.
                                            error google.rpc.Status
                                          Описание ошибки в случае сбоя или отмены операции.
                                            response google.protobuf.Any
                                          Результат операции в случае успешного завершения. Если исходный метод не возвращает никаких данных при успешном завершении, например метод Delete, поле содержит объект google.protobuf.Empty. Если исходный метод — это стандартный метод Create / Update, поле содержит целевой ресурс операции. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля response.

                                          ListHosts

                                          Получает список хостов для указанного кластера.

                                          rpc ListHosts (ListClusterHostsRequest) returns (ListClusterHostsResponse)

                                          ListClusterHostsRequest

                                          Поле Описание
                                          cluster_id string
                                          Идентификатор кластера, для которого запрашивается список хостов.
                                          Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50.
                                          page_size int64
                                          Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size, сервис вернет значение ListClusterHostsResponse.next_page_token, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000.
                                          page_token string
                                          Токен страницы. Установите значение page_token равным значению поля ListClusterHostsResponse.next_page_token предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100.
                                          filter string
                                          1. Имя поля. В настоящее время фильтрация осуществляется только по полю Cluster.name.
                                          2. Оператор. Может быть = или != для отдельных значений, IN или NOT IN для списков значений.
                                          3. Значение. Значение длиной от 3 до 63 символов, совпадающее с регулярным выражением ^[a-z][-a-z0-9]{1,61}[a-z0-9]. Пример фильтра: name=my-host.
                                          Максимальная длина строки в символах — 1000.

                                          ListClusterHostsResponse

                                          Поле Описание
                                          hosts[] Host
                                          Запрошенный список хостов.
                                          next_page_token string
                                          Токен для получения следующей страницы списка. Если количество результатов больше чем ListClusterHostsRequest.page_size, используйте next_page_token в качестве значения параметра ListClusterHostsRequest.page_token в следующем запросе списка ресурсов.
                                          Все последующие запросы будут получать свои значения next_page_token для перебора страниц результатов.

                                          Host

                                          Поле Описание
                                          name string
                                          Имя хоста Data Proc. Data Proc генерирует имя хоста при его создании, после этого имя невозможно изменить. Имя уникально для всех существующих хостов Data Proc в Яндекс.Облаке, так как оно определяет полное доменное имя (FQDN) хоста.
                                          subcluster_id string
                                          Идентификатор подкластера Data Proc, которому принадлежит хост.
                                          health enum Health
                                          Код состояния хоста.
                                          • HEALTH_UNKNOWN: Состояние кластера неизвестно (Host.health для каждого хоста в кластере — UNKNOWN).
                                          • ALIVE: Кластер работает нормально (Host.health для каждого хоста в кластере — ALIVE).
                                          • DEAD: Кластер не работает (Host.health для каждого хоста в кластере — DEAD).
                                          • DEGRADED: Кластер работает неоптимально (Host.health по крайней мере для одного хоста в кластере не ALIVE).
                                            compute_instance_id string
                                            Идентификатор виртуальной машины Cloud Compute, используемой в качестве хоста Data Proc.
                                            role enum Role
                                            Роль хоста в кластере.
                                            • MASTERNODE:
                                              • HDFS: Namenode, Secondary Namenode
                                              • YARN: ResourceManager, Timeline Server
                                              • HBase Master
                                              • Hive: Server, Metastore, HCatalog
                                              • Spark History Server
                                              • Zeppelin
                                              • ZooKeeper
                                            • DATANODE:
                                              • HDFS DataNode
                                              • YARN NodeManager
                                              • HBase RegionServer
                                              • библиотеки Spark
                                            • COMPUTENODE:
                                              • YARN NodeManager
                                              • библиотеки Spark
                                              В этой статье: