Подключиться
Yandex Data Proc

SubclusterService

Набор методов для управления подкластерами Data Proc.

Вызов Описание
Get Возвращает указанный подкластер.
List Получает список подкластеров для указанного кластера.
Create Создает новый подкластер в указанном кластере.
Update Изменяет указанный подкластер.
Delete Удаляет указанный подкластер.

Вызовы SubclusterService

Get

Возвращает указанный подкластер.
Чтобы получить список доступных подкластеров Data Proc, выполните запрос SubclusterService.List.

rpc Get (GetSubclusterRequest) returns (Subcluster)

GetSubclusterRequest

Поле Описание
cluster_id string
Обязательное поле. Идентификатор кластера Data Proc, которому принадлежит подкластер. Максимальная длина строки в символах — 50.
subcluster_id string
Обязательное поле. Идентификатор возвращаемого подкластера.
Чтобы получить идентификатор подкластера, используйте запрос SubclusterService.List. Максимальная длина строки в символах — 50.

Subcluster

Поле Описание
id string
Идентификатор подкластера. Генерируется во время создания.
cluster_id string
Идентификатор кластера Data Proc, которому принадлежит подкластер.
created_at google.protobuf.Timestamp
Время создания.
name string
Имя подкластера. Имя должно быть уникальным в кластере. Длина строки в символах должна быть от 1 до 63.
role enum Role
Роль, которую выполняют хосты подкластера.
  • MASTERNODE:
    • HDFS: Namenode, Secondary Namenode
    • YARN: ResourceManager, Timeline Server
    • HBase Master
    • Hive: Server, Metastore, HCatalog
    • Spark History Server
    • Zeppelin
    • ZooKeeper
  • DATANODE:
    • HDFS DataNode
    • YARN NodeManager
    • HBase RegionServer
    • библиотеки Spark
  • COMPUTENODE:
    • YARN NodeManager
    • библиотеки Spark
    resources Resources
    Ресурсы, выделенные для каждого хоста в подкластере.
    subnet_id string
    Идентификатор подсети VPC, используемой для хостов подкластера.
    hosts_count int64
    Количество хостов в подкластере.

    Resources

    Поле Описание
    resource_preset_id string
    Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.
    disk_type_id string
    • network-hdd — сетевой HDD-диск;
    • network-ssd — сетевой SSD-диск.
    disk_size int64
    Объем хранилища, доступного хосту, в байтах.

    List

    Получает список подкластеров для указанного кластера.

    rpc List (ListSubclustersRequest) returns (ListSubclustersResponse)

    ListSubclustersRequest

    Поле Описание
    cluster_id string
    Обязательное поле. Идентификатор кластера, для которого нужно получить список подкластеров. Максимальная длина строки в символах — 50.
    page_size int64
    Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size, сервис вернет значение ListSubclustersResponse.next_page_token, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000.
    page_token string
    Токен страницы. Установите значение page_token равным значению поля ListSubclustersResponse.next_page_token предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100.
    filter string
    1. Имя поля. В настоящее время фильтрация осуществляется только по полю Subcluster.name.
    2. Оператор. Операторы = или != для одиночных значений, IN или NOT IN для списков значений.
    3. Значение. Значение длиной от 3 до 63 символов, совпадающее с регулярным выражением ^[a-z][-a-z0-9]{1,61}[a-z0-9]. Пример фильтра: name=dataproc123_subcluster456.
    Максимальная длина строки в символах — 1000.

    ListSubclustersResponse

    Поле Описание
    subclusters[] Subcluster
    Список подкластеров для указанного кластера.
    next_page_token string
    Токен для получения следующей страницы списка. Если количество результатов больше чем ListSubclustersRequest.page_size, используйте next_page_token в качестве значения параметра ListSubclustersRequest.page_token в следующем запросе списка ресурсов.
    У каждой последующей страницы будет собственный next_page_token, чтобы можно было продолжать просматривать результаты.

    Subcluster

    Поле Описание
    id string
    Идентификатор подкластера. Генерируется во время создания.
    cluster_id string
    Идентификатор кластера Data Proc, которому принадлежит подкластер.
    created_at google.protobuf.Timestamp
    Время создания.
    name string
    Имя подкластера. Имя должно быть уникальным в кластере. Длина строки в символах должна быть от 1 до 63.
    role enum Role
    Роль, которую выполняют хосты подкластера.
    • MASTERNODE:
      • HDFS: Namenode, Secondary Namenode
      • YARN: ResourceManager, Timeline Server
      • HBase Master
      • Hive: Server, Metastore, HCatalog
      • Spark History Server
      • Zeppelin
      • ZooKeeper
    • DATANODE:
      • HDFS DataNode
      • YARN NodeManager
      • HBase RegionServer
      • библиотеки Spark
    • COMPUTENODE:
      • YARN NodeManager
      • библиотеки Spark
      resources Resources
      Ресурсы, выделенные для каждого хоста в подкластере.
      subnet_id string
      Идентификатор подсети VPC, используемой для хостов подкластера.
      hosts_count int64
      Количество хостов в подкластере.

      Resources

      Поле Описание
      resource_preset_id string
      Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.
      disk_type_id string
      • network-hdd — сетевой HDD-диск;
      • network-ssd — сетевой SSD-диск.
      disk_size int64
      Объем хранилища, доступного хосту, в байтах.

      Create

      Создает новый подкластер в указанном кластере.

      rpc Create (CreateSubclusterRequest) returns (operation.Operation)

      Метаданные и результат операции:

          Operation.metadata:CreateSubclusterMetadata

          Operation.response:Subcluster

      CreateSubclusterRequest

      Поле Описание
      cluster_id string
      Обязательное поле. Идентификатор кластера Data Proc, в котором следует создать подкластер.
      Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50.
      name string
      Имя подкластера. Имя должно быть уникальным в пределах кластера. Имя не может быть изменено после того, как подкластер был создан. Значение должно соответствовать регулярному выражению |[a-z][-a-z0-9]{1,61}[a-z0-9].
      role enum Role
      Обязательное поле. Роль, которую выполняют хосты подкластера.
      • MASTERNODE:
        • HDFS: Namenode, Secondary Namenode
        • YARN: ResourceManager, Timeline Server
        • HBase Master
        • Hive: Server, Metastore, HCatalog
        • Spark History Server
        • Zeppelin
        • ZooKeeper
      • DATANODE:
        • HDFS DataNode
        • YARN NodeManager
        • HBase RegionServer
        • библиотеки Spark
      • COMPUTENODE:
        • YARN NodeManager
        • библиотеки Spark
        resources Resources
        Обязательное поле. Ресурсы, выделенные для каждого хоста в подкластере.
        subnet_id string
        Обязательное поле. Идентификатор подсети VPC, используемой для хостов подкластера. Максимальная длина строки в символах — 50.
        hosts_count int64
        Обязательное поле. Количество хостов в подкластере. Минимальная значение — 1.

        Resources

        Поле Описание
        resource_preset_id string
        Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.
        disk_type_id string
        • network-hdd — сетевой HDD-диск;
        • network-ssd — сетевой SSD-диск.
        disk_size int64
        Объем хранилища, доступного хосту, в байтах.

        Operation

        Поле Описание
        id string
        Идентификатор операции.
        description string
        Описание операции. Длина описания должна быть от 0 до 256 символов.
        created_at google.protobuf.Timestamp
        Время создания ресурса в формате в RFC3339.
        created_by string
        Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию.
        modified_at google.protobuf.Timestamp
        Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339.
        done bool
        Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response.
        metadata google.protobuf.Any<CreateSubclusterMetadata>
        Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata.
        result oneof: error или response
        Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error. Если done == true — задано значение ровно одного из полей error или response.
          error google.rpc.Status
        Описание ошибки в случае сбоя или отмены операции.
          response google.protobuf.Any<Subcluster>
        в случае успешного выполнения операции.

        CreateSubclusterMetadata

        Поле Описание
        cluster_id string
        Идентификатор кластера, в который добавляется подкластер. Максимальная длина строки в символах — 50.
        subcluster_id string
        Идентификатор создаваемого подкластера. Максимальная длина строки в символах — 50.

        Subcluster

        Поле Описание
        id string
        Идентификатор подкластера. Генерируется во время создания.
        cluster_id string
        Идентификатор кластера Data Proc, которому принадлежит подкластер.
        created_at google.protobuf.Timestamp
        Время создания.
        name string
        Имя подкластера. Имя должно быть уникальным в кластере. Длина строки в символах должна быть от 1 до 63.
        role enum Role
        Роль, которую выполняют хосты подкластера.
        • MASTERNODE:
          • HDFS: Namenode, Secondary Namenode
          • YARN: ResourceManager, Timeline Server
          • HBase Master
          • Hive: Server, Metastore, HCatalog
          • Spark History Server
          • Zeppelin
          • ZooKeeper
        • DATANODE:
          • HDFS DataNode
          • YARN NodeManager
          • HBase RegionServer
          • библиотеки Spark
        • COMPUTENODE:
          • YARN NodeManager
          • библиотеки Spark
          resources Resources
          Ресурсы, выделенные для каждого хоста в подкластере.
          subnet_id string
          Идентификатор подсети VPC, используемой для хостов подкластера.
          hosts_count int64
          Количество хостов в подкластере.

          Resources

          Поле Описание
          resource_preset_id string
          Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.
          disk_type_id string
          • network-hdd — сетевой HDD-диск;
          • network-ssd — сетевой SSD-диск.
          disk_size int64
          Объем хранилища, доступного хосту, в байтах.

          Update

          Изменяет указанный подкластер.

          rpc Update (UpdateSubclusterRequest) returns (operation.Operation)

          Метаданные и результат операции:

              Operation.metadata:UpdateSubclusterMetadata

              Operation.response:Subcluster

          UpdateSubclusterRequest

          Поле Описание
          cluster_id string
          Обязательное поле. Идентификатор кластера, в котором следует изменить подкластер.
          Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50.
          subcluster_id string
          Обязательное поле. Идентификатор подкластера, который следует изменить.
          Чтобы получить идентификатор подкластера, используйте запрос SubclusterService.List. Максимальная длина строки в символах — 50.
          update_mask google.protobuf.FieldMask
          Маска, которая указывает, какие атрибуты подкластера должны быть изменены.
          resources Resources
          Новая конфигурация ресурсов, которые должны быть выделены для каждого хоста в подкластере.
          name string
          Новое имя подкластера. Имя должно быть уникальным в пределах кластера. Значение должно соответствовать регулярному выражению |[a-z][-a-z0-9]{1,61}[a-z0-9].
          hosts_count int64
          Обязательное поле. Новое количество хостов в подкластере. Минимальная значение — 1.

          Resources

          Поле Описание
          resource_preset_id string
          Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.
          disk_type_id string
          • network-hdd — сетевой HDD-диск;
          • network-ssd — сетевой SSD-диск.
          disk_size int64
          Объем хранилища, доступного хосту, в байтах.

          Operation

          Поле Описание
          id string
          Идентификатор операции.
          description string
          Описание операции. Длина описания должна быть от 0 до 256 символов.
          created_at google.protobuf.Timestamp
          Время создания ресурса в формате в RFC3339.
          created_by string
          Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию.
          modified_at google.protobuf.Timestamp
          Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339.
          done bool
          Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response.
          metadata google.protobuf.Any<UpdateSubclusterMetadata>
          Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata.
          result oneof: error или response
          Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error. Если done == true — задано значение ровно одного из полей error или response.
            error google.rpc.Status
          Описание ошибки в случае сбоя или отмены операции.
            response google.protobuf.Any<Subcluster>
          в случае успешного выполнения операции.

          UpdateSubclusterMetadata

          Поле Описание
          cluster_id string
          Идентификатор кластера, которому принадлежит изменяемый подкластер. Максимальная длина строки в символах — 50.
          subcluster_id string
          Идентификатор изменяемого подкластера. Максимальная длина строки в символах — 50.

          Subcluster

          Поле Описание
          id string
          Идентификатор подкластера. Генерируется во время создания.
          cluster_id string
          Идентификатор кластера Data Proc, которому принадлежит подкластер.
          created_at google.protobuf.Timestamp
          Время создания.
          name string
          Имя подкластера. Имя должно быть уникальным в кластере. Длина строки в символах должна быть от 1 до 63.
          role enum Role
          Роль, которую выполняют хосты подкластера.
          • MASTERNODE:
            • HDFS: Namenode, Secondary Namenode
            • YARN: ResourceManager, Timeline Server
            • HBase Master
            • Hive: Server, Metastore, HCatalog
            • Spark History Server
            • Zeppelin
            • ZooKeeper
          • DATANODE:
            • HDFS DataNode
            • YARN NodeManager
            • HBase RegionServer
            • библиотеки Spark
          • COMPUTENODE:
            • YARN NodeManager
            • библиотеки Spark
            resources Resources
            Ресурсы, выделенные для каждого хоста в подкластере.
            subnet_id string
            Идентификатор подсети VPC, используемой для хостов подкластера.
            hosts_count int64
            Количество хостов в подкластере.

            Resources

            Поле Описание
            resource_preset_id string
            Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.
            disk_type_id string
            • network-hdd — сетевой HDD-диск;
            • network-ssd — сетевой SSD-диск.
            disk_size int64
            Объем хранилища, доступного хосту, в байтах.

            Delete

            Удаляет указанный подкластер.

            rpc Delete (DeleteSubclusterRequest) returns (operation.Operation)

            Метаданные и результат операции:

                Operation.metadata:DeleteSubclusterMetadata

                Operation.response:google.protobuf.Empty

            DeleteSubclusterRequest

            Поле Описание
            cluster_id string
            Обязательное поле. Идентификатор кластера, из которого следует удалить подкластер.
            Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50.
            subcluster_id string
            Обязательное поле. Идентификатор подкластера, который следует удалить. Максимальная длина строки в символах — 50.

            Operation

            Поле Описание
            id string
            Идентификатор операции.
            description string
            Описание операции. Длина описания должна быть от 0 до 256 символов.
            created_at google.protobuf.Timestamp
            Время создания ресурса в формате в RFC3339.
            created_by string
            Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию.
            modified_at google.protobuf.Timestamp
            Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339.
            done bool
            Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response.
            metadata google.protobuf.Any<DeleteSubclusterMetadata>
            Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata.
            result oneof: error или response
            Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error. Если done == true — задано значение ровно одного из полей error или response.
              error google.rpc.Status
            Описание ошибки в случае сбоя или отмены операции.
              response google.protobuf.Any<google.protobuf.Empty>
            в случае успешного выполнения операции.

            DeleteSubclusterMetadata

            Поле Описание
            cluster_id string
            Идентификатор кластера, которому принадлежит удаляемый подкластер. Максимальная длина строки в символах — 50.
            subcluster_id string
            Идентификатор удаляемого подкластера. Максимальная длина строки в символах — 50.
            В этой статье: