Подключиться
Yandex Data Proc

Метод list

Получает список подкластеров для указанного кластера.

HTTP-запрос

GET https://dataproc.api.cloud.yandex.net/dataproc/v1/clusters/{clusterId}/subclusters

Path-параметры

Параметр Описание
clusterId Обязательное поле. Идентификатор кластера, для которого нужно получить список подкластеров. Максимальная длина строки в символах — 50.

Query-параметры

Параметр Описание
pageSize Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size, сервис вернет значение nextPageToken, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000.
pageToken Токен страницы. Установите значение page_token равным значению поля nextPageToken предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100.
filter Параметры фильтрации подкластеров в ответе. В параметрах фильтрации указываются: 1. Имя поля. В настоящее время фильтрация осуществляется только по полю Subcluster.name. 2. Оператор. Операторы = или != для одиночных значений, IN или NOT IN для списков значений. 3. Значение. Значение длиной от 3 до 63 символов, совпадающее с регулярным выражением ^[a-z][-a-z0-9]{1,61}[a-z0-9]. Пример фильтра: name=dataproc123_subcluster456. Максимальная длина строки в символах — 1000.

Ответ

HTTP Code: 200 - OK

{
  "subclusters": [
    {
      "id": "string",
      "clusterId": "string",
      "createdAt": "string",
      "name": "string",
      "role": "string",
      "resources": {
        "resourcePresetId": "string",
        "diskTypeId": "string",
        "diskSize": "string"
      },
      "subnetId": "string",
      "hostsCount": "string"
    }
  ],
  "nextPageToken": "string"
}
Поле Описание
subclusters[] object

Подкластер Data Proc. Дополнительные сведения о концепции см. в документации.
subclusters[].
id		 string

Идентификатор подкластера. Генерируется во время создания.
subclusters[].
clusterId		 string

Идентификатор кластера Data Proc, которому принадлежит подкластер.
subclusters[].
createdAt		 string (date-time)

Время создания.

Строка в формате RFC3339.
subclusters[].
name		 string

Имя подкластера. Имя должно быть уникальным в кластере.

Длина строки в символах должна быть от 1 до 63.
subclusters[].
role		 string

Роль, которую выполняют хосты подкластера.

  • MASTERNODE: Подкластер выполняет роль мастера.

Мастер может запускать следующие сервисы, в зависимости от запрошенных компонентов:

  • HDFS: Namenode, Secondary Namenode
  • YARN: ResourceManager, Timeline Server
  • HBase Master
  • Hive: Server, Metastore, HCatalog
  • Spark History Server
  • Zeppelin
  • ZooKeeper
  • DATANODE: Подкластер выполняет роль DATANODE в кластере Data Proc.

DATANODE может запускать следующие сервисы, в зависимости от запрошенных компонентов:

  • HDFS DataNode
  • YARN NodeManager
  • HBase RegionServer
  • библиотеки Spark
  • COMPUTENODE: Подкластер выполняет роль COMPUTENODE в кластере Data Proc.

COMPUTENODE может запускать следующие сервисы, в зависимости от запрошенных компонентов:

  • YARN NodeManager
  • библиотеки Spark
subclusters[].
resources		 object

Ресурсы, выделенные для каждого хоста в подкластере.
subclusters[].
resources.
resourcePresetId		 string

Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.
subclusters[].
resources.
diskTypeId		 string

Тип хранилища для хоста. Возможные значения:

  • network-hdd — сетевой HDD-диск;
  • network-ssd — сетевой SSD-диск.
subclusters[].
resources.
diskSize		 string (int64)

Объем хранилища, доступного хосту, в байтах.
subclusters[].
subnetId		 string

Идентификатор подсети VPC, используемой для хостов подкластера.
subclusters[].
hostsCount		 string (int64)

Количество хостов в подкластере.
nextPageToken string

Токен для получения следующей страницы списка. Если количество результатов больше чем pageSize, используйте next_page_token в качестве значения параметра pageToken в следующем запросе списка ресурсов.

У каждой последующей страницы будет собственный next_page_token, чтобы можно было продолжать просматривать результаты.
В этой статье: