Подключиться
Yandex Data Proc

Метод list

Возвращает список кластеров в указанном каталоге.

HTTP-запрос

GET https://dataproc.api.cloud.yandex.net/dataproc/v1/clusters

Query-параметры

Параметр Описание
folderId Обязательное поле. Идентификатор каталога, для которого нужно получить список кластеров. Чтобы получить идентификатор каталога, используйте запрос list. Максимальная длина строки в символах — 50.
pageSize Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size, сервис вернет значение nextPageToken, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000.
pageToken Токен страницы. Установите значение page_token равным значению поля nextPageToken предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100.
filter Параметры фильтрации кластеров в ответе. В параметрах фильтрации указываются: 1. Имя поля. В настоящее время фильтрация осуществляется только по полю Cluster.name. 2. Оператор. Операторы = или != для одиночных значений, IN или NOT IN для списков значений. 3. Значение. Значение длиной от 3 до 63 символов, совпадающее с регулярным выражением ^[a-z][-a-z0-9]{1,61}[a-z0-9]. Пример фильтра: name=my-cluster. Максимальная длина строки в символах — 1000.

Ответ

HTTP Code: 200 - OK

{
  "clusters": [
    {
      "id": "string",
      "folderId": "string",
      "createdAt": "string",
      "name": "string",
      "description": "string",
      "labels": "object",
      "monitoring": [
        {
          "name": "string",
          "description": "string",
          "link": "string"
        }
      ],
      "config": {
        "versionId": "string",
        "hadoop": {
          "services": [
            "string"
          ],
          "properties": "object",
          "sshPublicKeys": [
            "string"
          ]
        }
      },
      "health": "string",
      "status": "string",
      "zoneId": "string",
      "serviceAccountId": "string",
      "bucket": "string"
    }
  ],
  "nextPageToken": "string"
}
Поле Описание
clusters[] object

Кластер Data Proc. Дополнительные сведения о концепции см. в документации.
clusters[].
id		 string

Идентификатор кластера. Генерируется во время создания.
clusters[].
folderId		 string

Идентификатор каталога, которому принадлежит кластер.
clusters[].
createdAt		 string (date-time)

Время создания.

Строка в формате RFC3339.
clusters[].
name		 string

Имя кластера. Имя уникально в рамках каталога.

Длина строки в символах должна быть от 1 до 63.
clusters[].
description		 string

Описание кластера.

Длина строки в символах должна быть от 0 до 256.
clusters[].
labels		 object

Метки кластера как пары key:value.

Не более 64 на ресурс.
clusters[].
monitoring[]		 object

Метаданные системы мониторинга для кластера Data Proc.
clusters[].
monitoring[].
name		 string

Название системы мониторинга.
clusters[].
monitoring[].
description		 string

Описание системы мониторинга.
clusters[].
monitoring[].
link		 string

Ссылка на систему мониторинга.
clusters[].
config		 object

Конфигурация кластера.
clusters[].
config.
versionId		 string

Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации.
clusters[].
config.
hadoop		 object

Настройки конфигурации, специфические для Data Proc.

Конфигурация Hadoop, описывающая компоненты, установленные в кластере, их свойства и параметры.
clusters[].
config.
hadoop.
services[]		 string

Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию).
clusters[].
config.
hadoop.
properties		 object

Свойства, установленные для всех хостов в конфигурациях *-site.xml. В ключе должны быть указаны компонент и свойство.

Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml.
clusters[].
config.
hadoop.
sshPublicKeys[]		 string

Список публичных ключей SSH для доступа к хостам кластера.
clusters[].
health		 string

Агрегированная работоспособность кластера.

  • HEALTH_UNKNOWN: Состояние кластера неизвестно (health для каждого хоста в кластере — UNKNOWN).
  • ALIVE: Кластер работает нормально (health для каждого хоста в кластере — ALIVE).
  • DEAD: Кластер не работает (health для каждого хоста в кластере — DEAD).
  • DEGRADED: Кластер работает неоптимально (health по крайней мере для одного хоста в кластере не ALIVE).
clusters[].
status		 string

Состояние кластера.

  • STATUS_UNKNOWN: Состояние кластера неизвестно.
  • CREATING: Кластер создается.
  • RUNNING: Кластер работает нормально.
  • ERROR: На кластере произошла ошибка, блокирующая работу.
  • STOPPING: Кластер останавливается.
  • STOPPED: Кластер остановлен.
  • STARTING: Кластер запускается.
clusters[].
zoneId		 string

Идентификатор зоны доступности, в которой находится кластер.
clusters[].
serviceAccountId		 string

Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами.
clusters[].
bucket		 string

Имя бакета Object Storage, который используется для задач Data Proc.
nextPageToken string

Токен для получения следующей страницы списка. Если количество результатов больше чем pageSize, используйте next_page_token в качестве значения параметра pageToken в следующем запросе списка ресурсов.

У каждой последующей страницы будет собственный next_page_token, чтобы можно было продолжать просматривать результаты.
В этой статье: