ClusterService
Набор методов для управления кластерами Data Proc.
Вызов | Описание |
---|---|
Get | Возвращает указанный кластер Data Proc. |
List | Возвращает список кластеров в указанном каталоге. |
Create | Создает кластер в указанном каталоге. |
Update | Обновляет конфигурацию указанного кластера. |
Delete | Удаляет указанный кластер. |
Start | Запускает указанный кластер. |
Stop | Останавливает указанный кластер. |
ListOperations | Список операций для указанного кластера. |
ListHosts | Получает список хостов для указанного кластера. |
Вызовы ClusterService
Get
Возвращает указанный кластер Data Proc.
Чтобы получить список доступных кластеров Data Proc, выполните запрос ClusterService.List.
rpc Get (GetClusterRequest) returns (Cluster)
GetClusterRequest
Поле | Описание |
---|---|
cluster_id | string Обязательное поле. Идентификатор кластера Data Proc. Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50. |
Cluster
Поле | Описание |
---|---|
id | string Идентификатор кластера. Генерируется во время создания. |
folder_id | string Идентификатор каталога, которому принадлежит кластер. |
created_at | google.protobuf.Timestamp Время создания. |
name | string Имя кластера. Имя уникально в рамках каталога. Длина строки в символах должна быть от 1 до 63. |
description | string Описание кластера. Длина строки в символах должна быть от 0 до 256. |
labels | map<string,string> Метки кластера как пары key:value . Не более 64 на ресурс. |
monitoring[] | Monitoring Описание систем мониторинга, относящихся к кластеру. |
config | ClusterConfig Конфигурация кластера. |
health | enum Health Агрегированная работоспособность кластера.
|
status | enum Status Состояние кластера.
|
zone_id | string Идентификатор зоны доступности, в которой находится кластер. |
service_account_id | string Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами. |
bucket | string Имя бакета Object Storage, который используется для задач Data Proc. |
Monitoring
Поле | Описание |
---|---|
name | string Название системы мониторинга. |
description | string Описание системы мониторинга. |
link | string Ссылка на систему мониторинга. |
ClusterConfig
Поле | Описание |
---|---|
version_id | string Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации. |
hadoop | HadoopConfig Настройки конфигурации, специфические для Data Proc. |
HadoopConfig
Поле | Описание |
---|---|
services[] | enum Service Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию). |
properties | map<string,string> Свойства, установленные для всех хостов в конфигурациях *-site.xml . В ключе должны быть указаны компонент и свойство. Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml . |
ssh_public_keys[] | string Список публичных ключей SSH для доступа к хостам кластера. |
List
Возвращает список кластеров в указанном каталоге.
rpc List (ListClustersRequest) returns (ListClustersResponse)
ListClustersRequest
Поле | Описание |
---|---|
folder_id | string Обязательное поле. Идентификатор каталога, для которого нужно получить список кластеров. Чтобы получить идентификатор каталога, используйте запрос yandex.cloud.resourcemanager.v1.FolderService.List. Максимальная длина строки в символах — 50. |
page_size | int64 Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size , сервис вернет значение ListClustersResponse.next_page_token, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000. |
page_token | string Токен страницы. Установите значение page_token равным значению поля ListClustersResponse.next_page_token предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100. |
filter | string
|
ListClustersResponse
Поле | Описание |
---|---|
clusters[] | Cluster Возвращает список кластеров в указанном каталоге. |
next_page_token | string Токен для получения следующей страницы списка. Если количество результатов больше чем ListClustersRequest.page_size, используйте next_page_token в качестве значения параметра ListClustersRequest.page_token в следующем запросе списка ресурсов. У каждой последующей страницы будет собственный next_page_token , чтобы можно было продолжать просматривать результаты. |
Cluster
Поле | Описание |
---|---|
id | string Идентификатор кластера. Генерируется во время создания. |
folder_id | string Идентификатор каталога, которому принадлежит кластер. |
created_at | google.protobuf.Timestamp Время создания. |
name | string Имя кластера. Имя уникально в рамках каталога. Длина строки в символах должна быть от 1 до 63. |
description | string Описание кластера. Длина строки в символах должна быть от 0 до 256. |
labels | map<string,string> Метки кластера как пары key:value . Не более 64 на ресурс. |
monitoring[] | Monitoring Описание систем мониторинга, относящихся к кластеру. |
config | ClusterConfig Конфигурация кластера. |
health | enum Health Агрегированная работоспособность кластера.
|
status | enum Status Состояние кластера.
|
zone_id | string Идентификатор зоны доступности, в которой находится кластер. |
service_account_id | string Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами. |
bucket | string Имя бакета Object Storage, который используется для задач Data Proc. |
Monitoring
Поле | Описание |
---|---|
name | string Название системы мониторинга. |
description | string Описание системы мониторинга. |
link | string Ссылка на систему мониторинга. |
ClusterConfig
Поле | Описание |
---|---|
version_id | string Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации. |
hadoop | HadoopConfig Настройки конфигурации, специфические для Data Proc. |
HadoopConfig
Поле | Описание |
---|---|
services[] | enum Service Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию). |
properties | map<string,string> Свойства, установленные для всех хостов в конфигурациях *-site.xml . В ключе должны быть указаны компонент и свойство. Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml . |
ssh_public_keys[] | string Список публичных ключей SSH для доступа к хостам кластера. |
Create
Создает кластер в указанном каталоге.
rpc Create (CreateClusterRequest) returns (operation.Operation)
Метаданные и результат операции:
Operation.metadata:CreateClusterMetadata
Operation.response:Cluster
CreateClusterRequest
Поле | Описание |
---|---|
folder_id | string Обязательное поле. Идентификатор каталога, в котором нужно создать кластер. Чтобы получить идентификатор каталога, используйте запрос yandex.cloud.resourcemanager.v1.FolderService.List. Максимальная длина строки в символах — 50. |
name | string Имя кластера. Имя должно быть уникальным в рамках каталога. Имя не может быть изменено после того, как кластер Data Proc был создан. Значение должно соответствовать регулярному выражению |[a-z][-a-z0-9]{1,61}[a-z0-9] . |
description | string Описание кластера. Максимальная длина строки в символах — 256. |
labels | map<string,string> Метки кластера как пары ключ: значение . Не более 64 на ресурс. Максимальная длина строки в символах для каждого значения — 63. Каждое значение должно соответствовать регулярному выражению [-_0-9a-z]* . Длина строки в символах для каждого ключа должна быть от 1 до 63. Каждый ключ должен соответствовать регулярному выражению [a-z][-_0-9a-z]* . |
config_spec | CreateClusterConfigSpec Обязательное поле. Конфигурация и ресурсы хостов, которые должны быть созданы для кластера Data Proc. |
zone_id | string Обязательное поле. Идентификатор зоны доступности, в которой должен быть размещен кластер. Чтобы получить список доступных зон, отправьте запрос yandex.cloud.compute.v1.ZoneService.List. Максимальная длина строки в символах — 50. |
service_account_id | string Обязательное поле. Идентификатор сервисного аккаунта, которым должен пользоваться агент Data Proc для управления задачами. |
bucket | string Имя бакета Object Storage, который следует использовать для задач Data Proc. |
CreateClusterConfigSpec
Поле | Описание |
---|---|
version_id | string Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации. |
hadoop | HadoopConfig Настройки, специфические для Data Proc. |
subclusters_spec[] | CreateSubclusterConfigSpec Спецификация создания подкластеров. |
HadoopConfig
Поле | Описание |
---|---|
services[] | enum Service Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию). |
properties | map<string,string> Свойства, установленные для всех хостов в конфигурациях *-site.xml . В ключе должны быть указаны компонент и свойство. Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml . |
ssh_public_keys[] | string Список публичных ключей SSH для доступа к хостам кластера. |
CreateSubclusterConfigSpec
Поле | Описание |
---|---|
name | string Имя подкластера. Значение должно соответствовать регулярному выражению |[a-z][-a-z0-9]{1,61}[a-z0-9] . |
role | enum Role Обязательное поле. Роль подкластера в кластере Data Proc.
|
resources | Resources Обязательное поле. Конфигурация ресурсов для хостов в подкластере. |
subnet_id | string Обязательное поле. Идентификатор подсети VPC, используемой для хостов подкластера. Максимальная длина строки в символах — 50. |
hosts_count | int64 Обязательное поле. Количество хостов в подкластере. Минимальная значение — 1. |
Resources
Поле | Описание |
---|---|
resource_preset_id | string Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации. |
disk_type_id | string
|
disk_size | int64 Объем хранилища, доступного хосту, в байтах. |
Operation
Поле | Описание |
---|---|
id | string Идентификатор операции. |
description | string Описание операции. Длина описания должна быть от 0 до 256 символов. |
created_at | google.protobuf.Timestamp Время создания ресурса в формате в RFC3339. |
created_by | string Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию. |
modified_at | google.protobuf.Timestamp Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339. |
done | bool Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response . |
metadata | google.protobuf.Any<CreateClusterMetadata> Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata . |
result | oneof: error или response Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error . Если done == true — задано значение ровно одного из полей error или response . |
error | google.rpc.Status Описание ошибки в случае сбоя или отмены операции. |
response | google.protobuf.Any<Cluster> в случае успешного выполнения операции. |
CreateClusterMetadata
Поле | Описание |
---|---|
cluster_id | string Идентификатор создаваемого кластера. |
Cluster
Поле | Описание |
---|---|
id | string Идентификатор кластера. Генерируется во время создания. |
folder_id | string Идентификатор каталога, которому принадлежит кластер. |
created_at | google.protobuf.Timestamp Время создания. |
name | string Имя кластера. Имя уникально в рамках каталога. Длина строки в символах должна быть от 1 до 63. |
description | string Описание кластера. Длина строки в символах должна быть от 0 до 256. |
labels | map<string,string> Метки кластера как пары key:value . Не более 64 на ресурс. |
monitoring[] | Monitoring Описание систем мониторинга, относящихся к кластеру. |
config | ClusterConfig Конфигурация кластера. |
health | enum Health Агрегированная работоспособность кластера.
|
status | enum Status Состояние кластера.
|
zone_id | string Идентификатор зоны доступности, в которой находится кластер. |
service_account_id | string Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами. |
bucket | string Имя бакета Object Storage, который используется для задач Data Proc. |
Monitoring
Поле | Описание |
---|---|
name | string Название системы мониторинга. |
description | string Описание системы мониторинга. |
link | string Ссылка на систему мониторинга. |
ClusterConfig
Поле | Описание |
---|---|
version_id | string Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации. |
hadoop | HadoopConfig Настройки конфигурации, специфические для Data Proc. |
HadoopConfig
Поле | Описание |
---|---|
services[] | enum Service Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию). |
properties | map<string,string> Свойства, установленные для всех хостов в конфигурациях *-site.xml . В ключе должны быть указаны компонент и свойство. Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml . |
ssh_public_keys[] | string Список публичных ключей SSH для доступа к хостам кластера. |
Update
Обновляет конфигурацию указанного кластера.
rpc Update (UpdateClusterRequest) returns (operation.Operation)
Метаданные и результат операции:
Operation.metadata:UpdateClusterMetadata
Operation.response:Cluster
UpdateClusterRequest
Поле | Описание |
---|---|
cluster_id | string Идентификатор кластера, который следует изменить. Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50. |
update_mask | google.protobuf.FieldMask Маска поля, которая указывает, какие атрибуты кластера должны быть изменены. |
description | string Новое описание кластера. Максимальная длина строки в символах — 256. |
labels | map<string,string> Новый набор меток кластера в виде пар ключ: значение . Не более 64 на ресурс. Максимальная длина строки в символах для каждого значения — 63. Каждое значение должно соответствовать регулярному выражению [-_0-9a-z]* . Длина строки в символах для каждого ключа должна быть от 1 до 63. Каждый ключ должен соответствовать регулярному выражению [a-z][-_0-9a-z]* . |
config_spec | UpdateClusterConfigSpec Конфигурация и ресурсы хостов, которые должны быть созданы для кластера Data Proc. |
name | string Новое имя кластера Data Proc. Имя должно быть уникальным в рамках каталога. Значение должно соответствовать регулярному выражению |[a-z][-a-z0-9]{1,61}[a-z0-9] . |
service_account_id | string Идентификатор сервисного аккаунта, которым должен пользоваться агент Data Proc для управления задачами. |
bucket | string Имя нового бакета Object Storage, который следует использовать для задач Data Proc. |
UpdateClusterConfigSpec
Поле | Описание |
---|---|
subclusters_spec[] | UpdateSubclusterConfigSpec Новая конфигурация для подкластеров в кластере. |
UpdateSubclusterConfigSpec
Поле | Описание |
---|---|
id | string Идентификатор подкластера, который следует изменить. Чтобы получить идентификатор подкластера, используйте запрос SubclusterService.List. |
name | string Имя подкластера. Значение должно соответствовать регулярному выражению |[a-z][-a-z0-9]{1,61}[a-z0-9] . |
resources | Resources Конфигурация ресурсов для каждого хоста в подкластере. |
hosts_count | int64 Количество хостов в подкластере. Минимальная значение — 1. |
Resources
Поле | Описание |
---|---|
resource_preset_id | string Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации. |
disk_type_id | string
|
disk_size | int64 Объем хранилища, доступного хосту, в байтах. |
Operation
Поле | Описание |
---|---|
id | string Идентификатор операции. |
description | string Описание операции. Длина описания должна быть от 0 до 256 символов. |
created_at | google.protobuf.Timestamp Время создания ресурса в формате в RFC3339. |
created_by | string Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию. |
modified_at | google.protobuf.Timestamp Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339. |
done | bool Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response . |
metadata | google.protobuf.Any<UpdateClusterMetadata> Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata . |
result | oneof: error или response Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error . Если done == true — задано значение ровно одного из полей error или response . |
error | google.rpc.Status Описание ошибки в случае сбоя или отмены операции. |
response | google.protobuf.Any<Cluster> в случае успешного выполнения операции. |
UpdateClusterMetadata
Поле | Описание |
---|---|
cluster_id | string Идентификатор кластера, который изменяется. |
Cluster
Поле | Описание |
---|---|
id | string Идентификатор кластера. Генерируется во время создания. |
folder_id | string Идентификатор каталога, которому принадлежит кластер. |
created_at | google.protobuf.Timestamp Время создания. |
name | string Имя кластера. Имя уникально в рамках каталога. Длина строки в символах должна быть от 1 до 63. |
description | string Описание кластера. Длина строки в символах должна быть от 0 до 256. |
labels | map<string,string> Метки кластера как пары key:value . Не более 64 на ресурс. |
monitoring[] | Monitoring Описание систем мониторинга, относящихся к кластеру. |
config | ClusterConfig Конфигурация кластера. |
health | enum Health Агрегированная работоспособность кластера.
|
status | enum Status Состояние кластера.
|
zone_id | string Идентификатор зоны доступности, в которой находится кластер. |
service_account_id | string Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами. |
bucket | string Имя бакета Object Storage, который используется для задач Data Proc. |
Monitoring
Поле | Описание |
---|---|
name | string Название системы мониторинга. |
description | string Описание системы мониторинга. |
link | string Ссылка на систему мониторинга. |
ClusterConfig
Поле | Описание |
---|---|
version_id | string Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации. |
hadoop | HadoopConfig Настройки конфигурации, специфические для Data Proc. |
HadoopConfig
Поле | Описание |
---|---|
services[] | enum Service Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию). |
properties | map<string,string> Свойства, установленные для всех хостов в конфигурациях *-site.xml . В ключе должны быть указаны компонент и свойство. Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml . |
ssh_public_keys[] | string Список публичных ключей SSH для доступа к хостам кластера. |
Delete
Удаляет указанный кластер.
rpc Delete (DeleteClusterRequest) returns (operation.Operation)
Метаданные и результат операции:
Operation.metadata:DeleteClusterMetadata
Operation.response:google.protobuf.Empty
DeleteClusterRequest
Поле | Описание |
---|---|
cluster_id | string Обязательное поле. Идентификатор удаляемого кластера. Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50. |
Operation
Поле | Описание |
---|---|
id | string Идентификатор операции. |
description | string Описание операции. Длина описания должна быть от 0 до 256 символов. |
created_at | google.protobuf.Timestamp Время создания ресурса в формате в RFC3339. |
created_by | string Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию. |
modified_at | google.protobuf.Timestamp Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339. |
done | bool Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response . |
metadata | google.protobuf.Any<DeleteClusterMetadata> Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata . |
result | oneof: error или response Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error . Если done == true — задано значение ровно одного из полей error или response . |
error | google.rpc.Status Описание ошибки в случае сбоя или отмены операции. |
response | google.protobuf.Any<google.protobuf.Empty> в случае успешного выполнения операции. |
DeleteClusterMetadata
Поле | Описание |
---|---|
cluster_id | string Идентификатор удаляемого кластера Data Proc. |
Start
Запускает указанный кластер.
rpc Start (StartClusterRequest) returns (operation.Operation)
Метаданные и результат операции:
Operation.metadata:StartClusterMetadata
Operation.response:Cluster
StartClusterRequest
Поле | Описание |
---|---|
cluster_id | string Обязательное поле. Идентификатор кластера, который следует запустить. Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50. |
Operation
Поле | Описание |
---|---|
id | string Идентификатор операции. |
description | string Описание операции. Длина описания должна быть от 0 до 256 символов. |
created_at | google.protobuf.Timestamp Время создания ресурса в формате в RFC3339. |
created_by | string Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию. |
modified_at | google.protobuf.Timestamp Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339. |
done | bool Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response . |
metadata | google.protobuf.Any<StartClusterMetadata> Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata . |
result | oneof: error или response Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error . Если done == true — задано значение ровно одного из полей error или response . |
error | google.rpc.Status Описание ошибки в случае сбоя или отмены операции. |
response | google.protobuf.Any<Cluster> в случае успешного выполнения операции. |
StartClusterMetadata
Поле | Описание |
---|---|
cluster_id | string Идентификатор запускаемого кластера Data Proc. |
Cluster
Поле | Описание |
---|---|
id | string Идентификатор кластера. Генерируется во время создания. |
folder_id | string Идентификатор каталога, которому принадлежит кластер. |
created_at | google.protobuf.Timestamp Время создания. |
name | string Имя кластера. Имя уникально в рамках каталога. Длина строки в символах должна быть от 1 до 63. |
description | string Описание кластера. Длина строки в символах должна быть от 0 до 256. |
labels | map<string,string> Метки кластера как пары key:value . Не более 64 на ресурс. |
monitoring[] | Monitoring Описание систем мониторинга, относящихся к кластеру. |
config | ClusterConfig Конфигурация кластера. |
health | enum Health Агрегированная работоспособность кластера.
|
status | enum Status Состояние кластера.
|
zone_id | string Идентификатор зоны доступности, в которой находится кластер. |
service_account_id | string Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами. |
bucket | string Имя бакета Object Storage, который используется для задач Data Proc. |
Monitoring
Поле | Описание |
---|---|
name | string Название системы мониторинга. |
description | string Описание системы мониторинга. |
link | string Ссылка на систему мониторинга. |
ClusterConfig
Поле | Описание |
---|---|
version_id | string Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации. |
hadoop | HadoopConfig Настройки конфигурации, специфические для Data Proc. |
HadoopConfig
Поле | Описание |
---|---|
services[] | enum Service Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию). |
properties | map<string,string> Свойства, установленные для всех хостов в конфигурациях *-site.xml . В ключе должны быть указаны компонент и свойство. Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml . |
ssh_public_keys[] | string Список публичных ключей SSH для доступа к хостам кластера. |
Stop
Останавливает указанный кластер.
rpc Stop (StopClusterRequest) returns (operation.Operation)
Метаданные и результат операции:
Operation.metadata:StopClusterMetadata
Operation.response:Cluster
StopClusterRequest
Поле | Описание |
---|---|
cluster_id | string Обязательное поле. Идентификатор кластера, который следует остановить. Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50. |
Operation
Поле | Описание |
---|---|
id | string Идентификатор операции. |
description | string Описание операции. Длина описания должна быть от 0 до 256 символов. |
created_at | google.protobuf.Timestamp Время создания ресурса в формате в RFC3339. |
created_by | string Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию. |
modified_at | google.protobuf.Timestamp Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339. |
done | bool Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response . |
metadata | google.protobuf.Any<StopClusterMetadata> Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata . |
result | oneof: error или response Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error . Если done == true — задано значение ровно одного из полей error или response . |
error | google.rpc.Status Описание ошибки в случае сбоя или отмены операции. |
response | google.protobuf.Any<Cluster> в случае успешного выполнения операции. |
StopClusterMetadata
Поле | Описание |
---|---|
cluster_id | string Идентификатор останавливаемого кластера Data Proc. |
Cluster
Поле | Описание |
---|---|
id | string Идентификатор кластера. Генерируется во время создания. |
folder_id | string Идентификатор каталога, которому принадлежит кластер. |
created_at | google.protobuf.Timestamp Время создания. |
name | string Имя кластера. Имя уникально в рамках каталога. Длина строки в символах должна быть от 1 до 63. |
description | string Описание кластера. Длина строки в символах должна быть от 0 до 256. |
labels | map<string,string> Метки кластера как пары key:value . Не более 64 на ресурс. |
monitoring[] | Monitoring Описание систем мониторинга, относящихся к кластеру. |
config | ClusterConfig Конфигурация кластера. |
health | enum Health Агрегированная работоспособность кластера.
|
status | enum Status Состояние кластера.
|
zone_id | string Идентификатор зоны доступности, в которой находится кластер. |
service_account_id | string Идентификатор сервисного аккаунта, которым пользуется агент Data Proc для управления задачами. |
bucket | string Имя бакета Object Storage, который используется для задач Data Proc. |
Monitoring
Поле | Описание |
---|---|
name | string Название системы мониторинга. |
description | string Описание системы мониторинга. |
link | string Ссылка на систему мониторинга. |
ClusterConfig
Поле | Описание |
---|---|
version_id | string Версия образа, которая используется при подготовке кластера. Все доступные версии перечислены в документации. |
hadoop | HadoopConfig Настройки конфигурации, специфические для Data Proc. |
HadoopConfig
Поле | Описание |
---|---|
services[] | enum Service Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию). |
properties | map<string,string> Свойства, установленные для всех хостов в конфигурациях *-site.xml . В ключе должны быть указаны компонент и свойство. Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml . |
ssh_public_keys[] | string Список публичных ключей SSH для доступа к хостам кластера. |
ListOperations
Список операций для указанного кластера.
rpc ListOperations (ListClusterOperationsRequest) returns (ListClusterOperationsResponse)
ListClusterOperationsRequest
Поле | Описание |
---|---|
cluster_id | string Обязательное поле. Идентификатор кластера, для которого запрашивается список операций. Максимальная длина строки в символах — 50. |
page_size | int64 Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size , сервис вернет значение ListClusterOperationsResponse.next_page_token, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000. |
page_token | string Токен страницы. Установите значение page_token равным значению поля ListClusterOperationsResponse.next_page_token предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100. |
ListClusterOperationsResponse
Поле | Описание |
---|---|
operations[] | operation.Operation Список операций для указанного кластера. |
next_page_token | string Токен для получения следующей страницы списка. Если количество результатов больше чем ListClusterOperationsRequest.page_size, используйте next_page_token в качестве значения параметра ListClusterOperationsRequest.page_token в следующем запросе списка ресурсов. У каждой последующей страницы будет собственный next_page_token , чтобы можно было продолжать просматривать результаты. |
Operation
Поле | Описание |
---|---|
id | string Идентификатор операции. |
description | string Описание операции. Длина описания должна быть от 0 до 256 символов. |
created_at | google.protobuf.Timestamp Время создания ресурса в формате в RFC3339. |
created_by | string Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию. |
modified_at | google.protobuf.Timestamp Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339. |
done | bool Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response . |
metadata | google.protobuf.Any Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata . |
result | oneof: error или response Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error . Если done == true — задано значение ровно одного из полей error или response . |
error | google.rpc.Status Описание ошибки в случае сбоя или отмены операции. |
response | google.protobuf.Any Результат операции в случае успешного завершения. Если исходный метод не возвращает никаких данных при успешном завершении, например метод Delete, поле содержит объект google.protobuf.Empty. Если исходный метод — это стандартный метод Create / Update, поле содержит целевой ресурс операции. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля response . |
ListHosts
Получает список хостов для указанного кластера.
rpc ListHosts (ListClusterHostsRequest) returns (ListClusterHostsResponse)
ListClusterHostsRequest
Поле | Описание |
---|---|
cluster_id | string Идентификатор кластера, для которого запрашивается список хостов. Чтобы получить идентификатор кластера, выполните запрос ClusterService.List. Максимальная длина строки в символах — 50. |
page_size | int64 Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size , сервис вернет значение ListClusterHostsResponse.next_page_token, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000. |
page_token | string Токен страницы. Установите значение page_token равным значению поля ListClusterHostsResponse.next_page_token предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100. |
filter | string
|
ListClusterHostsResponse
Поле | Описание |
---|---|
hosts[] | Host Запрошенный список хостов. |
next_page_token | string Токен для получения следующей страницы списка. Если количество результатов больше чем ListClusterHostsRequest.page_size, используйте next_page_token в качестве значения параметра ListClusterHostsRequest.page_token в следующем запросе списка ресурсов. Все последующие запросы будут получать свои значения next_page_token для перебора страниц результатов. |
Host
Поле | Описание |
---|---|
name | string Имя хоста Data Proc. Data Proc генерирует имя хоста при его создании, после этого имя невозможно изменить. Имя уникально для всех существующих хостов Data Proc в Яндекс.Облаке, так как оно определяет полное доменное имя (FQDN) хоста. |
subcluster_id | string Идентификатор подкластера Data Proc, которому принадлежит хост. |
health | enum Health Код состояния хоста.
|
compute_instance_id | string Идентификатор виртуальной машины Cloud Compute, используемой в качестве хоста Data Proc. |
role | enum Role Роль хоста в кластере.
|