Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Data Proc
  • Сценарии использования
    • Настройка сети для кластеров Data Proc
    • Использование Apache Hive
    • Запуск Spark-приложений
    • Запуск приложений с удаленного хоста
    • Копирование файлов из Yandex Object Storage
  • Пошаговые инструкции
    • Все инструкции
    • Создание кластера
    • Подключение к кластеру
    • Изменение подкластера
    • Управление подкластерами
    • Удаление кластера
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Версии Hadoop и компонентов
    • Интерфейсы и порты компонентов
    • Веб-интерфейсы компонентов
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Квоты и лимиты
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • start
        • stop
        • update
      • Job
        • Обзор
        • create
        • get
        • list
      • ResourcePreset
        • Обзор
        • get
        • list
      • Subcluster
        • Обзор
        • create
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Справочник API
  2. REST
  3. Cluster
  4. create

Метод create

  • HTTP-запрос
  • Параметры в теле запроса
  • Ответ

Создает кластер в указанном каталоге.

HTTP-запрос

POST https://dataproc.api.cloud.yandex.net/dataproc/v1/clusters

Параметры в теле запроса

{
  "folderId": "string",
  "name": "string",
  "description": "string",
  "labels": "object",
  "configSpec": {
    "versionId": "string",
    "hadoop": {
      "services": [
        "string"
      ],
      "properties": "object",
      "sshPublicKeys": [
        "string"
      ]
    },
    "subclustersSpec": [
      {
        "name": "string",
        "role": "string",
        "resources": {
          "resourcePresetId": "string",
          "diskTypeId": "string",
          "diskSize": "string"
        },
        "subnetId": "string",
        "hostsCount": "string"
      }
    ]
  },
  "zoneId": "string",
  "serviceAccountId": "string",
  "bucket": "string"
}
Поле Описание
folderId string

Обязательное поле. Идентификатор каталога, в котором нужно создать кластер.

Чтобы получить идентификатор каталога, используйте запрос list.

Максимальная длина строки в символах — 50.

name string

Имя кластера. Имя должно быть уникальным в рамках каталога. Имя не может быть изменено после того, как кластер Data Proc был создан.

Значение должно соответствовать регулярному выражению \|[a-z][-a-z0-9]{1,61}[a-z0-9].

description string

Описание кластера.

Максимальная длина строки в символах — 256.

labels object

Метки кластера как пары ключ: значение.

Не более 64 на ресурс. Длина строки в символах для каждого ключа должна быть от 1 до 63. Каждый ключ должен соответствовать регулярному выражению [a-z][-_0-9a-z]*. Максимальная длина строки в символах для каждого значения — 63. Каждое значение должно соответствовать регулярному выражению [-_0-9a-z]*.

configSpec object

Обязательное поле. Конфигурация и ресурсы хостов, которые должны быть созданы для кластера Data Proc.

configSpec.
versionId
string

Версия образа, которая используется при подготовке кластера.

Все доступные версии перечислены в документации.

configSpec.
hadoop
object

Настройки, специфические для Data Proc.

Конфигурация Hadoop, описывающая компоненты, установленные в кластере, их свойства и параметры.

configSpec.
hadoop.
services[]
string

Набор компонентов, используемых в кластере (если список пуст, используется набор по умолчанию).

configSpec.
hadoop.
properties
object

Свойства, установленные для всех хостов в конфигурациях *-site.xml. В ключе должны быть указаны компонент и свойство.

Например, используйте ключ 'hdfs:dfs.replication', чтобы установить свойство dfs.replication в файле /etc/hadoop/conf/hdfs-site.xml.

configSpec.
hadoop.
sshPublicKeys[]
string

Список публичных ключей SSH для доступа к хостам кластера.

configSpec.
subclustersSpec[]
object

Спецификация создания подкластеров.

configSpec.
subclustersSpec[].
name
string

Имя подкластера.

Значение должно соответствовать регулярному выражению \|[a-z][-a-z0-9]{1,61}[a-z0-9].

configSpec.
subclustersSpec[].
role
string

Обязательное поле. Роль подкластера в кластере Data Proc.

  • MASTERNODE: Подкластер выполняет роль мастера.

Мастер может запускать следующие сервисы, в зависимости от запрошенных компонентов:

  • HDFS: Namenode, Secondary Namenode
  • YARN: ResourceManager, Timeline Server
  • HBase Master
  • Hive: Server, Metastore, HCatalog
  • Spark History Server
  • Zeppelin
  • ZooKeeper
  • DATANODE: Подкластер выполняет роль DATANODE в кластере Data Proc.

DATANODE может запускать следующие сервисы, в зависимости от запрошенных компонентов:

  • HDFS DataNode
  • YARN NodeManager
  • HBase RegionServer
  • библиотеки Spark
  • COMPUTENODE: Подкластер выполняет роль COMPUTENODE в кластере Data Proc.

COMPUTENODE может запускать следующие сервисы, в зависимости от запрошенных компонентов:

  • YARN NodeManager
  • библиотеки Spark
configSpec.
subclustersSpec[].
resources
object

Обязательное поле. Конфигурация ресурсов для хостов в подкластере.

configSpec.
subclustersSpec[].
resources.
resourcePresetId
string

Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.

configSpec.
subclustersSpec[].
resources.
diskTypeId
string

Тип хранилища для хоста. Возможные значения:

  • network-hdd — сетевой HDD-диск;
  • network-ssd — сетевой SSD-диск.
configSpec.
subclustersSpec[].
resources.
diskSize
string (int64)

Объем хранилища, доступного хосту, в байтах.

configSpec.
subclustersSpec[].
subnetId
string

Обязательное поле. Идентификатор подсети VPC, используемой для хостов подкластера.

Максимальная длина строки в символах — 50.

configSpec.
subclustersSpec[].
hostsCount
string (int64)

Обязательное поле. Количество хостов в подкластере.

Минимальное значение — 1.

zoneId string

Обязательное поле. Идентификатор зоны доступности, в которой должен быть размещен кластер.

Чтобы получить список доступных зон, отправьте запрос list.

Максимальная длина строки в символах — 50.

serviceAccountId string

Обязательное поле. Идентификатор сервисного аккаунта, которым должен пользоваться агент Data Proc для управления задачами.

bucket string

Имя бакета Object Storage, который следует использовать для задач Data Proc.

Ответ

HTTP Code: 200 - OK

{
  "id": "string",
  "description": "string",
  "createdAt": "string",
  "createdBy": "string",
  "modifiedAt": "string",
  "done": true,
  "metadata": "object",

  //  включает только одно из полей `error`, `response`
  "error": {
    "code": "integer",
    "message": "string",
    "details": [
      "object"
    ]
  },
  "response": "object",
  // конец списка возможных полей

}

Ресурс Operation. Дополнительные сведения см. в разделе
Объект Operation.

Поле Описание
id string

Идентификатор операции.

description string

Описание операции. Длина описания должна быть от 0 до 256 символов.

createdAt string (date-time)

Время создания ресурса в формате в RFC3339.

Строка в формате RFC3339.

createdBy string

Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию.

modifiedAt string (date-time)

Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339.

Строка в формате RFC3339.

done boolean (boolean)

Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response.

metadata object

Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata.

error object
Описание ошибки в случае сбоя или отмены операции.
включает только одно из полей error, response

Описание ошибки в случае сбоя или отмены операции.

error.
code
integer (int32)

Код ошибки. Значение из списка google.rpc.Code.

error.
message
string

Текст ошибки.

error.
details[]
object

Список сообщений с подробными сведениями об ошибке.

response object
включает только одно из полей error, response

Результат операции в случае успешного завершения. Если исходный метод не возвращает никаких данных при успешном завершении, например метод Delete, поле содержит объект google.protobuf.Empty. Если исходный метод — это стандартный метод Create / Update, поле содержит целевой ресурс операции. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля response.

В этой статье:
  • HTTP-запрос
  • Параметры в теле запроса
  • Ответ
Language
Вакансии
Политика конфиденциальности
Условия использования
© 2021 ООО «Яндекс.Облако»