Подключиться
Yandex Data Proc

Метод create

Создает задачу для кластера.

HTTP-запрос

POST https://dataproc.api.cloud.yandex.net/dataproc/v1/clusters/{clusterId}/jobs

Path-параметры

Параметр Описание
clusterId Обязательное поле. Идентификатор кластера, для которого следует создать задачу. Максимальная длина строки в символах — 50.

Параметры в теле запроса

{
  "name": "string",

  //  включает только одно из полей `mapreduceJob`, `sparkJob`, `pysparkJob`, `hiveJob`
  "mapreduceJob": {
    "args": [
      "string"
    ],
    "jarFileUris": [
      "string"
    ],
    "fileUris": [
      "string"
    ],
    "archiveUris": [
      "string"
    ],
    "properties": "object",

    // `mapreduceJob` включает только одно из полей `mainJarFileUri`, `mainClass`
    "mainJarFileUri": "string",
    "mainClass": "string",
    // конец списка возможных полей`mapreduceJob`

  },
  "sparkJob": {
    "args": [
      "string"
    ],
    "jarFileUris": [
      "string"
    ],
    "fileUris": [
      "string"
    ],
    "archiveUris": [
      "string"
    ],
    "properties": "object",
    "mainJarFileUri": "string",
    "mainClass": "string"
  },
  "pysparkJob": {
    "args": [
      "string"
    ],
    "jarFileUris": [
      "string"
    ],
    "fileUris": [
      "string"
    ],
    "archiveUris": [
      "string"
    ],
    "properties": "object",
    "mainPythonFileUri": "string",
    "pythonFileUris": [
      "string"
    ]
  },
  "hiveJob": {
    "properties": "object",
    "continueOnFailure": true,
    "scriptVariables": "object",
    "jarFileUris": [
      "string"
    ],

    // `hiveJob` включает только одно из полей `queryFileUri`, `queryList`
    "queryFileUri": "string",
    "queryList": {
      "queries": [
        "string"
      ]
    },
    // конец списка возможных полей`hiveJob`

  },
  // конец списка возможных полей

}
Поле Описание
name string

Имя задачи.

Значение должно соответствовать регулярному выражению \|[a-z][-a-z0-9]{1,61}[a-z0-9].
mapreduceJob object
Спецификация задачи для MapReduce.
включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob
mapreduceJob.
args[]		 string

Необязательные аргументы, которые передаются драйверу.
mapreduceJob.
jarFileUris[]		 string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи.
mapreduceJob.
fileUris[]		 string

URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop.
mapreduceJob.
archiveUris[]		 string

URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи.
mapreduceJob.
properties		 object

Имена и значения свойств, которые используются для настройки Data Proc и MapReduce.
mapreduceJob.
mainJarFileUri		 string
mapreduceJob включает только одно из полей mainJarFileUri, mainClass

HCFS URI JAR-файла, который содержит класс драйвера.
mapreduceJob.
mainClass		 string
mapreduceJob включает только одно из полей mainJarFileUri, mainClass

Имя класса драйвера.
sparkJob object
Спецификация задачи для Spark.
включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob
sparkJob.
args[]		 string

Необязательные аргументы, которые передаются драйверу.
sparkJob.
jarFileUris[]		 string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи.
sparkJob.
fileUris[]		 string

URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop.
sparkJob.
archiveUris[]		 string

URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи.
sparkJob.
properties		 object

Имена и значения свойств, которые используются для настройки Data Proc и Spark.
sparkJob.
mainJarFileUri		 string

URI HCFS JAR-файла, содержащего класс main для задачи.
sparkJob.
mainClass		 string

Имя класса драйвера.
pysparkJob object
Спецификация задачи для PySpark.
включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob
pysparkJob.
args[]		 string

Необязательные аргументы, которые передаются драйверу.
pysparkJob.
jarFileUris[]		 string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи.
pysparkJob.
fileUris[]		 string

URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop.
pysparkJob.
archiveUris[]		 string

URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи.
pysparkJob.
properties		 object

Имена и значения свойств, которые используются для настройки Data Proc и PySpark.
pysparkJob.
mainPythonFileUri		 string

URI файла с кодом драйвера. Должен быть .py-файлом.
pysparkJob.
pythonFileUris[]		 string

URI Python-файлов, которые передаются PySpark.
hiveJob object
Спецификация задачи для Hive.
включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob
hiveJob.
properties		 object

Имена и значения свойств, которые используются для настройки Data Proc и Hive.
hiveJob.
continueOnFailure		 boolean (boolean)

Флаг, указывающий на то, что задачу следует продолжать даже если запрос выполнить не удалось.
hiveJob.
scriptVariables		 object

Переменные запросов и их значения.
hiveJob.
jarFileUris[]		 string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Hive и каждого задания в рамках задачи.
hiveJob.
queryFileUri		 string
hiveJob включает только одно из полей queryFileUri, queryList

URI скрипта со всеми необходимыми Hive-запросами.
hiveJob.
queryList		 object
Список запросов Hive, которые используются в задаче.
hiveJob включает только одно из полей queryFileUri, queryList
hiveJob.
queryList.
queries[]		 string

Список Hive-запросов.

Ответ

HTTP Code: 200 - OK

{
  "id": "string",
  "description": "string",
  "createdAt": "string",
  "createdBy": "string",
  "modifiedAt": "string",
  "done": true,
  "metadata": "object",

  //  включает только одно из полей `error`, `response`
  "error": {
    "code": "integer",
    "message": "string",
    "details": [
      "object"
    ]
  },
  "response": "object",
  // конец списка возможных полей

}

Ресурс Operation. Дополнительные сведения см. в разделе
Объект Operation.

Поле Описание
id string

Идентификатор операции.
description string

Описание операции. Длина описания должна быть от 0 до 256 символов.
createdAt string (date-time)

Время создания ресурса в формате в RFC3339.

Строка в формате RFC3339.
createdBy string

Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию.
modifiedAt string (date-time)

Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339.

Строка в формате RFC3339.
done boolean (boolean)

Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response.
metadata object

Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata.
error object
Описание ошибки в случае сбоя или отмены операции.
включает только одно из полей error, response

Описание ошибки в случае сбоя или отмены операции.
error.
code		 integer (int32)

Код ошибки. Значение из списка google.rpc.Code.
error.
message		 string

Текст ошибки.
error.
details[]		 object

Список сообщений с подробными сведениями об ошибке.
response object
включает только одно из полей error, response

Результат операции в случае успешного завершения. Если исходный метод не возвращает никаких данных при успешном завершении, например метод Delete, поле содержит объект google.protobuf.Empty. Если исходный метод — это стандартный метод Create / Update, поле содержит целевой ресурс операции. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля response.
В этой статье: