Метод create
Создает задачу для кластера.
HTTP-запрос
POST https://dataproc.api.cloud.yandex.net/dataproc/v1/clusters/{clusterId}/jobs
Path-параметры
Параметр | Описание |
---|---|
clusterId | Обязательное поле. Идентификатор кластера, для которого следует создать задачу. Максимальная длина строки в символах — 50. |
Параметры в теле запроса
{
"name": "string",
// включает только одно из полей `mapreduceJob`, `sparkJob`, `pysparkJob`, `hiveJob`
"mapreduceJob": {
"args": [
"string"
],
"jarFileUris": [
"string"
],
"fileUris": [
"string"
],
"archiveUris": [
"string"
],
"properties": "object",
// `mapreduceJob` включает только одно из полей `mainJarFileUri`, `mainClass`
"mainJarFileUri": "string",
"mainClass": "string",
// конец списка возможных полей`mapreduceJob`
},
"sparkJob": {
"args": [
"string"
],
"jarFileUris": [
"string"
],
"fileUris": [
"string"
],
"archiveUris": [
"string"
],
"properties": "object",
"mainJarFileUri": "string",
"mainClass": "string"
},
"pysparkJob": {
"args": [
"string"
],
"jarFileUris": [
"string"
],
"fileUris": [
"string"
],
"archiveUris": [
"string"
],
"properties": "object",
"mainPythonFileUri": "string",
"pythonFileUris": [
"string"
]
},
"hiveJob": {
"properties": "object",
"continueOnFailure": true,
"scriptVariables": "object",
"jarFileUris": [
"string"
],
// `hiveJob` включает только одно из полей `queryFileUri`, `queryList`
"queryFileUri": "string",
"queryList": {
"queries": [
"string"
]
},
// конец списка возможных полей`hiveJob`
},
// конец списка возможных полей
}
Поле | Описание |
---|---|
name | string Имя задачи. Значение должно соответствовать регулярному выражению |
mapreduceJob | object Спецификация задачи для MapReduce. включает только одно из полей mapreduceJob , sparkJob , pysparkJob , hiveJob |
mapreduceJob. args[] |
string Необязательные аргументы, которые передаются драйверу. |
mapreduceJob. jarFileUris[] |
string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
mapreduceJob. fileUris[] |
string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
mapreduceJob. archiveUris[] |
string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
mapreduceJob. properties |
object Имена и значения свойств, которые используются для настройки Data Proc и MapReduce. |
mapreduceJob. mainJarFileUri |
string mapreduceJob включает только одно из полей mainJarFileUri , mainClass HCFS URI JAR-файла, который содержит класс драйвера. |
mapreduceJob. mainClass |
string mapreduceJob включает только одно из полей mainJarFileUri , mainClass Имя класса драйвера. |
sparkJob | object Спецификация задачи для Spark. включает только одно из полей mapreduceJob , sparkJob , pysparkJob , hiveJob |
sparkJob. args[] |
string Необязательные аргументы, которые передаются драйверу. |
sparkJob. jarFileUris[] |
string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
sparkJob. fileUris[] |
string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
sparkJob. archiveUris[] |
string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
sparkJob. properties |
object Имена и значения свойств, которые используются для настройки Data Proc и Spark. |
sparkJob. mainJarFileUri |
string URI HCFS JAR-файла, содержащего класс |
sparkJob. mainClass |
string Имя класса драйвера. |
pysparkJob | object Спецификация задачи для PySpark. включает только одно из полей mapreduceJob , sparkJob , pysparkJob , hiveJob |
pysparkJob. args[] |
string Необязательные аргументы, которые передаются драйверу. |
pysparkJob. jarFileUris[] |
string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
pysparkJob. fileUris[] |
string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
pysparkJob. archiveUris[] |
string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
pysparkJob. properties |
object Имена и значения свойств, которые используются для настройки Data Proc и PySpark. |
pysparkJob. mainPythonFileUri |
string URI файла с кодом драйвера. Должен быть .py-файлом. |
pysparkJob. pythonFileUris[] |
string URI Python-файлов, которые передаются PySpark. |
hiveJob | object Спецификация задачи для Hive. включает только одно из полей mapreduceJob , sparkJob , pysparkJob , hiveJob |
hiveJob. properties |
object Имена и значения свойств, которые используются для настройки Data Proc и Hive. |
hiveJob. continueOnFailure |
boolean (boolean) Флаг, указывающий на то, что задачу следует продолжать даже если запрос выполнить не удалось. |
hiveJob. scriptVariables |
object Переменные запросов и их значения. |
hiveJob. jarFileUris[] |
string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Hive и каждого задания в рамках задачи. |
hiveJob. queryFileUri |
string hiveJob включает только одно из полей queryFileUri , queryList URI скрипта со всеми необходимыми Hive-запросами. |
hiveJob. queryList |
object Список запросов Hive, которые используются в задаче. hiveJob включает только одно из полей queryFileUri , queryList |
hiveJob. queryList. queries[] |
string Список Hive-запросов. |
Ответ
HTTP Code: 200 - OK
{
"id": "string",
"description": "string",
"createdAt": "string",
"createdBy": "string",
"modifiedAt": "string",
"done": true,
"metadata": "object",
// включает только одно из полей `error`, `response`
"error": {
"code": "integer",
"message": "string",
"details": [
"object"
]
},
"response": "object",
// конец списка возможных полей
}
Ресурс Operation. Дополнительные сведения см. в разделе
Объект Operation.
Поле | Описание |
---|---|
id | string Идентификатор операции. |
description | string Описание операции. Длина описания должна быть от 0 до 256 символов. |
createdAt | string (date-time) Время создания ресурса в формате в RFC3339. Строка в формате RFC3339. |
createdBy | string Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию. |
modifiedAt | string (date-time) Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339. Строка в формате RFC3339. |
done | boolean (boolean) Если значение равно |
metadata | object Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля |
error | object Описание ошибки в случае сбоя или отмены операции. включает только одно из полей error , response Описание ошибки в случае сбоя или отмены операции. |
error. code |
integer (int32) Код ошибки. Значение из списка google.rpc.Code. |
error. message |
string Текст ошибки. |
error. details[] |
object Список сообщений с подробными сведениями об ошибке. |
response | object включает только одно из полей error , response Результат операции в случае успешного завершения. Если исходный метод не возвращает никаких данных при успешном завершении, например метод Delete, поле содержит объект google.protobuf.Empty. Если исходный метод — это стандартный метод Create / Update, поле содержит целевой ресурс операции. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля |