Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Data Proc
  • Сценарии использования
    • Настройка сети для кластеров Data Proc
    • Использование Apache Hive
    • Запуск Spark-приложений
    • Запуск приложений с удаленного хоста
    • Копирование файлов из Yandex Object Storage
  • Пошаговые инструкции
    • Все инструкции
    • Создание кластера
    • Подключение к кластеру
    • Изменение подкластера
    • Управление подкластерами
    • Удаление кластера
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Версии Hadoop и компонентов
    • Интерфейсы и порты компонентов
    • Веб-интерфейсы компонентов
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Квоты и лимиты
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • start
        • stop
        • update
      • Job
        • Обзор
        • create
        • get
        • list
      • ResourcePreset
        • Обзор
        • get
        • list
      • Subcluster
        • Обзор
        • create
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Справочник API
  2. REST
  3. Job
  4. create

Метод create

  • HTTP-запрос
  • Path-параметры
  • Параметры в теле запроса
  • Ответ

Создает задачу для кластера.

HTTP-запрос

POST https://dataproc.api.cloud.yandex.net/dataproc/v1/clusters/{clusterId}/jobs

Path-параметры

Параметр Описание
clusterId Обязательное поле. Идентификатор кластера, для которого следует создать задачу. Максимальная длина строки в символах — 50.

Параметры в теле запроса

{
  "name": "string",

  //  включает только одно из полей `mapreduceJob`, `sparkJob`, `pysparkJob`, `hiveJob`
  "mapreduceJob": {
    "args": [
      "string"
    ],
    "jarFileUris": [
      "string"
    ],
    "fileUris": [
      "string"
    ],
    "archiveUris": [
      "string"
    ],
    "properties": "object",

    // `mapreduceJob` включает только одно из полей `mainJarFileUri`, `mainClass`
    "mainJarFileUri": "string",
    "mainClass": "string",
    // конец списка возможных полей`mapreduceJob`

  },
  "sparkJob": {
    "args": [
      "string"
    ],
    "jarFileUris": [
      "string"
    ],
    "fileUris": [
      "string"
    ],
    "archiveUris": [
      "string"
    ],
    "properties": "object",
    "mainJarFileUri": "string",
    "mainClass": "string"
  },
  "pysparkJob": {
    "args": [
      "string"
    ],
    "jarFileUris": [
      "string"
    ],
    "fileUris": [
      "string"
    ],
    "archiveUris": [
      "string"
    ],
    "properties": "object",
    "mainPythonFileUri": "string",
    "pythonFileUris": [
      "string"
    ]
  },
  "hiveJob": {
    "properties": "object",
    "continueOnFailure": true,
    "scriptVariables": "object",
    "jarFileUris": [
      "string"
    ],

    // `hiveJob` включает только одно из полей `queryFileUri`, `queryList`
    "queryFileUri": "string",
    "queryList": {
      "queries": [
        "string"
      ]
    },
    // конец списка возможных полей`hiveJob`

  },
  // конец списка возможных полей

}
Поле Описание
name string

Имя задачи.

Значение должно соответствовать регулярному выражению \|[a-z][-a-z0-9]{1,61}[a-z0-9].

mapreduceJob object
Спецификация задачи для MapReduce.
включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob

mapreduceJob.
args[]
string

Необязательные аргументы, которые передаются драйверу.

mapreduceJob.
jarFileUris[]
string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи.

mapreduceJob.
fileUris[]
string

URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop.

mapreduceJob.
archiveUris[]
string

URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи.

mapreduceJob.
properties
object

Имена и значения свойств, которые используются для настройки Data Proc и MapReduce.

mapreduceJob.
mainJarFileUri
string
mapreduceJob включает только одно из полей mainJarFileUri, mainClass

HCFS URI JAR-файла, который содержит класс драйвера.

mapreduceJob.
mainClass
string
mapreduceJob включает только одно из полей mainJarFileUri, mainClass

Имя класса драйвера.

sparkJob object
Спецификация задачи для Spark.
включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob

sparkJob.
args[]
string

Необязательные аргументы, которые передаются драйверу.

sparkJob.
jarFileUris[]
string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи.

sparkJob.
fileUris[]
string

URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop.

sparkJob.
archiveUris[]
string

URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи.

sparkJob.
properties
object

Имена и значения свойств, которые используются для настройки Data Proc и Spark.

sparkJob.
mainJarFileUri
string

URI HCFS JAR-файла, содержащего класс main для задачи.

sparkJob.
mainClass
string

Имя класса драйвера.

pysparkJob object
Спецификация задачи для PySpark.
включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob

pysparkJob.
args[]
string

Необязательные аргументы, которые передаются драйверу.

pysparkJob.
jarFileUris[]
string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи.

pysparkJob.
fileUris[]
string

URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop.

pysparkJob.
archiveUris[]
string

URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи.

pysparkJob.
properties
object

Имена и значения свойств, которые используются для настройки Data Proc и PySpark.

pysparkJob.
mainPythonFileUri
string

URI файла с кодом драйвера. Должен быть .py-файлом.

pysparkJob.
pythonFileUris[]
string

URI Python-файлов, которые передаются PySpark.

hiveJob object
Спецификация задачи для Hive.
включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob

hiveJob.
properties
object

Имена и значения свойств, которые используются для настройки Data Proc и Hive.

hiveJob.
continueOnFailure
boolean (boolean)

Флаг, указывающий на то, что задачу следует продолжать даже если запрос выполнить не удалось.

hiveJob.
scriptVariables
object

Переменные запросов и их значения.

hiveJob.
jarFileUris[]
string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Hive и каждого задания в рамках задачи.

hiveJob.
queryFileUri
string
hiveJob включает только одно из полей queryFileUri, queryList

URI скрипта со всеми необходимыми Hive-запросами.

hiveJob.
queryList
object
Список запросов Hive, которые используются в задаче.
hiveJob включает только одно из полей queryFileUri, queryList

hiveJob.
queryList.
queries[]
string

Список Hive-запросов.

Ответ

HTTP Code: 200 - OK

{
  "id": "string",
  "description": "string",
  "createdAt": "string",
  "createdBy": "string",
  "modifiedAt": "string",
  "done": true,
  "metadata": "object",

  //  включает только одно из полей `error`, `response`
  "error": {
    "code": "integer",
    "message": "string",
    "details": [
      "object"
    ]
  },
  "response": "object",
  // конец списка возможных полей

}

Ресурс Operation. Дополнительные сведения см. в разделе
Объект Operation.

Поле Описание
id string

Идентификатор операции.

description string

Описание операции. Длина описания должна быть от 0 до 256 символов.

createdAt string (date-time)

Время создания ресурса в формате в RFC3339.

Строка в формате RFC3339.

createdBy string

Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию.

modifiedAt string (date-time)

Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339.

Строка в формате RFC3339.

done boolean (boolean)

Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response.

metadata object

Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata.

error object
Описание ошибки в случае сбоя или отмены операции.
включает только одно из полей error, response

Описание ошибки в случае сбоя или отмены операции.

error.
code
integer (int32)

Код ошибки. Значение из списка google.rpc.Code.

error.
message
string

Текст ошибки.

error.
details[]
object

Список сообщений с подробными сведениями об ошибке.

response object
включает только одно из полей error, response

Результат операции в случае успешного завершения. Если исходный метод не возвращает никаких данных при успешном завершении, например метод Delete, поле содержит объект google.protobuf.Empty. Если исходный метод — это стандартный метод Create / Update, поле содержит целевой ресурс операции. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля response.

В этой статье:
  • HTTP-запрос
  • Path-параметры
  • Параметры в теле запроса
  • Ответ
Language
Вакансии
Политика конфиденциальности
Условия использования
© 2021 ООО «Яндекс.Облако»