Подключиться
Yandex Data Proc

Метод list

Получает список задач для указанного кластера.

HTTP-запрос

GET https://dataproc.api.cloud.yandex.net/dataproc/v1/clusters/{clusterId}/jobs

Path-параметры

Параметр Описание
clusterId Обязательное поле. Идентификатор кластера, для которого запрашивается список задач. Максимальная длина строки в символах — 50.

Query-параметры

Параметр Описание
pageSize Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size , сервис вернет значение nextPageToken, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000.
pageToken Токен страницы. Установите значение page_token равным значению поля nextPageToken предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100.
filter Параметры фильтрации задач в ответе. В параметрах фильтрации указываются: 1. Имя поля. В настоящее время фильтрация осуществляется только по полю Job.name. 2. Оператор. Операторы = или != для одиночных значений, IN или NOT IN для списков значений. 3. Значение. Значение длиной от 3 до 63 символов, совпадающее с регулярным выражением ^[a-z][-a-z0-9]{1,61}[a-z0-9]. Пример фильтра: name=my-job. Максимальная длина строки в символах — 1000.

Ответ

HTTP Code: 200 - OK

{
  "jobs": [
    {
      "id": "string",
      "clusterId": "string",
      "createdAt": "string",
      "startedAt": "string",
      "finishedAt": "string",
      "name": "string",
      "createdBy": "string",
      "status": "string",

      // `jobs[]` включает только одно из полей `mapreduceJob`, `sparkJob`, `pysparkJob`, `hiveJob`
      "mapreduceJob": {
        "args": [
          "string"
        ],
        "jarFileUris": [
          "string"
        ],
        "fileUris": [
          "string"
        ],
        "archiveUris": [
          "string"
        ],
        "properties": "object",

        // `jobs[].mapreduceJob` включает только одно из полей `mainJarFileUri`, `mainClass`
        "mainJarFileUri": "string",
        "mainClass": "string",
        // конец списка возможных полей`jobs[].mapreduceJob`

      },
      "sparkJob": {
        "args": [
          "string"
        ],
        "jarFileUris": [
          "string"
        ],
        "fileUris": [
          "string"
        ],
        "archiveUris": [
          "string"
        ],
        "properties": "object",
        "mainJarFileUri": "string",
        "mainClass": "string"
      },
      "pysparkJob": {
        "args": [
          "string"
        ],
        "jarFileUris": [
          "string"
        ],
        "fileUris": [
          "string"
        ],
        "archiveUris": [
          "string"
        ],
        "properties": "object",
        "mainPythonFileUri": "string",
        "pythonFileUris": [
          "string"
        ]
      },
      "hiveJob": {
        "properties": "object",
        "continueOnFailure": true,
        "scriptVariables": "object",
        "jarFileUris": [
          "string"
        ],

        // `jobs[].hiveJob` включает только одно из полей `queryFileUri`, `queryList`
        "queryFileUri": "string",
        "queryList": {
          "queries": [
            "string"
          ]
        },
        // конец списка возможных полей`jobs[].hiveJob`

      },
      // конец списка возможных полей`jobs[]`

    }
  ],
  "nextPageToken": "string"
}
Поле Описание
jobs[] object

Задача Data Proc. Дополнительные сведения о концепции см. в документации.
jobs[].
id		 string

Идентификатор задачи. Генерируется во время создания.
jobs[].
clusterId		 string

Идентификатор кластера Data Proc, которому принадлежит задача.
jobs[].
createdAt		 string (date-time)

Время создания.

Строка в формате RFC3339.
jobs[].
startedAt		 string (date-time)

Время запуска задачи.

Строка в формате RFC3339.
jobs[].
finishedAt		 string (date-time)

Время завершения задачи.

Строка в формате RFC3339.
jobs[].
name		 string

Имя задачи, указанное в запросе create.
jobs[].
createdBy		 string

Идентификатор пользователя, создавшего задачу.
jobs[].
status		 string
Статус задачи.
  • PROVISIONING: Задача зарегистрирована в базе данных и ожидает, пока агент запустит ее.
  • PENDING: Задача получена агентом и находится в очереди на выполнение.
  • RUNNING: Задача выполняется в кластере.
  • ERROR: Задача не смогла завершиться должным образом.
  • DONE: Задача выполнена.
jobs[].
mapreduceJob		 object
Спецификация задачи для MapReduce.
jobs[] включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob
jobs[].
mapreduceJob.
args[]		 string

Необязательные аргументы, которые передаются драйверу.
jobs[].
mapreduceJob.
jarFileUris[]		 string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи.
jobs[].
mapreduceJob.
fileUris[]		 string

URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop.
jobs[].
mapreduceJob.
archiveUris[]		 string

URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи.
jobs[].
mapreduceJob.
properties		 object

Имена и значения свойств, которые используются для настройки Data Proc и MapReduce.
jobs[].
mapreduceJob.
mainJarFileUri		 string
jobs[].mapreduceJob включает только одно из полей mainJarFileUri, mainClass

HCFS URI JAR-файла, который содержит класс драйвера.
jobs[].
mapreduceJob.
mainClass		 string
jobs[].mapreduceJob включает только одно из полей mainJarFileUri, mainClass

Имя класса драйвера.
jobs[].
sparkJob		 object
Спецификация задачи для Spark.
jobs[] включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob
jobs[].
sparkJob.
args[]		 string

Необязательные аргументы, которые передаются драйверу.
jobs[].
sparkJob.
jarFileUris[]		 string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи.
jobs[].
sparkJob.
fileUris[]		 string

URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop.
jobs[].
sparkJob.
archiveUris[]		 string

URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи.
jobs[].
sparkJob.
properties		 object

Имена и значения свойств, которые используются для настройки Data Proc и Spark.
jobs[].
sparkJob.
mainJarFileUri		 string

URI HCFS JAR-файла, содержащего класс main для задачи.
jobs[].
sparkJob.
mainClass		 string

Имя класса драйвера.
jobs[].
pysparkJob		 object
Спецификация задачи для PySpark.
jobs[] включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob
jobs[].
pysparkJob.
args[]		 string

Необязательные аргументы, которые передаются драйверу.
jobs[].
pysparkJob.
jarFileUris[]		 string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи.
jobs[].
pysparkJob.
fileUris[]		 string

URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop.
jobs[].
pysparkJob.
archiveUris[]		 string

URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи.
jobs[].
pysparkJob.
properties		 object

Имена и значения свойств, которые используются для настройки Data Proc и PySpark.
jobs[].
pysparkJob.
mainPythonFileUri		 string

URI файла с кодом драйвера. Должен быть .py-файлом.
jobs[].
pysparkJob.
pythonFileUris[]		 string

URI Python-файлов, которые передаются PySpark.
jobs[].
hiveJob		 object
Спецификация задачи для Hive.
jobs[] включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob
jobs[].
hiveJob.
properties		 object

Имена и значения свойств, которые используются для настройки Data Proc и Hive.
jobs[].
hiveJob.
continueOnFailure		 boolean (boolean)

Флаг, указывающий на то, что задачу следует продолжать даже если запрос выполнить не удалось.
jobs[].
hiveJob.
scriptVariables		 object

Переменные запросов и их значения.
jobs[].
hiveJob.
jarFileUris[]		 string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Hive и каждого задания в рамках задачи.
jobs[].
hiveJob.
queryFileUri		 string
jobs[].hiveJob включает только одно из полей queryFileUri, queryList

URI скрипта со всеми необходимыми Hive-запросами.
jobs[].
hiveJob.
queryList		 object
Список запросов Hive, которые используются в задаче.
jobs[].hiveJob включает только одно из полей queryFileUri, queryList
jobs[].
hiveJob.
queryList.
queries[]		 string

Список Hive-запросов.
nextPageToken string

Токен для получения следующей страницы списка. Если количество результатов больше чем pageSize, используйте next_page_token в качестве значения параметра pageToken в следующем запросе списка ресурсов.

У каждой последующей страницы будет собственный next_page_token, чтобы можно было продолжать просматривать результаты.
В этой статье: