Метод list
Получает список задач для указанного кластера.
HTTP-запрос
GET https://dataproc.api.cloud.yandex.net/dataproc/v1/clusters/{clusterId}/jobs
Path-параметры
Параметр | Описание |
---|---|
clusterId | Обязательное поле. Идентификатор кластера, для которого запрашивается список задач. Максимальная длина строки в символах — 50. |
Query-параметры
Параметр | Описание |
---|---|
pageSize | Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size , сервис вернет значение nextPageToken, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000. |
pageToken | Токен страницы. Установите значение page_token равным значению поля nextPageToken предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100. |
filter | Параметры фильтрации задач в ответе. В параметрах фильтрации указываются: 1. Имя поля. В настоящее время фильтрация осуществляется только по полю Job.name. 2. Оператор. Операторы = или != для одиночных значений, IN или NOT IN для списков значений. 3. Значение. Значение длиной от 3 до 63 символов, совпадающее с регулярным выражением ^[a-z][-a-z0-9]{1,61}[a-z0-9] . Пример фильтра: name=my-job . Максимальная длина строки в символах — 1000. |
Ответ
HTTP Code: 200 - OK
{
"jobs": [
{
"id": "string",
"clusterId": "string",
"createdAt": "string",
"startedAt": "string",
"finishedAt": "string",
"name": "string",
"createdBy": "string",
"status": "string",
// `jobs[]` включает только одно из полей `mapreduceJob`, `sparkJob`, `pysparkJob`, `hiveJob`
"mapreduceJob": {
"args": [
"string"
],
"jarFileUris": [
"string"
],
"fileUris": [
"string"
],
"archiveUris": [
"string"
],
"properties": "object",
// `jobs[].mapreduceJob` включает только одно из полей `mainJarFileUri`, `mainClass`
"mainJarFileUri": "string",
"mainClass": "string",
// конец списка возможных полей`jobs[].mapreduceJob`
},
"sparkJob": {
"args": [
"string"
],
"jarFileUris": [
"string"
],
"fileUris": [
"string"
],
"archiveUris": [
"string"
],
"properties": "object",
"mainJarFileUri": "string",
"mainClass": "string"
},
"pysparkJob": {
"args": [
"string"
],
"jarFileUris": [
"string"
],
"fileUris": [
"string"
],
"archiveUris": [
"string"
],
"properties": "object",
"mainPythonFileUri": "string",
"pythonFileUris": [
"string"
]
},
"hiveJob": {
"properties": "object",
"continueOnFailure": true,
"scriptVariables": "object",
"jarFileUris": [
"string"
],
// `jobs[].hiveJob` включает только одно из полей `queryFileUri`, `queryList`
"queryFileUri": "string",
"queryList": {
"queries": [
"string"
]
},
// конец списка возможных полей`jobs[].hiveJob`
},
// конец списка возможных полей`jobs[]`
}
],
"nextPageToken": "string"
}
Поле | Описание |
---|---|
jobs[] | object Задача Data Proc. Дополнительные сведения о концепции см. в документации. |
jobs[]. id |
string Идентификатор задачи. Генерируется во время создания. |
jobs[]. clusterId |
string Идентификатор кластера Data Proc, которому принадлежит задача. |
jobs[]. createdAt |
string (date-time) Время создания. Строка в формате RFC3339. |
jobs[]. startedAt |
string (date-time) Время запуска задачи. Строка в формате RFC3339. |
jobs[]. finishedAt |
string (date-time) Время завершения задачи. Строка в формате RFC3339. |
jobs[]. name |
string Имя задачи, указанное в запросе create. |
jobs[]. createdBy |
string Идентификатор пользователя, создавшего задачу. |
jobs[]. status |
string Статус задачи.
|
jobs[]. mapreduceJob |
object Спецификация задачи для MapReduce. jobs[] включает только одно из полей mapreduceJob , sparkJob , pysparkJob , hiveJob |
jobs[]. mapreduceJob. args[] |
string Необязательные аргументы, которые передаются драйверу. |
jobs[]. mapreduceJob. jarFileUris[] |
string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
jobs[]. mapreduceJob. fileUris[] |
string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
jobs[]. mapreduceJob. archiveUris[] |
string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
jobs[]. mapreduceJob. properties |
object Имена и значения свойств, которые используются для настройки Data Proc и MapReduce. |
jobs[]. mapreduceJob. mainJarFileUri |
string jobs[].mapreduceJob включает только одно из полей mainJarFileUri , mainClass HCFS URI JAR-файла, который содержит класс драйвера. |
jobs[]. mapreduceJob. mainClass |
string jobs[].mapreduceJob включает только одно из полей mainJarFileUri , mainClass Имя класса драйвера. |
jobs[]. sparkJob |
object Спецификация задачи для Spark. jobs[] включает только одно из полей mapreduceJob , sparkJob , pysparkJob , hiveJob |
jobs[]. sparkJob. args[] |
string Необязательные аргументы, которые передаются драйверу. |
jobs[]. sparkJob. jarFileUris[] |
string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
jobs[]. sparkJob. fileUris[] |
string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
jobs[]. sparkJob. archiveUris[] |
string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
jobs[]. sparkJob. properties |
object Имена и значения свойств, которые используются для настройки Data Proc и Spark. |
jobs[]. sparkJob. mainJarFileUri |
string URI HCFS JAR-файла, содержащего класс |
jobs[]. sparkJob. mainClass |
string Имя класса драйвера. |
jobs[]. pysparkJob |
object Спецификация задачи для PySpark. jobs[] включает только одно из полей mapreduceJob , sparkJob , pysparkJob , hiveJob |
jobs[]. pysparkJob. args[] |
string Необязательные аргументы, которые передаются драйверу. |
jobs[]. pysparkJob. jarFileUris[] |
string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
jobs[]. pysparkJob. fileUris[] |
string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
jobs[]. pysparkJob. archiveUris[] |
string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
jobs[]. pysparkJob. properties |
object Имена и значения свойств, которые используются для настройки Data Proc и PySpark. |
jobs[]. pysparkJob. mainPythonFileUri |
string URI файла с кодом драйвера. Должен быть .py-файлом. |
jobs[]. pysparkJob. pythonFileUris[] |
string URI Python-файлов, которые передаются PySpark. |
jobs[]. hiveJob |
object Спецификация задачи для Hive. jobs[] включает только одно из полей mapreduceJob , sparkJob , pysparkJob , hiveJob |
jobs[]. hiveJob. properties |
object Имена и значения свойств, которые используются для настройки Data Proc и Hive. |
jobs[]. hiveJob. continueOnFailure |
boolean (boolean) Флаг, указывающий на то, что задачу следует продолжать даже если запрос выполнить не удалось. |
jobs[]. hiveJob. scriptVariables |
object Переменные запросов и их значения. |
jobs[]. hiveJob. jarFileUris[] |
string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Hive и каждого задания в рамках задачи. |
jobs[]. hiveJob. queryFileUri |
string jobs[].hiveJob включает только одно из полей queryFileUri , queryList URI скрипта со всеми необходимыми Hive-запросами. |
jobs[]. hiveJob. queryList |
object Список запросов Hive, которые используются в задаче. jobs[].hiveJob включает только одно из полей queryFileUri , queryList |
jobs[]. hiveJob. queryList. queries[] |
string Список Hive-запросов. |
nextPageToken | string Токен для получения следующей страницы списка. Если количество результатов больше чем pageSize, используйте У каждой последующей страницы будет собственный |