Job
Набор методов для управления задачами Data Proc.
JSON-представление
{
"id": "string",
"clusterId": "string",
"createdAt": "string",
"startedAt": "string",
"finishedAt": "string",
"name": "string",
"createdBy": "string",
"status": "string",
// включает только одно из полей `mapreduceJob`, `sparkJob`, `pysparkJob`, `hiveJob`
"mapreduceJob": {
"args": [
"string"
],
"jarFileUris": [
"string"
],
"fileUris": [
"string"
],
"archiveUris": [
"string"
],
"properties": "object",
// `mapreduceJob` включает только одно из полей `mainJarFileUri`, `mainClass`
"mainJarFileUri": "string",
"mainClass": "string",
// конец списка возможных полей`mapreduceJob`
},
"sparkJob": {
"args": [
"string"
],
"jarFileUris": [
"string"
],
"fileUris": [
"string"
],
"archiveUris": [
"string"
],
"properties": "object",
"mainJarFileUri": "string",
"mainClass": "string"
},
"pysparkJob": {
"args": [
"string"
],
"jarFileUris": [
"string"
],
"fileUris": [
"string"
],
"archiveUris": [
"string"
],
"properties": "object",
"mainPythonFileUri": "string",
"pythonFileUris": [
"string"
]
},
"hiveJob": {
"properties": "object",
"continueOnFailure": true,
"scriptVariables": "object",
"jarFileUris": [
"string"
],
// `hiveJob` включает только одно из полей `queryFileUri`, `queryList`
"queryFileUri": "string",
"queryList": {
"queries": [
"string"
]
},
// конец списка возможных полей`hiveJob`
},
// конец списка возможных полей
}
Поле | Описание |
---|---|
id | string Идентификатор задачи. Генерируется во время создания. |
clusterId | string Идентификатор кластера Data Proc, которому принадлежит задача. |
createdAt | string (date-time) Время создания. Строка в формате RFC3339. |
startedAt | string (date-time) Время запуска задачи. Строка в формате RFC3339. |
finishedAt | string (date-time) Время завершения задачи. Строка в формате RFC3339. |
name | string Имя задачи, указанное в запросе create. |
createdBy | string Идентификатор пользователя, создавшего задачу. |
status | string Статус задачи.
|
mapreduceJob | object включает только одно из полей mapreduceJob , sparkJob , pysparkJob , hiveJob |
mapreduceJob. args[] |
string Необязательные аргументы, которые передаются драйверу. |
mapreduceJob. jarFileUris[] |
string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
mapreduceJob. fileUris[] |
string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
mapreduceJob. archiveUris[] |
string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
mapreduceJob. properties |
object Имена и значения свойств, которые используются для настройки Data Proc и MapReduce. |
mapreduceJob. mainJarFileUri |
string mapreduceJob включает только одно из полей mainJarFileUri , mainClass HCFS URI JAR-файла, который содержит класс драйвера. |
mapreduceJob. mainClass |
string mapreduceJob включает только одно из полей mainJarFileUri , mainClass Имя класса драйвера. |
sparkJob | object включает только одно из полей mapreduceJob , sparkJob , pysparkJob , hiveJob |
sparkJob. args[] |
string Необязательные аргументы, которые передаются драйверу. |
sparkJob. jarFileUris[] |
string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
sparkJob. fileUris[] |
string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
sparkJob. archiveUris[] |
string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
sparkJob. properties |
object Имена и значения свойств, которые используются для настройки Data Proc и Spark. |
sparkJob. mainJarFileUri |
string URI HCFS JAR-файла, содержащего класс |
sparkJob. mainClass |
string Имя класса драйвера. |
pysparkJob | object включает только одно из полей mapreduceJob , sparkJob , pysparkJob , hiveJob |
pysparkJob. args[] |
string Необязательные аргументы, которые передаются драйверу. |
pysparkJob. jarFileUris[] |
string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
pysparkJob. fileUris[] |
string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
pysparkJob. archiveUris[] |
string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
pysparkJob. properties |
object Имена и значения свойств, которые используются для настройки Data Proc и PySpark. |
pysparkJob. mainPythonFileUri |
string URI файла с кодом драйвера. Должен быть .py-файлом. |
pysparkJob. pythonFileUris[] |
string URI Python-файлов, которые передаются PySpark. |
hiveJob | object включает только одно из полей mapreduceJob , sparkJob , pysparkJob , hiveJob |
hiveJob. properties |
object Имена и значения свойств, которые используются для настройки Data Proc и Hive. |
hiveJob. continueOnFailure |
boolean (boolean) Флаг, указывающий на то, что задачу следует продолжать даже если запрос выполнить не удалось. |
hiveJob. scriptVariables |
object Переменные запросов и их значения. |
hiveJob. jarFileUris[] |
string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Hive и каждого задания в рамках задачи. |
hiveJob. queryFileUri |
string hiveJob включает только одно из полей queryFileUri , queryList URI скрипта со всеми необходимыми Hive-запросами. |
hiveJob. queryList |
object hiveJob включает только одно из полей queryFileUri , queryList |
hiveJob. queryList. queries[] |
string Список Hive-запросов. |
Методы
Метод | Описание |
---|---|
create | Создает задачу для кластера. |
get | Возвращает указанную задачу. |
list | Получает список задач для указанного кластера. |