JobService
Набор методов для управления задачами Data Proc.
Вызов | Описание |
---|---|
List | Получает список задач для указанного кластера. |
Create | Создает задачу для кластера. |
Get | Возвращает указанную задачу. |
Вызовы JobService
List
Получает список задач для указанного кластера.
rpc List (ListJobsRequest) returns (ListJobsResponse)
ListJobsRequest
Поле | Описание |
---|---|
cluster_id | string Обязательное поле. Идентификатор кластера, для которого запрашивается список задач. Максимальная длина строки в символах — 50. |
page_size | int64 Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size , сервис вернет значение ListJobsResponse.next_page_token, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000. |
page_token | string Токен страницы. Установите значение page_token равным значению поля ListJobsResponse.next_page_token предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100. |
filter | string
|
ListJobsResponse
Поле | Описание |
---|---|
jobs[] | Job Список задач для указанного кластера. |
next_page_token | string Токен для получения следующей страницы списка. Если количество результатов больше чем ListJobsRequest.page_size, используйте next_page_token в качестве значения параметра ListJobsRequest.page_token в следующем запросе списка ресурсов. У каждой последующей страницы будет собственный next_page_token , чтобы можно было продолжать просматривать результаты. |
Job
Поле | Описание |
---|---|
id | string Идентификатор задачи. Генерируется во время создания. |
cluster_id | string Идентификатор кластера Data Proc, которому принадлежит задача. |
created_at | google.protobuf.Timestamp Время создания. |
started_at | google.protobuf.Timestamp Время запуска задачи. |
finished_at | google.protobuf.Timestamp Время завершения задачи. |
name | string Имя задачи, указанное в запросе JobService.Create. |
created_by | string Идентификатор пользователя, создавшего задачу. |
status | enum Status Статус задачи.
|
job_spec | oneof: mapreduce_job , spark_job , pyspark_job или hive_job Спецификация задачи. |
mapreduce_job | MapreduceJob Спецификация задачи для MapReduce. |
spark_job | SparkJob Спецификация задачи для Spark. |
pyspark_job | PysparkJob Спецификация задачи для PySpark. |
hive_job | HiveJob Спецификация задачи для Hive. |
MapreduceJob
Поле | Описание |
---|---|
args[] | string Необязательные аргументы, которые передаются драйверу. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
file_uris[] | string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
archive_uris[] | string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и MapReduce. |
driver | oneof: main_jar_file_uri или main_class |
main_jar_file_uri | string HCFS URI JAR-файла, который содержит класс драйвера. |
main_class | string Имя класса драйвера. |
SparkJob
Поле | Описание |
---|---|
args[] | string Необязательные аргументы, которые передаются драйверу. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
file_uris[] | string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
archive_uris[] | string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и Spark. |
main_jar_file_uri | string URI HCFS JAR-файла, содержащего класс main для задачи. |
main_class | string Имя класса драйвера. |
PysparkJob
Поле | Описание |
---|---|
args[] | string Необязательные аргументы, которые передаются драйверу. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
file_uris[] | string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
archive_uris[] | string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и PySpark. |
main_python_file_uri | string URI файла с кодом драйвера. Должен быть .py-файлом. |
python_file_uris[] | string URI Python-файлов, которые передаются PySpark. |
HiveJob
Поле | Описание |
---|---|
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и Hive. |
continue_on_failure | bool Флаг, указывающий на то, что задачу следует продолжать даже если запрос выполнить не удалось. |
script_variables | map<string,string> Переменные запросов и их значения. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Hive и каждого задания в рамках задачи. |
query_type | oneof: query_file_uri или query_list |
query_file_uri | string URI скрипта со всеми необходимыми Hive-запросами. |
query_list | QueryList Список запросов Hive, которые используются в задаче. |
QueryList
Поле | Описание |
---|---|
queries[] | string Список Hive-запросов. |
Create
Создает задачу для кластера.
rpc Create (CreateJobRequest) returns (operation.Operation)
Метаданные и результат операции:
Operation.metadata:CreateJobMetadata
Operation.response:Job
CreateJobRequest
Поле | Описание |
---|---|
cluster_id | string Обязательное поле. Идентификатор кластера, для которого следует создать задачу. Максимальная длина строки в символах — 50. |
name | string Имя задачи. Значение должно соответствовать регулярному выражению ` |
job_spec | oneof: mapreduce_job , spark_job , pyspark_job или hive_job Спецификация задачи. |
mapreduce_job | MapreduceJob Спецификация задачи для MapReduce. |
spark_job | SparkJob Спецификация задачи для Spark. |
pyspark_job | PysparkJob Спецификация задачи для PySpark. |
hive_job | HiveJob Спецификация задачи для Hive. |
MapreduceJob
Поле | Описание |
---|---|
args[] | string Необязательные аргументы, которые передаются драйверу. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
file_uris[] | string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
archive_uris[] | string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и MapReduce. |
driver | oneof: main_jar_file_uri или main_class |
main_jar_file_uri | string HCFS URI JAR-файла, который содержит класс драйвера. |
main_class | string Имя класса драйвера. |
SparkJob
Поле | Описание |
---|---|
args[] | string Необязательные аргументы, которые передаются драйверу. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
file_uris[] | string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
archive_uris[] | string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и Spark. |
main_jar_file_uri | string URI HCFS JAR-файла, содержащего класс main для задачи. |
main_class | string Имя класса драйвера. |
PysparkJob
Поле | Описание |
---|---|
args[] | string Необязательные аргументы, которые передаются драйверу. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
file_uris[] | string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
archive_uris[] | string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и PySpark. |
main_python_file_uri | string URI файла с кодом драйвера. Должен быть .py-файлом. |
python_file_uris[] | string URI Python-файлов, которые передаются PySpark. |
HiveJob
Поле | Описание |
---|---|
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и Hive. |
continue_on_failure | bool Флаг, указывающий на то, что задачу следует продолжать даже если запрос выполнить не удалось. |
script_variables | map<string,string> Переменные запросов и их значения. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Hive и каждого задания в рамках задачи. |
query_type | oneof: query_file_uri или query_list |
query_file_uri | string URI скрипта со всеми необходимыми Hive-запросами. |
query_list | QueryList Список запросов Hive, которые используются в задаче. |
QueryList
Поле | Описание |
---|---|
queries[] | string Список Hive-запросов. |
Operation
Поле | Описание |
---|---|
id | string Идентификатор операции. |
description | string Описание операции. Длина описания должна быть от 0 до 256 символов. |
created_at | google.protobuf.Timestamp Время создания ресурса в формате в RFC3339. |
created_by | string Идентификатор пользователя или сервисного аккаунта, инициировавшего операцию. |
modified_at | google.protobuf.Timestamp Время, когда ресурс Operation последний раз обновлялся. Значение в формате RFC3339. |
done | bool Если значение равно false — операция еще выполняется. Если true — операция завершена, и задано значение одного из полей error или response . |
metadata | google.protobuf.Any<CreateJobMetadata> Метаданные операции. Обычно в поле содержится идентификатор ресурса, над которым выполняется операция. Если метод возвращает ресурс Operation, в описании метода приведена структура соответствующего ему поля metadata . |
result | oneof: error или response Результат операции. Если done == false и не было выявлено ошибок — значения полей error и response не заданы. Если done == false и была выявлена ошибка — задано значение поля error . Если done == true — задано значение ровно одного из полей error или response . |
error | google.rpc.Status Описание ошибки в случае сбоя или отмены операции. |
response | google.protobuf.Any<Job> в случае успешного выполнения операции. |
CreateJobMetadata
Поле | Описание |
---|---|
cluster_id | string Обязательное поле. Идентификатор кластера, для которого создается задача. Максимальная длина строки в символах — 50. |
job_id | string Идентификатор создаваемой задачи. Максимальная длина строки в символах — 50. |
Job
Поле | Описание |
---|---|
id | string Идентификатор задачи. Генерируется во время создания. |
cluster_id | string Идентификатор кластера Data Proc, которому принадлежит задача. |
created_at | google.protobuf.Timestamp Время создания. |
started_at | google.protobuf.Timestamp Время запуска задачи. |
finished_at | google.protobuf.Timestamp Время завершения задачи. |
name | string Имя задачи, указанное в запросе JobService.Create. |
created_by | string Идентификатор пользователя, создавшего задачу. |
status | enum Status Статус задачи.
|
job_spec | oneof: mapreduce_job , spark_job , pyspark_job или hive_job Спецификация задачи. |
mapreduce_job | MapreduceJob Спецификация задачи для MapReduce. |
spark_job | SparkJob Спецификация задачи для Spark. |
pyspark_job | PysparkJob Спецификация задачи для PySpark. |
hive_job | HiveJob Спецификация задачи для Hive. |
MapreduceJob
Поле | Описание |
---|---|
args[] | string Необязательные аргументы, которые передаются драйверу. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
file_uris[] | string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
archive_uris[] | string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и MapReduce. |
driver | oneof: main_jar_file_uri или main_class |
main_jar_file_uri | string HCFS URI JAR-файла, который содержит класс драйвера. |
main_class | string Имя класса драйвера. |
SparkJob
Поле | Описание |
---|---|
args[] | string Необязательные аргументы, которые передаются драйверу. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
file_uris[] | string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
archive_uris[] | string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и Spark. |
main_jar_file_uri | string URI HCFS JAR-файла, содержащего класс main для задачи. |
main_class | string Имя класса драйвера. |
PysparkJob
Поле | Описание |
---|---|
args[] | string Необязательные аргументы, которые передаются драйверу. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
file_uris[] | string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
archive_uris[] | string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и PySpark. |
main_python_file_uri | string URI файла с кодом драйвера. Должен быть .py-файлом. |
python_file_uris[] | string URI Python-файлов, которые передаются PySpark. |
HiveJob
Поле | Описание |
---|---|
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и Hive. |
continue_on_failure | bool Флаг, указывающий на то, что задачу следует продолжать даже если запрос выполнить не удалось. |
script_variables | map<string,string> Переменные запросов и их значения. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Hive и каждого задания в рамках задачи. |
query_type | oneof: query_file_uri или query_list |
query_file_uri | string URI скрипта со всеми необходимыми Hive-запросами. |
query_list | QueryList Список запросов Hive, которые используются в задаче. |
QueryList
Поле | Описание |
---|---|
queries[] | string Список Hive-запросов. |
Get
Возвращает указанную задачу.
rpc Get (GetJobRequest) returns (Job)
GetJobRequest
Поле | Описание |
---|---|
cluster_id | string Обязательное поле. Идентификатор кластера, для которого запрашивается задача. Максимальная длина строки в символах — 50. |
job_id | string Обязательное поле. Идентификатор возвращаемой задачи. Чтобы получить идентификатор задачи, выполните запрос JobService.List. Максимальная длина строки в символах — 50. |
Job
Поле | Описание |
---|---|
id | string Идентификатор задачи. Генерируется во время создания. |
cluster_id | string Идентификатор кластера Data Proc, которому принадлежит задача. |
created_at | google.protobuf.Timestamp Время создания. |
started_at | google.protobuf.Timestamp Время запуска задачи. |
finished_at | google.protobuf.Timestamp Время завершения задачи. |
name | string Имя задачи, указанное в запросе JobService.Create. |
created_by | string Идентификатор пользователя, создавшего задачу. |
status | enum Status Статус задачи.
|
job_spec | oneof: mapreduce_job , spark_job , pyspark_job или hive_job Спецификация задачи. |
mapreduce_job | MapreduceJob Спецификация задачи для MapReduce. |
spark_job | SparkJob Спецификация задачи для Spark. |
pyspark_job | PysparkJob Спецификация задачи для PySpark. |
hive_job | HiveJob Спецификация задачи для Hive. |
MapreduceJob
Поле | Описание |
---|---|
args[] | string Необязательные аргументы, которые передаются драйверу. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
file_uris[] | string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
archive_uris[] | string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и MapReduce. |
driver | oneof: main_jar_file_uri или main_class |
main_jar_file_uri | string HCFS URI JAR-файла, который содержит класс драйвера. |
main_class | string Имя класса драйвера. |
SparkJob
Поле | Описание |
---|---|
args[] | string Необязательные аргументы, которые передаются драйверу. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
file_uris[] | string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
archive_uris[] | string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и Spark. |
main_jar_file_uri | string URI HCFS JAR-файла, содержащего класс main для задачи. |
main_class | string Имя класса драйвера. |
PysparkJob
Поле | Описание |
---|---|
args[] | string Необязательные аргументы, которые передаются драйверу. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи. |
file_uris[] | string URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop. |
archive_uris[] | string URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи. |
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и PySpark. |
main_python_file_uri | string URI файла с кодом драйвера. Должен быть .py-файлом. |
python_file_uris[] | string URI Python-файлов, которые передаются PySpark. |
HiveJob
Поле | Описание |
---|---|
properties | map<string,string> Имена и значения свойств, которые используются для настройки Data Proc и Hive. |
continue_on_failure | bool Флаг, указывающий на то, что задачу следует продолжать даже если запрос выполнить не удалось. |
script_variables | map<string,string> Переменные запросов и их значения. |
jar_file_uris[] | string URI JAR-файлов, которые добавляются в CLASSPATH драйвера Hive и каждого задания в рамках задачи. |
query_type | oneof: query_file_uri или query_list |
query_file_uri | string URI скрипта со всеми необходимыми Hive-запросами. |
query_list | QueryList Список запросов Hive, которые используются в задаче. |
QueryList
Поле | Описание |
---|---|
queries[] | string Список Hive-запросов. |