Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Data Proc
  • Сценарии использования
    • Настройка сети для кластеров Data Proc
    • Использование Apache Hive
    • Запуск Spark-приложений
    • Запуск приложений с удаленного хоста
    • Копирование файлов из Yandex Object Storage
  • Пошаговые инструкции
    • Все инструкции
    • Создание кластера
    • Подключение к кластеру
    • Изменение подкластера
    • Управление подкластерами
    • Удаление кластера
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Версии Hadoop и компонентов
    • Интерфейсы и порты компонентов
    • Веб-интерфейсы компонентов
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Квоты и лимиты
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • start
        • stop
        • update
      • Job
        • Обзор
        • create
        • get
        • list
      • ResourcePreset
        • Обзор
        • get
        • list
      • Subcluster
        • Обзор
        • create
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Справочник API
  2. REST
  3. Job
  4. list

Метод list

  • HTTP-запрос
  • Path-параметры
  • Query-параметры
  • Ответ

Получает список задач для указанного кластера.

HTTP-запрос

GET https://dataproc.api.cloud.yandex.net/dataproc/v1/clusters/{clusterId}/jobs

Path-параметры

Параметр Описание
clusterId Обязательное поле. Идентификатор кластера, для которого запрашивается список задач. Максимальная длина строки в символах — 50.

Query-параметры

Параметр Описание
pageSize Максимальное количество результатов на странице ответа на запрос. Если количество результатов больше чем page_size , сервис вернет значение nextPageToken, которое можно использовать для получения следующей страницы. Значение по умолчанию: 100. Максимальное значение — 1000.
pageToken Токен страницы. Установите значение page_token равным значению поля nextPageToken предыдущего запроса, чтобы получить следующую страницу результатов. Максимальная длина строки в символах — 100.
filter Параметры фильтрации задач в ответе. В параметрах фильтрации указываются: 1. Имя поля. В настоящее время фильтрация осуществляется только по полю Job.name. 2. Оператор. Операторы = или != для одиночных значений, IN или NOT IN для списков значений. 3. Значение. Значение длиной от 3 до 63 символов, совпадающее с регулярным выражением ^[a-z][-a-z0-9]{1,61}[a-z0-9]. Пример фильтра: name=my-job. Максимальная длина строки в символах — 1000.

Ответ

HTTP Code: 200 - OK

{
  "jobs": [
    {
      "id": "string",
      "clusterId": "string",
      "createdAt": "string",
      "startedAt": "string",
      "finishedAt": "string",
      "name": "string",
      "createdBy": "string",
      "status": "string",

      // `jobs[]` включает только одно из полей `mapreduceJob`, `sparkJob`, `pysparkJob`, `hiveJob`
      "mapreduceJob": {
        "args": [
          "string"
        ],
        "jarFileUris": [
          "string"
        ],
        "fileUris": [
          "string"
        ],
        "archiveUris": [
          "string"
        ],
        "properties": "object",

        // `jobs[].mapreduceJob` включает только одно из полей `mainJarFileUri`, `mainClass`
        "mainJarFileUri": "string",
        "mainClass": "string",
        // конец списка возможных полей`jobs[].mapreduceJob`

      },
      "sparkJob": {
        "args": [
          "string"
        ],
        "jarFileUris": [
          "string"
        ],
        "fileUris": [
          "string"
        ],
        "archiveUris": [
          "string"
        ],
        "properties": "object",
        "mainJarFileUri": "string",
        "mainClass": "string"
      },
      "pysparkJob": {
        "args": [
          "string"
        ],
        "jarFileUris": [
          "string"
        ],
        "fileUris": [
          "string"
        ],
        "archiveUris": [
          "string"
        ],
        "properties": "object",
        "mainPythonFileUri": "string",
        "pythonFileUris": [
          "string"
        ]
      },
      "hiveJob": {
        "properties": "object",
        "continueOnFailure": true,
        "scriptVariables": "object",
        "jarFileUris": [
          "string"
        ],

        // `jobs[].hiveJob` включает только одно из полей `queryFileUri`, `queryList`
        "queryFileUri": "string",
        "queryList": {
          "queries": [
            "string"
          ]
        },
        // конец списка возможных полей`jobs[].hiveJob`

      },
      // конец списка возможных полей`jobs[]`

    }
  ],
  "nextPageToken": "string"
}
Поле Описание
jobs[] object

Задача Data Proc. Дополнительные сведения о концепции см. в документации.

jobs[].
id
string

Идентификатор задачи. Генерируется во время создания.

jobs[].
clusterId
string

Идентификатор кластера Data Proc, которому принадлежит задача.

jobs[].
createdAt
string (date-time)

Время создания.

Строка в формате RFC3339.

jobs[].
startedAt
string (date-time)

Время запуска задачи.

Строка в формате RFC3339.

jobs[].
finishedAt
string (date-time)

Время завершения задачи.

Строка в формате RFC3339.

jobs[].
name
string

Имя задачи, указанное в запросе create.

jobs[].
createdBy
string

Идентификатор пользователя, создавшего задачу.

jobs[].
status
string
Статус задачи.
  • PROVISIONING: Задача зарегистрирована в базе данных и ожидает, пока агент запустит ее.
  • PENDING: Задача получена агентом и находится в очереди на выполнение.
  • RUNNING: Задача выполняется в кластере.
  • ERROR: Задача не смогла завершиться должным образом.
  • DONE: Задача выполнена.
jobs[].
mapreduceJob
object
Спецификация задачи для MapReduce.
jobs[] включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob

jobs[].
mapreduceJob.
args[]
string

Необязательные аргументы, которые передаются драйверу.

jobs[].
mapreduceJob.
jarFileUris[]
string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи.

jobs[].
mapreduceJob.
fileUris[]
string

URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop.

jobs[].
mapreduceJob.
archiveUris[]
string

URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи.

jobs[].
mapreduceJob.
properties
object

Имена и значения свойств, которые используются для настройки Data Proc и MapReduce.

jobs[].
mapreduceJob.
mainJarFileUri
string
jobs[].mapreduceJob включает только одно из полей mainJarFileUri, mainClass

HCFS URI JAR-файла, который содержит класс драйвера.

jobs[].
mapreduceJob.
mainClass
string
jobs[].mapreduceJob включает только одно из полей mainJarFileUri, mainClass

Имя класса драйвера.

jobs[].
sparkJob
object
Спецификация задачи для Spark.
jobs[] включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob

jobs[].
sparkJob.
args[]
string

Необязательные аргументы, которые передаются драйверу.

jobs[].
sparkJob.
jarFileUris[]
string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи.

jobs[].
sparkJob.
fileUris[]
string

URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop.

jobs[].
sparkJob.
archiveUris[]
string

URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи.

jobs[].
sparkJob.
properties
object

Имена и значения свойств, которые используются для настройки Data Proc и Spark.

jobs[].
sparkJob.
mainJarFileUri
string

URI HCFS JAR-файла, содержащего класс main для задачи.

jobs[].
sparkJob.
mainClass
string

Имя класса драйвера.

jobs[].
pysparkJob
object
Спецификация задачи для PySpark.
jobs[] включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob

jobs[].
pysparkJob.
args[]
string

Необязательные аргументы, которые передаются драйверу.

jobs[].
pysparkJob.
jarFileUris[]
string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Data Proc и каждого задания в рамках задачи.

jobs[].
pysparkJob.
fileUris[]
string

URI ресурсных файлов, которые копируются в рабочий каталог драйверов Data Proc и распределенных заданий Hadoop.

jobs[].
pysparkJob.
archiveUris[]
string

URI архивов, содержимое которых извлекается в рабочий каталог драйверов и каждого задания в рамках задачи.

jobs[].
pysparkJob.
properties
object

Имена и значения свойств, которые используются для настройки Data Proc и PySpark.

jobs[].
pysparkJob.
mainPythonFileUri
string

URI файла с кодом драйвера. Должен быть .py-файлом.

jobs[].
pysparkJob.
pythonFileUris[]
string

URI Python-файлов, которые передаются PySpark.

jobs[].
hiveJob
object
Спецификация задачи для Hive.
jobs[] включает только одно из полей mapreduceJob, sparkJob, pysparkJob, hiveJob

jobs[].
hiveJob.
properties
object

Имена и значения свойств, которые используются для настройки Data Proc и Hive.

jobs[].
hiveJob.
continueOnFailure
boolean (boolean)

Флаг, указывающий на то, что задачу следует продолжать даже если запрос выполнить не удалось.

jobs[].
hiveJob.
scriptVariables
object

Переменные запросов и их значения.

jobs[].
hiveJob.
jarFileUris[]
string

URI JAR-файлов, которые добавляются в CLASSPATH драйвера Hive и каждого задания в рамках задачи.

jobs[].
hiveJob.
queryFileUri
string
jobs[].hiveJob включает только одно из полей queryFileUri, queryList

URI скрипта со всеми необходимыми Hive-запросами.

jobs[].
hiveJob.
queryList
object
Список запросов Hive, которые используются в задаче.
jobs[].hiveJob включает только одно из полей queryFileUri, queryList

jobs[].
hiveJob.
queryList.
queries[]
string

Список Hive-запросов.

nextPageToken string

Токен для получения следующей страницы списка. Если количество результатов больше чем pageSize, используйте next_page_token в качестве значения параметра pageToken в следующем запросе списка ресурсов.

У каждой последующей страницы будет собственный next_page_token, чтобы можно было продолжать просматривать результаты.

В этой статье:
  • HTTP-запрос
  • Path-параметры
  • Query-параметры
  • Ответ
Language
Вакансии
Политика конфиденциальности
Условия использования
© 2021 ООО «Яндекс.Облако»