Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex Data Proc
  • Практические руководства
    • Работа с заданиями
      • Обзор
      • Работа с заданиями Hive
      • Работа с заданиями MapReduce
      • Работа с заданиями PySpark
      • Работа с заданиями Spark
      • Использование Apache Hive
      • Запуск Spark-приложений
      • Запуск приложений с удаленного хоста
    • Настройка сети для кластеров Data Proc
    • Использование Yandex Object Storage в Data Proc
    • Обмен данными с Managed Service for ClickHouse
    • Импорт базы данных с использованием Sqoop
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к кластеру
    • Изменение кластера
    • Изменение подкластера
    • Управление подкластерами
    • Подключение к интерфейсам компонентов
    • Использование Sqoop
    • Управление заданиями
      • Все задания
      • Задания Spark
      • Задания PySpark
      • Задания Hive
      • Задания MapReduce
    • Удаление кластера
    • Работа с логами
    • Мониторинг состояния кластера и хостов
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Среда исполнения
    • Интерфейсы и порты компонентов Data Proc
    • Задания в Data Proc
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Техническое обслуживание
    • Квоты и лимиты
    • Свойства компонентов
    • Логи в Data Proc
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST (англ.)
      • Overview
      • Cluster
        • Overview
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • listUILinks
        • start
        • stop
        • update
      • Job
        • Overview
        • cancel
        • create
        • get
        • list
        • listLog
      • ResourcePreset
        • Overview
        • get
        • list
      • Subcluster
        • Overview
        • create
        • delete
        • get
        • list
        • update
  • История изменений
    • Изменения сервиса
    • Образы
  • Вопросы и ответы
  1. Концепции
  2. Задания в Data Proc

Задания в Data Proc

Статья создана
Yandex.Cloud
  • Логи заданий

В кластере Data Proc можно создавать и выполнять задания (jobs). Это позволяет, например, на регулярной основе загружать набор данных из бакета Object Storage, использовать их в расчетах и формировать аналитику.

Поддерживаются задания следующих типов:

  • Hive,
  • MapReduce,
  • PySpark,
  • Spark.

При создании задания указываются:

  • Аргументы — значения, используемые основным исполняемым файлом задания.
  • Свойства — пары ключ:значение, задающие настройки компонентов образа.

Для размещения и запуска задания:

  • Воспользуйтесь интерфейсами Yandex Cloud. Подробнее см. в базовых примерах работы с заданиями.

  • Подключитесь напрямую к узлу кластера. Подробнее см. пример в разделе Запуск заданий с удаленных хостов, не входящих в кластер Data Proc.

Для успешного выполнения задания:

  • Предоставьте доступ к нужным бакетам Object Storage для сервисного аккаунта кластера.

    Рекомендуется использовать минимум два бакета:

    • Бакет с правами только на чтение для хранения исходных данных и файлов, необходимых для запуска задания.
    • Бакет с правами на чтение и запись для хранения результатов выполнения заданий. Укажите его при создании кластера.
  • Передайте при создании задания все необходимые для его работы файлы.

Если в кластере достаточно вычислительных ресурсов, несколько созданных заданий будут выполняться параллельно. В противном случае из заданий будет сформирована очередь.

Логи заданий

Логи заданий сохраняются в сервисе Yandex Cloud Logging. Подробнее см. в разделе Работа с логами.

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»