Задания в Data Proc
В кластере Data Proc можно создавать и выполнять задания (jobs). Это позволяет, например, на регулярной основе загружать набор данных из бакета Object Storage, использовать их в расчетах и формировать аналитику.
Поддерживаются задания следующих типов:
При создании задания указываются:
- Аргументы — значения, используемые основным исполняемым файлом задания.
- Свойства — пары
ключ:значение
, задающие настройки компонентов образа.
Для размещения и запуска задания:
-
Воспользуйтесь интерфейсами Yandex.Cloud. Подробнее см. в базовых примерах работы с заданиями.
-
Подключитесь напрямую к узлу кластера. Подробнее см. пример в разделе Запуск заданий с удаленных хостов, не входящих в кластер Data Proc.
Для успешного выполнения задания:
-
Предоставьте доступ к нужным бакетам Object Storage для сервисного аккаунта кластера.
Рекомендуется использовать минимум два бакета:
- Бакет с правами только на чтение для хранения исходных данных и файлов, необходимых для запуска задания.
- Бакет с правами на чтение и запись для хранения результатов выполнения заданий и логов. Укажите его при создании кластера.
-
Передайте при создании задания все необходимые для его работы файлы.
Если в кластере достаточно вычислительных ресурсов, несколько созданных заданий будут выполняться параллельно. В противном случае из заданий будет сформирована очередь.
Логи заданий
По умолчанию логи заданий сохраняются в бакет, указанный при создании кластера, по пути:
s3a://<имя бакета>/<dataproc>/<идентификатор кластера>/jobs/<идентификатор задачи>/
Подробнее см. в разделе Управление заданиями.