Шаблоны Data Proc
Шаблон Data Proc — это специальный ресурс для быстрого развертывания кластеров Data Proc в проектах DataSphere. Шаблон определяет конфигурацию кластера, на его основе DataSphere может развернуть кластер несколько раз.
Для работы с кластерами Data Proc укажите в настройках проекта следующие параметры:
-
Каталог по умолчанию для интеграции с другими сервисами Yandex Cloud. В нем будет развернут кластер Data Proc в рамках текущих квот облака, а стоимость использования кластера будет списана с платежного аккаунта облака.
-
Сервисный аккаунт, от имени которого DataSphere будет создавать и управлять кластерами. Сервисному аккаунту понадобятся следующие роли:
dataproc.agent
— для использования кластеров Data Proc.dataproc.admin
— для создания кластеров из шаблонов Data Proc.vpc.user
— для работы с сетью кластера Data Proc.iam.serviceAccounts.user
— для создания ресурсов в каталоге от имени сервисного аккаунта.
-
Подсеть для связи DataSphere с кластером Data Proc. Кластеру Data Proc необходим доступ в интернет, поэтому в подсети должен быть настроен NAT-шлюз.
Примечание
Если вы указали подсеть в настройках проекта, время выделения вычислительных ресурсов может быть увеличено.
Информация о шаблонах Data Proc как о ресурсе
О каждом шаблоне хранится следующая информация:
- имя ресурса;
- создатель ресурса;
- конфигурация кластера;
- дата создания шаблона в формате в UTC
, например18 июля 2022 г., 14:23
.
Все шаблоны Data Proc, созданные в проекте, можно посмотреть на странице ресурса Data Proc. Там же отображается список всех доступных в проекте кластеров Data Proc. В него входят и временные кластеры на основе шаблонов Data Proc, и подключенные кластеры, развернутые в сервисе Yandex Data Proc. Чтобы посмотреть подробную информацию о шаблоне или кластере, нажмите на него.
Особенности временного кластера на основе шаблона Data Proc
Чтобы создать кластер из шаблона Data Proc, активируйте шаблон в проекте. При запуске проекта в IDE DataSphere создаст временный кластер в каталоге и подсети Yandex Cloud, указанных в настройках проекта.
DataSphere следит за временем жизни кластера и автоматически удаляет его, если в течение двух часов на нем не было вычислений. Кластер также будет удален, если в проекте принудительно остановить вычисления.
Конфигурации временных кластеров
Автоматические кластеры Data Proc разворачиваются на базе виртуальных машин Yandex Compute Cloud на платформе Intel Cascade Lake (standard-v2
).
Необходимый суммарный объем дисков для разных конфигураций кластеров можно рассчитать по формуле:
<количество_хостов_Data_Proc> × 256 + 128
Тип кластера | Количество хостов | Объем дисков | Параметры хоста |
---|---|---|---|
XS | 1 | 384 ГБ HDD | 4 vCPU, 16 ГБ RAM |
S | 4 | 1152 ГБ SSD | 4 vCPU, 16 ГБ RAM |
M | 8 | 2176 ГБ SSD | 16 vCPU, 64 ГБ RAM |
L | 16 | 4224 ГБ SSD | 16 vCPU, 64 ГБ RAM |
XL | 32 | 8320 ГБ SSD | 16 vCPU, 64 ГБ RAM |
Совет
Перед запуском проекта с активированным шаблоном Data Proc убедитесь, что квоты
Работа временных кластеров, созданных из шаблонов Data Proc, тарифицируется дополнительно по правилам тарификации Yandex Data Proc.
Статусы временного кластера Data Proc
DataSphere создаст временный кластер Data Proc, когда вы откроете проект в IDE.
После создания кластер появится в списке доступных кластеров на странице ресурсов Data Proc. Временный кластер может быть в одном из статусов:
STARTING
— кластер создается.UP
— кластер создан и готов для выполнения вычислений.DOWN
— возникли проблемы при создании кластера.