Шаблоны Yandex Data Proc
Шаблон Yandex Data Proc — это специальный ресурс для быстрого развертывания кластеров Yandex Data Proc в проектах DataSphere. Шаблон определяет конфигурацию кластера, на его основе DataSphere может развернуть кластер несколько раз.
Для работы с кластерами Yandex Data Proc укажите в настройках проекта следующие параметры:
-
Каталог по умолчанию для интеграции с другими сервисами Yandex Cloud. В нем будет развернут кластер Yandex Data Proc в рамках текущих квот облака, а стоимость использования кластера будет списана с платежного аккаунта облака.
-
Сервисный аккаунт, от имени которого DataSphere будет создавать и управлять кластерами. Сервисному аккаунту понадобятся следующие роли:
dataproc.agent
— для использования кластеров Yandex Data Proc.dataproc.admin
— для создания кластеров из шаблонов Yandex Data Proc.vpc.user
— для работы с сетью кластера Yandex Data Proc.iam.serviceAccounts.user
— для создания ресурсов в каталоге от имени сервисного аккаунта.
-
Подсеть для связи DataSphere с кластером Yandex Data Proc. Кластеру Yandex Data Proc необходим доступ в интернет, поэтому в подсети должен быть настроен NAT-шлюз.
Примечание
Если вы указали подсеть в настройках проекта, время выделения вычислительных ресурсов может быть увеличено.
Информация о шаблонах Yandex Data Proc как о ресурсе
О каждом шаблоне хранится следующая информация:
- имя ресурса;
- создатель ресурса;
- конфигурация кластера;
- дата создания шаблона в формате в UTC
, например18 июля 2022 г., 14:23
.
Все шаблоны Yandex Data Proc, созданные в проекте, можно посмотреть на странице ресурса Yandex Data Proc. Там же отображается список всех доступных в проекте кластеров Yandex Data Proc. В него входят и временные кластеры на основе шаблонов Yandex Data Proc, и подключенные кластеры, развернутые в сервисе Yandex Data Proc. Чтобы посмотреть подробную информацию о шаблоне или кластере, нажмите на него.
Особенности временного кластера на основе шаблона Yandex Data Proc
Чтобы создать кластер из шаблона Yandex Data Proc, активируйте шаблон в проекте. При запуске проекта в IDE DataSphere создаст временный кластер в каталоге и подсети Yandex Cloud, указанных в настройках проекта.
DataSphere следит за временем жизни кластера и автоматически удаляет его, если в течение двух часов на нем не было вычислений. Кластер также будет удален, если в проекте принудительно остановить вычисления.
Конфигурации временных кластеров
Автоматические кластеры Yandex Data Proc разворачиваются на базе виртуальных машин Yandex Compute Cloud на платформе Intel Cascade Lake (standard-v2
).
Необходимый суммарный объем дисков для разных конфигураций кластеров можно рассчитать по формуле:
<количество_хостов_Data_Proc> × 256 + 128
Тип кластера | Количество хостов | Объем дисков | Параметры хоста |
---|---|---|---|
XS | 1 | 384 ГБ HDD | 4 vCPU, 16 ГБ RAM |
S | 4 | 1152 ГБ SSD | 4 vCPU, 16 ГБ RAM |
M | 8 | 2176 ГБ SSD | 16 vCPU, 64 ГБ RAM |
L | 16 | 4224 ГБ SSD | 16 vCPU, 64 ГБ RAM |
XL | 32 | 8320 ГБ SSD | 16 vCPU, 64 ГБ RAM |
Совет
Перед запуском проекта с активированным шаблоном Yandex Data Proc убедитесь, что квоты
Работа временных кластеров, созданных из шаблонов Yandex Data Proc, тарифицируется дополнительно по правилам тарификации Yandex Data Proc.
Статусы временного кластера Yandex Data Proc
DataSphere создаст временный кластер Yandex Data Proc, когда вы откроете проект в IDE.
После создания кластер появится в списке доступных кластеров на странице ресурсов Yandex Data Proc. Временный кластер может быть в одном из статусов:
STARTING
— кластер создается.UP
— кластер создан и готов для выполнения вычислений.DOWN
— возникли проблемы при создании кластера.