Взаимосвязь ресурсов сервиса Data Proc
Сервис Data Proc позволяет реализовать распределенное хранение и обработку данных с помощью сервисов из экосистемы Apache Hadoop.
Ресурсы
Основная сущность сервиса — кластер. Кластер объединяет все ресурсы, доступные Hadoop: вычислительные мощности и хранилище.
Каждый кластер состоит из подкластеров. Подкластеры объединяют хосты, выполняющие идентичные функции:
-
Подкластер с управляющим хостом (
Мастерилиmasternode). Например, NameNode для HDFS или ResourceManager для YARN.Примечание
В каждом кластере может быть не больше одного подкластера с управляющим хостом.
-
Подкластеры для хранения данных (
Dataилиdatanode). Например, DataNode для HDFS. -
Подкластеры для обработки данных (
Computeилиcomputenode). Например, NodeManager для YARN.
Подкластеры каждого кластера должны находиться в одной облачной сети и в одной зоне доступности.
Хосты в каждом подкластере создаются с вычислительной мощностью, соответствующей указанному классу хостов. Список доступных классов хостов и их характеристики см. в разделе Классы хостов Data Proc.
Виртуальные машины, соответствующие хостам кластера, могут размещаться:
-
На стандартных хостах Yandex Cloud.
Это физические серверы для размещения виртуальных машин кластера. Такие хосты выбираются случайным образом из пула доступных хостов, удовлетворяющих выбранной конфигурации подкластеров.
-
На выделенных хостах Yandex Cloud.
Это физические серверы для размещения исключительно ваших виртуальных машин. Эти виртуальные машины обеспечивают как работу кластера, так и работу других ваших сервисов, которые поддерживают выделенные хосты. Такие хосты выбираются из групп выделенных хостов, указанных при создании кластера.
При таком варианте размещения обеспечивается физическая изоляция виртуальных машин. Кластер Data Proc, использующий выделенные хосты, обладает всеми возможностями обычных кластеров.
Подробнее см. в документации Yandex Compute Cloud по выделенным хостам.
О сетевой конфигурации и сетевом доступе к кластеру см. раздел Сеть в Data Proc.
Легковесные кластеры
Начиная с версии образа 2.0.39 доступна легковесная (LightWeight) конфигурация кластера — без HDFS и подкластеров для хранения данных. Такие кластера могут включать в себя, например, только YARN и SPARK. Они создаются быстрее и эффективней используют вычислительные ресурсы хостов. Легковесные кластеры рекомендуются для запуска единичных заданий для обработки данных в Spark или PySpark.
Преимущества легковесных кластеров:
-
Spark Driver запускается на подкластере с управляющими хостами. Это позволяет выдавать разные ресурсы для подкластера с управляющими хостами, где будет запущен Spark Driver, и подкластеров для обработки данных, где будут запущены Spark Executors.
-
В обычных кластерах на каждом подкластере для обработки данных запускается как минимум по одному экземпляру Spark Driver и Spark Executor. В легковесных кластерах Spark Driver может использовать все свободные ресурсы подкластера с управляющими хостами, а Spark Executors — все свободные ресурсы подкластеров для обработки данных. Это повышает эффективность работы хостов.
Требования для использования легковесных кластеров:
- не выбран компонент HDFS;
- в кластере не используются подкластеры для хранения данных;
- кластер содержит один или несколько подкластеров для обработки данных;
- в настройках кластера указан бакет в Yandex Object Storage.
Безопасность
Так как кластер Data Proc имеет функцию запуска заданий без непосредственного доступа к кластеру по SSH, то для удобства пользователя кластер пишет журнал выполнения заданий в S3-бакет. Запись в бакет происходит под сервисным аккаунтом, указанным во время создания кластера. Более подробно с концепцией можно ознакомиться на странице Сервисные аккаунты.
Для Data Proc кластера рекомендуется использовать хотя бы два разных S3 бакета:
- Для исходных данных, где сервисный аккаунт имеет права только на чтение.
- Для журналов и результатов операций — сервисный аккаунт имеет полный доступ.
Это необходимо для уменьшения рисков непредвиденных модификаций и удаления исходных данных.