Сеть, кластеры и подкластеры
Все подкластеры кластера находятся в одной сети, все хосты каждого подкластера — в определенной подсети этой сети.
У хостов кластера не может быть публичного IP-адреса. Подключиться к кластеру Data Proc можно только с виртуальных машин Yandex.Cloud, расположенных в той же облачной сети, что и кластер.
Адреса хостов в кластере
При создании хоста в подкластере Data Proc генерирует для него FQDN и IP-адрес. Их можно использовать для доступа к хосту в рамках одной облачной сети.
IP-адрес хоста может меняться в ходе эксплуатации, но FQDN хоста не меняется.
Важно
Когда вы уменьшаете количество хостов в подкластере, сервис самостоятельно выбирает хосты, которые будут удалены. FQDN удаленных хостов перестают работать.
Группы безопасности
Для групп безопасности действует принцип «весь трафик, который не разрешен, запрещен». Если в настройках групп безопасности нет необходимых правил, то подключиться к кластеру будет невозможно. Также не будет работать обмен данными между подкластерами, кластером и промежуточной виртуальной машиной, используемой для перенаправления портов.
Например, пусть для подключения к кластеру используется ВМ, находящаяся в подсети 10.128.0.0/16. Если в правилах группы безопасности указана только подсеть 10.133.0.0/24, подключиться к кластеру не удастся. Также не получится подключиться к кластеру с ВМ, находящейся в подсети 10.128.0.0/16, для которой не указаны разрешения для нужных портов.
Перед созданием кластера необходимо создать и настроить группы безопасности таким образом, чтобы был разрешен служебный трафик между хостами кластера. Подробнее см. в разделе Создание кластера Data Proc.