Работа с сетевыми интерфейсами компонентов

Data Proc позволяет создавать кластеры только с внутренними адресами Yandex.Cloud. Сетевые и веб-интерфейсы компонентов при этом недоступны извне. Для внешней связи с такими компонентами как HDFS NameNode, YARN ResourceManager и другими необходимо маршрутизировать трафик через промежуточную виртуальную машину, для которой выделен публичный IP-адрес.

Перенаправление портов

Чтобы получить доступ к сетевому интерфейсу компонента из интернета, создайте промежуточную виртуальную машину в сервисе Yandex Compute Cloud.

Требования к промежуточной ВМ:

• Наличие публичного IP-адреса.
• Размещение в одной сети с нужным кластером Data Proc.
• Настройки групп безопасности должны разрешать обмен трафиком с кластером через порты соответствующих компонентов.

Пошаговые инструкции по настройке групп безопасности для перенаправления портов приведены в разделе Подключение к кластеру Data Proc.

Чтобы соединиться с нужным портом хоста Data Proc, выполните следующую команду:

ssh -A -J <публичный IP-адрес ВМ> -L <номер порта>:<FQDN хоста Data Proc>:<номер порта> root@<FQDN хоста Data Proc>

Найти FQDN хоста Data Proc можно на странице кластера Data Proc, на вкладке Хосты, в столбце Имя хоста.

Номера портов для компонентов Data Proc приведены ниже.

Компоненты и порты