Работа с сетевыми интерфейсами компонентов

Data Proc позволяет создавать кластеры только с внутренними адресами Yandex.Cloud. Сетевые и веб-интерфейсы компонентов при этом недоступны извне. Для внешней связи с такими компонентами как HDFS NameNode, YARN ResourceManager и другими необходимо маршрутизировать трафик через промежуточную виртуальную машину, для которой выделен публичный IP-адрес.

Перенаправление портов

Чтобы получить доступ к сетевому интерфейсу компонента из интернета, создайте промежуточную виртуальную машину в сервисе Yandex Compute Cloud. Эта ВМ должна иметь публичный IP-адрес и находиться в одной сети с нужным кластером Data Proc.

Чтобы соединиться с нужным портом хоста Data Proc, выполните следующую команду:

ssh -A -J <публичный IP-адрес ВМ> -L <номер порта>:<FQDN хоста Data Proc>:<номер порта> root@<FQDN хоста Data Proc>

Найти FQDN хоста Data Proc можно на странице кластера Data Proc, на вкладке Хосты, в столбце Имя хоста.

Номера портов для компонентов Data Proc приведены ниже.

Компоненты и порты