Работа с сетевыми интерфейсами компонентов
Data Proc позволяет создавать кластеры только с внутренними адресами Yandex.Cloud. Сетевые и веб-интерфейсы компонентов при этом недоступны извне. Для внешней связи с такими компонентами как HDFS NameNode, YARN ResourceManager и другими необходимо маршрутизировать трафик через промежуточную виртуальную машину, для которой выделен публичный IP-адрес.
Перенаправление портов
Чтобы получить доступ к сетевому интерфейсу компонента из интернета, создайте промежуточную виртуальную машину в сервисе Yandex Compute Cloud. Эта ВМ должна иметь публичный IP-адрес и находиться в одной сети с нужным кластером Data Proc.
Чтобы соединиться с нужным портом хоста Data Proc, выполните следующую команду:
ssh -A -J <публичный IP-адрес ВМ> -L <номер порта>:<FQDN хоста Data Proc>:<номер порта> root@<FQDN хоста Data Proc>
Найти FQDN хоста Data Proc можно на странице кластера Data Proc, на вкладке Хосты, в столбце Имя хоста.
Номера портов для компонентов Data Proc приведены ниже.
Компоненты и порты
Сервис | Порт |
---|---|
HDFS Name Node | 9870 |
YARN Resource Manager | 8088 |
YARN Application History | 8188 |
MapReduce Application History | 19888 |
Hive Server2 | 10002 |
HBase Master | 16010 |
HBase REST | 8085 |
Zeppelin | 8890 |
Oozie | 11000 |
Spark History | 18080 |