Интерфейсы и порты компонентов Data Proc

Пользовательские веб-интерфейсы некоторых компонентов Data Proc, например Hadoop, Spark, Yarn и Zeppelin, доступны на MASTER-узле кластера. Эти интерфейсы могут быть использованы:

• для управления и мониторинга ресурсов кластеров — YARN Resource Manager и HDFS Name Node;
• для просмотра статуса и отладки заданий — Spark History и JobHistory;
• для совместной работы, экспериментов или ad-hoc операций — Apache Zeppelin.

Data Proc позволяет создавать кластеры с доступом из интернета или только из облачной сети, однако при любой конфигурации интерфейсы компонентов сервиса рекомендуется делать недоступными извне Yandex Cloud. Вы можете подключиться к интерфейсам компонентов Data Proc либо с помощью UI Proxy, либо с помощью промежуточной виртуальной машины.

UI proxy — это механизм, который позволяет проксировать интерфейс компонентов кластера с шифрованием HTTP-трафика и аутентификацией через IAM Yandex Cloud. Чтобы получить доступ к интерфейсам, пользователь должен быть авторизован в Yandex Cloud, иметь права на просмотр кластера и обладать ролью dataproc.user.

UI Proxy по умолчанию отключен. Чтобы воспользоваться UI Proxy, включите его при создании или настройке кластера и посмотрите список доступных веб-интерфейсов для подключения.

Компоненты и порты