Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex Data Proc
  • Практические руководства
    • Работа с заданиями
      • Обзор
      • Работа с заданиями Hive
      • Работа с заданиями MapReduce
      • Работа с заданиями PySpark
      • Работа с заданиями Spark
      • Использование Apache Hive
      • Запуск Spark-приложений
      • Запуск приложений с удаленного хоста
    • Настройка сети для кластеров Data Proc
    • Использование Yandex Object Storage в Data Proc
    • Обмен данными с Managed Service for ClickHouse
    • Импорт базы данных с использованием Sqoop
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к кластеру
    • Изменение кластера
    • Изменение подкластера
    • Управление подкластерами
    • Подключение к интерфейсам компонентов
    • Использование Sqoop
    • Управление заданиями
      • Все задания
      • Задания Spark
      • Задания PySpark
      • Задания Hive
      • Задания MapReduce
    • Удаление кластера
    • Работа с логами
    • Мониторинг состояния кластера и хостов
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Среда исполнения
    • Интерфейсы и порты компонентов Data Proc
    • Задания в Data Proc
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Техническое обслуживание
    • Квоты и лимиты
    • Свойства компонентов
    • Логи в Data Proc
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST (англ.)
      • Overview
      • Cluster
        • Overview
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • listUILinks
        • start
        • stop
        • update
      • Job
        • Overview
        • cancel
        • create
        • get
        • list
        • listLog
      • ResourcePreset
        • Overview
        • get
        • list
      • Subcluster
        • Overview
        • create
        • delete
        • get
        • list
        • update
  • История изменений
    • Изменения сервиса
    • Образы
  • Вопросы и ответы
  1. Концепции
  2. Интерфейсы и порты компонентов Data Proc

Интерфейсы и порты компонентов Data Proc

Статья создана
Yandex.Cloud
,
улучшена
VeLKerr
  • Компоненты и порты

Пользовательские веб-интерфейсы некоторых компонентов Data Proc, например Hadoop, Spark, Yarn и Zeppelin, доступны на MASTER-узле кластера. Эти интерфейсы могут быть использованы:

  • для управления и мониторинга ресурсов кластеров — YARN Resource Manager и HDFS Name Node;
  • для просмотра статуса и отладки заданий — Spark History и JobHistory;
  • для совместной работы, экспериментов или ad-hoc операций — Apache Zeppelin.

Data Proc позволяет создавать кластеры с доступом из интернета или только из облачной сети, однако при любой конфигурации интерфейсы компонентов сервиса рекомендуется делать недоступными извне Yandex Cloud. Вы можете подключиться к интерфейсам компонентов Data Proc либо с помощью UI Proxy, либо с помощью промежуточной виртуальной машины.

UI proxy — это механизм, который позволяет проксировать интерфейс компонентов кластера с шифрованием HTTP-трафика и аутентификацией через IAM Yandex Cloud. Чтобы получить доступ к интерфейсам, пользователь должен быть авторизован в Yandex Cloud, иметь права на просмотр кластера и обладать ролью dataproc.user.

UI Proxy по умолчанию отключен. Чтобы воспользоваться UI Proxy, включите его при создании или настройке кластера и посмотрите список доступных веб-интерфейсов для подключения.

Важно

Для использования UI Proxy может потребоваться дополнительная настройка групп безопасности.

Компоненты и порты

Сервис Порт
HBase Master 16010
HBase REST 8085
HDFS Name Node 9870
Hive Server2 10002
Livy 8998
MapReduce Application History 19888
Oozie 11000
Spark History 18080
YARN Application History 8188
YARN Resource Manager 8088
Zeppelin 8890

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»