Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Решения
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Data Proc
  • Сценарии использования
    • Настройка сети для кластеров Data Proc
    • Использование Apache Hive
    • Запуск Spark-приложений
    • Запуск приложений с удаленного хоста
    • Копирование файлов из Yandex Object Storage
  • Пошаговые инструкции
    • Все инструкции
    • Создание кластера
    • Подключение к кластеру
    • Изменение подкластера
    • Управление подкластерами
    • Удаление кластера
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Версии Hadoop и компонентов
    • Интерфейсы и порты компонентов
    • Веб-интерфейсы компонентов
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Квоты и лимиты
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • start
        • stop
        • update
      • Job
        • Обзор
        • create
        • get
        • list
      • ResourcePreset
        • Обзор
        • get
        • list
      • Subcluster
        • Обзор
        • create
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Концепции
  2. Веб-интерфейсы компонентов

Веб-интерфейсы компонентов Data Proc

    Некоторые компоненты Data Proc, например Hadoop, Spark, Yarn и Zeppelin, имеют пользовательские Веб-интерфейсы, которые открыты на MASTER узле кластера. Эти интерфейсы могут быть использованы:

    • для управления и мониторинга ресурсов кластеров — YARN Resource Manager и HDFS Name Node;
    • для просмотра статуса и отладки заданий — Spark History и JobHistory;
    • для совместной работы, экспериментов или ad-hoc операций — Apache Zeppelin.

    Более подробно об интерфейсах читайте на странице Работа с сетевыми интерфейсами компонентов.

    Вы можете подключиться к веб-интерфейсам компонентов Data Proc либо с помощью промежуточной виртуальной машины, либо с помощью UI proxy. UI proxy — это механизм, который позволяет проксировать интерфейс компонентов кластера с шифрованием HTTP трафика и аутентификацией через IAM Yandex.Cloud. Чтобы получить доступ к интерфейсам, пользователь должен быть авторизован в Yandex.Cloud, иметь права на просмотр кластера и обладать ролью dataproc.user.

    UI Proxy по умолчанию отключен. Чтобы воспользоваться UI Proxy, включите его при создании или настройка кластера.

    Интерфейсы:

    Сервис URL
    HDFS Name Node https://cluster-{cluster_id}.dataproc-ui.yandexcloud.net/gateway/default-topology/hdfs/
    YARN Resource Manager https://cluster-{cluster_id}.dataproc-ui.yandexcloud.net/gateway/default-topology/yarn/
    Livy https://cluster-{cluster_id}.dataproc-ui.yandexcloud.net/gateway/default-topology/livy/
    YARN Application History https://cluster-{cluster_id}.dataproc-ui.yandexcloud.net/gateway/default-topology/jobhistory/
    Hive Server2 https://cluster-{cluster_id}.dataproc-ui.yandexcloud.net/gateway/default-topology/hive/
    Zeppelin https://cluster-{cluster_id}.dataproc-ui.yandexcloud.net/gateway/default-topology/zeppelin/
    Oozie https://cluster-{cluster_id}.dataproc-ui.yandexcloud.net/gateway/default-topology/oozieui/
    Language / Region
    Вакансии
    Политика конфиденциальности
    Условия использования
    Брендбук
    © 2021 ООО «Яндекс.Облако»