Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Решения
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Data Proc
  • Сценарии использования
    • Настройка сети для кластеров Data Proc
    • Использование Apache Hive
    • Запуск Spark-приложений
    • Запуск приложений с удаленного хоста
    • Копирование файлов из Yandex Object Storage
  • Пошаговые инструкции
    • Все инструкции
    • Создание кластера
    • Подключение к кластеру
    • Изменение подкластера
    • Управление подкластерами
    • Удаление кластера
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Версии Hadoop и компонентов
    • Интерфейсы и порты компонентов
    • Веб-интерфейсы компонентов
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Квоты и лимиты
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • start
        • stop
        • update
      • Job
        • Обзор
        • create
        • get
        • list
      • ResourcePreset
        • Обзор
        • get
        • list
      • Subcluster
        • Обзор
        • create
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Концепции
  2. Интерфейсы и порты компонентов

Работа с сетевыми интерфейсами компонентов

  • Перенаправление портов
  • Компоненты и порты

Data Proc позволяет создавать кластеры только с внутренними адресами Yandex.Cloud. Сетевые и веб-интерфейсы компонентов при этом недоступны извне. Для внешней связи с такими компонентами как HDFS NameNode, YARN ResourceManager и другими необходимо маршрутизировать трафик через промежуточную виртуальную машину, для которой выделен публичный IP-адрес.

Перенаправление портов

Чтобы получить доступ к сетевому интерфейсу компонента из интернета, создайте промежуточную виртуальную машину в сервисе Yandex Compute Cloud. Эта ВМ должна иметь публичный IP-адрес и находиться в одной сети с нужным кластером Data Proc.

Чтобы соединиться с нужным портом хоста Data Proc, выполните следующую команду:

ssh -A -J <публичный IP-адрес ВМ> -L <номер порта>:<FQDN хоста Data Proc>:<номер порта> root@<FQDN хоста Data Proc>

Найти FQDN хоста Data Proc можно на странице кластера Data Proc, на вкладке Хосты, в столбце Имя хоста.

Номера портов для компонентов Data Proc приведены ниже.

Компоненты и порты

Сервис Порт
HDFS Name Node 9870
YARN Resource Manager 8088
YARN Application History 8188
MapReduce Application History 19888
Hive Server2 10002
HBase Master 16010
HBase REST 8085
Zeppelin 8890
Oozie 11000
Spark History 18080
В этой статье:
  • Перенаправление портов
  • Компоненты и порты
Language / Region
Вакансии
Политика конфиденциальности
Условия использования
Брендбук
© 2021 ООО «Яндекс.Облако»