Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex Data Proc
  • Практические руководства
    • Все практические руководства
    • Работа с заданиями
      • Обзор
      • Работа с заданиями Hive
      • Работа с заданиями MapReduce
      • Работа с заданиями PySpark
      • Работа с заданиями Spark
      • Запуск заданий Apache Hive
      • Запуск Spark-приложений
      • Запуск заданий с удаленного хоста
    • Настройка сети для Data Proc
    • Использование Yandex Object Storage в Data Proc
    • Обмен данными с Yandex Managed Service for ClickHouse
    • Импорт данных из кластера Yandex Managed Service for MySQL с помощью Sqoop
    • Импорт данных из кластера Yandex Managed Service for PostgreSQL с помощью Sqoop
    • Использование скриптов инициализации для настройки GeeseFS в Data Proc
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к кластеру
    • Изменение кластера
    • Управление подкластерами
    • Изменение подкластера
    • Подключение к интерфейсам компонентов
    • Использование Sqoop
    • Управление заданиями
      • Все задания
      • Задания Spark
      • Задания PySpark
      • Задания Hive
      • Задания MapReduce
    • Удаление кластера
    • Работа с логами
    • Мониторинг состояния кластера и хостов
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Классы хостов
    • Среда исполнения
    • Интерфейсы и порты компонентов Data Proc
    • Задания в Data Proc
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Техническое обслуживание
    • Квоты и лимиты
    • Хранилище в Data Proc
    • Свойства компонентов
    • Логи в Data Proc
    • Скрипты инициализации
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST (англ.)
      • Overview
      • Cluster
        • Overview
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • listUILinks
        • start
        • stop
        • update
      • Job
        • Overview
        • cancel
        • create
        • get
        • list
        • listLog
      • ResourcePreset
        • Overview
        • get
        • list
      • Subcluster
        • Overview
        • create
        • delete
        • get
        • list
        • update
  • История изменений
    • Изменения сервиса
    • Образы
  • Вопросы и ответы
  1. Пошаговые инструкции
  2. Подключение к интерфейсам компонентов

Подключение к интерфейсам компонентов

Статья создана
Yandex Cloud
  • UI Proxy
    • Включить веб-интерфейсы компонентов
    • Получить список URL для подключения
  • Перенаправление портов

Вы можете подключиться к интерфейсам компонентов Data Proc либо с помощью UI Proxy, либо с помощью промежуточной виртуальной машины. Подробнее см. в разделе Интерфейсы и порты компонентов Data Proc.

UI Proxy

Важно

Для использования UI Proxy может потребоваться дополнительная настройка групп безопасности.

Включить веб-интерфейсы компонентов

Консоль управления
CLI
API
  1. Перейдите на страницу каталога и выберите сервис Data Proc.
  2. Выберите кластер и нажмите кнопку Изменить кластер на панели сверху.
  3. В блоке Настройки включите опцию UI Proxy.
  4. Нажмите кнопку Сохранить изменения.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы включить доступ к веб-интерфейсам компонентов кластера, задайте значение true для параметра --ui-proxy:

yc dataproc cluster update <идентификатор или имя кластера> \
   --ui-proxy=<включение опции UI Proxy: true или false>

Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

Воспользуйтесь методом update и передайте в запросе:

  • Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
  • Значение true в параметре uiProxy.
  • Список изменяемых полей конфигурации кластера в параметре updateMask (в данном случае — uiProxy).

Важно

Этот метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).

Получить список URL для подключения

Консоль управления
CLI
API
  1. Перейдите на страницу каталога и выберите сервис Data Proc.
  2. Нажмите на имя нужного кластера.
  3. Ссылки для подключения к веб-интерфейсам компонентов находятся в блоке UI Proxy.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить список URL для подключения к веб-интерфейсам компонентов кластера Data Proc, выполните команду:

yc dataproc cluster list-ui-links <идентификатор или имя кластера>

Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

Воспользуйтесь методом API listUILinks и передайте идентификатор кластера в параметре clusterId запроса.

Идентификатор кластера можно получить со списком кластеров в каталоге.

Перенаправление портов

Чтобы получить доступ к сетевому интерфейсу компонента из интернета, создайте промежуточную виртуальную машину в сервисе Yandex Compute Cloud.

Требования к промежуточной ВМ:

  • Наличие публичного IP-адреса.
  • Размещение в одной сети с нужным кластером Data Proc.
  • Настройки групп безопасности должны разрешать обмен трафиком с кластером через порты соответствующих компонентов.

Пошаговые инструкции по настройке групп безопасности для перенаправления портов приведены в разделе Настройка групп безопасности.

Чтобы соединиться с нужным портом хоста Data Proc, выполните команду:

ssh -A \
    -J <публичный IP-адрес ВМ> \
    -L <номер порта>:<FQDN хоста Data Proc>:<номер порта> <имя пользователя>@<FQDN хоста Data Proc>

Где:

  • -A — включает перенаправление соединения от агента аутентификации с промежуточной ВМ (jump host) на целевой хост кластера Data Proc.

  • -J — подключение к целевому хосту через промежуточную ВМ. Устанавливает SSH-соединение с промежуточной ВМ, которая будет перенаправлять пакеты к целевому хосту в кластере Data Proc.

  • -L — перенаправление локального порта на хост кластера Data Proc.

    Для подключения к хостам кластера с версией образа 1.x используйте имя пользователя root, для версии 2.x — ubuntu.

Найти FQDN хоста Data Proc можно на странице кластера Data Proc, на вкладке Хосты, в столбце Имя хоста.

Номера портов для компонентов Data Proc приведены в разделе Интерфейсы и порты компонентов.

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье:
  • UI Proxy
  • Включить веб-интерфейсы компонентов
  • Получить список URL для подключения
  • Перенаправление портов