Подключиться
Yandex Data Proc

Подключение к интерфейсам компонентов

Статья создана

Вы можете подключиться к интерфейсам компонентов Data Proc либо с помощью UI Proxy, либо с помощью промежуточной виртуальной машины. Подробнее см. в разделе Интерфейсы и порты компонентов Data Proc.

UI Proxy

Важно

Для использования UI Proxy может потребоваться дополнительная настройка групп безопасности (функциональность находится на стадии Preview).

Группы безопасности находятся на стадии Preview. Если они недоступны в вашей сети, для ресурсов будет разрешен весь входящий и исходящий трафик. Дополнительной настройки не требуется.

Чтобы включить группы безопасности, запросите в технической поддержке доступ к этой функции.

Включить веб-интерфейсы компонентов

  1. Перейдите на страницу каталога и выберите сервис Data Proc.
  2. Выберите кластер и нажмите кнопку Изменить кластер на панели сверху.
  3. В блоке Настройки включите опцию UI Proxy.
  4. Нажмите кнопку Сохранить изменения.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы включить доступ к веб-интерфейсам компонентов кластера, задайте значение true для параметра --ui-proxy:

yc dataproc cluster update <идентификатор или имя кластера> \
   --ui-proxy=<включение опции UI Proxy: true или false>

Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

Воспользуйтесь методом update и передайте в запросе:

  • Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
  • Значение true в параметре uiProxy.
  • Список изменяемых полей конфигурации кластера в параметре updateMask (в данном случае — uiProxy).

Важно

Этот метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).

Получить список URL для подключения

  1. Перейдите на страницу каталога и выберите сервис Data Proc.
  2. Нажмите на имя нужного кластера.
  3. Ссылки для подключения к веб-интерфейсам компонентов находятся в блоке UI Proxy.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить список URL для подключения к веб-интерфейсам компонентов кластера Data Proc, выполните команду:

yc dataproc cluster list-ui-links <идентификатор или имя кластера>

Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

Воспользуйтесь методом API listUILinks и передайте в запросе идентификатор кластера в параметре clusterId.

Идентификатор кластера можно получить со списком кластеров в каталоге.

Перенаправление портов

Чтобы получить доступ к сетевому интерфейсу компонента из интернета, создайте промежуточную виртуальную машину в сервисе Yandex Compute Cloud.

Требования к промежуточной ВМ:

  • Наличие публичного IP-адреса.
  • Размещение в одной сети с нужным кластером Data Proc.
  • Настройки групп безопасности должны разрешать обмен трафиком с кластером через порты соответствующих компонентов.

Пошаговые инструкции по настройке групп безопасности для перенаправления портов приведены в разделе Настройка групп безопасности.

Чтобы соединиться с нужным портом хоста Data Proc, выполните команду:

ssh -A \
    -J <публичный IP-адрес ВМ> \
    -L <номер порта>:<FQDN хоста Data Proc>:<номер порта> <имя пользователя>@<FQDN хоста Data Proc>

Где:

  • -A — включает перенаправление соединения от агента аутентификации с промежуточной ВМ (jump host) на целевой хост кластера Data Proc.

  • -J — подключение к целевому хосту через промежуточную ВМ. Устанавливает SSH-соединение с промежуточной ВМ, которая будет перенаправлять пакеты к целевому хосту в кластере Data Proc.

  • -L — перенаправление локального порта на хост кластера Data Proc.

    Для подключения к хостам кластера с версией образа 1.x используйте имя пользователя root, для версии 2.x — ubuntu.

Найти FQDN хоста Data Proc можно на странице кластера Data Proc, на вкладке Хосты, в столбце Имя хоста.

Номера портов для компонентов Data Proc приведены в разделе Интерфейсы и порты компонентов.

В этой статье: