Подключение к интерфейсам компонентов
Вы можете подключиться к интерфейсам компонентов Data Proc либо с помощью UI Proxy, либо с помощью промежуточной виртуальной машины. Подробнее см. в разделе Интерфейсы и порты компонентов Data Proc.
UI Proxy
Важно
Для использования UI Proxy может потребоваться дополнительная настройка групп безопасности.
Включить веб-интерфейсы компонентов
- Перейдите на страницу каталога и выберите сервис Data Proc.
- Выберите кластер и нажмите кнопку Изменить кластер на панели сверху.
- В блоке Настройки включите опцию UI Proxy.
- Нажмите кнопку Сохранить изменения.
Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.
По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.
Чтобы включить доступ к веб-интерфейсам компонентов кластера, задайте значение true для параметра --ui-proxy:
yc dataproc cluster update <идентификатор или имя кластера> \
--ui-proxy=<включение опции UI Proxy: true или false>
Идентификатор и имя кластера можно получить со списком кластеров в каталоге.
Воспользуйтесь методом update и передайте в запросе:
- Идентификатор кластера в параметре
clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге. - Значение
trueв параметреuiProxy. - Список изменяемых полей конфигурации кластера в параметре
updateMask(в данном случае —uiProxy).
Важно
Этот метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).
Получить список URL для подключения
- Перейдите на страницу каталога и выберите сервис Data Proc.
- Нажмите на имя нужного кластера.
- Ссылки для подключения к веб-интерфейсам компонентов находятся в блоке UI Proxy.
Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.
По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.
Чтобы получить список URL для подключения к веб-интерфейсам компонентов кластера Data Proc, выполните команду:
yc dataproc cluster list-ui-links <идентификатор или имя кластера>
Идентификатор и имя кластера можно получить со списком кластеров в каталоге.
Воспользуйтесь методом API listUILinks и передайте идентификатор кластера в параметре clusterId запроса.
Идентификатор кластера можно получить со списком кластеров в каталоге.
Перенаправление портов
Чтобы получить доступ к сетевому интерфейсу компонента из интернета, создайте промежуточную виртуальную машину в сервисе Yandex Compute Cloud.
Требования к промежуточной ВМ:
- Наличие публичного IP-адреса.
- Размещение в одной сети с нужным кластером Data Proc.
- Настройки групп безопасности должны разрешать обмен трафиком с кластером через порты соответствующих компонентов.
Пошаговые инструкции по настройке групп безопасности для перенаправления портов приведены в разделе Настройка групп безопасности.
Чтобы соединиться с нужным портом хоста Data Proc, выполните команду:
ssh -A \
-J <публичный IP-адрес ВМ> \
-L <номер порта>:<FQDN хоста Data Proc>:<номер порта> <имя пользователя>@<FQDN хоста Data Proc>
Где:
-
-A— включает перенаправление соединения от агента аутентификации с промежуточной ВМ (jump host) на целевой хост кластера Data Proc. -
-J— подключение к целевому хосту через промежуточную ВМ. Устанавливает SSH-соединение с промежуточной ВМ, которая будет перенаправлять пакеты к целевому хосту в кластере Data Proc. -
-L— перенаправление локального порта на хост кластера Data Proc.Для подключения к хостам кластера с версией образа 1.x используйте имя пользователя
root, для версии 2.x —ubuntu.
Найти FQDN хоста Data Proc можно на странице кластера Data Proc, на вкладке Хосты, в столбце Имя хоста.
Номера портов для компонентов Data Proc приведены в разделе Интерфейсы и порты компонентов.