Подключение к кластеру Data Proc

Статья создана

Yandex.Cloud

Настройка групп безопасности
SSH-подключение к хосту Data Proc
Подключение из графических IDE

После создания кластера Data Proc вы можете подключиться к хосту главного подкластера:

Через интернет, если вы настроили публичный доступ для главного подкластера.
С виртуальной машины Yandex.Cloud, расположенной в той же облачной сети.

Настройка групп безопасности

Группы безопасности могут препятствовать подключению к кластеру — в этом случае внесите изменения в правила групп.

Внимание

При настройке групп безопасности не изменяйте правила для служебного трафика. Это может привести к неработоспособности кластера.

Настройки правил будут различаться в зависимости от выбранного способа подключения:

SSH

UI Proxy

Подключение с перенаправлением портов

Для подключения к кластеру через интернет настройте группы безопасности хоста главного подкластера так, чтобы они разрешали входящий трафик с любых IP-адресов на порт 22. Для этого создайте следующее правило для входящего трафика:
- протокол: TCP;
- диапазон портов: 22;
- тип источника: CIDR;
- назначение: 0.0.0.0/0.
Для подключения к кластеру с промежуточной виртуальной машины:
1. Настройте группу безопасности, в которой находится ВМ, так, чтобы можно было подключаться к ВМ и был разрешен трафик между ВМ и хостом главного подкластера. Для этого создайте следующие правила:
  - для входящего трафика:
    - протокол: TCP;
    - диапазон портов: 22;
    - тип источника: CIDR;
    - назначение: 0.0.0.0/0.
  - для исходящего трафика:
    - протокол: TCP;
    - диапазон портов: 22;
    - тип источника: CIDR;
    - назначение: диапазон адресов подсети, в которой находится хост главного подкластера.
2. Настройте группы безопасности главного подкластера так, чтобы они разрешали входящий трафик из группы безопасности, в которой находится ВМ, на порт 22. Для этого создайте следующее правило для входящего трафика:
  - протокол: TCP;
  - диапазон портов: 22;
  - тип источника: CIDR;
  - назначение: диапазон адресов подсети, в которой находится хост главного подкластера.

Для использования UI Proxy добавьте в группу безопасности хоста главного подкластера правила, разрешающие входящий трафик через порт 443:

протокол: TCP;
диапазон портов: 443;
тип источника: CIDR;
назначение: 0.0.0.0/0.

Если подключение выполняется через промежуточную ВМ, добавьте в группу безопасности хоста главного подкластера правила, разрешающие подключения через нее:

для входящего трафика:
- протокол: TCP;
- диапазон портов: 443;
- тип источника: CIDR;
- назначение: 0.0.0.0/0.
для исходящего трафика:
- протокол: TCP;
- диапазон портов: 443;
- тип источника: CIDR;
- назначение: диапазон адресов подсети, в которой находится хост главного подкластера.

При использовании перенаправления портов, добавьте в группу безопасности промежуточной ВМ правила, разрешающие входящий и исходящий трафик через порты требуемых компонентов:

протокол: TCP;

диапазон портов: <порт компонента>;

Номера портов для компонентов Data Proc приведены в таблице:

Сервис	Порт
HBase Master	16010
HBase REST	8085
HDFS Name Node	9870
Hive Server2	10002
MapReduce Application History	19888
Oozie	11000
Spark History	18080
YARN Application History	8188
YARN Resource Manager	8088
Zeppelin	8890

тип источника: CIDR;
назначение: 0.0.0.0/0.

Примечание

Вы можете задать более детальные правила для групп безопасности, например, разрешающие трафик только в определенных подсетях.

Группы безопасности должны быть корректно настроены для всех подсетей, в которых будут размещены подкластеры.

Подробнее о группах безопасности см. в разделе Группы безопасности.

SSH-подключение к хосту Data Proc

Чтобы подключиться к хосту Data Proc, на локальной машине или промежуточной ВМ должен быть доступен SSH-ключ, который вы указали при создании кластера Data Proc. Вы можете скопировать ключ на машину, с которой будет производиться подключение к кластеру, или подключаться к ней с запущенным SSH-агентом.

(Опционально) Подключитесь к промежуточной виртуальной машине по протоколу SSH.
Запустите SSH-агент:
```
$ eval `ssh-agent -s`
```
Добавьте нужный ключ в список доступных агенту:
```
$ ssh-add ~/.ssh/example-key
```
Откройте SSH-соединение с хостом Data Proc, указав его FQDN или IP-адрес, если для хоста включен публичный доступ. Для образа 2.0 укажите пользователя ubuntu, для образа 1.4 — root, например:
```
$ ssh ubuntu@rc1b-dataproc-m-fh4y4nur0i0uqqkz.mdb.yandexcloud.net

ubuntu@rc1b-dataproc-m-fh4y4nur0i0uqqkz:~#
```

Проверьте, что команды Hadoop выполняются, например:

~# hadoop version

Hadoop 2.8.5
Subversion https://github.yandex-team.ru/mdb/bigtop.git -r 78508f2a4b4f3dc8b3d295ccb50a45a4d24e81b5
Compiled by robot-pgaas-ci on 2019-04-16T10:35Z
Compiled with protoc 2.5.0
From source with checksum 9942ca5c745417c14e318835f420733
This command was run using /usr/lib/hadoop/hadoop-common-2.8.5.jar

Подключение из графических IDE

Подключения проверялись в следующем окружении:

MacOS Big Sur 11.3:
- JetBrains DataGrip: 2021.1.
- DBeaver Community: 21.0.5.
Windows 10 Pro 21H1 с SQL Server Management Studio 18.9.1.

Для использования графических IDE скачайте сертификат и укажите путь к нему в настройках подключения.

DataGrip

DBeaver

Создайте источник данных:
1. Выберите в меню File → New → Data Source → Apache Hive.
  Примечание
  
  Выберите источник данных в зависимости от компонента Data Proc, к которому вы подключаетесь:
  - Hive — выберите Apache Hive;
  - HBase — выберите Apache Phoenix;
  - Spark — выберите Apache Spark.
  Список настроек не меняется.
2. Укажите параметры подключения на вкладке General:
  - Host — FQDN мастер-хоста кластера или его публичный IP-адрес;
  - Нажмите ссылку Download, чтобы загрузить драйвер соединения.
3. На вкладке SSH/SSL:
  1. Включите настройку Use SSL и укажите параметры для SSL-подключения:
    - CA file — загруженный ранее SSL-сертификат для подключения;
    - Client key file, Client key password — файл закрытого ключа для подключения к кластеру Data Proc и пароль к нему.
  2. (Опционально) Для подключения через промежуточную ВМ настройте параметры SSH-туннеля:
    1. Выберите Use SSH tunnel, создайте SSH-конфигурацию и укажите параметры:
      - Host — IP-адрес ВМ;
      - User name — имя пользователя ВМ;
      - Private key file, Passphrase — файл закрытого ключа для подключения к ВМ и пароль к нему.
    2. Нажмите ссылку Test Connection для проверки подключения к ВМ из DataGrip.
    3. Нажмите кнопку OK, чтобы сохранить конфигурацию.
Нажмите ссылку Test Connection для проверки подключения. При успешном подключении будет выведен статус подключения OK, информация о СУБД и драйвере.
Нажмите кнопку OK, чтобы сохранить источник данных.

Загрузите SSH-ключ на локальную машину или ВМ для подключения к кластеру Data Proc.
Создайте новое соединение с БД:
1. Выберите в меню База данных пункт Новое соединение.
2. Выберите из списка БД Apache Hive.
  
  Примечание
  
  В зависимости от того, к какому сервису Data Proc вы подключаетесь, вместо Apache Hive может понадобиться выбрать Apache Phoenix (для HBase) или Apache Spark. Список настроек не меняется.
3. Нажмите кнопку Далее.
4. Укажите параметры подключения на вкладке Главное:
  - Хост — FQDN мастер-хоста кластера или его публичный IP-адрес.
5. На вкладке SSH укажите:
  - Метод аутентификации — Публичный ключ;
  - Секретный ключ — путь к файлу закрытого ключа;
  - Passphrase — пароль от закрытого ключа.
  - (Опционально) Для подключения через промежуточную ВМ включите настройку Использовать туннель SSH и укажите параметры для его настройки:
    - Хост/IP — публичный IP-адрес ВМ для подключения;
    - Имя пользователя — логин для подключения к ВМ;
Нажмите кнопку Тест соединения ... для проверки подключения. При успешном подключении будет выведен статус подключения, информация о СУБД и драйвере.
Нажмите кнопку Готово, чтобы сохранить настройки соединения с БД.

Подключение к кластеру Data Proc

Настройка групп безопасности

SSH-подключение к хосту Data Proc

Подключение из графических IDE

Была ли статья полезна?