Подключиться
Yandex Data Proc

Подключение к кластеру Data Proc

Статья создана

После создания кластера Data Proc вы можете подключиться к хосту главного подкластера.

Хостам кластера нельзя назначить публичный IP-адрес, поэтому для подключения к ним нужно использовать виртуальную машину, которая расположена в той же сети Yandex.Cloud.

  1. Создайте новую виртуальную машину при необходимости.
  2. Подключитесь к виртуальной машине по протоколу SSH.
  3. Также с помощью SSH, подключитесь к хосту главного подкластера с вашей виртуальной машины.

Внимание

При настройке групп безопасности не изменяйте правила для служебного трафика. Это может привести к неработоспособности кластера.

  1. Добавьте правила в группы безопасности промежуточной ВМ:

    • для входящего трафика:

      • протокол: TCP;
      • диапазон портов: 22;
      • тип источника: CIDR;
      • назначение: 0.0.0.0/0.

    • для исходящего трафика:

      • протокол: TCP;
      • диапазон портов: 22;
      • тип источника: CIDR;
      • назначение: диапазон адресов подсети, в которой находятся хосты главного подкластера.

  2. Для подключения к хостам главного подкластера с промежуточной ВМ добавьте в группы безопасности хостов главного подкластера правила, разрешающие входящий трафик через порт 22:

    • протокол: TCP;
    • диапазон портов: 22;
    • тип источника: CIDR;
    • назначение: диапазон адресов подсети, в которой находятся хосты главного подкластера.

Для использования UI Proxy, добавьте в группу безопасности хостов главного подкластера правила, разрешающие входящий трафик через порт 443:

  • протокол: TCP;
  • диапазон портов: 443;
  • тип источника: CIDR;
  • назначение: 0.0.0.0/0.

Если подключение выполняется через промежуточную ВМ, добавьте в группу безопасности хостов главного подкластера правила, разрешающие подключения через нее:

  • для входящего трафика:

    • протокол: TCP;
    • диапазон портов: 443;
    • тип источника: CIDR;
    • назначение: 0.0.0.0/0.

  • для исходящего трафика:

    • протокол: TCP;
    • диапазон портов: 443;
    • тип источника: CIDR;
    • назначение: диапазон адресов подсети, в которой находятся хосты главного подкластера.

При использовании перенаправления портов, добавьте в группу безопасности промежуточной ВМ правила, разрешающие входящий и исходящий трафик через порты требуемых компонентов:

  • протокол: TCP;

  • диапазон портов: <порт_компонента>;

    Номера портов для компонентов Data Proc приведены в таблице:

    Сервис Порт
    HBase Master 16010
    HBase REST 8085
    HDFS Name Node 9870
    Hive Server2 10002
    MapReduce Application History 19888
    Oozie 11000
    Spark History 18080
    YARN Application History 8188
    YARN Resource Manager 8088
    Zeppelin 8890

  • тип источника: CIDR;

  • назначение: 0.0.0.0/0.

Примечание

Вы можете задать более детальные правила для групп безопасности, например, разрешающие трафик только в определенных подсетях.

Группы безопасности должны быть корректно настроены для всех подсетей, в которых будут размещены подкластеры.

Подробнее о группах безопасности см. в разделе Группы безопасности.

SSH-подключение к хосту Data Proc

Чтобы подключиться к хосту Data Proc с виртуальной машины, на ней должен быть доступен SSH-ключ, который вы указали при создании кластера Data Proc. Вы можете скопировать ключ на ВМ или подключаться к ней с запущенным SSH-агентом.

  1. Запустите SSH-агент локально:

    $ eval `ssh-agent -s`

  2. Добавьте нужный ключ в список доступных агенту:

    $ ssh-add ~/.ssh/example-key

  3. Откройте SSH-соединение с хостом Data Proc для пользователя root, например:

    $ ssh root@rc1b-dataproc-m-fh4y4nur0i0uqqkz.mdb.yandexcloud.net

root@rc1b-dataproc-m-fh4y4nur0i0uqqkz:~#

  4. Проверьте, что команды Hadoop выполняются, например:

    ~# hadoop version

Hadoop 2.8.5
Subversion https://github.yandex-team.ru/mdb/bigtop.git -r 78508f2a4b4f3dc8b3d295ccb50a45a4d24e81b5
Compiled by robot-pgaas-ci on 2019-04-16T10:35Z
Compiled with protoc 2.5.0
From source with checksum 9942ca5c745417c14e318835f420733
This command was run using /usr/lib/hadoop/hadoop-common-2.8.5.jar

Подключение из графических IDE

Подключения проверялись в следующем окружении:

  • MacOS Big Sur 11.3:
    • JetBrains DataGrip: 2021.1.
    • DBeaver Community: 21.0.5.
  • Windows 10 Pro 21H1 с SQL Server Management Studio 18.9.1.

Подключаться из графических IDE к хостам кластера можно только через SSH-туннель с помощью промежуточной ВМ.

Для использования графических IDE скачайте сертификат и укажите путь к нему в настройках подключения.

  1. Создайте источник данных:

    1. Выберите в меню File → New → Data Source → Apache Hive.

      Примечание

      Выберите источник данных в зависимости от компонента Data Proc, к которому вы подключаетесь:

      • Hive — выберите Apache Hive;
      • HBase — выберите Apache Phoenix;
      • Spark — выберите Apache Spark.

      Список настроек не меняется.

    2. Укажите параметры подключения на вкладке General:

      • Host — FQDN мастер-хоста кластера;
      • Нажмите ссылку Download, чтобы загрузить драйвер соединения.

    3. На вкладке SSH/SSL:

      1. Настройте параметры SSH-туннеля и SSL-подключения к ВМ:
        • Выберите Use SSH tunnel, создайте SSH-конфигурацию и укажите параметры:
          • Host — IP-адрес ВМ;
          • User name — имя пользователя ВМ;
          • Private key file, Passphrase — файл закрытого ключа для подключения к ВМ и пароль к нему.
      2. Нажмите ссылку Test Connection для проверки подключения к ВМ из DataGrip.
      3. Нажмите кнопку OK, чтобы сохранить конфигурацию.
      4. Включите настройку Use SSL и укажите параметры для SSL-подключения:
        • CA file — загруженный ранее SSL-сертификат для подключения;
        • Client key file, Client key password — файл закрытого ключа для подключения к кластеру Data Proc и пароль к нему.
  2. Нажмите ссылку Test Connection для проверки подключения. При успешном подключении будет выведен статус подключения OK, информация о СУБД и драйвере.
  3. Нажмите кнопку OK, чтобы сохранить источник данных.
  1. Загрузите SSH-ключ на ВМ для подключения к кластеру Data Proc.
  2. Создайте новое соединение с БД:

    1. Выберите в меню База данных пункт Новое соединение.

    2. Выберите из списка БД Apache Hive.

      Примечание

      В зависимости от того, к какому сервису Data Proc вы подключаетесь, вместо Apache Hive может понадобиться выбрать Apache Phoenix (для HBase) или Apache Spark. Список настроек не меняется.

    3. Нажмите кнопку Далее.

    4. Укажите параметры подключения на вкладке Главное:

      • Хост — FQDN мастер-хоста кластера.

    5. На вкладке SSH:

      1. Включите настройку Использовать туннель SSH.
      2. Укажите параметры для настройки SSH-туннеля:
        • Хост/IP — публичный IP-адрес ВМ для подключения;
        • Имя пользователя — логин для подключения к ВМ;
        • Метод аутентификации — Публичный ключ;
        • Секретный ключ — путь к файлу закрытого ключа для подключения к ВМ;
        • Passphrase — пароль от закрытого ключа.
  3. Нажмите кнопку Тест соединения ... для проверки подключения. При успешном подключении будет выведен статус подключения, информация о СУБД и драйвере.
  4. Нажмите кнопку Готово, чтобы сохранить настройки соединения с БД.
В этой статье: