Подключение к кластеру Data Proc
После того, как вы создали кластер Data Proc, вы можете подключиться к хосту главного подкластера.
Хостам кластера нельзя назначить публичный IP-адрес, поэтому для подключения к ним нужно использовать виртуальную машину, которая расположена в той же сети Yandex.Cloud.
- Создайте новую виртуальную машину при необходимости.
- Подключитесь к виртуальной машине по протоколу SSH.
- Также с помощью SSH, подключитесь к хосту главного подкластера с вашей виртуальной машины.
SSH-подключение к хосту Data Proc
Чтобы подключиться к хосту Data Proc с виртуальной машины, на ней должен быть доступен SSH-ключ, который вы указали при создании кластера Data Proc. Вы можете скопировать ключ на ВМ или подключаться к ней с запущенным SSH-агентом.
-
Запустите SSH-агент локально:
$ eval `ssh-agent -s`
-
Добавьте нужный ключ в список доступных агенту:
$ ssh-add -i ~/.ssh/example-key
-
Откройте SSH-соединение с хостом Data Proc для пользователя
root
, например:$ ssh root@rc1b-dataproc-m-fh4y4nur0i0uqqkz.mdb.yandexcloud.net root@rc1b-dataproc-m-fh4y4nur0i0uqqkz:~#
-
Проверьте, что команды Hadoop выполняются, например:
~# hadoop version Hadoop 2.8.5 Subversion https://github.yandex-team.ru/mdb/bigtop.git -r 78508f2a4b4f3dc8b3d295ccb50a45a4d24e81b5 Compiled by robot-pgaas-ci on 2019-04-16T10:35Z Compiled with protoc 2.5.0 From source with checksum 9942ca5c745417c14e318835f420733 This command was run using /usr/lib/hadoop/hadoop-common-2.8.5.jar