Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Data Proc
  • Сценарии использования
    • Настройка сети для кластеров Data Proc
    • Использование Apache Hive
    • Запуск Spark-приложений
    • Запуск приложений с удаленного хоста
    • Копирование файлов из Yandex Object Storage
  • Пошаговые инструкции
    • Все инструкции
    • Создание кластера
    • Подключение к кластеру
    • Изменение подкластера
    • Управление подкластерами
    • Удаление кластера
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Версии Hadoop и компонентов
    • Интерфейсы и порты компонентов
    • Веб-интерфейсы компонентов
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Квоты и лимиты
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • start
        • stop
        • update
      • Job
        • Обзор
        • create
        • get
        • list
      • ResourcePreset
        • Обзор
        • get
        • list
      • Subcluster
        • Обзор
        • create
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Пошаговые инструкции
  2. Подключение к кластеру

Подключение к кластеру Data Proc

  • SSH-подключение к хосту Data Proc

После того, как вы создали кластер Data Proc, вы можете подключиться к хосту главного подкластера.

Хостам кластера нельзя назначить публичный IP-адрес, поэтому для подключения к ним нужно использовать виртуальную машину, которая расположена в той же сети Yandex.Cloud.

  1. Создайте новую виртуальную машину при необходимости.
  2. Подключитесь к виртуальной машине по протоколу SSH.
  3. Также с помощью SSH, подключитесь к хосту главного подкластера с вашей виртуальной машины.

SSH-подключение к хосту Data Proc

Чтобы подключиться к хосту Data Proc с виртуальной машины, на ней должен быть доступен SSH-ключ, который вы указали при создании кластера Data Proc. Вы можете скопировать ключ на ВМ или подключаться к ней с запущенным SSH-агентом.

  1. Запустите SSH-агент локально:

    $ eval `ssh-agent -s`
    
  2. Добавьте нужный ключ в список доступных агенту:

    $ ssh-add -i ~/.ssh/example-key
    
  3. Откройте SSH-соединение с хостом Data Proc для пользователя root, например:

    $ ssh root@rc1b-dataproc-m-fh4y4nur0i0uqqkz.mdb.yandexcloud.net
    
    root@rc1b-dataproc-m-fh4y4nur0i0uqqkz:~#
    
  4. Проверьте, что команды Hadoop выполняются, например:

    ~# hadoop version
    
    Hadoop 2.8.5
    Subversion https://github.yandex-team.ru/mdb/bigtop.git -r 78508f2a4b4f3dc8b3d295ccb50a45a4d24e81b5
    Compiled by robot-pgaas-ci on 2019-04-16T10:35Z
    Compiled with protoc 2.5.0
    From source with checksum 9942ca5c745417c14e318835f420733
    This command was run using /usr/lib/hadoop/hadoop-common-2.8.5.jar
    
Language
Вакансии
Политика конфиденциальности
Условия использования
© 2021 ООО «Яндекс.Облако»