Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex Data Proc
  • Практические руководства
    • Работа с заданиями
      • Обзор
      • Работа с заданиями Hive
      • Работа с заданиями MapReduce
      • Работа с заданиями PySpark
      • Работа с заданиями Spark
      • Использование Apache Hive
      • Запуск Spark-приложений
      • Запуск приложений с удаленного хоста
    • Настройка сети для кластеров Data Proc
    • Использование Yandex Object Storage в Data Proc
    • Обмен данными с Managed Service for ClickHouse
    • Импорт базы данных с использованием Sqoop
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к кластеру
    • Изменение кластера
    • Изменение подкластера
    • Управление подкластерами
    • Подключение к интерфейсам компонентов
    • Использование Sqoop
    • Управление заданиями
      • Все задания
      • Задания Spark
      • Задания PySpark
      • Задания Hive
      • Задания MapReduce
    • Удаление кластера
    • Работа с логами
    • Мониторинг состояния кластера и хостов
  • Концепции
    • Обзор Data Proc
    • Классы хостов
    • Среда исполнения
    • Интерфейсы и порты компонентов Data Proc
    • Задания в Data Proc
    • Автоматическое масштабирование
    • Декомиссия подкластеров и хостов
    • Сеть в Data Proc
    • Техническое обслуживание
    • Квоты и лимиты
    • Свойства компонентов
    • Логи в Data Proc
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • ClusterService
      • JobService
      • ResourcePresetService
      • SubclusterService
      • OperationService
    • REST (англ.)
      • Overview
      • Cluster
        • Overview
        • create
        • delete
        • get
        • list
        • listHosts
        • listOperations
        • listUILinks
        • start
        • stop
        • update
      • Job
        • Overview
        • cancel
        • create
        • get
        • list
        • listLog
      • ResourcePreset
        • Overview
        • get
        • list
      • Subcluster
        • Overview
        • create
        • delete
        • get
        • list
        • update
  • История изменений
    • Изменения сервиса
    • Образы
  • Вопросы и ответы
  1. Концепции
  2. Сеть в Data Proc

Сеть, кластеры и подкластеры

Статья создана
Yandex.Cloud
  • Адреса хостов в кластере
  • Группы безопасности

Все подкластеры кластера находятся в одной сети, все хосты каждого подкластера — в определенной подсети этой сети.

У хоста-мастера при создании кластера может быть задан публичный IP-адрес — в таком случае подключиться к нему можно через интернет. Подключение к хостам без публичного IP-адреса производится только с виртуальных машин Yandex Cloud, расположенных в той же облачной сети, что и кластер.

Адреса хостов в кластере

При создании хоста в подкластере Data Proc генерирует для него FQDN и IP-адрес. Их можно использовать для доступа к хосту в рамках одной облачной сети.

IP-адрес хоста может меняться в ходе эксплуатации, но FQDN хоста не меняется.

Важно

Когда вы уменьшаете количество хостов в подкластере, сервис самостоятельно выбирает хосты, которые будут удалены. FQDN удаленных хостов перестают работать.

Группы безопасности

Для групп безопасности действует принцип «весь трафик, который не разрешен, запрещен». Если в настройках групп безопасности нет необходимых правил, то подключиться к кластеру будет невозможно. Также не будет работать обмен данными между подкластерами, кластером и промежуточной виртуальной машиной, используемой для перенаправления портов.

Например, пусть для подключения к кластеру используется ВМ, находящаяся в подсети 10.128.0.0/16. Если в правилах группы безопасности указана только подсеть 10.133.0.0/24, подключиться к кластеру не удастся. Также не получится подключиться к кластеру с ВМ, находящейся в подсети 10.128.0.0/16, для которой не указаны разрешения для нужных портов.

Перед созданием кластера необходимо создать и настроить группы безопасности таким образом, чтобы был разрешен служебный трафик между хостами кластера. Подробнее см. в разделе Создание кластера Data Proc.

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье:
  • Адреса хостов в кластере
  • Группы безопасности