Подключиться
Практические руководства

Настройка сети для Yandex Data Proc

Статья создана

В этом руководстве описано создание кластера Data Proc с настройкой подсетей и NAT-шлюза.

Создайте ресурсы

Вам необходимо создать:

  • сеть;
  • подсеть;
  • NAT-шлюз и таблицу маршрутизации;
  • группу безопасности для кластера;
  • сервисный аккаунт для кластера;
  • бакет, в котором будут храниться зависимости заданий и результаты их выполнения;
  • кластер Data Proc.

  1. Создайте сеть с именем data-proc-network, при создании выключив опцию Создать подсети.

  2. В сети data-proc-network создайте подсеть со следующими параметрами:

    • Имя — data-proc-subnet-a.
    • Зона — ru-central1-a.
    • CIDR — 192.168.1.0/24.

  3. Создайте NAT-шлюз и таблицу маршрутизации с именем data-proc-route-table в сети data-proc-network. Привяжите таблицу к подсети data-proc-subnet-a.

  4. В сети data-proc-network создайте группу безопасности с именем data-proc-security-group и следующими правилами:

    • По одному правилу для входящего и исходящего служебного трафика:

      • Диапазон портов — 0-65535.
      • Протокол — Любой (Any).
      • Источник — Группа безопасности.
      • Группа безопасности — Текущая (Self).

    • Правило для исходящего HTTPS-трафика:

      • Диапазон портов — 443.
      • Протокол — TCP.
      • Назначение — CIDR.
      • CIDR блоки — 0.0.0.0/0.

  5. Создайте сервисный аккаунт data-proc-sa с ролями:

  6. Создайте бакет Yandex Object Storage.

  7. Создайте кластер Data Proc любой подходящей конфигурации со следующими настройками:

    • Сервисный аккаунт — data-proc-sa.
    • Формат указания бакета — Список.
    • Имя бакета — выберите созданный ранее бакет.
    • Сеть — data-proc-network.
    • Группы безопасности — data-proc-security-group.

  1. Если у вас еще нет Terraform, установите и настройте его.

  2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

  3. Скачайте файл конфигурации кластера в ту же рабочую директорию.

    В файле описаны:

    • сеть;
    • подсеть;
    • NAT-шлюз и таблица маршрутизации;
    • группы безопасности;
    • сервисный аккаунт для работы с ресурсами кластера;
    • бакет, в котором будут храниться зависимости заданий и результаты их выполнения;
    • кластер Data Proc.

  4. Укажите в файле конфигурации все необходимые параметры.

  5. Выполните команду terraform init в рабочей директории с конфигурационными файлами. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

  6. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  7. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Удалите созданные ресурсы

Некоторые ресурсы платные. Удалите ресурсы, которые вы больше не будете использовать, во избежание списания средств за них:

  1. Удалите кластер Data Proc.
  2. Если вы зарезервировали публичные статические IP-адреса, освободите и удалите их.
  3. Удалите подсеть.
  4. Удалите таблицу маршрутизации и NAT-шлюз.
  5. Удалите сеть.

Чтобы удалить инфраструктуру, созданную с помощью Terraform:

  1. В терминале перейдите в директорию с планом инфраструктуры.

  2. Удалите конфигурационный файл data-proc-nat-gateway.tf.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в конфигурационных файлах есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

  5. Если вас устраивают планируемые изменения, внесите их:

    1. Выполните команду:

      terraform apply

    2. Подтвердите изменение ресурсов.

    3. Дождитесь завершения операции.

Все ресурсы, которые были описаны в конфигурационном файле, будут удалены.

В этой статье: