Настройка Yandex Cloud DNS для доступа к кластерам управляемых баз данных из других облачных сетей

Статья создана

Yandex Cloud

улучшена

Dmitry A.

Перед началом работы
Создайте зону в Yandex Cloud DNS
Обеспечьте миграцию DNS-записей в зону
Проверьте доступность кластера
Удалите созданные ресурсы

Клиенты (например, виртуальные машины), которые находятся в той же облачной сети, что и кластер, могут обращаться к хостам кластера по их полному доменному имени (Fully Qualified Domain Name, FQDN). Однако, если клиенты находятся в другой облачной сети, то эта возможность станет недоступна. Это происходит потому, что нужные сервисные зоны DNS создаются автоматически и обеспечивают возможность разрешения имен только в пределах одной облачной сети.

Сервис Yandex Cloud DNS позволяет настроить DNS-зону, общую сразу для нескольких облачных сетей. Это даст возможность обращаться к хостам кластера по их FQDN, даже если клиент и кластер находятся в разных облачных сетях.

Важно

Изнутри облачных сетей, для которых создана общая DNS-зона, станут недоступны по FQDN хосты кластера с включенным публичным доступом. Однако такие хосты будут по-прежнему доступны по их FQDN из интернета.

Чтобы настроить общую DNS-зону:

Если созданные ресурсы вам больше не нужны, удалите их.

Далее будет приведен пример, в котором:

В облачной сети cluster-net размещаются кластер и виртуальная машина cluster-vm.
Создается новая облачная сеть vm-net с виртуальной машиной other-vm.
Проверяется доступность кластера с этих виртуальных машин.
Создается DNS-зона vpc-peering-zone и проводится миграция.
Повторно проверяется доступность кластера с этих виртуальных машин.

Перед началом работы

Назначьте роли

Убедитесь, что у вас есть права для работы с облачными сетями в каталогах, где будут располагаться сети cluster-net и vm-net.

У вас должна быть одна из следующих ролей:

admin,
editor,
vpc.admin.

О том, как назначить роль, см. в документации Yandex Identity and Access Management.

Создайте кластер

В командной строке перейдите в каталог, в котором будут расположены конфигурационные файлы Terraform с планом инфраструктуры примера. Если такой директории нет — создайте ее.
Создайте кластер из нескольких хостов с помощью Terraform, следуя примерам для нужного кластера:
- Yandex Managed Service for ClickHouse

Создайте прочие ресурсы

Опишите новую облачную сеть vm-net с подсетью vm-subnet-ru-central1-a: CIDR 172.17.1.0/24, зона доступности ru-central1-a. Для этого добавьте в конфигурационный файл networks.tf следующие строки:
networks.tf
```
resource "yandex_vpc_network" "vm-net" { name = "vm-net" }

resource "yandex_vpc_subnet" "vm-subnet-a" {
  name           = "vm-subnet-ru-central1-a"
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.vm-net.id
  v4_cidr_blocks = ["172.17.1.0/24"]
}
```
Опишите группы безопасности:
- Дополнительную группу безопасности cluster-vm-sg в сети cluster-net для виртуальной машины cluster-vm.
- Группу безопасности по умолчанию other-vm-sg в сети vm-net для виртуальной машины other-vm.
Для этого добавьте в конфигурационный файл security-groups.tf следующие строки:
security-groups.tf
```
resource "yandex_vpc_security_group" "cluster-vm-sg" {
  name       = "cluster-vm-sg"
  network_id = yandex_vpc_network.cluster-net.id

  ingress {
    description    = "Allow any ingress traffic"
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }

  egress {
    description    = "Allow any egress traffic"
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }
}

resource "yandex_vpc_default_security_group" "other-vm-sg" {
  network_id = yandex_vpc_network.vm-net.id

  ingress {
    description    = "Allow any ingress traffic"
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }

  egress {
    description    = "Allow any egress traffic"
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }
}
```
Важно

Приведенные выше группы разрешают прохождение любого трафика в любом направлении и используются в демонстрационных целях. Это позволяет устанавливать на виртуальные машины необходимые для подключения утилиты и подключаться к кластеру.

Для реальных задач настройте группы безопасности так, чтобы они разрешали только необходимый трафик.

Опишите виртуальные машины, которые будут использоваться при процедуре миграции и при проверке работы DNS:

cluster-vm: в облачной сети cluster-net (подсеть cluster-subnet-ru-central1-a), с группой безопасности cluster-vm-sg.
other-vm: в облачной сети vm-net (подсеть vm-subnet-ru-central1-a), с группой безопасности other-vm-sg.

Для этого создайте конфигурационный файл vms.tf с описанием виртуальных машин.

В этот конфигурационный файл также добавьте открытые части SSH-ключей, чтобы можно было подключаться к виртуальным машинам по SSH.

vms.tf

resource "yandex_compute_instance" "cluster-vm" {
  name        = "cluster-vm"
  platform_id = "standard-v3"
  zone        = "ru-central1-a"

  resources {
    cores  = 2
    memory = 2
  }

  boot_disk {
    initialize_params {
      image_id = "fd81hgrcv6lsnkremf32"
    }
  }

  network_interface {
    subnet_id          = yandex_vpc_subnet.cluster-subnet-a.id
    security_group_ids = [yandex_vpc_security_group.cluster-vm-sg.id]
    nat                = true
  }

  metadata = {
    ssh-keys = "<любое имя пользователя>:<содержимое SSH-ключа>"
  }
}

resource "yandex_compute_instance" "other-vm" {
  name        = "other-vm"
  platform_id = "standard-v3"
  zone        = "ru-central1-a"

  resources {
    cores  = 2
    memory = 2
  }

  boot_disk {
    initialize_params {
      image_id = "fd81hgrcv6lsnkremf32"
    }
  }

  network_interface {
    subnet_id          = yandex_vpc_subnet.vm-subnet-a.id
    security_group_ids = [yandex_vpc_default_security_group.other-vm-sg.id]
    nat                = true
  }

  metadata = {
    ssh-keys = "<любое имя пользователя>:<содержимое SSH-ключа>"
  }
}

Подробнее процедура создания виртуальной машины описана в документации Yandex Compute Cloud.

Проверьте корректность файлов конфигурации Terraform:
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Примените сделанные изменения:
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Настройте маршрутизацию между облачными сетями

Настройте маршрутизацию между облачными сетями cluster-net и vm-net таким образом, чтобы любая подсеть одной сети была доступна из любой подсети другой сети.

Существует несколько способов организовать такую маршрутизацию, см. сценарии сетевой маршрутизации. Например, можно создать туннель IPSec.

Проверьте доступность кластера (необязательный шаг)

Подключитесь к виртуальным машинам cluster-vm и other-vm по SSH.
Важно
- Если вы создали виртуальные машины с Ubuntu 20.04 LTS из образа fd81hgrcv6lsnkremf32 Cloud Marketplace, то используйте имя пользователя ubuntu при подключении.
- Если вы использовали другой образ, то имя пользователя может отличаться. О том, как узнать это имя, см. в документации Yandex Compute Cloud.
Попытайтесь подключиться к кластеру:
- Из виртуальной машины cluster-vm, которая находится в той же облачной сети, что и кластер.
  
  Подключение будет успешным.
- Из виртуальной машины other-vm, которая находится в другой облачной сети.
  
  Подключение будет неуспешным, т. к. будет невозможно узнать IP-адрес хоста кластера по FQDN из другой сети. Однако, вы можете узнать IP-адрес хоста кластера и подключиться к нему по IP-адресу: такое подключение будет успешным.
  
  Далее будет показано, как с помощью настройки общей DNS-зоны сохранить возможность подключения к кластеру из другой облачной сети с использованием FQDN.
Инструкции по подключению к кластеру:
- Yandex Managed Service for ClickHouse

Создайте зону в Yandex Cloud DNS

Чтобы получить возможность разрешать FQDN кластера в IP-адреса из других облачных сетей, нужно создать DNS-зону, которая будет включать в себя необходимые облачные сети.

Создайте внутреннюю зону vpc-peering-zone, которая обеспечит возможность разрешения FQDN кластера из облачных сетей vm-net и cluster-net:

В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры примера.

Создайте конфигурационный файл dns.tf с описанием зоны:

dns.tf

resource "yandex_dns_zone" "vpc-peering-zone" {
  name             = "vpc-peering-zone"
  zone             = "mdb.yandexcloud.net."
  public           = false
  private_networks = [yandex_vpc_network.vm-net.id, yandex_vpc_network.cluster-net.id]
}

Проверьте корректность файлов конфигурации Terraform:
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Примените сделанные изменения:
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Обеспечьте миграцию DNS-записей в зону

DNS-записи для существующего до создания зоны кластера не мигрируют автоматически в эту зону.

Чтобы DNS-записи для такого кластера мигрировали в новую зону, необходимо, чтобы поменялась хотя бы одна DNS-запись во внутренних зонах облачных сетей cluster-net и vm-net.

Для этого можно, например, создать по одной виртуальной машине в каждой облачной сети. Эти виртуальные машины можно удалить после миграции DNS-записей.

Но, поскольку ранее уже были созданы виртуальные машины cluster-vm и other-vm, для достижения желаемого эффекта достаточно остановить и затем запустить их.

Когда процесс миграции будет завершен, в зоне с именем vpc-peering-zone появятся DNS-записи кластера.

Совет

Перед миграцией DNS-записей production-кластеров выполните миграцию записей в тестовом каталоге с тестовым кластером. Это позволит убедиться в том, что процесс миграции происходит без ошибок.

Проверьте доступность кластера

Подключитесь к виртуальным машинам cluster-vm и other-vm по SSH.
Важно
- Если вы создали виртуальные машины с Ubuntu 20.04 LTS из образа fd81hgrcv6lsnkremf32 Cloud Marketplace, то используйте имя пользователя ubuntu при подключении.
- Если вы использовали другой образ, то имя пользователя может отличаться. О том, как узнать это имя, см. в документации Yandex Compute Cloud.
Попытайтесь подключиться к кластеру:
- Из виртуальной машины cluster-vm, которая находится в той же облачной сети, что и кластер.
- Из виртуальной машины other-vm, которая находится в другой облачной сети.
Оба подключения должны выполниться успешно.

Инструкции по подключению к кластеру:
- Yandex Managed Service for ClickHouse

Удалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры примера.
Выполните команду:
```
terraform destroy
```
Введите слово yes и нажмите Enter.