Создание кластера

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать кластер:

1. Посмотрите описание команды CLI для создания кластера:

   yc managed-kafka cluster create --help
   

2. Укажите параметры кластера в команде создания (в примере приведены не все параметры):

   yc managed-kafka cluster create \
      --name <имя кластера> \
      --environment <окружение: prestable или production> \
      --version <версия: 2.1, 2.6 или 2.8> \
      --network-name <имя сети> \
      --brokers-count <количество брокеров в зоне> \
      --resource-preset <класс хоста> \
      --disk-type <network-hdd | network-ssd | local-ssd | network-ssd-nonreplicated> \
      --disk-size <размер хранилища в гигабайтах> \
      --assign-public-ip <публичный доступ> \
      --security-group-ids <список идентификаторов групп безопасности> \
      --deletion-protection=<защита от удаления кластера: true или false>
   

   Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

   При необходимости здесь же можно задать настройки Apache Kafka^®.

3. Чтобы управлять топиками через Admin API Apache Kafka^®:

   Внимание

   Настройку Управление топиками через API невозможно изменить после создания кластера.

   1. Задайте значение true для параметра --unmanaged-topics при создании кластера:

      yc managed-kafka cluster create \
         ...
         --unmanaged-topics true
      

   2. После создания кластера создайте учетную запись администратора.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex.Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language).

При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Если у вас еще нет Terraform, установите его и настройте провайдер.

Чтобы создать кластер:

1. Опишите в конфигурационном файле параметры ресурсов, которые необходимо создать:

   • Кластер базы данных — описание кластера и его хостов.
   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.
   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   При необходимости здесь же можно задать настройки Apache Kafka^®.

   Пример структуры конфигурационного файла:

   terraform {
     required_providers {
       yandex = {
        source = "yandex-cloud/yandex"
       }
     }
   }
   
   provider "yandex" {
     token     = "<OAuth или статический ключ сервисного аккаунта>"
     cloud_id  = "<идентификатор облака>"
     folder_id = "<идентификатор каталога>"
     zone      = "<зона доступности>"
   }
   
   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     environment         = "<окружение: PRESTABLE или PRODUCTION>"
     name                = "<имя кластера>"
     network_id          = "<идентификатор сети>"
     security_group_ids  = ["<список идентификаторов групп безопасности кластера>"]
     deletion_protection = <защита от удаления кластера: true или false>
   
     config {
       assign_public_ip = "<публичный доступ к кластеру: true или false>"
       brokers_count    = <количество брокеров>
       version          = "<версия Apache Kafka: 2.1, 2.6 или 2.8>"
       schema_registry  = "<управление схемами данных: true или false>"
       kafka {
         resources {
           disk_size          = <размер хранилища в гигабайтах>
           disk_type_id       = "<тип хранилища: network-ssd, network-hdd, network-ssd-nonreplicated или local-ssd>"
           resource_preset_id = "<класс хоста>"
         }
       }
   
       zones = [
         "<зоны доступности>"
       ]
     }
   }
   
   resource "yandex_vpc_network" "<имя сети>" {
     name = "<имя сети>"
   }
   
   resource "yandex_vpc_subnet" "<имя подсети>" {
     name           = "<имя подсети>"
     zone           = "<зона доступности>"
     network_id     = "<идентификатор сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   После этого в указанном каталоге будут созданы все требуемые ресурсы, а в терминале отобразятся IP-адреса виртуальных машин. Проверить появление ресурсов и их настройки можно в консоли управления.

Подробнее см. в документации провайдера Terraform.

Чтобы создать кластер, воспользуйтесь методом API create и передайте в запросе:

• Идентификатор каталога, в котором должен быть размещен кластер, в параметре folderId.

• Имя кластера в параметре name.

• Идентификаторы групп безопасности в параметре securityGroupIds.

• Настройки защиты от удаления кластера в параметре deletionProtection.

  Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

Чтобы управлять топиками через Admin API Apache Kafka^®:

1. Передайте значение true для параметра unmanagedTopics.
2. После создания кластера создайте учетную запись администратора.

Чтобы управлять схемами данных с помощью Managed Schema Registry, передайте значение true для параметра configSpec.schemaRegistry.

Допустим, нужно создать кластер Managed Service for Apache Kafka^® со следующими характеристиками:

• В облаке с идентификатором b1gq90dgh25bebiu75o.
• В каталоге с идентификатором b1gia87mbaomkfvsleds.
• С именем mykf.
• В окружении PRODUCTION.
• С Apache Kafka^® версии 2.6.
• В новой сети mynet с подсетью mysubnet.
• В новой группе безопасности mykf-sg, разрешающей подключение к кластеру из интернета по порту 9091.
• С одним хостом класса s2.micro, в зоне доступности ru-central1-c.
• С одним брокером.
• С быстрым сетевым хранилищем (network-ssd) объемом 10 ГБ.
• С публичным доступом.
• С защитой от случайного удаления кластера.

Конфигурационный файл для такого кластера выглядит так:

terraform {
  required_providers {
    yandex = {
      source = "yandex-cloud/yandex"
    }
  }
}

provider "yandex" {
  token     = "<OAuth или статический ключ сервисного аккаунта>"
  cloud_id  = "b1gq90dgh25bebiu75o"
  folder_id = "b1gia87mbaomkfvsleds"
  zone      = "ru-central1-c"
}

resource "yandex_mdb_kafka_cluster" "mykf" {
  environment         = "PRODUCTION"
  name                = "mykf"
  network_id          = yandex_vpc_network.mynet.id
  security_group_ids  = [ yandex_vpc_security_group.mykf-sg.id ]
  deletion_protection = true

  config {
    assign_public_ip = true
    brokers_count    = 1
    version          = "2.6"
    kafka {
      resources {
        disk_size          = 10
        disk_type_id       = "network-ssd"
        resource_preset_id = "s2.micro"
      }
    }

    zones = [
      "ru-central1-c"
    ]
  }
}

resource "yandex_vpc_network" "mynet" {
  name = "mynet"
}

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "ru-central1-c"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.5.0.0/24"]
}

resource "yandex_vpc_security_group" "mykf-sg" {
  name       = "mykf-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "Kafka"
    port           = 9091
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }
}