Создание кластера

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

1. Посмотрите описание команды CLI для создания кластера:

   yc managed-kafka cluster create --help
   

2. Укажите параметры кластера в команде создания (в примере приведены не все параметры):

   yc managed-kafka cluster create \
     --name <имя кластера> \
     --environment <окружение: prestable или production> \
     --version <версия Apache Kafka®> \
     --network-name <имя сети> \
     --brokers-count <количество брокеров в зоне> \
     --resource-preset <класс хоста> \
     --disk-type <network-hdd | network-ssd | local-ssd | network-ssd-nonreplicated> \
     --disk-size <размер хранилища в гигабайтах> \
     --assign-public-ip <публичный доступ> \
     --security-group-ids <список идентификаторов групп безопасности> \
     --deletion-protection=<защита от удаления кластера: true или false>
   

   Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

   При необходимости здесь же можно задать настройки Apache Kafka®.

3. Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), передайте нужное значение в параметре --maintenance-window при создании кластера:

   yc managed-kafka cluster create \
   ...
      --maintenance-window type=<тип технического обслуживания: anytime или weekly>,`
                          `day=<день недели для типа weekly>,`
                          `hour=<час дня для типа weekly>
   

   Где:

   • type — тип технического обслуживания:
     • anytime — в любое время.
     • weekly — по расписанию.
   • day — день недели для типа weekly в формате DDD. Например, MON.
   • hour — час дня по UTC для типа weekly в формате HH. Например, 21.

4. Чтобы управлять топиками через Admin API Apache Kafka®:

   Включенную настройку управления топиками через Apache Kafka® Admin API невозможно выключить. При необходимости ее можно включить позже при изменении настроек кластера.

   1. Задайте значение true для параметра --unmanaged-topics при создании кластера:

      yc managed-kafka cluster create \
        ...
        --unmanaged-topics true
      

   2. После создания кластера создайте учетную запись администратора.

5. Чтобы создать кластер, размещенный на группах выделенных хостов, укажите через запятую их идентификаторы в параметре --host-group-ids при создании кластера:

   yc managed-kafka cluster create \
     ...
     --host-group-ids <идентификаторы групп выделенных хостов>
   

   Внимание

   Эту настройку нельзя изменить после создания кластера. Использование выделенных хостов существенно влияет на тарификацию кластера.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). Terraform и его провайдеры распространяются под лицензией Mozilla Public License.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Если у вас еще нет Terraform, установите его и настройте провайдер.

Чтобы создать кластер:

1. Опишите в конфигурационном файле параметры ресурсов, которые необходимо создать:

   • Кластер Apache Kafka® — описание кластера и его хостов. При необходимости здесь же можно задать настройки Apache Kafka®.

   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.

   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла:

   terraform {
     required_providers {
       yandex = {
        source = "yandex-cloud/yandex"
       }
     }
   }
   
   provider "yandex" {
     token     = "<OAuth или статический ключ сервисного аккаунта>"
     cloud_id  = "<идентификатор облака>"
     folder_id = "<идентификатор каталога>"
     zone      = "<зона доступности>"
   }
   
   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     environment         = "<окружение: PRESTABLE или PRODUCTION>"
     name                = "<имя кластера>"
     network_id          = "<идентификатор сети>"
     security_group_ids  = ["<список идентификаторов групп безопасности кластера>"]
     deletion_protection = <защита от удаления кластера: true или false>
   
     config {
       assign_public_ip = "<публичный доступ к кластеру: true или false>"
       brokers_count    = <количество брокеров>
       version          = "<версия Apache Kafka®>"
       schema_registry  = "<управление схемами данных: true или false>"
       kafka {
         resources {
           disk_size          = <размер хранилища в гигабайтах>
           disk_type_id       = "<тип хранилища: network-ssd, network-hdd, network-ssd-nonreplicated или local-ssd>"
           resource_preset_id = "<класс хоста>"
         }
       }
   
       zones = [
         "<зоны доступности>"
       ]
     }
   }
   
   resource "yandex_vpc_network" "<имя сети>" {
     name = "<имя сети>"
   }
   
   resource "yandex_vpc_subnet" "<имя подсети>" {
     name           = "<имя подсети>"
     zone           = "<зона доступности>"
     network_id     = "<идентификатор сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

   Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), добавьте к описанию кластера блок maintenance_window:

   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     ...
     maintenance_window {
       type = <тип технического обслуживания: ANYTIME или WEEKLY>
       day  = <день недели для типа WEEKLY>
       hour = <час дня для типа WEEKLY>
     }
     ...
   }
   

   Где:

   • type — тип технического обслуживания:
     • ANYTIME — в любое время.
     • WEEKLY — по расписанию.
   • day — день недели для типа WEEKLY в формате DDD. Например, MON.
   • hour — час дня по UTC для типа WEEKLY в формате HH. Например, 21.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   После этого в указанном каталоге будут созданы все требуемые ресурсы, а в терминале отобразятся IP-адреса виртуальных машин. Проверить появление ресурсов и их настройки можно в консоли управления.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом API create и передайте в запросе:

• Идентификатор каталога, в котором должен быть размещен кластер, в параметре folderId.

• Имя кластера в параметре name.

• Идентификаторы групп безопасности в параметре securityGroupIds.

• Настройки времени технического обслуживания (в т. ч. для выключенных кластеров) в параметре maintenanceWindow.

• Настройки защиты от удаления кластера в параметре deletionProtection.

  Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

Чтобы управлять топиками через Admin API Apache Kafka®:

Включенную настройку управления топиками через Apache Kafka® Admin API невозможно выключить. При необходимости ее можно включить позже при изменении настроек кластера.

1. Передайте значение true для параметра unmanagedTopics.
2. После создания кластера создайте учетную запись администратора.

Чтобы управлять схемами данных с помощью Managed Schema Registry, передайте значение true для параметра configSpec.schemaRegistry.

Чтобы создать кластер, размещенный на группах выделенных хостов, передайте список их идентификаторов в параметре hostGroupIds.

Допустим, нужно создать кластер Managed Service for Apache Kafka® со следующими характеристиками:

• В облаке с идентификатором b1gq90dgh25bebiu75o.
• В каталоге с идентификатором b1gia87mbaomkfvsleds.
• С именем mykf.
• В окружении PRODUCTION.
• С Apache Kafka® версии 2.8.
• В новой сети mynet с подсетью mysubnet.
• В новой группе безопасности mykf-sg, разрешающей подключение к кластеру из интернета по порту 9091.
• С одним хостом класса s2.micro, в зоне доступности ru-central1-c.
• С одним брокером.
• С хранилищем на сетевых SSD-дисках (network-ssd) объемом 10 ГБ.
• С публичным доступом.
• С защитой от случайного удаления кластера.

Конфигурационный файл для такого кластера выглядит так:

terraform {
  required_providers {
    yandex = {
      source = "yandex-cloud/yandex"
    }
  }
}

provider "yandex" {
  token     = "<OAuth или статический ключ сервисного аккаунта>"
  cloud_id  = "b1gq90dgh25bebiu75o"
  folder_id = "b1gia87mbaomkfvsleds"
  zone      = "ru-central1-c"
}

resource "yandex_mdb_kafka_cluster" "mykf" {
  environment         = "PRODUCTION"
  name                = "mykf"
  network_id          = yandex_vpc_network.mynet.id
  security_group_ids  = [ yandex_vpc_security_group.mykf-sg.id ]
  deletion_protection = true

  config {
    assign_public_ip = true
    brokers_count    = 1
    version          = "2.8"
    kafka {
      resources {
        disk_size          = 10
        disk_type_id       = "network-ssd"
        resource_preset_id = "s2.micro"
      }
    }

    zones = [
      "ru-central1-c"
    ]
  }
}

resource "yandex_vpc_network" "mynet" {
  name = "mynet"
}

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "ru-central1-c"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.5.0.0/24"]
}

resource "yandex_vpc_security_group" "mykf-sg" {
  name       = "mykf-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "Kafka"
    port           = 9091
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }
}