Создание кластера Apache Kafka®

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

1. Посмотрите описание команды CLI для создания кластера:

   yc managed-kafka cluster create --help
   

2. Укажите параметры кластера в команде создания (в примере приведены не все параметры):

   yc managed-kafka cluster create \
     --name <имя кластера> \
     --environment <окружение: prestable или production> \
     --version <версия Apache Kafka®: 2.8, 3.0, 3.1 или 3.2> \
     --network-name <имя сети> \
     --brokers-count <количество брокеров в зоне> \
     --resource-preset <класс хоста> \
     --disk-type <network-hdd | network-ssd | local-ssd | network-ssd-nonreplicated> \
     --disk-size <размер хранилища в гигабайтах> \
     --assign-public-ip <публичный доступ> \
     --security-group-ids <список идентификаторов групп безопасности> \
     --deletion-protection=<защита от удаления кластера: true или false>
   

   Совет

   При необходимости здесь же можно задать настройки Apache Kafka®.

   Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

3. Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), передайте нужное значение в параметре --maintenance-window при создании кластера:

   yc managed-kafka cluster create \
   ...
      --maintenance-window type=<тип технического обслуживания: anytime или weekly>,`
                          `day=<день недели для типа weekly>,`
                          `hour=<час дня для типа weekly>
   

   Где:

   • type — тип технического обслуживания:
     • anytime — в любое время.
     • weekly — по расписанию.
   • day — день недели для типа weekly в формате DDD. Например, MON.
   • hour — час дня по UTC для типа weekly в формате HH. Например, 21.

4. Чтобы управлять топиками через Admin API Apache Kafka®:

   1. Задайте значение true для параметра --unmanaged-topics при создании кластера:

      yc managed-kafka cluster create \
        ...
        --unmanaged-topics true
      

      Эту настройку невозможно изменить после создания кластера.

   2. После создания кластера создайте пользователя-администратора.

5. Чтобы разрешить доступ к кластеру из сервиса Yandex Data Transfer в Serverless-режиме, передайте параметр --datatransfer-access.

   Это позволит через специальную сеть подключаться к Yandex Data Transfer, запущенному в Kubernetes. В результате будут быстрее выполняться, например, запуск и деактивация трансфера.

6. Чтобы создать кластер, размещенный на группах выделенных хостов, укажите через запятую их идентификаторы в параметре --host-group-ids при создании кластера:

   yc managed-kafka cluster create \
     ...
     --host-group-ids <идентификаторы групп выделенных хостов>
   

   Внимание

   Эту настройку нельзя изменить после создания кластера. Использование выделенных хостов существенно влияет на тарификацию кластера.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). Terraform и его провайдеры распространяются под лицензией Mozilla Public License.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Если у вас еще нет Terraform, установите его и настройте провайдер.

Чтобы создать кластер:

1. Опишите в конфигурационном файле параметры ресурсов, которые необходимо создать:

   • Кластер Apache Kafka® — описание кластера и его хостов. При необходимости здесь же можно задать настройки Apache Kafka®.

   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.

   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла:

   terraform {
     required_providers {
       yandex = {
        source = "yandex-cloud/yandex"
       }
     }
   }
   
   provider "yandex" {
     token     = "<OAuth или статический ключ сервисного аккаунта>"
     cloud_id  = "<идентификатор облака>"
     folder_id = "<идентификатор каталога>"
     zone      = "<зона доступности>"
   }
   
   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     environment         = "<окружение: PRESTABLE или PRODUCTION>"
     name                = "<имя кластера>"
     network_id          = "<идентификатор сети>"
     security_group_ids  = ["<список идентификаторов групп безопасности кластера>"]
     deletion_protection = <защита от удаления кластера: true или false>
   
     config {
       assign_public_ip = "<публичный доступ к кластеру: true или false>"
       brokers_count    = <количество брокеров>
       version          = "<версия Apache Kafka®: 2.8, 3.0, 3.1 или 3.2>"
       schema_registry  = "<управление схемами данных: true или false>"
       kafka {
         resources {
           disk_size          = <размер хранилища в гигабайтах>
           disk_type_id       = "<тип диска>"
           resource_preset_id = "<класс хоста>"
         }
       }
   
       zones = [
         "<зоны доступности>"
       ]
     }
   }
   
   resource "yandex_vpc_network" "<имя сети>" {
     name = "<имя сети>"
   }
   
   resource "yandex_vpc_subnet" "<имя подсети>" {
     name           = "<имя подсети>"
     zone           = "<зона доступности>"
     network_id     = "<идентификатор сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

   Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), добавьте к описанию кластера блок maintenance_window:

   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     ...
     maintenance_window {
       type = <тип технического обслуживания: ANYTIME или WEEKLY>
       day  = <день недели для типа WEEKLY>
       hour = <час дня для типа WEEKLY>
     }
     ...
   }
   

   Где:

   • type — тип технического обслуживания:
     • ANYTIME — в любое время.
     • WEEKLY — по расписанию.
   • day — день недели для типа WEEKLY в формате DDD. Например, MON.
   • hour — час дня по UTC для типа WEEKLY в формате HH. Например, 21.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   После этого в указанном каталоге будут созданы все требуемые ресурсы, а в терминале отобразятся IP-адреса виртуальных машин. Проверить появление ресурсов и их настройки можно в консоли управления.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Воспользуйтесь методом API create и передайте в запросе:

• Идентификатор каталога, в котором должен быть размещен кластер, в параметре folderId.

• Имя кластера в параметре name.

  • Идентификаторы групп безопасности в параметре securityGroupIds.

• Настройки времени технического обслуживания (в т. ч. для выключенных кластеров) в параметре maintenanceWindow.

• Настройки защиты от удаления кластера в параметре deletionProtection.

  Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

Чтобы управлять топиками через Admin API Apache Kafka®:

1. Передайте значение true для параметра unmanagedTopics. Эту настройку невозможно изменить после создания кластера.
2. После создания кластера создайте пользователя-администратора.

Чтобы управлять схемами данных с помощью Managed Schema Registry, передайте значение true для параметра configSpec.schemaRegistry. Эту настройку невозможно изменить после создания кластера.

Чтобы разрешить доступ к кластеру из сервиса Yandex Data Transfer в Serverless-режиме, передайте значение true для параметра configSpec.access.dataTransfer.

Это позволит через специальную сеть подключаться к Yandex Data Transfer, запущенному в Kubernetes. В результате будут быстрее выполняться, например, запуск и деактивация трансфера.

Чтобы создать кластер, размещенный на группах выделенных хостов, передайте список их идентификаторов в параметре hostGroupIds.

Создайте кластер Managed Service for Apache Kafka® с тестовыми характеристиками:

• В облаке с идентификатором b1gq90dgh25bebiu75o.
• В каталоге с идентификатором b1gia87mbaomkfvsleds.
• С именем mykf.
• В окружении PRODUCTION.
• С Apache Kafka® версии 3.2.
• В новой сети mynet с подсетью mysubnet.
  • В новой группе безопасности mykf-sg, разрешающей подключение к кластеру из интернета по порту 9091.
• С одним хостом класса s2.micro, в зоне доступности ru-central1-a.
• С одним брокером.
• С хранилищем на сетевых SSD-дисках (network-ssd) объемом 10 ГБ.
• С публичным доступом.
• С защитой от случайного удаления кластера.

Конфигурационный файл для такого кластера выглядит так:

terraform {
  required_providers {
    yandex = {
      source = "yandex-cloud/yandex"
    }
  }
}

provider "yandex" {
  token     = "<OAuth или статический ключ сервисного аккаунта>"
  cloud_id  = "b1gq90dgh25bebiu75o"
  folder_id = "b1gia87mbaomkfvsleds"
  zone      = "ru-central1-a"
}

resource "yandex_mdb_kafka_cluster" "mykf" {
  environment         = "PRODUCTION"
  name                = "mykf"
  network_id          = yandex_vpc_network.mynet.id
  security_group_ids  = [ yandex_vpc_security_group.mykf-sg.id ]
  deletion_protection = true

  config {
    assign_public_ip = true
    brokers_count    = 1
    version          = "3.2"
    kafka {
      resources {
        disk_size          = 10
        disk_type_id       = "network-ssd"
        resource_preset_id = "s2.micro"
      }
    }

    zones = [
      "ru-central1-a"
    ]
  }
}

resource "yandex_vpc_network" "mynet" {
  name = "mynet"
}

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.5.0.0/24"]
}

resource "yandex_vpc_security_group" "mykf-sg" {
  name       = "mykf-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "Kafka"
    port           = 9091
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }
}