Изменение настроек кластера

Статья создана

Yandex.Cloud

Изменить класс и количество хостов
Изменить настройки хранилища
Изменить дополнительные настройки кластера
Изменить настройки Apache Kafka®
Переместить кластер
Изменить группы безопасности

После создания кластера Apache Kafka^® вы можете:

Изменить класс и количество хостов.
Изменить настройки хранилища (доступно только для стандартного network-hdd и быстрого сетевого network-ssd хранилищ).
Изменить настройки Apache Kafka^®.
Переместить кластер из текущего каталога в другой каталог.
Изменить группы безопасности кластера.

Изменить класс и количество хостов

Вы можете изменить:

класс и количество хостов-брокеров Apache Kafka^®;
класс хостов ZooKeeper.

Важно

Количество хостов-брокеров Apache Kafka^® нельзя уменьшить.

Консоль управления

CLI

Terraform

API

Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
Выберите кластер и нажмите кнопку Редактировать на панели сверху.
Измените требуемые настройки:
- Чтобы изменить класс хостов-брокеров, выберите новый класс хостов в соответствующем блоке.
- Чтобы изменить количество хостов-брокеров в каждой из зон доступности, которые были выбраны при создании кластера, задайте значение соответствующей настройки.
Нажмите кнопку Сохранить.

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить класс и количество хостов:

Получите информацию о кластере:

yc managed-kafka cluster list
yc managed-kafka cluster get <имя или идентификатор кластера>

Посмотрите описание команды CLI для изменения кластера:
```
yc managed-kafka cluster update --help
```

Чтобы увеличить количество хостов-брокеров, выполните команду:

yc managed-kafka cluster update <имя или идентификатор кластера> --brokers-count <число>

Чтобы изменить класс хоста-брокера, выполните команду:

yc managed-kafka cluster update <имя или идентификатор кластера> --resource-preset <класс хоста>

Чтобы изменить класс хоста ZooKeeper, выполните команду:

yc managed-kafka cluster update <имя или идентификатор кластера> \
--zookeeper-resource-preset <класс хоста>

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера.
Измените в описании кластера Managed Service for Apache Kafka^® значение параметра brokers_count, чтобы увеличить количество хостов-брокеров:
```
resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  config {
    brokers_count = <количество хостов-брокеров>
    ...
  }
  ...
}
```

Измените в описании кластера Managed Service for Apache Kafka^® значение параметра resource_preset_id в блоках kafka.resources и zookeeper.resources для хостов Apache Kafka^® и ZooKeeper соответственно:

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  ...
  kafka {
    resources {
      resource_preset_id = "<класс хостов Apache Kafka>"
      ...
    }
  }
  zookeeper {
    resources {
      resource_preset_id = "<класс хостов ZooKeeper>"
      ...
    }
  }
 }

Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором вы создали конфигурационный файл.
2. Выполните проверку с помощью команды:
```
terraform plan
```
Если конфигурация описана верно, в терминале отобразится список изменяемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет. Это проверочный этап: ресурсы не будут изменены.
Подтвердите изменение ресурсов.
1. Если в конфигурации нет ошибок, выполните команду:
```
terraform apply
```
2. Подтвердите изменение ресурсов.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом API update и передайте в запросе:

Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
Список настроек, которые необходимо изменить, в параметре updateMask (одной строкой через запятую). Если не задать этот параметр, метод API сбросит на значения по умолчанию все настройки кластера, которые не были явно указаны в запросе.
Новую конфигурацию кластера в параметре configSpec.

Изменить настройки хранилища

Важно

На данный момент тип диска для кластера Apache Kafka^® нельзя изменить после создания.

Консоль управления

CLI

Terraform

API

Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
Выберите кластер и нажмите кнопку Редактировать на панели сверху.
Измените размер хранилища в соответствующем блоке.
Нажмите кнопку Сохранить.

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

Чтобы изменить настройки хранилища для хостов:

Проверьте, что нужный кластер использует именно стандартное или быстрое сетевое хранилище (увеличить размер локального или нереплицируемого сетевого хранилища невозможно). Для этого запросите информацию о кластере и найдите поле disk_type_id — его значение должно быть network-hdd или network-ssd:
```
yc managed-kafka cluster list
yc managed-kafka cluster get <имя или идентификатор кластера>
```
Посмотрите описание команды CLI для изменения кластера:
```
yc managed-kafka cluster update --help
```
Чтобы изменить размер дисков хостов-брокеров, выполните команду:
```
yc managed-kafka cluster update <имя или идентификатор кластера> --disk-size <размер диска>
```
Если не указаны единицы размера, то используются гигабайты.
Чтобы изменить размер дисков хостов ZooKeeper, выполните команду:
```
yc managed-kafka cluster update <имя или идентификатор кластера> \
--zookeeper-disk-size <размер диска>
```
Если не указаны единицы размера, то используются гигабайты.

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера.

Измените в описании кластера Managed Service for Apache Kafka^® значение параметра disk_size в блоках kafka.resources и zookeeper.resources для хостов Apache Kafka^® и ZooKeeper соответственно:

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  ...
  kafka {
    resources {
      disk_size = <размер хранилища в гигабайтах>
      ...
    }
  }
  zookeeper {
    resources {
      disk_size = <размер хранилища в гигабайтах>
      ...
    }
  }
}

Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором вы создали конфигурационный файл.
2. Выполните проверку с помощью команды:
```
terraform plan
```
Если конфигурация описана верно, в терминале отобразится список изменяемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет. Это проверочный этап: ресурсы не будут изменены.
Подтвердите изменение ресурсов.
1. Если в конфигурации нет ошибок, выполните команду:
```
terraform apply
```
2. Подтвердите изменение ресурсов.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом API update и передайте в запросе:

Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
Список настроек, которые необходимо изменить, в параметре updateMask (одной строкой через запятую). Если не задать этот параметр, метод API сбросит на значения по умолчанию все настройки кластера, которые не были явно указаны в запросе.
Новую конфигурацию кластера в параметре configSpec.

Изменить дополнительные настройки кластера

Консоль управления

CLI

Terraform

API

Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
Выберите кластер и нажмите кнопку Редактировать на панели сверху.
Измените дополнительные настройки кластера:

Защита от удаления — включите эту опцию, чтобы защитить кластер от непреднамеренного удаления пользователем вашего облака.

Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.
Нажмите кнопку Сохранить.

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

Чтобы изменить дополнительные настройки кластера:

Посмотрите описание команды CLI для изменения кластера:
```
yc managed-kafka cluster update --help
```
Чтобы защитить кластер от непреднамеренного удаления пользователем вашего облака, задайте значение true для параметра --deletion-protection:
```
yc managed-kafka cluster update <идентификатор или имя кластера> \
   ...
   --deletion-protection=true
```
Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера.
Чтобы включить защиту кластера от непреднамеренного удаления пользователем вашего облака, добавьте к описанию кластера поле deletion_protection со значением true:
```
resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  ...
  deletion_protection = <защита от удаления кластера: true или false>
}
```
Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.
Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором вы создали конфигурационный файл.
2. Выполните проверку с помощью команды:
```
terraform plan
```
Если конфигурация описана верно, в терминале отобразится список изменяемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет. Это проверочный этап: ресурсы не будут изменены.
Подтвердите изменение ресурсов.
1. Если в конфигурации нет ошибок, выполните команду:
```
terraform apply
```
2. Подтвердите изменение ресурсов.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом API update и передайте в запросе:

Идентификатор кластера в параметре clusterId.
Настройки защиты от удаления кластера в параметре deletionProtection.

Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.
Список полей конфигурации кластера, подлежащих изменению, в параметре updateMask.

Идентификатор кластера можно получить со списком кластеров в каталоге.

Важно

Этот метод API сбросит все настройки кластера, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, обязательно передайте название полей, подлежащих изменению, в параметре updateMask.

Изменить настройки Apache Kafka^®

Консоль управления

CLI

Terraform

API

Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
Выберите кластер и нажмите кнопку Редактировать на панели сверху.
Измените настройки Apache Kafka^®, нажав кнопку Настроить в блоке Настройки Kafka.

Подробнее см. в разделе Настройки Apache Kafka^®.
Нажмите кнопку Сохранить.

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

Чтобы изменить настройки Apache Kafka^®:

Посмотрите описание команды CLI для изменения настроек кластера:
```
yc managed-kafka cluster update --help
```

Измените настройки Apache Kafka^® в команде изменения кластера (в примере приведены не все настройки):

yc managed-kafka cluster update <имя кластера> \
   --compression-type <тип сжатия> \
   --log-flush-interval-messages <количество сообщений в логе, необходимое для их сброса на диск> \
   --log-flush-interval-ms <максимальное время хранения сообщений в памяти перед сбросом на диск>

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера.

Измените в описании кластера Managed Service for Apache Kafka^® значения параметров в блоке kafka.kafka_config (в примере приведены не все настройки):

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  ...
  config {
    kafka {
      ...
      kafka_config {
        compression_type            = "<тип сжатия>"
        log_flush_interval_messages = <максимальное число сообщений в памяти>
        ...
      }
    }
  }
}

Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором вы создали конфигурационный файл.
2. Выполните проверку с помощью команды:
```
terraform plan
```
Если конфигурация описана верно, в терминале отобразится список изменяемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет. Это проверочный этап: ресурсы не будут изменены.
Подтвердите изменение ресурсов.
1. Если в конфигурации нет ошибок, выполните команду:
```
terraform apply
```
2. Подтвердите изменение ресурсов.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом API update и передайте в запросе:

Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
Список настроек, которые необходимо изменить, в параметре updateMask (одной строкой через запятую). Если не задать этот параметр, метод API сбросит на значения по умолчанию все настройки кластера, которые не были явно указаны в запросе.
Новые значения настроек Apache Kafka^® в параметре:
- configSpec.kafka.kafkaConfig_2_1, если используете Apache Kafka^® версии 2.1;
- configSpec.kafka.kafkaConfig_2_6, если используете Apache Kafka^® версии 2.6.

Переместить кластер

API

Воспользуйтесь методом API move и передайте в запросе:

Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
Идентификатор каталога назначения в параметре destinationFolderId.

Изменить группы безопасности

Консоль управления

CLI

Terraform

API

Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
Выберите кластер и нажмите кнопку Изменить кластер на панели сверху.
В блоке Сетевые настройки выберите группы безопасности для сетевого трафика кластера.

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

Чтобы изменить список групп безопасности для кластера:

Посмотрите описание команды CLI для изменения кластера:
```
$ yc managed-kafka cluster update --help
```

Укажите нужные группы безопасности в команде изменения кластера:

$ yc managed-kafka cluster update <имя кластера>
     --security-group-ids <список групп безопасности>

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера.

Измените значение параметра security_group_ids в описании кластера:

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  ...
  security_group_ids = [ <список идентификаторов групп безопасности кластера> ]
}

Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором вы создали конфигурационный файл.
2. Выполните проверку с помощью команды:
```
terraform plan
```
Если конфигурация описана верно, в терминале отобразится список изменяемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет. Это проверочный этап: ресурсы не будут изменены.
Подтвердите изменение ресурсов.
1. Если в конфигурации нет ошибок, выполните команду:
```
terraform apply
```
2. Подтвердите изменение ресурсов.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом API update и передайте в запросе:

Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
Список групп в параметре securityGroupIds.
Список настроек, которые необходимо изменить, в параметре updateMask. Если не задать этот параметр, метод API сбросит на значения по умолчанию все настройки кластера, которые не были явно указаны в запросе.

Важно

Может потребоваться дополнительная настройка групп безопасности для подключения к кластеру.

Изменение настроек кластера

Изменить класс и количество хостов

Изменить настройки хранилища

Изменить дополнительные настройки кластера

Изменить настройки Apache Kafka®

Переместить кластер

Изменить группы безопасности

Была ли статья полезна?

Изменить настройки Apache Kafka^®