Изменение настроек кластера

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы включить управление топиками через Admin API:

1. Выполните команду:

   yc managed-kafka cluster update <имя или идентификатор кластера> --unmanaged-topics=true
   

2. Создайте учетную запись администратора.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Измените в описании кластера Managed Service for Apache Kafka® значение параметра unmanaged_topics, чтобы включить управление топиками через Admin API:

   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     config {
       unmanaged_topics = true
       ...
     }
     ...
   }
   

3. Создайте учетную запись администратора.

Чтобы включить управление топиками через Admin API:

1. Воспользуйтесь методом API update и передайте в запросе:

   • Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
   • Список настроек, которые необходимо изменить, в параметре updateMask (одной строкой через запятую). Если не задать этот параметр, метод API сбросит на значения по умолчанию все настройки кластера, которые не были явно указаны в запросе.
   • Новую конфигурацию кластера в параметре configSpec. В конфигурации укажите значение параметра "unmanagedTopics": true.

2. Создайте учетную запись администратора.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить класс и количество хостов:

1. Получите информацию о кластере:

   yc managed-kafka cluster list
   yc managed-kafka cluster get <имя или идентификатор кластера>
   

2. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

3. Чтобы увеличить количество хостов-брокеров, выполните команду:

   yc managed-kafka cluster update <имя или идентификатор кластера> --brokers-count <число>
   

4. Чтобы изменить класс хоста-брокера, выполните команду:

   yc managed-kafka cluster update <имя или идентификатор кластера> --resource-preset <класс хоста>
   

5. Чтобы изменить класс хоста ZooKeeper, выполните команду:

   yc managed-kafka cluster update <имя или идентификатор кластера> \
     --zookeeper-resource-preset <класс хоста>
   

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Измените в описании кластера Managed Service for Apache Kafka® значение параметра brokers_count, чтобы увеличить количество хостов-брокеров:

   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     config {
       brokers_count = <количество хостов-брокеров>
       ...
     }
     ...
   }
   

3. Измените в описании кластера Managed Service for Apache Kafka® значение параметра resource_preset_id в блоках kafka.resources и zookeeper.resources для хостов Apache Kafka® и ZooKeeper соответственно:

   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     ...
     kafka {
       resources {
         resource_preset_id = "<класс хостов-брокеров>"
         ...
       }
     }
     zookeeper {
       resources {
         resource_preset_id = "<класс хостов ZooKeeper>"
         ...
       }
     }
    }
   

4. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

5. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Воспользуйтесь методом API update и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Список настроек, которые необходимо изменить, в параметре updateMask (одной строкой через запятую). Если не задать этот параметр, метод API сбросит на значения по умолчанию все настройки кластера, которые не были явно указаны в запросе.
• Новую конфигурацию кластера в параметре configSpec.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы увеличить размер хранилища для хостов:

1. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

2. Чтобы изменить объем хранилища хостов-брокеров, выполните команду:

   yc managed-kafka cluster update <имя или идентификатор кластера> \
     --disk-size <объем хранилища>
   

   Если не указаны единицы размера, то используются гигабайты.

3. Чтобы изменить объем хранилища хостов ZooKeeper, выполните команду:

   yc managed-kafka cluster update <имя или идентификатор кластера> \
     --zookeeper-disk-size <размер диска>
   

   Если не указаны единицы размера, то используются гигабайты.

Чтобы увеличить размер хранилища для кластера

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Измените в описании кластера Managed Service for Apache Kafka® значение параметра disk_size в блоках kafka.resources и zookeeper.resources для хостов Apache Kafka® и ZooKeeper соответственно:

   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     ...
     kafka {
       resources {
         disk_size = <размер хранилища в гигабайтах>
         ...
       }
     }
     zookeeper {
       resources {
         disk_size = <размер хранилища в гигабайтах>
         ...
       }
     }
   }
   

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы увеличить размер хранилища для кластера, воспользуйтесь методом API update и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Список настроек, которые необходимо изменить, в параметре updateMask (одной строкой через запятую). Если не задать этот параметр, метод API сбросит на значения по умолчанию все настройки кластера, которые не были явно указаны в запросе.
• Новую конфигурацию кластера в параметре configSpec.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить дополнительные настройки кластера:

1. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

2. Выполните команду, передав список настроек, которые хотите изменить:

   yc managed-kafka cluster update <идентификатор или имя кластера> \
      --maintenance-window type=<тип технического обслуживания: anytime или weekly>,`
                          `day=<день недели для типа weekly>,`
                          `hour=<час дня для типа weekly> \
      --datatransfer-access=<true или false> \
      --deletion-protection=<защита от удаления кластера: true или false>
   

Вы можете изменить следующие настройки:

• --maintenance-window — настройки времени технического обслуживания (в т. ч. для выключенных кластеров):

  • type — тип технического обслуживания:
    • anytime — в любое время.
    • weekly — по расписанию.
  • day — день недели для типа weekly в формате DDD. Например, MON.
  • hour — час дня по UTC для типа weekly в формате HH. Например, 21.

• --datatransfer-access — разрешает доступ к кластеру из сервиса Yandex Data Transfer в Serverless-режиме. Значение по умолчанию — false.

  Это позволит через специальную сеть подключаться к Yandex Data Transfer, запущенному в Kubernetes. В результате будут быстрее выполняться, например, запуск и деактивация трансфера.

• --deletion-protection — защита кластера от непреднамеренного удаления пользователем.

  Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), добавьте к описанию кластера блок maintenance_window:

   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     ...
     maintenance_window {
       type = <тип технического обслуживания: ANYTIME или WEEKLY>
       day  = <день недели для типа WEEKLY>
       hour = <час дня для типа WEEKLY>
     }
     ...
   }
   

   Где:

   • type — тип технического обслуживания:
     • ANYTIME — в любое время.
     • WEEKLY — по расписанию.
   • day — день недели для типа WEEKLY в формате DDD. Например, MON.
   • hour — час дня по UTC для типа WEEKLY в формате HH. Например, 21.

3. Чтобы включить защиту кластера от непреднамеренного удаления пользователем вашего облака, добавьте к описанию кластера поле deletion_protection со значением true:

   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     ...
     deletion_protection = <защита от удаления кластера: true или false>
   }
   

   Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

4. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

5. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Воспользуйтесь методом API update и передайте в запросе:

• Идентификатор кластера в параметре clusterId.

• Настройки времени технического обслуживания (в т. ч. для выключенных кластеров) в параметре maintenanceWindow.

• Настройки доступа к кластеру из сервиса Yandex Data Transfer в Serverless-режиме в параметре configSpec.access.dataTransfer.

  Это позволит через специальную сеть подключаться к Yandex Data Transfer, запущенному в Kubernetes. В результате будут быстрее выполняться, например, запуск и деактивация трансфера.

• Настройки защиты от удаления кластера в параметре deletionProtection.

  Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

• Список полей конфигурации кластера, подлежащих изменению, в параметре updateMask.

Идентификатор кластера можно получить со списком кластеров в каталоге. Если не задать этот параметр, метод API сбросит на значения по умолчанию все настройки кластера, которые не были явно указаны в запросе.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить настройки Apache Kafka®:

1. Посмотрите описание команды CLI для изменения настроек кластера:

   yc managed-kafka cluster update --help
   

2. Измените настройки Apache Kafka® в команде изменения кластера (в примере приведены не все настройки):

   yc managed-kafka cluster update <идентификатор или имя кластера> \
      --compression-type <тип сжатия> \
      --log-flush-interval-messages <количество сообщений в логе, необходимое для их сброса на диск> \
      --log-flush-interval-ms <максимальное время хранения сообщений в памяти перед сбросом на диск>
   

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Измените в описании кластера Managed Service for Apache Kafka® значения параметров в блоке kafka.kafka_config (в примере приведены не все настройки):

   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     ...
     config {
       kafka {
         ...
         kafka_config {
           compression_type            = "<тип сжатия>"
           log_flush_interval_messages = <максимальное число сообщений в памяти>
           ...
         }
       }
     }
   }
   

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Воспользуйтесь методом API update и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Список настроек, которые необходимо изменить, в параметре updateMask (одной строкой через запятую). Если не задать этот параметр, метод API сбросит на значения по умолчанию все настройки кластера, которые не были явно указаны в запросе.
• Новые значения настроек Apache Kafka® в параметре:
  • configSpec.kafka.kafkaConfig_2_8, если используете Apache Kafka® версии 2.8;
  • configSpec.kafka.kafkaConfig_3_0, если используете Apache Kafka® версии 3.0.

Воспользуйтесь методом API move и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Идентификатор каталога назначения в параметре destinationFolderId.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить список групп безопасности для кластера:

1. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

2. Укажите нужные группы безопасности в команде изменения кластера:

   yc managed-kafka cluster update <имя кластера> \
      --security-group-ids <список групп безопасности>
   

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Измените значение параметра security_group_ids в описании кластера:

   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     ...
     security_group_ids = [ <список идентификаторов групп безопасности кластера> ]
   }
   

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Воспользуйтесь методом API update и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Список групп в параметре securityGroupIds.
• Список настроек, которые необходимо изменить, в параметре updateMask. Если не задать этот параметр, метод API сбросит на значения по умолчанию все настройки кластера, которые не были явно указаны в запросе.