Работа с топиками и разделами

Статья создана

Yandex.Cloud

Управление топиками и разделами через Admin API Apache Kafka®
Создать топик
Изменить настройки топика
Удалить топик
Получить список топиков в кластере
Получить детальную информацию о топике

Кластер Managed Service for Apache Kafka^® позволяет управлять топиками и разделами двумя способами:

С помощью стандартных интерфейсов Yandex.Cloud (CLI, API, консоль управления). Способ подходит, если вы хотите создавать, удалять и настраивать топики и разделы, используя возможности сервиса Yandex Managed Service for Apache Kafka^®.
С помощью Admin API Apache Kafka^®. Способ подходит, если вы хотите использовать уже существующее у вас решение для управления топиками и разделами.

Управление топиками и разделами через Admin API Apache Kafka^®

Чтобы управлять топиками через Admin API Apache Kafka^®:

Создайте кластер с включенной настройкой Управление топиками через API.
Создайте в кластере учетную запись администратора.
Управляйте топиками от имени этой учетной записи с помощью запросов к Admin API Apache Kafka^®. О работе с Admin API читайте в документации выбранного языка программирования.

Подробнее о работе с Admin API и о действующих ограничениях читайте в разделе Управление топиками и разделами и в документации Apache Kafka^®.

Создать топик

Консоль управления

CLI

Terraform

API

Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
Нажмите на имя нужного кластера и перейдите на вкладку Топики.
Нажмите кнопку Создать топик.
В блоке Базовые параметры задайте базовые параметры топика:
- Имя топика (должно быть уникально в пределах кластера Apache Kafka^®).
- Количество разделов в топике.
- Фактор репликации. Значение этого параметра не должно превышать количество брокеров в кластере. Минимальное значение: 1. Значение по умолчанию:
  - для кластера из одного или двух брокеров: 1;
  - для кластера с тремя и более брокерами: 3.
В блоке Настройки топика задайте настройки топика.
Нажмите кнопку Создать.

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать топик:

Посмотрите описание команды CLI для создания топиков:
```
yc managed-kafka topic create --help
```

Создайте топик:

yc managed-kafka topic create <имя топика> \
   --cluster-name <имя кластера> \
   --partitions <количество разделов> \
   --replication-factor <фактор репликации>

При необходимости здесь же задайте настройки топика.

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера.

В описании кластера Managed Service for Apache Kafka^® добавьте блок topic:

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
   topic {
     name               = "<имя топика>"
     partitions         = <количество разделов>
     replication_factor = <фактор репликации>
   }
   ...
}

При необходимости задайте настройки топика в блоке topic_config:

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
   topic {
     name               = "<имя топика>"
     partitions         = <количество разделов>
     replication_factor = <фактор репликации>

     topic_config {
       compression_type = "<тип сжатия>"
       flush_messages   = <максимальное число сообщений в памяти>
       ...
     }
   }
   ...
}

Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Подтвердите изменение ресурсов.
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом API create и передайте в запросе:

Идентификатор кластера, в котором нужно создать топик, в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
Настройки топика в параметре topicSpec.

Примечание

В процессе своей работы Managed Service for Apache Kafka^® может создавать служебные топики. Записывать пользовательские данные в такие топики нельзя.

Изменить настройки топика

Важно

Количество разделов в топике Apache Kafka^® допустимо изменять только в сторону увеличения.

Консоль управления

CLI

Terraform

API

Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
Нажмите на имя нужного кластера, затем выберите вкладку Топики.
Нажмите значок для нужного топика и выберите пункт Редактировать.
Измените базовые параметры топика:
- Количество разделов в топике.
- Фактор репликации. Значение этого параметра не должно превышать количество брокеров в кластере. Минимальное значение: 1. Значение по умолчанию:
  - для кластера из одного или двух брокеров: 1;
  - для кластера с тремя и более брокерами: 3.
Измените дополнительные настройки топика.
Нажмите кнопку Сохранить.

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

Чтобы изменить настройки топика:

Посмотрите описание команды CLI для изменения топиков:
```
yc managed-kafka topic update --help
```

Измените настройки топика:

yc managed-kafka topic update <имя топика> \
--cluster-name <имя кластера> \
--partitions <количество разделов> \
--replication-factor <фактор репликации>

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера.

Измените в описании кластера Managed Service for Apache Kafka^® значение параметров в блоках topic или topic_config:

resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
  topic {
    name               = "<имя топика>"
    partitions         = <количество разделов>
    replication_factor = <фактор репликации>

    topic_config {
      compression_type = "<тип сжатия>"
      flush_messages   = <максимальное число сообщений в памяти>
      ...
    }
  }
  ...
}

Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Подтвердите изменение ресурсов.
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом API update и передайте в запросе:

Идентификатор кластера, в котором находится топик, в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
Имя топика в параметре topicName. Чтобы узнать имя, получите список топиков в кластере.
Список настроек, которые необходимо изменить, в параметре updateMask (одной строкой через запятую). Если не задать этот параметр, метод API сбросит на значения по умолчанию все настройки топика, которые не были явно указаны в запросе.
Новые значения настроек топика в параметре topicSpec.

Удалить топик

Примечание

Выданные учетной записи права на доступ к топику сохраняются после его удаления . Если после удаления вы не отзывали права, то при создании топика с тем же именем учетная запись сможет работать с ним без переназначения прав.

Консоль управления

CLI

Terraform

API

Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
Нажмите на имя нужного кластера и перейдите на вкладку Топики.
Нажмите значок для нужного топика и выберите пункт Удалить топик.
Подтвердите удаление топика и нажмите кнопку Удалить.

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

Чтобы удалить топик:

Посмотрите описание команды CLI для изменения топиков:
```
yc managed-kafka topic delete --help
```

Удалите топик:

yc managed-kafka topic delete <имя топика> --cluster-name <имя кластера>

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера.
В описании кластера Managed Service for Apache Kafka^® удалите блок topic с описанием топика.
Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Подтвердите изменение ресурсов.
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Воспользуйтесь методом API delete и передайте в запросе:

Идентификатор кластера, в котором находится топик, в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
Имя топика в параметре topicName. Чтобы узнать имя, получите список топиков в кластере.

Получить список топиков в кластере

Консоль управления

CLI

API

Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
Нажмите на имя нужного кластера и перейдите на вкладку Топики.

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

Чтобы получить список топиков, выполните следующую команду:

yc managed-kafka topic list --cluster-name <имя кластера>

Воспользуйтесь методом API list: передайте значение идентификатора требуемого кластера в параметре clusterId запроса.

Чтобы узнать идентификатор кластера, получите список кластеров в каталоге.

Получить детальную информацию о топике

Консоль управления

CLI

API

Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
Нажмите на имя нужного кластера и перейдите на вкладку Топики.
Нажмите на имя нужного топика.

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

Чтобы получить детальную информацию о топике, выполните следующую команду:

yc managed-kafka topic get <имя топика> --cluster-name <имя кластера>

Воспользуйтесь методом API get и передайте в запросе:

Идентификатор кластера, в котором находится топик, в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
Имя топика в параметре topicName. Чтобы узнать имя, получите список топиков в кластере.

Работа с топиками и разделами

Управление топиками и разделами через Admin API Apache Kafka®

Создать топик

Изменить настройки топика

Удалить топик

Получить список топиков в кластере

Получить детальную информацию о топике

Была ли статья полезна?

Управление топиками и разделами через Admin API Apache Kafka^®