Работа с топиками и разделами

Чтобы создать топик, выполните следующие действия:

1. Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.

2. Нажмите на имя нужного кластера, затем выберите вкладку Топики.

3. Нажмите кнопку Создать топик.

4. В блоке Базовые параметры задайте:

   • Имя топика (должно быть уникально в пределах кластера Apache Kafka^®).
   • Количество разделов в топике.
   • Фактор репликации. Значение этого параметра не должно превышать количество брокеров в кластере.

5. В блоке Настройки топика задайте параметры:

   • Политика очистки лога:

     • CLEANUP_POLICY_DELETE — удалять сегменты лога либо при истечении срока их хранения, либо при достижении предельного размера лога.
     • CLEANUP_POLICY_COMPACT — сжимать сообщения в логе.
     • CLEANUP_POLICY_COMPACT_AND_DELETE — использовать как сжатие сообщений, так и удаление сегментов лога.

     Подробнее см. в документации Apache Kafka^®.

   • Тип сжатия — какой кодек использовать для сжатия сообщений:

     • Uncompressed — не использовать сжатие.
     • Zstd — кодек Zstandard.
     • Lz4 — кодек LZ4.
     • Snappy — кодек Snappy.
     • Gzip — кодек GZip.
     • Producer — кодек задается производителем.

     Подробнее см. в документации Apache Kafka^®.

   • Задержка удаления, мс — время ожидания перед удалением файла из файловой системы.

     Подробнее см. в документации Apache Kafka^®.

   • Максимальное число сообщений в памяти — количество сообщений топика, которое может накопиться в памяти прежде, чем эти сообщения будут записаны на диск. Например, если параметр равен 1, запись на диск будет происходить после получения каждого сообщения, а если 5, то сообщения будут записываться на диск группами по пять.

     Подробнее см. в документации Apache Kafka^®.

   • Время хранения сообщения в памяти, мс — время, в течение которого сообщение в топике хранится в памяти перед записью на диск.

     Подробнее см. в документации Apache Kafka^®.

   • Минимальная задержка сжатия, мс — минимальное время, в течение которого сообщение в логе будет оставаться несжатым.

     Подробнее см. в документации Apache Kafka^®.

   • Максимальный размер раздела, байт — максимальный размер, до которого может вырасти раздел. После достижения этого раздела, Apache Kafka^® начнет удалять старые сегменты лога. Настройка применяется, если действует политика очистки лога CLEANUP_POLICY_DELETE.

     Эта настройка полезна, если вам необходимо контролировать размер лога из-за ограниченного дискового пространства.

     Подробнее см. в документации Apache Kafka^®.

   • Время жизни сегмента лога, мс — время, по истечении которого Apache Kafka^® начнет удалять старые сегменты лога. Настройка применяется, если действует политика очистки лога CLEANUP_POLICY_DELETE.

     Подробнее см. в документации Apache Kafka^®.

   • min_insync_replicas — минимальное количество реплик, от которых необходимо дождаться подтверждения записи, чтобы запись сообщения в топик считалась успешной. Настройка имеет смысл, когда брокер ждет подтверждения записи от всех реплик в кластере.

     Минимальное значение: 1 (по умолчанию).

     Подробнее см. в документации Apache Kafka^®.

   • max_message_bytes — максимальный размер пачки сообщений, который Apache Kafka^® разрешает записать в топик производителю или прочитать из топика потребителю (в байтах, после сжатия, если оно включено).

     Минимальное значение: 0 (по умолчанию — 1048588, один мегабайт).

     Подробнее см. в документации Apache Kafka^®.

6. Нажмите кнопку Создать.

Чтобы удалить топик, выполните следующие действия:

1. Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
2. Нажмите на имя нужного кластера, затем выберите вкладку Топики.
3. Нажмите значок для нужного топика и выберите пункт Удалить.
4. Подтвердите удаление топика и нажмите кнопку Удалить.

Чтобы получить список топиков, выполните следующие действия:

1. Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
2. Нажмите на имя нужного кластера, затем выберите вкладку Топики.

Чтобы получить детальную информацию о топике, выполните следующие действия:

1. Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka^®.
2. Нажмите на имя нужного кластера, затем выберите вкладку Топики.
3. Нажмите на имя нужного топика.