Подключиться
Yandex Managed Service for Apache Kafka®

Работа с топиками и разделами

В кластере Managed Service for Apache Kafka® вы можете:

Создать топик

Чтобы создать топик, выполните следующие действия:

  1. Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka®.
  2. Нажмите на имя нужного кластера и перейдите на вкладку Топики.
  3. Нажмите кнопку Создать топик.
  4. В блоке Базовые параметры задайте базовые параметры топика:
    • Имя топика (должно быть уникально в пределах кластера Apache Kafka®).
    • Количество разделов в топике.
    • Фактор репликации. Значение этого параметра не должно превышать количество брокеров в кластере. Минимальное значение: 1. Значение по умолчанию:
      • для кластера из одного или двух брокеров: 1;
      • для кластера с тремя и более брокерами: 3.
  5. В блоке Настройки топика задайте настройки топика.
  6. Нажмите кнопку Создать.

Воспользуйтесь методом API create и передайте в запросе:

Изменить настройки топика

Важно

Количество разделов в топике Apache Kafka® допустимо изменять только в сторону увеличения.

Чтобы изменить настройки топика, выполните следующие действия:

  1. Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka®.
  2. Нажмите на имя нужного кластера, затем выберите вкладку Топики.
  3. Нажмите значок для нужного топика и выберите пункт Редактировать.
  4. Измените базовые параметры топика:
    • Количество разделов в топике.
    • Фактор репликации. Значение этого параметра не должно превышать количество брокеров в кластере. Минимальное значение: 1. Значение по умолчанию:
      • для кластера из одного или двух брокеров: 1;
      • для кластера с тремя и более брокерами: 3.
  5. Измените настройки топика.
  6. Нажмите кнопку Сохранить.

Воспользуйтесь методом API update и передайте в запросе:

  • Идентификатор кластера, в котором находится топик, в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
  • Имя топика в параметре topicName. Чтобы узнать имя, получите список топиков в кластере.
  • Список настроек, которые необходимо изменить, в параметре updateMask (одной строкой через запятую). Если не задать этот параметр, метод API сбросит на значения по умолчанию все настройки топика, которые не были явно указаны в запросе.
  • Новые значения настроек топика в параметре topicSpec.

Удалить топик

Примечание

Выданные учетной записи права на доступ к топику сохраняются даже после удаления топика. Вы можете либо отозвать эти права доступа, либо оставить. В последнем случае вы можете создать топик с тем же именем и работать с ним без переназначения прав учетной записи.

Чтобы удалить топик, выполните следующие действия:

  1. Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka®.
  2. Нажмите на имя нужного кластера и перейдите на вкладку Топики.
  3. Нажмите значок для нужного топика и выберите пункт Удалить топик.
  4. Подтвердите удаление топика и нажмите кнопку Удалить.

Воспользуйтесь методом API delete и передайте в запросе:

Получить список топиков в кластере

Чтобы получить список топиков, выполните следующие действия:

  1. Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka®.
  2. Нажмите на имя нужного кластера и перейдите на вкладку Топики.

Воспользуйтесь методом API list: передайте значение идентификатора требуемого кластера в параметре clusterId запроса.

Чтобы узнать идентификатор кластера, получите список кластеров в каталоге.

Получить детальную информацию о топике

Чтобы получить детальную информацию о топике, выполните следующие действия:

  1. Перейдите на страницу каталога и выберите сервис Managed Service for Apache Kafka®.
  2. Нажмите на имя нужного кластера и перейдите на вкладку Топики.
  3. Нажмите на имя нужного топика.

Чтобы получить детальную информацию о топике, воспользуйтесь методом API get и передайте в запросе:

Дополнительные настройки топика

Эти настройки задают различные параметры топика:

  • Политика очистки лога:

    • Delete — удалять сегменты лога либо при истечении срока их хранения, либо при достижении предельного размера лога.
    • Compact — сжимать сообщения в логе.
    • CompactAndDelete — использовать как сжатие сообщений, так и удаление сегментов лога.

    Подробнее см. в документации Apache Kafka®.

  • Тип сжатия — какой кодек использовать для сжатия сообщений:

    • Uncompressed — не использовать сжатие.
    • Zstd — кодек Zstandard.
    • Lz4 — кодек LZ4.
    • Snappy — кодек Snappy.
    • Gzip — кодек GZip.
    • Producer — кодек задается производителем.

    Подробнее см. в документации Apache Kafka®.

  • Delete retention, ms — время (в миллисекундах), в течение которого нужно хранить tombstone-маркеры удаления для топиков со сжатым логом. Параметр отображается только при выборе политик очистки лога Compact и CompactAndDelete.

    Подробнее см. в документации Apache Kafka®.

  • Задержка удаления, мс — время ожидания перед удалением файла из файловой системы.

    Подробнее см. в документации Apache Kafka®.

  • Максимальное число сообщений в памяти — количество сообщений топика, которое может накопиться в памяти прежде, чем эти сообщения будут записаны на диск. Например, если параметр равен 1, запись на диск будет происходить после получения каждого сообщения, а если 5, то сообщения будут записываться на диск группами по пять.

    Подробнее см. в документации Apache Kafka®.

  • Время хранения сообщения в памяти, мс — время, в течение которого сообщение в топике хранится в памяти перед записью на диск.

    Подробнее см. в документации Apache Kafka®.

  • Минимальная задержка сжатия, мс — минимальное время, в течение которого сообщение в логе будет оставаться несжатым.

    Подробнее см. в документации Apache Kafka®.

  • Максимальный размер раздела, байт — максимальный размер, до которого может вырасти раздел. После достижения этого размера, Apache Kafka® начнет удалять старые сегменты лога. Настройка применяется, если действует политика очистки лога Delete.

    Эта настройка полезна, если вам необходимо контролировать размер лога из-за ограниченного дискового пространства.

    Подробнее см. в документации Apache Kafka®.

  • Время жизни сегмента лога, мс — время, по истечении которого Apache Kafka® начнет удалять старые сегменты лога. Настройка применяется, если действует политика очистки лога Delete.

    Подробнее см. в документации Apache Kafka®.

  • Максимальный размер группы сообщений — максимальный размер пачки сообщений, который Apache Kafka® разрешает записать в топик производителю или прочитать из топика потребителю (в байтах, после сжатия, если оно включено).

    Минимальное значение: 0 (по умолчанию — 1048588, один мегабайт).

    Подробнее см. в документации Apache Kafka®.

  • Минимальное число синхронных реплик — минимальное количество реплик, от которых необходимо дождаться подтверждения записи, чтобы запись сообщения в топик считалась успешной. Этв настройка полезна, когда брокер ждет подтверждения записи от всех реплик в кластере.

    Минимальное значение: 1. Значение по умолчанию:
    - для кластера из одного или двух брокеров: 1;
    - для кластера с тремя и более брокерами: 2.

    Подробнее см. в документации Apache Kafka®.

В этой статье: