Подключиться
Yandex Managed Service for Apache Kafka®

Cluster

Набор методов для управления кластерами Apache Kafka®.

JSON-представление

{
  "id": "string",
  "folderId": "string",
  "createdAt": "string",
  "name": "string",
  "description": "string",
  "labels": "object",
  "environment": "string",
  "monitoring": [
    {
      "name": "string",
      "description": "string",
      "link": "string"
    }
  ],
  "config": {
    "version": "string",
    "kafka": {
      "resources": {
        "resourcePresetId": "string",
        "diskSize": "string",
        "diskTypeId": "string"
      },

      // `config.kafka` включает только одно из полей `kafkaConfig_2_1`, `kafkaConfig_2_6`
      "kafkaConfig_2_1": {
        "compressionType": "string",
        "logFlushIntervalMessages": "integer",
        "logFlushIntervalMs": "integer",
        "logFlushSchedulerIntervalMs": "integer",
        "logRetentionBytes": "integer",
        "logRetentionHours": "integer",
        "logRetentionMinutes": "integer",
        "logRetentionMs": "integer"
      },
      "kafkaConfig_2_6": {
        "compressionType": "string",
        "logFlushIntervalMessages": "integer",
        "logFlushIntervalMs": "integer",
        "logFlushSchedulerIntervalMs": "integer",
        "logRetentionBytes": "integer",
        "logRetentionHours": "integer",
        "logRetentionMinutes": "integer",
        "logRetentionMs": "integer"
      },
      // конец списка возможных полей`config.kafka`

    },
    "zookeeper": {
      "resources": {
        "resourcePresetId": "string",
        "diskSize": "string",
        "diskTypeId": "string"
      }
    },
    "zoneId": [
      "string"
    ],
    "brokersCount": "integer",
    "assignPublicIp": true
  },
  "networkId": "string",
  "health": "string",
  "status": "string"
}
Поле Описание
id string

Идентификатор кластера Apache Kafka®. Этот идентификатор генерируется при создании кластера.
folderId string

Идентификатор каталога, которому принадлежит кластер Apache Kafka®.
createdAt string (date-time)

Время создания.

Строка в формате RFC3339.
name string

Имя кластера Apache Kafka®. Имя должно быть уникальным в рамках каталога. Длина 1-63 символов. Значение должно соответствовать регулярному выражению [a-zA-Z0-9_-]*.
description string

Описание кластера Apache Kafka®. Длина описания должна быть от 0 до 256 символов.
labels object

Пользовательские метки для кластера Apache Kafka® в виде пар key:value. Максимум 64 на ресурс.
environment string

Среда развертывания кластера Apache Kafka®.

  • PRODUCTION: Стабильная среда с осторожной политикой обновления — во время регулярного обслуживания применяются только срочные исправления.
  • PRESTABLE: Среда с более агрессивной политикой обновления — новые версии развертываются независимо от обратной совместимости.
monitoring[] object

Метаданные системы мониторинга.
monitoring[].
name		 string

Название системы мониторинга.
monitoring[].
description		 string

Описание системы мониторинга.
monitoring[].
link		 string

Ссылка на графики системы мониторинга для кластера Apache Kafka®.
config object

Конфигурация кластера Apache Kafka®.
config.
version		 string

Версия Apache Kafka®, которая используется в кластере. Возможные значения: 2.1, 2.6.
config.
kafka		 object

Конфигурация и распределение ресурсов для брокеров Kafka.
config.
kafka.
resources		 object
config.
kafka.
resources.
resourcePresetId		 string

Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.
config.
kafka.
resources.
diskSize		 string (int64)

Объем хранилища, доступного хосту, в байтах.
config.
kafka.
resources.
diskTypeId		 string

Тип хранилища для хоста.
config.
kafka.
kafkaConfig_2_1		 object
config.kafka включает только одно из полей kafkaConfig_2_1, kafkaConfig_2_6

Конфигурация брокера Kafka версии 2.1.
config.
kafka.
kafkaConfig_2_1.
compressionType		 string

Тип сжатия для топиков кластера.

  • COMPRESSION_TYPE_UNCOMPRESSED: не использовать кодек (сообщения не сжимаются).
  • COMPRESSION_TYPE_ZSTD: кодек Zstandard.
  • COMPRESSION_TYPE_LZ4: Кодек LZ4.
  • COMPRESSION_TYPE_SNAPPY: Кодек Snappy.
  • COMPRESSION_TYPE_GZIP: кодек GZip.
  • COMPRESSION_TYPE_PRODUCER: кодек задается на стороне производителя (допустимые кодеки: ZSTD, LZ4, GZIP или SNAPPY).
config.
kafka.
kafkaConfig_2_1.
logFlushIntervalMessages		 integer (int64)

Количество сообщений, которые должны быть накоплены в разделе прежде, чем эти сообщения будут сброшены на диск.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки flushMessages.
config.
kafka.
kafkaConfig_2_1.
logFlushIntervalMs		 integer (int64)

Максимальное время (в миллисекундах), в течение которого сообщение в любом топике хранится в памяти перед сбросом на диск. Если значение не задано, то используется значение настройки logFlushSchedulerIntervalMs.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки flushMs.
config.
kafka.
kafkaConfig_2_1.
logFlushSchedulerIntervalMs		 integer (int64)

Частота проверки (в миллисекундах) наличия логов, которые нужно сбросить на диск. Эта проверка выполняется процессом, ответственным за сброс логов.
config.
kafka.
kafkaConfig_2_1.
logRetentionBytes		 integer (int64)

Ограничение размера раздела; Kafka отбросит старые сегменты лога, если , чтобы освободить место, если действует политика delete cleanupPolicy. Этот настройка полезна, если вам необходимо контролировать размер лога из-за ограниченного дискового пространства.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки retentionBytes.
config.
kafka.
kafkaConfig_2_1.
logRetentionHours		 integer (int64)

Количество часов до удаления файла сегмента лога; в течение этого времени Kafka будет хранить файл сегмента лога.
config.
kafka.
kafkaConfig_2_1.
logRetentionMinutes		 integer (int64)

Количество минут до удаления файла сегмента лога; в течение этого времени Kafka будет хранить файл сегмента лога.

Если значение не задано, то используется значение настройки logRetentionHours.
config.
kafka.
kafkaConfig_2_1.
logRetentionMs		 integer (int64)

Количество миллисекунд до удаления файла сегмента лога; в течение этого времени Kafka будет хранить файл сегмента лога.

Если значение не задано, то используется значение настройки logRetentionMinutes.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки retentionMs.
config.
kafka.
kafkaConfig_2_6		 object
config.kafka включает только одно из полей kafkaConfig_2_1, kafkaConfig_2_6

Конфигурация брокера Kafka версии 2.6.
config.
kafka.
kafkaConfig_2_6.
compressionType		 string

Тип сжатия для топиков кластера.

  • COMPRESSION_TYPE_UNCOMPRESSED: не использовать кодек (сообщения не сжимаются).
  • COMPRESSION_TYPE_ZSTD: кодек Zstandard.
  • COMPRESSION_TYPE_LZ4: Кодек LZ4.
  • COMPRESSION_TYPE_SNAPPY: Кодек Snappy.
  • COMPRESSION_TYPE_GZIP: кодек GZip.
  • COMPRESSION_TYPE_PRODUCER: кодек задается на стороне производителя (допустимые кодеки: ZSTD, LZ4, GZIP или SNAPPY).
config.
kafka.
kafkaConfig_2_6.
logFlushIntervalMessages		 integer (int64)

Количество сообщений, которые должны быть накоплены в разделе прежде, чем эти сообщения будут сброшены на диск.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки flushMessages.
config.
kafka.
kafkaConfig_2_6.
logFlushIntervalMs		 integer (int64)

Максимальное время (в миллисекундах), в течение которого сообщение в любом топике хранится в памяти перед сбросом на диск. Если значение не задано, то используется значение настройки logFlushSchedulerIntervalMs.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки flushMs.
config.
kafka.
kafkaConfig_2_6.
logFlushSchedulerIntervalMs		 integer (int64)

Частота проверки (в миллисекундах) наличия логов, которые нужно сбросить на диск. Эта проверка выполняется процессом, ответственным за сброс логов.
config.
kafka.
kafkaConfig_2_6.
logRetentionBytes		 integer (int64)

Ограничение размера раздела; Kafka отбросит старые сегменты лога, чтобы освободить место, если действует политика delete cleanupPolicy. Эта настройка полезна, если вам необходимо контролировать размер лога из-за ограниченного дискового пространства.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки retentionBytes.
config.
kafka.
kafkaConfig_2_6.
logRetentionHours		 integer (int64)

Количество часов до удаления файла сегмента лога; в течение этого времени Kafka будет хранить файл сегмента лога.
config.
kafka.
kafkaConfig_2_6.
logRetentionMinutes		 integer (int64)

Количество минут до удаления файла сегмента лога; в течение этого времени Kafka будет хранить файл сегмента лога.

Если значение не задано, то используется значение настройки logRetentionHours.
config.
kafka.
kafkaConfig_2_6.
logRetentionMs		 integer (int64)

Количество миллисекунд до удаления файла сегмента лога; в течение этого времени Kafka будет хранить файл сегмента лога.

Если значение не задано, то используется значение настройки logRetentionMinutes.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки retentionMs.
config.
zookeeper		 object

Конфигурация и распределение ресурсов для хостов ZooKeeper.
config.
zookeeper.
resources		 object

Вычислительные ресурсы, выделенные хостам ZooKeeper.
config.
zookeeper.
resources.
resourcePresetId		 string

Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.
config.
zookeeper.
resources.
diskSize		 string (int64)

Объем хранилища, доступного хосту, в байтах.
config.
zookeeper.
resources.
diskTypeId		 string

Тип хранилища для хоста.
config.
zoneId[]		 string

Идентификаторы зон доступности, в которых находятся брокеры Kafka.
config.
brokersCount		 integer (int64)

Количество брокеров Kafka, развернутых в каждой зоне доступности.
config.
assignPublicIp		 boolean (boolean)

Флаг, определяющий, назначен ли кластеру публичный IP-адрес. Если значение равно true, то кластер Apache Kafka® доступен в Интернете через его публичный IP-адрес.
networkId string

Идентификатор сети, к которой принадлежит кластер.
health string

Здоровье кластера.

  • HEALTH_UNKNOWN: Состояние кластера неизвестно (health всех хостов в кластере — UNKNOWN).
  • ALIVE: Кластер работает нормально (health всех хостов в кластере — ALIVE).
  • DEAD: Кластер не работает (health всех хостов в кластере — DEAD).
  • DEGRADED: Кластер находится в состоянии деградации (health по крайней мере одного из хостов в кластере — не ALIVE).
status string

Текущее состояние кластера.

  • STATUS_UNKNOWN: Состояние кластера неизвестно.
  • CREATING: Кластер создается.
  • RUNNING: Кластер работает нормально.
  • ERROR: В кластере произошла ошибка, блокирующая работу.
  • UPDATING: Кластер изменяется.
  • STOPPING: Кластер останавливается.
  • STOPPED: Кластер остановлен.
  • STARTING: Кластер запускается.

Методы

Метод Описание
create Создает новый кластер Apache Kafka® в указанном каталоге.
delete Удаляет указанный кластер Apache Kafka®.
get Возвращает указанный кластер Apache Kafka®.
list Получает список кластеров Apache Kafka®, принадлежащих указанному каталогу.
listHosts Получает список хостов для указанного кластера Apache Kafka®.
listLogs Получает логи для указанного кластера Apache Kafka®.
listOperations Получает список операций для указанного кластера Apache Kafka®.
move Перемещает кластер Apache Kafka® в указанный каталог.
start Запускает указанный кластер Apache Kafka®.
stop Останавливает указанный кластер Apache Kafka®.
streamLogs То же самое, что listLogs, с той разницей, что со стороны сервера передается поток логов. Допускается использовать семантику tail -f при работе с потоком логов.
update Изменяет указанный кластер Apache Kafka®.
В этой статье: