Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Решения
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Managed Service for Apache Kafka®
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к кластеру
    • Остановка и запуск кластера
    • Изменение настроек кластера
    • Управление хостами Apache Kafka®
    • Работа с топиками и разделами
    • Управление учетными записями Kafka
    • Удаление кластера
  • Сценарии использования
    • Поставка данных в Managed Service for ClickHouse
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Топики и разделы
    • Брокеры
    • Производители и потребители
    • Классы хостов
    • Сеть в Managed Service for Apache Kafka®
    • Квоты и лимиты
    • Типы хранилища
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • OperationService
      • ResourcePresetService
      • TopicService
      • UserService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listLogs
        • listOperations
        • move
        • start
        • stop
        • streamLogs
        • update
      • Operation
        • Обзор
        • get
      • ResourcePreset
        • Обзор
        • get
        • list
      • Topic
        • Обзор
        • create
        • delete
        • get
        • list
        • update
      • User
        • Обзор
        • create
        • delete
        • get
        • grantPermission
        • list
        • revokePermission
        • update
  • Вопросы и ответы
  1. Справочник API
  2. REST
  3. Cluster
  4. Обзор

Cluster

  • JSON-представление
  • Методы

Набор методов для управления кластерами Apache Kafka®.

JSON-представление

{
  "id": "string",
  "folderId": "string",
  "createdAt": "string",
  "name": "string",
  "description": "string",
  "labels": "object",
  "environment": "string",
  "monitoring": [
    {
      "name": "string",
      "description": "string",
      "link": "string"
    }
  ],
  "config": {
    "version": "string",
    "kafka": {
      "resources": {
        "resourcePresetId": "string",
        "diskSize": "string",
        "diskTypeId": "string"
      },

      // `config.kafka` включает только одно из полей `kafkaConfig_2_1`, `kafkaConfig_2_6`
      "kafkaConfig_2_1": {
        "compressionType": "string",
        "logFlushIntervalMessages": "integer",
        "logFlushIntervalMs": "integer",
        "logFlushSchedulerIntervalMs": "integer",
        "logRetentionBytes": "integer",
        "logRetentionHours": "integer",
        "logRetentionMinutes": "integer",
        "logRetentionMs": "integer"
      },
      "kafkaConfig_2_6": {
        "compressionType": "string",
        "logFlushIntervalMessages": "integer",
        "logFlushIntervalMs": "integer",
        "logFlushSchedulerIntervalMs": "integer",
        "logRetentionBytes": "integer",
        "logRetentionHours": "integer",
        "logRetentionMinutes": "integer",
        "logRetentionMs": "integer"
      },
      // конец списка возможных полей`config.kafka`

    },
    "zookeeper": {
      "resources": {
        "resourcePresetId": "string",
        "diskSize": "string",
        "diskTypeId": "string"
      }
    },
    "zoneId": [
      "string"
    ],
    "brokersCount": "integer",
    "assignPublicIp": true
  },
  "networkId": "string",
  "health": "string",
  "status": "string"
}
Поле Описание
id string

Идентификатор кластера Apache Kafka®. Этот идентификатор генерируется при создании кластера.

folderId string

Идентификатор каталога, которому принадлежит кластер Apache Kafka®.

createdAt string (date-time)

Время создания.

Строка в формате RFC3339.

name string

Имя кластера Apache Kafka®. Имя должно быть уникальным в рамках каталога. Длина 1-63 символов. Значение должно соответствовать регулярному выражению [a-zA-Z0-9_-]*.

description string

Описание кластера Apache Kafka®. Длина описания должна быть от 0 до 256 символов.

labels object

Пользовательские метки для кластера Apache Kafka® в виде пар key:value. Максимум 64 на ресурс.

environment string

Среда развертывания кластера Apache Kafka®.

  • PRODUCTION: Стабильная среда с осторожной политикой обновления — во время регулярного обслуживания применяются только срочные исправления.
  • PRESTABLE: Среда с более агрессивной политикой обновления — новые версии развертываются независимо от обратной совместимости.
monitoring[] object

Метаданные системы мониторинга.

monitoring[].
name
string

Название системы мониторинга.

monitoring[].
description
string

Описание системы мониторинга.

monitoring[].
link
string

Ссылка на графики системы мониторинга для кластера Apache Kafka®.

config object

Конфигурация кластера Apache Kafka®.

config.
version
string

Версия Apache Kafka®, которая используется в кластере. Возможные значения: 2.1, 2.6.

config.
kafka
object

Конфигурация и распределение ресурсов для брокеров Kafka.

config.
kafka.
resources
object
config.
kafka.
resources.
resourcePresetId
string

Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.

config.
kafka.
resources.
diskSize
string (int64)

Объем хранилища, доступного хосту, в байтах.

config.
kafka.
resources.
diskTypeId
string

Тип хранилища для хоста.

config.
kafka.
kafkaConfig_2_1
object
config.kafka включает только одно из полей kafkaConfig_2_1, kafkaConfig_2_6

Конфигурация брокера Kafka версии 2.1.

config.
kafka.
kafkaConfig_2_1.
compressionType
string

Тип сжатия для топиков кластера.

  • COMPRESSION_TYPE_UNCOMPRESSED: не использовать кодек (сообщения не сжимаются).
  • COMPRESSION_TYPE_ZSTD: кодек Zstandard.
  • COMPRESSION_TYPE_LZ4: Кодек LZ4.
  • COMPRESSION_TYPE_SNAPPY: Кодек Snappy.
  • COMPRESSION_TYPE_GZIP: кодек GZip.
  • COMPRESSION_TYPE_PRODUCER: кодек задается на стороне производителя (допустимые кодеки: ZSTD, LZ4, GZIP или SNAPPY).
config.
kafka.
kafkaConfig_2_1.
logFlushIntervalMessages
integer (int64)

Количество сообщений, которые должны быть накоплены в разделе прежде, чем эти сообщения будут сброшены на диск.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки flushMessages.

config.
kafka.
kafkaConfig_2_1.
logFlushIntervalMs
integer (int64)

Максимальное время (в миллисекундах), в течение которого сообщение в любом топике хранится в памяти перед сбросом на диск. Если значение не задано, то используется значение настройки logFlushSchedulerIntervalMs.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки flushMs.

config.
kafka.
kafkaConfig_2_1.
logFlushSchedulerIntervalMs
integer (int64)

Частота проверки (в миллисекундах) наличия логов, которые нужно сбросить на диск. Эта проверка выполняется процессом, ответственным за сброс логов.

config.
kafka.
kafkaConfig_2_1.
logRetentionBytes
integer (int64)

Ограничение размера раздела; Kafka отбросит старые сегменты лога, если , чтобы освободить место, если действует политика delete cleanupPolicy. Этот настройка полезна, если вам необходимо контролировать размер лога из-за ограниченного дискового пространства.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки retentionBytes.

config.
kafka.
kafkaConfig_2_1.
logRetentionHours
integer (int64)

Количество часов до удаления файла сегмента лога; в течение этого времени Kafka будет хранить файл сегмента лога.

config.
kafka.
kafkaConfig_2_1.
logRetentionMinutes
integer (int64)

Количество минут до удаления файла сегмента лога; в течение этого времени Kafka будет хранить файл сегмента лога.

Если значение не задано, то используется значение настройки logRetentionHours.

config.
kafka.
kafkaConfig_2_1.
logRetentionMs
integer (int64)

Количество миллисекунд до удаления файла сегмента лога; в течение этого времени Kafka будет хранить файл сегмента лога.

Если значение не задано, то используется значение настройки logRetentionMinutes.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки retentionMs.

config.
kafka.
kafkaConfig_2_6
object
config.kafka включает только одно из полей kafkaConfig_2_1, kafkaConfig_2_6

Конфигурация брокера Kafka версии 2.6.

config.
kafka.
kafkaConfig_2_6.
compressionType
string

Тип сжатия для топиков кластера.

  • COMPRESSION_TYPE_UNCOMPRESSED: не использовать кодек (сообщения не сжимаются).
  • COMPRESSION_TYPE_ZSTD: кодек Zstandard.
  • COMPRESSION_TYPE_LZ4: Кодек LZ4.
  • COMPRESSION_TYPE_SNAPPY: Кодек Snappy.
  • COMPRESSION_TYPE_GZIP: кодек GZip.
  • COMPRESSION_TYPE_PRODUCER: кодек задается на стороне производителя (допустимые кодеки: ZSTD, LZ4, GZIP или SNAPPY).
config.
kafka.
kafkaConfig_2_6.
logFlushIntervalMessages
integer (int64)

Количество сообщений, которые должны быть накоплены в разделе прежде, чем эти сообщения будут сброшены на диск.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки flushMessages.

config.
kafka.
kafkaConfig_2_6.
logFlushIntervalMs
integer (int64)

Максимальное время (в миллисекундах), в течение которого сообщение в любом топике хранится в памяти перед сбросом на диск. Если значение не задано, то используется значение настройки logFlushSchedulerIntervalMs.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки flushMs.

config.
kafka.
kafkaConfig_2_6.
logFlushSchedulerIntervalMs
integer (int64)

Частота проверки (в миллисекундах) наличия логов, которые нужно сбросить на диск. Эта проверка выполняется процессом, ответственным за сброс логов.

config.
kafka.
kafkaConfig_2_6.
logRetentionBytes
integer (int64)

Ограничение размера раздела; Kafka отбросит старые сегменты лога, чтобы освободить место, если действует политика delete cleanupPolicy. Эта настройка полезна, если вам необходимо контролировать размер лога из-за ограниченного дискового пространства.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки retentionBytes.

config.
kafka.
kafkaConfig_2_6.
logRetentionHours
integer (int64)

Количество часов до удаления файла сегмента лога; в течение этого времени Kafka будет хранить файл сегмента лога.

config.
kafka.
kafkaConfig_2_6.
logRetentionMinutes
integer (int64)

Количество минут до удаления файла сегмента лога; в течение этого времени Kafka будет хранить файл сегмента лога.

Если значение не задано, то используется значение настройки logRetentionHours.

config.
kafka.
kafkaConfig_2_6.
logRetentionMs
integer (int64)

Количество миллисекунд до удаления файла сегмента лога; в течение этого времени Kafka будет хранить файл сегмента лога.

Если значение не задано, то используется значение настройки logRetentionMinutes.

Это глобальная настройка, которая задается на уровне кластера. Ее можно переопределить на уровне топика с помощью настройки retentionMs.

config.
zookeeper
object

Конфигурация и распределение ресурсов для хостов ZooKeeper.

config.
zookeeper.
resources
object

Вычислительные ресурсы, выделенные хостам ZooKeeper.

config.
zookeeper.
resources.
resourcePresetId
string

Идентификатор набора вычислительных ресурсов, доступных хосту (процессор, память и т. д.). Все доступные наборы ресурсов перечислены в документации.

config.
zookeeper.
resources.
diskSize
string (int64)

Объем хранилища, доступного хосту, в байтах.

config.
zookeeper.
resources.
diskTypeId
string

Тип хранилища для хоста.

config.
zoneId[]
string

Идентификаторы зон доступности, в которых находятся брокеры Kafka.

config.
brokersCount
integer (int64)

Количество брокеров Kafka, развернутых в каждой зоне доступности.

config.
assignPublicIp
boolean (boolean)

Флаг, определяющий, назначен ли кластеру публичный IP-адрес. Если значение равно true, то кластер Apache Kafka® доступен в Интернете через его публичный IP-адрес.

networkId string

Идентификатор сети, к которой принадлежит кластер.

health string

Здоровье кластера.

  • HEALTH_UNKNOWN: Состояние кластера неизвестно (health всех хостов в кластере — UNKNOWN).
  • ALIVE: Кластер работает нормально (health всех хостов в кластере — ALIVE).
  • DEAD: Кластер не работает (health всех хостов в кластере — DEAD).
  • DEGRADED: Кластер находится в состоянии деградации (health по крайней мере одного из хостов в кластере — не ALIVE).
status string

Текущее состояние кластера.

  • STATUS_UNKNOWN: Состояние кластера неизвестно.
  • CREATING: Кластер создается.
  • RUNNING: Кластер работает нормально.
  • ERROR: В кластере произошла ошибка, блокирующая работу.
  • UPDATING: Кластер изменяется.
  • STOPPING: Кластер останавливается.
  • STOPPED: Кластер остановлен.
  • STARTING: Кластер запускается.

Методы

Метод Описание
create Создает новый кластер Apache Kafka® в указанном каталоге.
delete Удаляет указанный кластер Apache Kafka®.
get Возвращает указанный кластер Apache Kafka®.
list Получает список кластеров Apache Kafka®, принадлежащих указанному каталогу.
listHosts Получает список хостов для указанного кластера Apache Kafka®.
listLogs Получает логи для указанного кластера Apache Kafka®.
listOperations Получает список операций для указанного кластера Apache Kafka®.
move Перемещает кластер Apache Kafka® в указанный каталог.
start Запускает указанный кластер Apache Kafka®.
stop Останавливает указанный кластер Apache Kafka®.
streamLogs То же самое, что listLogs, с той разницей, что со стороны сервера передается поток логов. Допускается использовать семантику tail -f при работе с потоком логов.
update Изменяет указанный кластер Apache Kafka®.
В этой статье:
  • JSON-представление
  • Методы
Language
Вакансии
Политика конфиденциальности
Условия использования
© 2021 ООО «Яндекс.Облако»