Взаимосвязь ресурсов в Managed Service for Apache Kafka^®

Сервис Yandex Managed Service for Apache Kafka^® помогает разворачивать и поддерживать кластеры серверов Apache Kafka^® версий 2.1, 2.6 и 2.8 в инфраструктуре Yandex.Cloud.

Apache Kafka^® — это распределенная система для обмена сообщениями между приложениями по принципу «публикация-подписка».

Каждый кластер Managed Service for Apache Kafka^® состоит из одного или нескольких хостов-брокеров, на которых размещены топики и их разделы. Хосты кластера могут находиться в разных зонах доступности. Подробнее о географии Yandex.Cloud.

К хостам кластера подключаются клиенты — приложения-производители и потребители данных. Производители отправляют сообщения в определенные топики кластера, а потребители читают сообщения из них. При таком подходе, если производитель изменится, вам не понадобится заново настраивать потребителей.

В зависимости от количества хостов-брокеров в кластере автоматически настраивается и размещается ZooKeeper:

• Если кластер Apache Kafka^® состоит из одного хоста-брокера, то ZooKeeper размещается на этом же хосте.
• Если кластер Apache Kafka^® состоит из более чем одного хоста-брокера, то ZooKeeper размещается на трех выделенных хостах. Эти хосты добавляются в кластер автоматически.

Хосты ZooKeeper нельзя удалить. Количество хостов ZooKeeper фиксировано. Managed Service for Apache Kafka^® использует ZooKeeper для хранения состояния и конфигурации кластера.

Изменить параметры хостов ZooKeeper можно с помощью CLI.

Подробнее см. в документации Apache Kafka^®.