Взаимосвязь ресурсов сервиса
Сервис Yandex Managed Service for Apache Kafka® помогает разворачивать и поддерживать кластеры серверов Apache Kafka® версий 2.1 и 2.6 в инфраструктуре Yandex.Cloud.
Apache Kafka® — это распределенная система для обмена сообщениями между приложениями по принципу «публикация-подписка».
Каждый кластер Managed Service for Apache Kafka® состоит из одного или нескольких хостов-брокеров, на которых размещены топики и их разделы. Хосты кластера могут находиться в разных зонах доступности. Подробнее о географии Yandex.Cloud.
К хостам кластера подключаются клиенты — приложения-производители и потребители данных. Производители отправляют сообщения в определенные топики кластера, а потребители читают сообщения из них. При таком подходе, если производитель изменится, вам не понадобится заново настраивать потребителей.
В зависимости от количества хостов-брокеров в кластере автоматически настраивается и размещается ZooKeeper:
- Если кластер Apache Kafka® состоит из одного хоста-брокера, то ZooKeeper размещается на этом же хосте.
- Если кластер Apache Kafka® состоит из более чем одного хоста-брокера, то ZooKeeper размещается на трех выделенных хостах. Эти хосты добавляются в кластер автоматически.
Хосты ZooKeeper нельзя удалить. Количество хостов ZooKeeper фиксировано. Managed Service for Apache Kafka® использует ZooKeeper для хранения состояния и конфигурации кластера.
Изменить параметры хостов ZooKeeper можно с помощью CLI.
Примечание
По умолчанию для хостов ZooKeeper задаются следующие характеристики:
- класс хоста
b2.medium
; - объем диска 10 ГБ;
- тип хранилища — быстрое сетевое.
Подробнее см. в документации Apache Kafka®.