Взаимосвязь ресурсов в Managed Service for Apache Kafka®

Сервис Yandex Managed Service for Apache Kafka® помогает разворачивать и поддерживать кластеры серверов Apache Kafka® версий 2.8, 3.0, 3.1 и 3.2 в инфраструктуре Yandex Cloud.

Apache Kafka® — это распределенная система для обмена сообщениями между приложениями по принципу «публикация-подписка».

Каждый кластер Managed Service for Apache Kafka® состоит из одного или нескольких хостов-брокеров, на которых размещены топики и их разделы. Хосты кластера могут находиться в разных зонах доступности. Подробнее о географии Yandex Cloud.

Если все хосты-брокеры созданы в одной зоне доступности, то их количество нельзя изменить.

К хостам кластера подключаются клиенты — приложения-производители и потребители данных. Производители отправляют сообщения в определенные топики кластера, а потребители читают сообщения из них. При таком подходе, если производитель изменится, вам не понадобится заново настраивать потребителей.

В зависимости от количества хостов-брокеров в кластере автоматически настраивается и размещается ZooKeeper:

• Если кластер Apache Kafka® состоит из одного хоста-брокера, то ZooKeeper размещается на этом же хосте.
• Если кластер Apache Kafka® состоит из более чем одного хоста, то ZooKeeper размещается отдельно от брокеров на трех дополнительных хостах. Эти хосты добавляются в кластер автоматически.

Хосты ZooKeeper нельзя удалить. Количество хостов ZooKeeper фиксировано. Managed Service for Apache Kafka® использует ZooKeeper для хранения состояния и конфигурации кластера.

Изменить параметры хостов ZooKeeper можно с помощью CLI.

Виртуальные машины, соответствующие хостам кластера, могут размещаться:

• На стандартных хостах Yandex Cloud.

  Это физические серверы для размещения виртуальных машин кластера. Такие хосты выбираются случайным образом из пула доступных хостов, удовлетворяющих выбранной конфигурации кластера.

• На выделенных хостах Yandex Cloud.

  Это физические серверы для размещения исключительно ваших виртуальных машин. Эти виртуальные машины обеспечивают как работу кластера, так и работу других ваших сервисов, которые поддерживают выделенные хосты. Такие хосты выбираются из групп выделенных хостов, указанных при создании кластера.

  Кластер из нескольких хостов-брокеров требует для своей работы не менее трех групп выделенных хостов. Это необходимо для размещения хостов ZooKeeper.

  При таком варианте размещения обеспечивается физическая изоляция виртуальных машин. Кластер Managed Service for Apache Kafka®, использующий выделенные хосты, обладает всеми возможностями обычных кластеров.

  Подробнее см. в разделе Выделенный хост.

Более подробная информация приведена в документации Apache Kafka®.