Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Решения
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Managed Service for Apache Kafka®
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к кластеру
    • Остановка и запуск кластера
    • Изменение настроек кластера
    • Управление хостами Apache Kafka®
    • Работа с топиками и разделами
    • Управление учетными записями Kafka
    • Удаление кластера
  • Сценарии использования
    • Поставка данных в Managed Service for ClickHouse
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Топики и разделы
    • Брокеры
    • Производители и потребители
    • Классы хостов
    • Сеть в Managed Service for Apache Kafka®
    • Квоты и лимиты
    • Типы хранилища
    • Настройки Apache Kafka®
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • OperationService
      • ResourcePresetService
      • TopicService
      • UserService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listLogs
        • listOperations
        • move
        • start
        • stop
        • streamLogs
        • update
      • Operation
        • Обзор
        • get
      • ResourcePreset
        • Обзор
        • get
        • list
      • Topic
        • Обзор
        • create
        • delete
        • get
        • list
        • update
      • User
        • Обзор
        • create
        • delete
        • get
        • grantPermission
        • list
        • revokePermission
        • update
  • Вопросы и ответы
  1. Концепции
  2. Взаимосвязь ресурсов сервиса

Взаимосвязь ресурсов сервиса

    Сервис Yandex Managed Service for Apache Kafka® помогает разворачивать и поддерживать кластеры серверов Apache Kafka® версий 2.1 и 2.6 в инфраструктуре Yandex.Cloud.

    Apache Kafka® — это распределенная система для обмена сообщениями между приложениями по принципу «публикация-подписка».

    Каждый кластер Managed Service for Apache Kafka® состоит из одного или нескольких хостов-брокеров, на которых размещены топики и их разделы. Хосты кластера могут находиться в разных зонах доступности. Подробнее о географии Yandex.Cloud.

    К хостам кластера подключаются клиенты — приложения-производители и потребители данных. Производители отправляют сообщения в определенные топики кластера, а потребители читают сообщения из них. При таком подходе, если производитель изменится, вам не понадобится заново настраивать потребителей.

    В зависимости от количества хостов-брокеров в кластере автоматически настраивается и размещается ZooKeeper:

    • Если кластер Apache Kafka® состоит из одного хоста-брокера, то ZooKeeper размещается на этом же хосте.
    • Если кластер Apache Kafka® состоит из более чем одного хоста-брокера, то ZooKeeper размещается на трех выделенных хостах. Эти хосты добавляются в кластер автоматически.

    Хосты ZooKeeper нельзя удалить. Количество хостов ZooKeeper фиксировано. Managed Service for Apache Kafka® использует ZooKeeper для хранения состояния и конфигурации кластера.

    Изменить параметры хостов ZooKeeper можно с помощью CLI.

    Примечание

    По умолчанию для хостов ZooKeeper задаются следующие характеристики:

    • класс хоста b2.medium;
    • объем диска 10 ГБ;
    • тип хранилища — быстрое сетевое.

    Подробнее см. в документации Apache Kafka®.

    Language / Region
    Вакансии
    Политика конфиденциальности
    Условия использования
    Брендбук
    © 2021 ООО «Яндекс.Облако»