Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Managed Service for Apache Kafka®
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к кластеру
    • Остановка и запуск кластера
    • Изменение настроек кластера
    • Работа с топиками и разделами
    • Управление учетными записями Kafka
    • Удаление кластера
  • Сценарии использования
    • Поставка данных в Managed Service for ClickHouse
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Топики и разделы
    • Брокеры
    • Производители и потребители
    • Классы хостов
    • Сеть в Managed Service for Apache Kafka®
    • Квоты и лимиты
    • Типы хранилища
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • ClusterService
      • OperationService
      • ResourcePresetService
      • TopicService
      • UserService
      • OperationService
    • REST
      • Обзор
      • Cluster
        • Обзор
        • create
        • delete
        • get
        • list
        • listHosts
        • listLogs
        • listOperations
        • move
        • start
        • stop
        • streamLogs
        • update
      • Operation
        • Обзор
        • get
      • ResourcePreset
        • Обзор
        • get
        • list
      • Topic
        • Обзор
        • create
        • delete
        • get
        • list
        • update
      • User
        • Обзор
        • create
        • delete
        • get
        • grantPermission
        • list
        • revokePermission
        • update
  • Вопросы и ответы
  1. Пошаговые инструкции
  2. Создание кластера

Создание кластера

    Кластер Managed Service for Apache Kafka® — это один или несколько хостов-брокеров, на которых размещены топики и соответствующие топикам разделы. Производители и потребители могут работать с этими топиками, подключившись к хостам кластера.

    Важно

    Если вы создаете кластер из более чем одного хоста, в кластер будут добавлены три выделенных хоста ZooKeeper. Подробнее см. в разделе Взаимосвязь ресурсов сервиса.

    Консоль управления
    API

    Чтобы создать кластер, выполните следующие действия:

    1. В консоли управления выберите каталог, в котором нужно создать кластер.

    2. Выберите сервис Managed Service for Apache Kafka®.

    3. Нажмите кнопку Создать кластер.

    4. В блоке Базовые параметры:

      1. Введите имя кластера и, при необходимости, его описание. Имя кластера должно быть уникальным в рамках каталога.
      2. Выберите окружение, в котором нужно создать кластер (после создания кластера окружение изменить невозможно):
        • PRODUCTION — для стабильных версий ваших приложений.
        • PRESTABLE — для тестирования, в том числе самого сервиса Managed Service for Apache Kafka®. В Prestable-окружении раньше появляются новая функциональность, улучшения и исправления ошибок. При этом не все обновления обеспечивают обратную совместимость.
      3. Выберите версию Apache Kafka®.
    5. В блоке Класс хоста выберите платформу, тип хостов и класс хостов.

      Класс хостов определяет технические характеристики виртуальных машин, на которых будут развернуты брокеры Apache Kafka®. Все доступные варианты перечислены в разделе Классы хостов.

      При изменении класса хостов для кластера меняются характеристики всех уже созданных экземпляров.

    6. В блоке Хранилище:

      1. Выберите тип хранилища — более гибкое сетевое (network-hdd или network-ssd) или более быстрое локальное хранилище (local-ssd).
      2. Выберите объем хранилища, который будет использоваться для данных. Размер локального хранилища можно менять только с шагом 100 ГБ.
    7. В блоке Сетевые настройки:

      1. Выберите одну или несколько зон доступности, в которых нужно разместить брокеры Apache Kafka®.

      2. Выберите сеть.

      3. Выберите подсети в каждой зоне доступности для этой сети. Чтобы создать новую подсеть, нажмите на кнопку Создать новую рядом с нужной зоной доступности.

        Примечание

        Для кластера из нескольких хостов-брокеров нужно указать подсети в каждой зоне доступности, даже если вы планируете разместить брокеры только в некоторых из них. Эти подсети понадобятся для размещения трех хостов ZooKeeper — по одному в каждой зоне доступности. Подробнее см. в разделе Взаимосвязь ресурсов сервиса.

      4. Для доступа к хостам-брокерам из интернета выберите опцию Публичный доступ. В этом случае подключаться к ним можно только с использованием SSL-соединения. Подробнее см. в разделе Подключение к топикам в кластере Apache Kafka®.

        Важно

        Запросить публичный доступ после создания кластера невозможно.

    8. В блоке Хосты укажите количество хостов-брокеров Apache Kafka® для размещения в каждой выбранной зоне доступности.

      При выборе количества хостов учитывайте, что:

      • Хосты кластера Apache Kafka® будут равномерно расположены в выбранных зонах доступности. Количество зон и хостов в зоне следует выбирать исходя из требуемой модели отказоустойчивости и нагрузки на кластер.
      • Репликация возможна при наличии как минимум двух хостов в кластере.
      • Добавление в кластер более одного хоста приведет к автоматическому добавлению трех хостов ZooKeeper.
    9. Если вы указали более одного хоста-брокера, то в блоке Класс хоста ZooKeeper укажите характеристики хостов ZooKeeper для размещения в каждой выбранной зоне доступности.

    10. Нажмите кнопку Создать кластер.

    11. Дождитесь, когда кластер будет готов к работе: его статус на панели Managed Service for Apache Kafka® сменится на Running, а состояние - на Alive. Это может занять некоторое время.

    Чтобы создать кластер, воспользуйтесь методом API create и передайте в запросе:

    • Идентификатор каталога, в котором должен быть размещен кластер, в параметре folderId.
    • Имя кластера в параметре name.
    Language
    Вакансии
    Политика конфиденциальности
    Условия использования
    © 2021 ООО «Яндекс.Облако»