Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
Проект Яндекса
© 2023 ООО «Яндекс.Облако»
Yandex Managed Service for Apache Kafka®
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к кластеру
    • Остановка и запуск кластера
    • Обновление версии Apache Kafka®
    • Изменение настроек кластера
    • Управление хостами Apache Kafka®
    • Работа с топиками и разделами
    • Управление пользователями Apache Kafka®
    • Управление коннекторами
    • Просмотр логов кластера
    • Удаление кластера
    • Мониторинг состояния кластера и хостов
  • Практические руководства
    • Все руководства
    • Настройка Kafka Connect для работы с Managed Service for Apache Kafka®
    • Использование схем формата данных с Managed Service for Apache Kafka®
      • Обзор
      • Работа с управляемым реестром схем формата данных
      • Использование Confluent Schema Registry с Managed Service for Apache Kafka®
    • Миграция базы данных из стороннего кластера Apache Kafka®
    • Перенос данных между кластерами Managed Service for Apache Kafka® с помощью Yandex Data Transfer
    • Поставка данных из Yandex Managed Service for PostgreSQL с помощью Debezium
    • Поставка данных из Yandex Managed Service for MySQL с помощью Debezium
    • Поставка данных из Yandex Managed Service for PostgreSQL с помощью Yandex Data Transfer
    • Поставка данных в Managed Service for ClickHouse
    • Поставка данных в Yandex Managed Service for ClickHouse с помощью Yandex Data Transfer
    • Поставка данных в ksqlDB
    • Поставка данных в Yandex Managed Service for YDB с помощью Yandex Data Transfer
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Топики и разделы
    • Брокеры
    • Производители и потребители
    • Управление схемами данных
    • Классы хостов
    • Сеть в Managed Service for Apache Kafka®
    • Квоты и лимиты
    • Типы дисков
    • Коннекторы
    • Техническое обслуживание
    • Настройки Apache Kafka®
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • ClusterService
      • ConnectorService
      • ResourcePresetService
      • TopicService
      • UserService
      • OperationService
    • REST (англ.)
      • Overview
      • Cluster
        • Overview
        • create
        • delete
        • get
        • list
        • listHosts
        • listLogs
        • listOperations
        • move
        • rescheduleMaintenance
        • start
        • stop
        • streamLogs
        • update
      • Connector
        • Overview
        • create
        • delete
        • get
        • list
        • pause
        • resume
        • update
      • ResourcePreset
        • Overview
        • get
        • list
      • Topic
        • Overview
        • create
        • delete
        • get
        • list
        • update
      • User
        • Overview
        • create
        • delete
        • get
        • grantPermission
        • list
        • revokePermission
        • update
      • Operation
        • Overview
        • get
  • История изменений
  • Вопросы и ответы
  1. Концепции
  2. Типы дисков

Типы дисков в Managed Service for Apache Kafka®

Статья создана
Yandex Cloud
  • Особенности хранилища на локальных SSD-дисках
  • Особенности хранилища на нереплицируемых SSD-дисках
  • Выбор типа диска при создании кластера
  • Минимальный размер хранилища
  • Максимальный размер сегмента логов

Managed Service for Apache Kafka® позволяет использовать сетевые и локальные диски для организации хранилища кластеров баз данных. Сетевые диски реализованы на базе сетевых блоков — виртуальных дисков в инфраструктуре Yandex Cloud. Локальные диски физически размещаются в серверах-брокерах.

При создании кластера вы можете выбрать для хранилища следующие типы дисков:

  • Сетевые HDD-диски (network-hdd) — самый экономичный вариант для кластеров, не требовательных к скорости записи и чтения.

  • Сетевые SSD-диски (network-ssd) — компромиссный вариант: медленнее, чем локальные SSD-диски, но, в отличие от них, обеспечивает сохранность данных при выходе из строя оборудования Yandex Cloud.

  • Нереплицируемые SSD-диски (network-ssd-nonreplicated) — сетевые SSD-диски с повышенной производительностью, реализованной за счет устранения избыточности.

    Объем такого хранилища можно увеличивать только с шагом 93 ГБ.

  • Локальные SSD-диски (local-ssd) — самые быстрые диски.

    Объем такого хранилища можно увеличивать:

    • для платформы Intel Cascade Lake — только с шагом 100 ГБ;
      • для платформы Intel Ice Lake — только с шагом 368 ГБ.

Особенности хранилища на локальных SSD-дисках

Хранилище на локальных SSD-дисках в кластере из одного хоста не обеспечивает отказоустойчивости: при отказе диска данные теряются безвозвратно. Чтобы обеспечить отказоустойчивость, создавайте кластеры из трех и более хостов.

Особенности хранилища на нереплицируемых SSD-дисках

Хранилище на нереплицируемых SSD-дисках в кластере из одного хоста не обеспечивает отказоустойчивости: при отказе диска данные теряются безвозвратно. Поэтому при создании нового кластера с использованием этого типа диска автоматически настраивается отказоустойчивая конфигурация из трех хостов.

Выбор типа диска при создании кластера

Количество хостов-брокеров, которые можно создать вместе с кластером Apache Kafka®, зависит от выбранного типа диска:

  • При использовании локальных SSD-дисков (local-ssd) или нереплицируемых SSD-дисков (network-ssd-nonreplicated) вы можете создать кластер из трех или более хостов-брокеров (минимум три брокера необходимо, чтобы обеспечить отказоустойчивость).
  • При использовании сетевых HDD-дисков (network-hdd) или сетевых SSD-дисков (network-ssd) вы можете добавить любое количество хостов-брокеров в пределах текущей квоты.

Подробнее об ограничениях на количество хостов-брокеров в кластере см. в разделе Квоты и лимиты в Managed Service for Apache Kafka®.

Минимальный размер хранилища

Для работы каждого топика необходимо место в хранилище хостов-брокеров. Размер этого места зависит от фактора репликации и количества разделов. Если свободного места в хранилище меньше, создать новый топик невозможно.

Совет

Объем хранилища всегда можно увеличить в рамках действующих квот.

Минимальный размер хранилища для всех топиков рассчитывается по формуле:

2 × максимальный размер сегмента логов × количество разделов в кластере × фактор репликации.

Если разделы топиков распределены равномерно, для получения нужного размера хранилища разделите рассчитанное по формуле значение на число хостов-брокеров.

Максимальный размер сегмента логов

Для каждой реплики раздела топика необходимо как минимум два сегмента логов. Максимальный размер такого сегмента может быть определен:

  • на уровне топика — настройкой Segment bytes;
  • глобально на уровне кластера — настройкой Log segment bytes.

Таким образом, минимальный размер хранилища для всех топиков составляет: 2 × максимальный размер сегмента логов × количество разделов в кластере × фактор репликации. Если разделы кластера распределены равномерно, получившуюся сумму можно поделить на количество брокеров, чтобы определить требуемый размер хранилища для одного брокера.

По умолчанию размер сегмента равен 1 ГБ.

Была ли статья полезна?

Language / Region
Проект Яндекса
© 2023 ООО «Яндекс.Облако»
В этой статье:
  • Особенности хранилища на локальных SSD-дисках
  • Особенности хранилища на нереплицируемых SSD-дисках
  • Выбор типа диска при создании кластера
  • Минимальный размер хранилища
  • Максимальный размер сегмента логов