Типы дисков в Managed Service for Apache Kafka®
Managed Service for Apache Kafka® позволяет использовать сетевые и локальные диски для организации хранилища кластеров баз данных. Сетевые диски реализованы на базе сетевых блоков — виртуальных дисков в инфраструктуре Yandex Cloud. Локальные диски физически размещаются в серверах-брокерах.
При создании кластера вы можете выбрать для хранилища следующие типы дисков:
-
Сетевые HDD-диски (
network-hdd
) — самый экономичный вариант для кластеров, не требовательных к скорости записи и чтения. -
Сетевые SSD-диски (
network-ssd
) — компромиссный вариант: медленнее, чем локальные SSD-диски, но, в отличие от них, обеспечивает сохранность данных при выходе из строя оборудования Yandex Cloud. -
Нереплицируемые SSD-диски (
network-ssd-nonreplicated
) — сетевые SSD-диски с повышенной производительностью, реализованной за счет устранения избыточности.Объем такого хранилища можно увеличивать только с шагом 93 ГБ.
-
Локальные SSD-диски (
local-ssd
) — самые быстрые диски.Объем такого хранилища можно увеличивать:
-
для платформы Intel Cascade Lake — только с шагом 100 ГБ;
-
для платформы Intel Ice Lake — только с шагом 368 ГБ.
Примечание
Для кластеров, хосты которых располагаются в зоне доступности
ru-central1-d
, недоступно хранилище на локальных SSD-дисках при использовании платформы Intel Cascade Lake. -
Выбор типа диска при создании кластера
Количество хостов-брокеров, которые можно создать вместе с кластером Apache Kafka®, зависит от выбранного типа диска:
-
При использовании локальных SSD-дисков (
local-ssd
) или нереплицируемых SSD-дисков (network-ssd-nonreplicated
) вы можете создать кластер из трех или более хостов-брокеров.Такой кластер будет отказоустойчивым, только если выполнены все условия отказоустойчивости.
-
При использовании сетевых HDD-дисков (
network-hdd
) или сетевых SSD-дисков (network-ssd
) вы можете добавить любое количество хостов-брокеров в пределах текущей квоты.
Подробнее об ограничениях на количество хостов-брокеров в кластере см. в разделе Квоты и лимиты.
Минимальный размер хранилища
Для работы каждого топика необходимо место в хранилище хостов-брокеров. Размер этого места зависит от фактора репликации и количества разделов. Если свободного места в хранилище меньше, создать новый топик невозможно.
Минимальный размер хранилища для всех топиков рассчитывается по формуле:
2 × максимальный размер сегмента логов × количество разделов в кластере × фактор репликации
.
Если разделы топиков распределены равномерно, для получения нужного размера хранилища разделите рассчитанное по формуле значение на число хостов-брокеров.
Максимальный размер сегмента логов
Для каждой реплики раздела топика необходимо как минимум два сегмента логов. Максимальный размер такого сегмента может быть определен:
- на уровне топика — настройкой Segment bytes;
- глобально на уровне кластера — настройкой Log segment bytes.
Таким образом, минимальный размер хранилища для всех топиков составляет: 2 × максимальный размер сегмента логов × количество разделов в кластере × фактор репликации
. Если разделы кластера распределены равномерно, получившуюся сумму можно поделить на количество брокеров, чтобы определить требуемый размер хранилища для одного брокера.
По умолчанию размер сегмента равен 1 ГБ.