Типы хранилища

Managed Service for Apache Kafka^® позволяет использовать сетевые и локальные диски для организации хранилища кластеров баз данных. Сетевые диски реализованы на базе сетевых блоков — виртуальных дисков в инфраструктуре Yandex.Cloud. Локальные диски физически размещаются в серверах-брокерах.

При создании кластера вы можете выбирать между следующими типами хранилища:

• Хранилище на сетевых HDD-дисках (network-hdd) — самый экономичный вариант для кластеров, не требовательных к скорости записи и чтения.

• Хранилище на сетевых SSD-дисках (network-ssd) — компромиссный вариант: медленнее, чем хранилище на локальных SSD-дисках, но, в отличие от него, обеспечивает сохранность данных при выходе из строя оборудования Yandex.Cloud.

• Хранилище на нереплицируемых SSD-дисках (network-ssd-nonreplicated) — использует сетевые SSD-диски с повышенной производительностью, реализованной за счет устранения избыточности.

  Объем такого хранилища можно увеличивать только с шагом 93 ГБ.

• Хранилище на локальных SSD-дисках (local-ssd) — использует самые быстрые диски.

  Объем такого хранилища можно увеличивать:

  • для платформы Intel Cascade Lake — только с шагом 100 ГБ;
  • для платформы Intel Ice Lake — только с шагом 368 ГБ.

Особенности хранилища на локальных SSD-дисках

Хранилище на локальных SSD-дисках в кластере из одного хоста не обеспечивает отказоустойчивости: при отказе диска данные теряются безвозвратно. Чтобы обеспечить отказоустойчивость, создавайте кластеры из трех и более хостов.

Особенности хранилища на нереплицируемых SSD-дисках

Хранилище на нереплицируемых SSD-дисках в кластере из одного хоста не обеспечивает отказоустойчивости: при отказе диска данные теряются безвозвратно. Поэтому при создании нового кластера с использованием этого типа хранилища автоматически настраивается отказоустойчивая конфигурация из трех хостов.

Минимальный размер хранилища

В кластере существует ограничение на минимальный размер хранилища — оно складывается из размеров всех сегментов логов пользовательских топиков. Для каждой реплики раздела топика требуется минимум два сегмента логов. Максимальный размер такого сегмента может быть определен:

• на уровне топика — настройка Segment bytes;
• глобально на уровне кластера — настройка Log segment bytes.

По умолчанию он равен 1 ГБ.

Таким образом, минимальный размер хранилища для всех топиков составляет: 2 × максимальный размер сегмента логов × количество разделов в кластере × фактор репликации. Если разделы кластера распределены равномерно, получившуюся сумму можно поделить на количество брокеров, чтобы определить требуемый размер хранилища для одного брокера.