Типы хранилища

Managed Service for ClickHouse позволяет использовать для кластеров баз данных сетевое и локальное хранилища. Сетевое хранилище реализовано на базе сетевых блоков — виртуальных дисков в инфраструктуре Yandex.Cloud. Локальное хранилище организуется на дисках, которые физически размещаются в серверах хостов БД.

При создании кластера вы можете выбирать между следующими типами хранилища:

• Стандартное сетевое хранилище (network-hdd) — самый экономичный вариант для кластеров, не требовательных к скорости записи и чтения.
• Быстрое сетевое хранилище (network-ssd) — компромиссный вариант: медленнее, чем локальное хранилище, но, в отличие от локальных дисков, обеспечивает сохранность данных при выходе из строя оборудования Yandex.Cloud.
• Нереплицируемое сетевое хранилище (network-ssd-nonreplicated) — сетевое хранилище с повышенной производительностью, реализованной за счет устранения избыточности. Объем хранилища можно увеличивать только с шагом 93 ГБ.
• Быстрое локальное хранилище (local-ssd) — самые быстрые диски. Объем локального хранилища можно увеличивать:
  • для платформ Intel Broadwell и Intel Cascade Lake — только с шагом 100 ГБ;
  • для платформы Intel Ice Lake — только с шагом 368 ГБ.

• Гибридное хранилище — часто используемые горячие данные хранятся на дисках стандартного (network-hdd) или быстрого сетевого (network-ssd) хранилища. Редко используемые холодные данные хранятся в более медленном и недорогом объектном хранилище Yandex Object Storage.

Особенности локального хранилища

Локальное хранилище не обеспечивает отказоустойчивости хранения данных, а также влияет на тарификацию кластера в целом:

• Локальное хранилище в кластере из 1 хоста не обеспечивает отказоустойчивости: при отказе локального диска данные теряются безвозвратно. Поэтому при создании нового кластера Managed Service for ClickHouse с использованием локального хранилища автоматически настраивается отказоустойчивая конфигурация из 2 хостов.
• Кластер с локальным хранилищем тарифицируется, даже если он остановлен. Подробнее — в правилах тарификации.

Особенности нереплицируемого сетевого хранилища

Нереплицируемое сетевое хранилище в кластере из 1 хоста не обеспечивает отказоустойчивости: при отказе диска данные теряются безвозвратно. Поэтому при создании нового кластера с использованием нереплицируемого сетевого хранилища автоматически настраивается отказоустойчивая конфигурация из 3 хостов.

Особенности гибридного хранилища

Гибридное хранилище обеспечивает отказоустойчивое хранение данных и управляет их размещением для таблиц на движке MergeTree: данные автоматически перемещаются из локального или сетевого хранилища в Object Storage при их устаревании.

Перенос данных в Object Storage доступен только для таблиц на движке MergeTree. Данные других таблиц будут храниться как обычно — в локальном или сетевом хранилище.

При вставке в MergeTree-таблицу возможен один из двух вариантов поведения:

• Данные помещаются в локальное или сетевое хранилище кластера, чтобы обеспечить высокую скорость вставки. Затем строки, для которых истекло значение TTL (время жизни), в фоновом режиме перемещаются в Object Storage.

  Настроить перемещение строк с истекшим сроком жизни в Object Storage и задать TTL можно при создании таблицы или позднее.

• Данные помещаются сразу в объектное хранилище, если локальное или сетевое хранилище полностью заполнено. В этом случае скорость вставки может быть медленнее.

Чтобы начать использовать гибридное хранилище, создайте кластер нужного вида с версией ClickHouse не ниже 21.7. Настройка объектного хранилища не требуется. Пример использования см. в разделе Использование гибридного хранилища.