Типы хранилища

Managed Service for ClickHouse позволяет использовать для кластеров баз данных сетевое и локальное хранилища. Сетевое хранилище реализовано на базе сетевых блоков — виртуальных дисков в инфраструктуре Yandex.Cloud. Локальное хранилище организуется на дисках, которые физически размещаются в серверах хостов БД.

При создании кластера вы можете выбирать между следующими типами хранилища:

• Стандартное сетевое хранилище (network-hdd) — самый дешевый вариант для кластеров, не требовательных к скорости записи и чтения.
• Быстрое сетевое хранилище (network-ssd) — компромиссный вариант: медленнее, чем локальное хранилище, но, в отличие от локальных дисков, обеспечивает сохранность данных при выходе из строя оборудования Yandex.Cloud.
• Нереплицируемое сетевое хранилище (network-ssd-nonreplicated) — сетевое хранилище с повышенной производительностью, реализованной за счет устранения избыточности. Объем хранилища можно увеличивать только с шагом 93 ГБ.
• Быстрое локальное хранилище (local-ssd) — самые быстрые диски. Объем локального хранилища можно увеличивать только с шагом 100 ГБ.

• Гибридное хранилище — компромиссный вариант. Часто используемые «горячие» данные хранятся на дисках стандартного (network-hdd) или быстрого сетевого (network-ssd) хранилища, редко используемые «холодные» данные — в объектном хранилище Yandex Object Storage.

Особенности локального хранилища

Локальное хранилище не обеспечивает отказоустойчивости хранения данных, а также влияет на тарификацию кластера в целом:

• Локальное хранилище в кластере из 1 хоста не обеспечивает отказоустойчивости: при отказе локального диска данные теряются безвозвратно. Поэтому при создании нового кластера Managed Service for ClickHouse с использованием локального хранилища автоматически настраивается отказоустойчивая конфигурация из 2 хостов.
• Кластер с локальным хранилищем тарифицируется, даже если он остановлен. Подробнее — в правилах тарификации.

Особенности нереплицируемого сетевого хранилища

Нереплицируемое сетевое хранилище в кластере из 1 хоста не обеспечивает отказоустойчивости: при отказе диска данные теряются безвозвратно. Поэтому при создании нового кластера с использованием нереплицируемого сетевого хранилища автоматически настраивается отказоустойчивая конфигурация из 3 хостов.

Особенности гибридного хранилища

Гибридное хранилище обеспечивает отказоустойчивость хранения данных и управление их размещением для таблиц на движке MergeTree: данные автоматически перемещаются из локального или сетевого хранилища в Object Storage при их устаревании.

Для того, чтобы начать использовать гибридное хранилище, достаточно создать кластер нужного вида с версией ClickHouse не ниже 21.1. Настройка объектного хранилища не требуется. Пример использования см. в разделе Использование гибридного хранилища.

Перенос холодных данных в Object Storage доступен только для таблиц на движке MergeTree. Данные других таблиц будут храниться как обычно — на локальном или сетевом хранилище.

При вставке в MergeTree-таблицу возможен один из двух вариантов поведения:

• Данные помещаются в локальное или сетевое хранилище кластера, чтобы обеспечить высокую скорость вставки. Затем строки, для которых истекло значение TTL (время жизни), в фоновом режиме перемещаются в Object Storage.

  Настроить перемещение строк с истекшим сроком жизни в Object Storage и задать TTL можно при создании таблицы или позднее. Пример использования TTL см. в разделе Использование гибридного хранилища.

• Данные помещаются сразу в объектное хранилище, если локальное или сетевое хранилище полностью заполнено. В этом случае скорость вставки может быть медленнее.