Типы хранилища

Особенности локального хранилища
Особенности гибридного хранилища

Managed Service for ClickHouse позволяет использовать для кластеров баз данных сетевое и локальное хранилища. Сетевое хранилище реализовано на базе сетевых блоков — виртуальных дисков в инфраструктуре Yandex.Cloud. Локальное хранилище организуется на дисках, которые физически размещаются в серверах хостов БД.

При создании кластера вы можете выбирать между следующими типами хранилища:

Стандартное сетевое хранилище (network-hdd) — самый дешевый вариант для кластеров, не требовательных к скорости записи и чтения.
Быстрое сетевое хранилище (network-ssd) — компромиссный вариант: медленнее, чем локальное хранилище, но, в отличие от локальных дисков, обеспечивает сохранность данных при выходе из строя оборудования Yandex.Cloud.
Быстрое локальное хранилище (local-ssd) — самые быстрые диски. Объем локального хранилища можно увеличивать только с шагом 100 ГБ.

Гибридное хранилище — компромиссный вариант. Часто используемые «горячие» данные хранятся на дисках сетевого хранилища, редко используемые «холодные» данные — в объектном хранилище Yandex Object Storage.

Особенности локального хранилища

Локальное хранилище не обеспечивает отказоустойчивости хранения данных, а также влияет на тарификацию кластера в целом:

Локальное хранилище в кластере из 1 хоста не обеспечивает отказоустойчивости: при отказе локального диска данные теряются безвозвратно. Поэтому при создании нового кластера Managed Service for ClickHouse с использованием локального хранилища автоматически настраивается отказоустойчивая конфигурация из 2 хостов.
Кластер с локальным хранилищем тарифицируется, даже если он остановлен. Подробнее — в правилах тарификации.

Особенности гибридного хранилища

Примечание

Гибридное хранилище находится на стадии Preview. Плата за использование хранилища Object Storage не взимается.

На стадии Preview разрешается использовать этот тип хранилища только в кластерах с сетевым хранилищем и выключенной отказоустойчивостью. На стадии General Availability эти ограничения будут сняты.

Гибридное хранилище обеспечивает отказоустойчивость хранения данных и управление их размещением для таблиц на движке MergeTree: данные автоматически перемещаются из локального или сетевого хранилища в Object Storage при их устаревании.

Для того, чтобы начать использовать гибридное хранилище, достаточно создать кластер нужного вида с версией ClickHouse не ниже 20.6. Настройка объектного хранилища не требуется. Пример использования см. в разделе Использование гибридного хранилища.

Перенос холодных данных в Object Storage доступен только для таблиц на движке MergeTree. Данные других таблиц будут храниться как обычно — на локальном или сетевом хранилище.

При вставке в MergeTree-таблицу возможен один из двух вариантов поведения:

Данные помещаются в локальное или сетевое хранилище кластера, чтобы обеспечить высокую скорость вставки. Затем строки, для которых истекло значение TTL (время жизни), в фоновом режиме перемещаются в Object Storage.

Настроить перемещение строк с истекшим сроком жизни в Object Storage и задать TTL можно при создании таблицы или позднее. Пример использования TTL см. в разделе Использование гибридного хранилища.
Данные помещаются сразу в объектное хранилище, если локальное или сетевое хранилище полностью заполнено. В этом случае скорость вставки может бчть медленнее.