Типы хранилища
Managed Service for ClickHouse позволяет использовать для кластеров баз данных сетевое и локальное хранилища. Сетевое хранилище реализовано на базе сетевых блоков — виртуальных дисков в инфраструктуре Yandex.Cloud. Локальное хранилище организуется на дисках, которые физически размещаются в серверах хостов БД.
При создании кластера вы можете выбирать между следующими типами хранилища:
- Стандартное сетевое хранилище (
network-hdd
) — самый дешевый вариант для кластеров, не требовательных к скорости записи и чтения. - Быстрое сетевое хранилище (
network-ssd
) — компромиссный вариант: медленнее, чем локальное хранилище, но, в отличие от локальных дисков, обеспечивает сохранность данных при выходе из строя оборудования Yandex.Cloud. - Быстрое локальное хранилище (
local-ssd
) — самые быстрые диски. Объем локального хранилища можно увеличивать только с шагом 100 ГБ.
- Гибридное хранилище — компромиссный вариант. Часто используемые «горячие» данные хранятся на дисках сетевого хранилища, редко используемые «холодные» данные — в объектном хранилище Yandex Object Storage.
Особенности локального хранилища
Локальное хранилище не обеспечивает отказоустойчивости хранения данных, а также влияет на тарификацию кластера в целом:
- Локальное хранилище в кластере из 1 хоста не обеспечивает отказоустойчивости: при отказе локального диска данные теряются безвозвратно. Поэтому при создании нового кластера Managed Service for ClickHouse с использованием локального хранилища автоматически настраивается отказоустойчивая конфигурация из 2 хостов.
- Кластер с локальным хранилищем тарифицируется, даже если он остановлен. Подробнее — в правилах тарификации.
Особенности гибридного хранилища
Примечание
Гибридное хранилище находится на стадии Preview. Плата за использование хранилища Object Storage не взимается.
На стадии Preview разрешается использовать этот тип хранилища только в кластерах с сетевым хранилищем и выключенной отказоустойчивостью. На стадии General Availability эти ограничения будут сняты.
Гибридное хранилище обеспечивает отказоустойчивость хранения данных и управление их размещением для таблиц на движке MergeTree: данные автоматически перемещаются из локального или сетевого хранилища в Object Storage при их устаревании.
Для того, чтобы начать использовать гибридное хранилище, достаточно создать кластер нужного вида с версией ClickHouse не ниже 20.1. Настройка объектного хранилища не требуется. Пример использования см. в разделе Использование гибридного хранилища.
Перенос холодных данных в Object Storage доступен только для таблиц на движке MergeTree. Данные других таблиц будут храниться как обычно — на локальном или сетевом хранилище.
При вставке в MergeTree-таблицу возможен один из двух вариантов поведения:
-
Данные помещаются в локальное или сетевое хранилище кластера, чтобы обеспечить высокую скорость вставки. Затем строки, для которых истекло значение TTL (время жизни), в фоновом режиме перемещаются в Object Storage.
Настроить перемещение строк с истекшим сроком жизни в Object Storage и задать TTL можно при создании таблицы или позднее. Пример использования TTL см. в разделе Использование гибридного хранилища.
-
Данные помещаются сразу в объектное хранилище, если локальное или сетевое хранилище полностью заполнено. В этом случае скорость вставки может бчть медленнее.