Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Решения
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Managed Service for ClickHouse
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к базе данных
    • Остановка и запуск кластера
    • SQL-запросы в консоли управления
    • Изменение настроек кластера и базы данных
    • Подключение внешних словарей
    • Подключение собственной геобазы
    • Подключение моделей машинного обучения
    • Управление схемами формата данных
    • Подключение к DataLens
    • Изменение версии ClickHouse
    • Управление хостами ClickHouse
    • Управление хостами ZooKeeper
    • Управление базами данных
    • Управление пользователями БД
    • Управление резервными копиями
    • Управление шардами
    • Управление группами шардов
    • Удаление кластера
  • Сценарии использования
    • Добавление данных в БД
    • Шардирование таблиц
    • Использование гибридного хранилища
    • Получение данных из Managed Service for Apache Kafka®
    • Получение данных из RabbitMQ
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Классы хостов
      • Действующие классы хостов
      • Архив
        • До 1 июня 2020 года
      • Использование устаревших классов хостов
    • Сеть в Managed Service for ClickHouse
    • Квоты и лимиты
    • Типы хранилища
    • Резервные копии
    • Репликация
    • Словари
    • Шардирование
    • Поддерживаемые клиенты
    • Политика работы с версиями ClickHouse
    • Настройки ClickHouse
  • Управление доступом
  • Правила тарификации
    • Действующие правила
    • Архив
      • До 1 января 2019 года
      • С 1 января до 1 марта 2019 года
      • С 1 марта 2019 года до 1 февраля 2020 года
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • BackupService
      • ClusterService
      • DatabaseService
      • MlModelService
      • ResourcePresetService
      • UserService
      • VersionsService
      • OperationService
    • REST
      • Обзор
      • Backup
        • Обзор
        • get
        • list
      • Cluster
        • Обзор
        • addHosts
        • addShard
        • addZookeeper
        • backup
        • create
        • createExternalDictionary
        • createShardGroup
        • delete
        • deleteExternalDictionary
        • deleteHosts
        • deleteShard
        • deleteShardGroup
        • get
        • getShard
        • getShardGroup
        • list
        • listBackups
        • listHosts
        • listLogs
        • listOperations
        • listShardGroups
        • listShards
        • move
        • restore
        • start
        • stop
        • streamLogs
        • update
        • updateShard
        • updateShardGroup
      • Database
        • Обзор
        • create
        • delete
        • get
        • list
      • MlModel
        • Обзор
        • create
        • delete
        • get
        • list
        • update
      • ResourcePreset
        • Обзор
        • get
        • list
      • User
        • Обзор
        • create
        • delete
        • get
        • grantPermission
        • list
        • revokePermission
        • update
      • Versions
        • Обзор
        • list
      • Operation
        • Обзор
        • get
  • Вопросы и ответы
    • Общие вопросы
    • Вопросы о ClickHouse
    • Все вопросы на одной странице
  1. Концепции
  2. Типы хранилища

Типы хранилища

  • Особенности локального хранилища
  • Особенности гибридного хранилища

Managed Service for ClickHouse позволяет использовать для кластеров баз данных сетевое и локальное хранилища. Сетевое хранилище реализовано на базе сетевых блоков — виртуальных дисков в инфраструктуре Yandex.Cloud. Локальное хранилище организуется на дисках, которые физически размещаются в серверах хостов БД.

При создании кластера вы можете выбирать между следующими типами хранилища:

  • Стандартное сетевое хранилище (network-hdd) — самый дешевый вариант для кластеров, не требовательных к скорости записи и чтения.
  • Быстрое сетевое хранилище (network-ssd) — компромиссный вариант: медленнее, чем локальное хранилище, но, в отличие от локальных дисков, обеспечивает сохранность данных при выходе из строя оборудования Yandex.Cloud.
  • Быстрое локальное хранилище (local-ssd) — самые быстрые диски. Объем локального хранилища можно увеличивать только с шагом 100 ГБ.
  • Гибридное хранилище — компромиссный вариант. Часто используемые «горячие» данные хранятся на дисках сетевого хранилища, редко используемые «холодные» данные — в объектном хранилище Yandex Object Storage.

Особенности локального хранилища

Локальное хранилище не обеспечивает отказоустойчивости хранения данных, а также влияет на тарификацию кластера в целом:

  • Локальное хранилище в кластере из 1 хоста не обеспечивает отказоустойчивости: при отказе локального диска данные теряются безвозвратно. Поэтому при создании нового кластера Managed Service for ClickHouse с использованием локального хранилища автоматически настраивается отказоустойчивая конфигурация из 2 хостов.
  • Кластер с локальным хранилищем тарифицируется, даже если он остановлен. Подробнее — в правилах тарификации.

Особенности гибридного хранилища

Примечание

Гибридное хранилище находится на стадии Preview. Плата за использование хранилища Object Storage не взимается.

На стадии Preview разрешается использовать этот тип хранилища только в кластерах с сетевым хранилищем и выключенной отказоустойчивостью. На стадии General Availability эти ограничения будут сняты.

Гибридное хранилище обеспечивает отказоустойчивость хранения данных и управление их размещением для таблиц на движке MergeTree: данные автоматически перемещаются из локального или сетевого хранилища в Object Storage при их устаревании.

Для того, чтобы начать использовать гибридное хранилище, достаточно создать кластер нужного вида с версией ClickHouse не ниже 20.1. Настройка объектного хранилища не требуется. Пример использования см. в разделе Использование гибридного хранилища.

Перенос холодных данных в Object Storage доступен только для таблиц на движке MergeTree. Данные других таблиц будут храниться как обычно — на локальном или сетевом хранилище.

При вставке в MergeTree-таблицу возможен один из двух вариантов поведения:

  • Данные помещаются в локальное или сетевое хранилище кластера, чтобы обеспечить высокую скорость вставки. Затем строки, для которых истекло значение TTL (время жизни), в фоновом режиме перемещаются в Object Storage.

    Настроить перемещение строк с истекшим сроком жизни в Object Storage и задать TTL можно при создании таблицы или позднее. Пример использования TTL см. в разделе Использование гибридного хранилища.

  • Данные помещаются сразу в объектное хранилище, если локальное или сетевое хранилище полностью заполнено. В этом случае скорость вставки может бчть медленнее.

В этой статье:
  • Особенности локального хранилища
  • Особенности гибридного хранилища
Language
Вакансии
Политика конфиденциальности
Условия использования
© 2021 ООО «Яндекс.Облако»