Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
Проект Яндекса
© 2023 ООО «Яндекс.Облако»
Yandex Managed Service for ClickHouse
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к базе данных
    • Остановка и запуск кластера
    • SQL-запросы в консоли управления
    • Изменение настроек кластера и базы данных
    • Настройка доступа к ObjectStorage
    • Подключение внешних словарей
    • Подключение собственной геобазы
    • Управление моделями машинного обучения
    • Управление схемами формата данных
    • Подключение к DataLens
    • Изменение версии ClickHouse
    • Управление хостами ZooKeeper
    • Управление хостами ClickHouse
    • Управление базами данных
    • Управление пользователями БД
    • Управление резервными копиями
    • Управление шардами
    • Управление группами шардов
    • Просмотр логов кластера
    • Удаление кластера
    • Мониторинг состояния кластера и хостов
  • Практические руководства
    • Все сценарии
    • Добавление данных в БД
    • Шардирование таблиц
    • Использование гибридного хранилища
    • Получение данных из Managed Service for Apache Kafka®
    • Получение данных из RabbitMQ
    • Обмен данными с Yandex Data Proc
    • Настройка Yandex Cloud DNS для доступа к кластеру из других облачных сетей
    • Анализ логов Object Storage при помощи DataLens
    • Настройка Managed Service for ClickHouse для Graphite
    • Сохранение потока данных Yandex Data Streams в Managed Service for ClickHouse
    • Миграция базы данных из Google BigQuery в Managed Service for ClickHouse
    • Поставка данных из Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Классы хостов
      • Действующие классы хостов
      • Архив
        • До 1 июня 2020 года
      • Использование устаревших классов хостов
    • Сеть в Managed Service for ClickHouse
    • Квоты и лимиты
    • Типы дисков
    • Резервные копии
    • Репликация
    • Словари
    • Шардирование
    • Техническое обслуживание
    • Поддерживаемые клиенты
    • Управление памятью в Managed Service for ClickHouse
    • Политика работы с версиями ClickHouse
    • Настройки ClickHouse
  • Управление доступом
  • Правила тарификации
    • Действующие правила
    • Архив
      • До 1 января 2019 года
      • С 1 января до 1 марта 2019 года
      • С 1 марта 2019 года до 1 февраля 2020 года
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • BackupService
      • ClusterService
      • DatabaseService
      • FormatSchemaService
      • MlModelService
      • ResourcePresetService
      • UserService
      • VersionsService
      • OperationService
    • REST (англ.)
      • Overview
      • Backup
        • Overview
        • get
        • list
      • Cluster
        • Overview
        • addHosts
        • addShard
        • addZookeeper
        • backup
        • create
        • createExternalDictionary
        • createShardGroup
        • delete
        • deleteExternalDictionary
        • deleteHosts
        • deleteShard
        • deleteShardGroup
        • get
        • getShard
        • getShardGroup
        • list
        • listBackups
        • listHosts
        • listLogs
        • listOperations
        • listShardGroups
        • listShards
        • move
        • rescheduleMaintenance
        • restore
        • start
        • stop
        • streamLogs
        • update
        • updateExternalDictionary
        • updateHosts
        • updateShard
        • updateShardGroup
      • Database
        • Overview
        • create
        • delete
        • get
        • list
      • FormatSchema
        • Overview
        • create
        • delete
        • get
        • list
        • update
      • MlModel
        • Overview
        • create
        • delete
        • get
        • list
        • update
      • ResourcePreset
        • Overview
        • get
        • list
      • User
        • Overview
        • create
        • delete
        • get
        • grantPermission
        • list
        • revokePermission
        • update
      • Versions
        • Overview
        • list
      • Operation
        • Overview
        • get
  • История изменений
  • Вопросы и ответы
    • Общие вопросы
    • Вопросы о ClickHouse
    • Подключение
    • Изменение кластера
    • Настройки параметров кластера
    • Перемещение и восстановление кластера
    • Мониторинг и логи
    • Все вопросы на одной странице
  1. Концепции
  2. Типы дисков

Типы дисков

Статья создана
Yandex Cloud
  • Особенности хранилища на локальных SSD-дисках
  • Особенности хранилища на нереплицируемых SSD-дисках
  • Особенности гибридного хранилища
    • Доступные политики хранения
    • Настройки гибридного хранилища
  • Выбор типа дисков при создании кластера

Managed Service for ClickHouse позволяет использовать сетевые и локальные диски для организации хранилища кластеров баз данных. Сетевые диски реализованы на базе сетевых блоков — виртуальных дисков в инфраструктуре Yandex Cloud. Локальные диски физически размещаются в серверах хостов БД.

При создании кластера вы можете выбрать для хранилища следующие типы дисков:

  • Сетевые HDD-диски (network-hdd) — самый экономичный вариант для кластеров, не требовательных к скорости записи и чтения.

  • Сетевые SSD-диски (network-ssd) — компромиссный вариант: медленнее, чем локальные SSD-диски, но, в отличие от них, обеспечивают сохранность данных при выходе из строя оборудования Yandex Cloud.

  • Нереплицируемые SSD-диски (network-ssd-nonreplicated) — сетевые SSD-диски с повышенной производительностью, реализованной за счет устранения избыточности.

    Объем такого хранилища можно увеличивать только с шагом 93 ГБ.

  • Локальные SSD-диски (local-ssd) — самые быстрые диски.

    Объем такого хранилища можно увеличивать:

    • для платформ Intel Broadwell и Intel Cascade Lake — только с шагом 100 ГБ;
    • для платформы Intel Ice Lake — только с шагом 368 ГБ.

Если при создании или изменении кластера включить настройку Гибридное хранилище, то появится возможность распределять данные между хранилищем кластера и объектным хранилищем Yandex Object Storage. Например, часто используемые «горячие» данные можно разместить в хранилище кластера, а редко используемые «холодные» данные — в более дешевом и медленном объектном хранилище. Подробнее см. Особенности гибридного хранилища.

Особенности хранилища на локальных SSD-дисках

Хранилище на локальных SSD-дисках не обеспечивает отказоустойчивости хранения данных, а также влияет на тарификацию кластера в целом:

  • Такое хранилище в кластере из одного хоста не обеспечивает отказоустойчивости: при отказе диска данные теряются безвозвратно. Поэтому при создании нового кластера Managed Service for ClickHouse с использованием этого типа дисков автоматически настраивается отказоустойчивая конфигурация из двух хостов.
  • Кластер с таким хранилищем тарифицируется, даже если он остановлен. Подробнее — в правилах тарификации.

Особенности хранилища на нереплицируемых SSD-дисках

Хранилище на нереплицируемых SSD-дисках в кластере из одного хоста не обеспечивает отказоустойчивости: при отказе диска данные теряются безвозвратно. Поэтому при создании нового кластера с использованием этого типа диска автоматически настраивается отказоустойчивая конфигурация из трех хостов.

Особенности гибридного хранилища

Гибридное хранилище обеспечивает для таблиц на движке MergeTree отказоустойчивое хранение данных и управляет их размещением: данные размещаются либо в кластерном, либо в объектном хранилище в зависимости от заданной политики хранения для таблиц.

Важно

Данные таблиц на движках, отличных от MergeTree, будут храниться только в кластерном хранилище.

Чтобы начать использовать гибридное хранилище:

  1. Создайте кластер нужного вида с версией ClickHouse не ниже 22.8. Настройка объектного хранилища не требуется.

  2. Добавьте базы данных и таблицы в кластер. Если политика хранения по умолчанию не подходит для некоторых таблиц, задайте нужные политики для этих таблиц:

    • Чтобы указать политику при создании таблицы, задайте настройку storage_policy:

      CREATE TABLE table_with_non_default_policy (
          <схема_таблицы>
      ) ENGINE = MergeTree
      ...
      SETTINGS storage_policy = '<тип политики хранения>';
      
    • Чтобы задать или изменить политику для уже существующей таблицы, используйте запрос:

      ALTER TABLE table_with_non_default_policy
      MODIFY SETTING storage_policy = '<тип политики хранения>';
      

Пример см. в разделе Использование гибридного хранилища.

Доступные политики хранения

Примечание

Создавать новые политики хранения или изменять уже существующие нельзя.

В кластере Managed Service for ClickHouse с включенным гибридным хранилищем предустановлены следующие политики хранения:

  • default (по умолчанию) — кластер автоматически управляет размещением данных в зависимости от:

    • настроек гибридного хранилища;
    • настроек TTL для таблиц (время жизни).

    При достаточном объеме свободного места в кластерном хранилище, перемещение в объектное хранилище выполняется только для тех строк таблицы, для которых истекло значение TTL. Эта операция позволяет переместить часть данных в объектное хранилище, не дожидаясь заполнения кластерного хранилища.

    Настроить перемещение строк с истекшим сроком жизни в объектное хранилище и задать значение TTL можно при создании таблицы или позднее.

  • local — строки таблицы с такой политикой размещаются только в кластерном хранилище. Перемещения данных между хранилищами не происходит.

  • object_storage — строки таблицы с такой политикой размещаются только в объектном хранилище. Перемещения данных между хранилищами не происходит.

Политики хранения не оказывают влияния на операции слияния кусков данных:

  • Разрешено выполнять слияние кусков данных, находящихся в хранилищах (настройка политики prefer_not_to_merge).
  • Не накладывается ограничений на максимальный размер итогового куска данных (настройка политики max_data_part_size_bytes), который может получиться в результате слияния меньших кусков.

Однако можно влиять на поведение этих операций с помощью доступных в кластере настроек ClickHouse.

Посмотреть актуальные настройки политик можно с помощью запроса:

SELECT *
FROM system.storage_policies;

Подробнее о политиках хранения и их настройках см. в документации ClickHouse.

Настройки гибридного хранилища

В кластере Managed Service for ClickHouse с включенным гибридным хранилищем доступны следующие настройки:

  • data_cache_enabled — разрешает временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища. По умолчанию — true (разрешено).

    При таком подходе запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет занимать меньше времени.

  • data_cache_max_size — определяет максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. По умолчанию — 1073741824 (1 ГБ).

  • move_factor— устанавливает минимальную долю свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в Yandex Object Storage. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

    Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие move_factor.

Задать настройки гибридного хранилища можно при создании или изменении кластера.

Подробнее о настройках гибридного хранилища см. в документации ClickHouse.

Выбор типа дисков при создании кластера

Количество хостов, которые можно создать вместе с ClickHouse-кластером, зависит от выбранного типа дисков:

  • При использовании локальных SSD-дисков (local-ssd) вы можете создать кластер из двух или более хостов (минимум два хоста необходимо, чтобы обеспечить отказоустойчивость).
  • При использовании сетевых HDD-дисков (network-hdd) или сетевых SSD-дисков (network-ssd) вы можете добавить любое количество хостов в пределах текущей квоты.
  • При использовании сетевых нереплицируемых SSD-дисков (network-ssd-nonreplicated) вы можете создать кластер из трех или более хостов (минимум три хоста необходимо, чтобы обеспечить отказоустойчивость).

Подробнее об ограничениях на количество хостов в кластере см. в разделе Квоты и лимиты в Managed Service for ClickHouse.

Была ли статья полезна?

Language / Region
Проект Яндекса
© 2023 ООО «Яндекс.Облако»
В этой статье:
  • Особенности хранилища на локальных SSD-дисках
  • Особенности хранилища на нереплицируемых SSD-дисках
  • Особенности гибридного хранилища
  • Доступные политики хранения
  • Настройки гибридного хранилища
  • Выбор типа дисков при создании кластера