Подключиться
Yandex Managed Service for ClickHouse

Управление шардами

Статья создана

Вы можете включить шардирование для кластера, а также добавлять и настраивать отдельные шарды.

Важно

Если кластер использует гибридное хранилище на стадии Preview, то в него можно добавлять шарды, состоящие только из одного хоста. На стадии General Availability это ограничение будет снято.

Включить шардирование

Кластеры Managed Service for ClickHouse создаются с одним шардом. Чтобы начать непосредственно шардирование данных, добавьте еще один или несколько шардов и создайте распределенную таблицу.

Добавить шард

Количество шардов в кластерах Managed Service for ClickHouse ограничено квотами на количество CPU и объем памяти, которые доступны кластерам БД в вашем облаке. Чтобы проверить используемые ресурсы, откройте страницу Квоты и найдите блок Yandex Managed Service for ClickHouse.

  1. Перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse.

  2. Нажмите на имя нужного кластера и перейдите на вкладку Хосты.

  3. Нажмите кнопку Добавить шард.

  4. Укажите параметры шарда:

    • имя и вес;
    • чтобы скопировать схему со случайной реплики одного из шардов на хосты нового шарда, выберите опцию Копировать схему данных;
    • нужное количество хостов.

  5. Нажмите кнопку Создать шард.

Примечание

Terraform не позволяет указывать вес шардов.

  1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

    О том, как создать такой файл, см. в разделе Создание ClickHouse-кластера.

  2. Добавьте к описанию кластера Managed Service for ClickHouse блок host типа CLICKHOUSE с заполненным полем shard_name или измените существующие хосты:

    resource "yandex_mdb_clickhouse_cluster" "<имя кластера>" {
  ...
  host {
    type       = "CLICKHOUSE"
    zone       = "<зона доступности>"
    subnet_id  = yandex_vpc_subnet.<подсеть в зоне доступности>.id
    shard_name = "<имя шарда>"
  }
}

  3. Проверьте корректность настроек.

    1. В командной строке перейдите в каталог, в котором вы создали конфигурационный файл.

    2. Выполните проверку с помощью команды:

      terraform plan

    Если конфигурация описана верно, в терминале отобразится список изменяемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет. Это проверочный этап: ресурсы не будут изменены.

  4. Подтвердите изменение ресурсов.

    1. Если в конфигурации нет ошибок, выполните команду:

      terraform apply

    2. Подтвердите изменение ресурсов.

Подробнее см. в документации провайдера Terraform.

Добавить шард в кластер можно с помощью метода addShard.

Чтобы скопировать схему данных со случайной реплики одного из шардов на хосты нового шарда, передайте в запросе параметр copySchema со значением true.

Важно

Используйте опцию копирования схемы данных только в том случае, когда схема одинакова на всех шардах кластера.

Получить список шардов в кластере

  1. Перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse.

  2. Нажмите на имя нужного кластера, затем выберите вкладку Шарды.

Получить список шардов кластера можно с помощью метода listShards.

Изменить шард

Вы можете изменить вес шарда, а также класс хоста и объем хранилища.

  1. Перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse.
  2. Нажмите на имя нужного кластера, затем выберите вкладку Шарды.
  3. Нажмите и выберите пункт Изменить.

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить шард в кластере:

  1. Посмотрите описание команды CLI для изменения шарда:

    yc managed-clickhouse shards update --help

  2. Запустите операцию, например, изменения веса для шарда:

    yc managed-clickhouse shards update --cluster-name clickhouse12 \
                              --name shard1 \
                              --weight 80

После успешного завершения операции CLI выведет информацию об измененном шарде:

name: shard1
cluster_id: c9fmo2rf013t4q0ab8m1
config:
  clickhouse:
    config:
      effective_config:
        log_level: INFORMATION
  ...

  weight: "80"

Изменить настройки шарда можно с помощью метода updateShard.

Удалить шард

Вы можете удалить шард из ClickHouse-кластера, если он не является:

Удаление шарда приведет к удалению всех таблиц и данных, которые находятся на этом шарде.

  1. Перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse.

  2. Нажмите на имя нужного кластера и выберите вкладку Шарды.

  3. Нажмите значок в строке нужного хоста и выберите пункт Удалить.

  1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

    О том, как создать такой файл, см. в разделе Создание ClickHouse-кластера.

  2. Удалите из описания кластера Managed Service for ClickHouse блок host с описанием шарда.

  3. Проверьте корректность настроек.

    1. В командной строке перейдите в каталог, в котором вы создали конфигурационный файл.

    2. Выполните проверку с помощью команды:

      terraform plan

    Если конфигурация описана верно, в терминале отобразится список изменяемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет. Это проверочный этап: ресурсы не будут изменены.

  4. Подтвердите удаление ресурсов.

    1. Если в конфигурации нет ошибок, выполните команду:

      terraform apply

    2. Подтвердите изменение ресурсов.

Подробнее см. в документации провайдера Terraform.

Удалить шард можно с помощью метода deleteShard.

В этой статье: