Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex Managed Service for ClickHouse
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к базе данных
    • Остановка и запуск кластера
    • SQL-запросы в консоли управления
    • Изменение настроек кластера и базы данных
    • Настройка доступа к ObjectStorage
    • Подключение внешних словарей
    • Подключение собственной геобазы
    • Подключение моделей машинного обучения
    • Управление схемами формата данных
    • Подключение к DataLens
    • Изменение версии ClickHouse
    • Управление хостами ZooKeeper
    • Управление хостами ClickHouse
    • Управление базами данных
    • Управление пользователями БД
    • Управление резервными копиями
    • Управление шардами
    • Управление группами шардов
    • Удаление кластера
    • Мониторинг состояния кластера и хостов
  • Практические руководства
    • Добавление данных в БД
    • Шардирование таблиц
    • Использование гибридного хранилища
    • Получение данных из Managed Service for Apache Kafka®
    • Получение данных из RabbitMQ
    • Обмен данными с Data Proc
    • Настройка Yandex Cloud DNS для доступа к кластеру из других облачных сетей
    • Анализ логов Object Storage при помощи DataLens
    • Настройка кластера под Graphite
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Классы хостов
      • Действующие классы хостов
      • Архив
        • До 1 июня 2020 года
      • Использование устаревших классов хостов
    • Сеть в Managed Service for ClickHouse
    • Квоты и лимиты
    • Типы хранилища
    • Резервные копии
    • Репликация
    • Словари
    • Шардирование
    • Техническое обслуживание
    • Поддерживаемые клиенты
    • Политика работы с версиями ClickHouse
    • Настройки ClickHouse
  • Управление доступом
  • Правила тарификации
    • Действующие правила
    • Архив
      • До 1 января 2019 года
      • С 1 января до 1 марта 2019 года
      • С 1 марта 2019 года до 1 февраля 2020 года
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • BackupService
      • ClusterService
      • DatabaseService
      • FormatSchemaService
      • MlModelService
      • ResourcePresetService
      • UserService
      • VersionsService
      • OperationService
    • REST (англ.)
      • Overview
      • Backup
        • Overview
        • get
        • list
      • Cluster
        • Overview
        • addHosts
        • addShard
        • addZookeeper
        • backup
        • create
        • createExternalDictionary
        • createShardGroup
        • delete
        • deleteExternalDictionary
        • deleteHosts
        • deleteShard
        • deleteShardGroup
        • get
        • getShard
        • getShardGroup
        • list
        • listBackups
        • listHosts
        • listLogs
        • listOperations
        • listShardGroups
        • listShards
        • move
        • rescheduleMaintenance
        • restore
        • start
        • stop
        • streamLogs
        • update
        • updateHosts
        • updateShard
        • updateShardGroup
      • Database
        • Overview
        • create
        • delete
        • get
        • list
      • FormatSchema
        • Overview
        • create
        • delete
        • get
        • list
        • update
      • MlModel
        • Overview
        • create
        • delete
        • get
        • list
        • update
      • ResourcePreset
        • Overview
        • get
        • list
      • User
        • Overview
        • create
        • delete
        • get
        • grantPermission
        • list
        • revokePermission
        • update
      • Versions
        • Overview
        • list
      • Operation
        • Overview
        • get
  • История изменений
  • Вопросы и ответы
    • Общие вопросы
    • Вопросы о ClickHouse
    • Подключение
    • Изменение кластера
    • Настройки параметров кластера
    • Перемещение и восстановление кластера
    • Мониторинг и логи
    • Все вопросы на одной странице
  1. Пошаговые инструкции
  2. Управление шардами

Управление шардами

Статья создана
Yandex.Cloud
  • Включить шардирование
  • Добавить шард
  • Получить список шардов в кластере
  • Изменить шард
  • Удалить шард

Вы можете включить шардирование для кластера, а также добавлять и настраивать отдельные шарды.

Включить шардирование

Кластеры Managed Service for ClickHouse создаются с одним шардом. Чтобы начать непосредственно шардирование данных, добавьте еще один или несколько шардов и создайте распределенную таблицу.

Добавить шард

Количество шардов в кластерах Managed Service for ClickHouse ограничено квотами на количество CPU и объем памяти, которые доступны кластерам БД в вашем облаке. Чтобы проверить используемые ресурсы, откройте страницу Квоты и найдите блок Yandex Managed Service for ClickHouse.

Консоль управления
CLI
Terraform
API
  1. В консоли управления перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse.

  2. Нажмите на имя нужного кластера и перейдите на вкладку Шарды.

  3. Нажмите кнопку Добавить шард.

  4. Укажите параметры шарда:

    • имя и вес;
    • чтобы скопировать схему со случайной реплики одного из шардов на хосты нового шарда, выберите опцию Копировать схему данных;
    • нужное количество хостов.
  5. Нажмите кнопку Создать шард.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы добавить шард в кластер, выполните команду (в примере приведены не все доступные параметры):

yc managed-clickhouse shards add <имя нового шарда> \
   --cluster-name=<имя кластера> \
   --host zone-id=<зона доступности>,`
         `subnet-name=<имя подсети>

Где:

  • <имя нового шарда> — должно быть уникальным в кластере.
    Может содержать латинские буквы, цифры, дефис и нижнее подчеркивание. Максимальная длина — 63 символа.
  • --cluster-name — имя кластера.
    Имя кластера можно запросить со списком кластеров в каталоге.
  • --host — параметры хоста:
    • zone-id — зона доступности.
    • subnet-name — имя подсети.

Примечание

Terraform не позволяет указывать вес шардов.

  1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

    О том, как создать такой файл, см. в разделе Создание ClickHouse-кластера.

  2. Добавьте к описанию кластера Managed Service for ClickHouse блок host типа CLICKHOUSE с заполненным полем shard_name или измените существующие хосты:

    resource "yandex_mdb_clickhouse_cluster" "<имя кластера>" {
      ...
      host {
        type       = "CLICKHOUSE"
        zone       = "<зона доступности>"
        subnet_id  = yandex_vpc_subnet.<подсеть в зоне доступности>.id
        shard_name = "<имя шарда>"
      }
    }
    
  3. Проверьте корректность настроек.

    1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

    2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply
        
      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Добавить шард в кластер можно с помощью метода addShard.

Чтобы скопировать схему данных со случайной реплики одного из шардов на хосты нового шарда, передайте в запросе параметр copySchema со значением true.

Важно

Используйте опцию копирования схемы данных только в том случае, когда схема одинакова на всех шардах кластера.

Получить список шардов в кластере

Консоль управления
CLI
API
  1. В консоли управления перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse.

  2. Нажмите на имя нужного кластера, затем выберите вкладку Шарды.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить список шардов в кластере, выполните команду:

yc managed-clickhouse shards list --cluster-name=<имя кластера>

Имя кластера можно запросить со списком кластеров в каталоге.

Получить список шардов кластера можно с помощью метода listShards.

Изменить шард

Вы можете изменить вес шарда, а также класс хоста и объем хранилища.

Консоль управления
CLI
API
  1. В консоли управления перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse.
  2. Нажмите на имя нужного кластера, затем выберите вкладку Шарды.
  3. Нажмите и выберите пункт Изменить.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить шард в кластере:

  1. Посмотрите описание команды CLI для изменения шарда:

    yc managed-clickhouse shards update --help
    
  2. Запустите операцию, например, изменения веса для шарда:

    yc managed-clickhouse shards update <имя шарда> \
       --cluster-name=<имя кластера> \
       --weight=<вес шарда>
    

    Где:

    • <имя шарда> — можно запросить со списком шардов в кластере.
    • --cluster-name — имя кластера.
      Имя кластера можно запросить со списком кластеров в каталоге.
    • --weight — вес шарда. Минимальное значение — 0.

    После успешного завершения операции CLI выведет информацию об измененном шарде.

Изменить настройки шарда можно с помощью метода updateShard.

Удалить шард

Вы можете удалить шард из ClickHouse-кластера, если он не является:

  • Единственным шардом.
  • Единственным шардом в группе шардов.

Удаление шарда приведет к удалению всех таблиц и данных, которые находятся на этом шарде.

Консоль управления
CLI
Terraform
API
  1. В консоли управления перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse.

  2. Нажмите на имя нужного кластера и выберите вкладку Шарды.

  3. Нажмите значок в строке нужного хоста и выберите пункт Удалить.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы удалить шард из кластера, выполните команду:

yc managed-clickhouse shards delete <имя шарда> \
   --cluster-name=<имя кластера>

Имя шарда можно запросить со списком шардов в кластере, имя кластера — со списком кластеров в каталоге.

  1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

    О том, как создать такой файл, см. в разделе Создание ClickHouse-кластера.

  2. Удалите из описания кластера Managed Service for ClickHouse блок host с описанием шарда.

  3. Проверьте корректность настроек.

    1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

    2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите удаление ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply
        
      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Удалить шард можно с помощью метода deleteShard.

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье:
  • Включить шардирование
  • Добавить шард
  • Получить список шардов в кластере
  • Изменить шард
  • Удалить шард