Управление схемами формата данных

Managed Service for ClickHouse позволяет вставлять (INSERT) и выводить (SELECT) данные в различных форматах. Большинство таких форматов — самоописываемые, то есть они уже содержат в себе схему формата данных, описывающую допустимые типы данных, их порядок и представление в этом формате. Это позволяет, например, сразу делать вставку из файла.

Форматы данных Cap'n Proto и Protobuf (включая ProtobufSingle) не содержат в себе схему формата — данные представляются в бинарном виде без какой-либо информации о структуре. Перед началом работы с данными в этих форматах (например, перед вставкой в таблицу) необходимо подключить схему данных к кластеру Managed Service for ClickHouse. Это позволит правильно интерпретировать количество, порядок и тип значений при работе с бинарными данными.

Вы можете подключить к кластеру Managed Service for ClickHouse одну или несколько таких схем формата, и использовать их для ввода и вывода требуемых данных в соответствующих форматах.

Подробнее о форматах данных см. в документации ClickHouse.

Примеры работы с форматами Cap'n Proto и Protobuf при вставке данных в кластер приведены в разделе Добавление данных в ClickHouse.

Перед подключением схемы формата данных

Managed Service for ClickHouse работает только со схемами формата данных, которые загружены в Object Storage. Перед подключением схемы к кластеру:

1. Подготовьте файл со схемой формата (см. документацию Cap'n Proto и Protobuf).
2. Загрузите файл со схемой формата в Object Storage.
3. Получите ссылку на этот файл.

Подключить схему формата данных

Изменить схему формата данных

Managed Service for ClickHouse не отслеживает изменения в файле со схемой формата данных, который находится в бакете Object Storage.

Чтобы актуализировать содержимое схемы, которая уже подключена к кластеру:

1. Загрузите файл с актуальной схемой формата данных в Object Storage.

2. Получите ссылку на этот файл.

3. Измените параметры схемы формата данных, подключенной к Managed Service for ClickHouse, передав новую ссылку на файл со схемой формата.

   Консоль управления

   CLI

   Terraform

   1. Перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse.
   2. Нажмите на имя нужного кластера и выберите вкладку Схемы формата данных.
   3. Выберите нужную схему, нажмите значок и выберите пункт Изменить.

   Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

   По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

   Чтобы изменить ссылку на файл в объектном хранилище со схемой формата данных, выполнив команду:

   yc managed-clickhouse format-schema update "<имя схемы данных>" \
       --cluster-name="<имя кластера>" \
       --uri="<новая ссылка на файл в Object Storage>"
   

   Имя схемы можно запросить со списком схем формата данных в кластере; имя кластера можно запросить со списком кластеров в каталоге.

   1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

      О том, как создать такой файл, см. в разделе Создание ClickHouse-кластера.

   2. Измените в описании кластера Managed Service for ClickHouse значение параметра uri в блоке format_schema:

      resource "yandex_mdb_clickhouse_cluster" "<имя кластера>" {
        ...
        format_schema {
          name = "<имя схемы>"
          type = "<тип схемы>"
          uri  = "<новая публичная ссылка на файл схемы в Object Storage>"
        }
      }
      

   3. Проверьте корректность настроек.

      1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

      2. Выполните команду:

         terraform validate
         

         Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   4. Подтвердите изменение ресурсов.

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

   Подробнее см. в документации провайдера Terraform.

Отключить схему формата данных

yc managed-clickhouse format-schema delete "<имя схемы формата>" \
    --cluster-name="<имя кластера>"

Получить список схем формата данных в кластере

yc managed-clickhouse format-schema list --cluster-name="<имя кластера>"

Получить детальную информацию о схеме формата данных

yc managed-clickhouse format-schema get "<имя схемы формата>" \
    --cluster-name="<имя кластера>"