Yandex.Cloud
  • Сервисы
  • Почему Yandex.Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Yandex Managed Service for ClickHouse
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к базе данных
    • Остановка и запуск кластера
    • SQL-запросы в консоли управления
    • Изменение настроек кластера и базы данных
    • Подключение внешних словарей
    • Подключение собственной геобазы
    • Подключение моделей машинного обучения
    • Управление схемами формата данных
    • Подключение к DataLens
    • Изменение версии ClickHouse
    • Управление хостами ClickHouse
    • Управление хостами ZooKeeper
    • Управление базами данных
    • Управление пользователями БД
    • Управление резервными копиями
    • Управление шардами
    • Управление группами шардов
    • Удаление кластера
  • Сценарии использования
    • Добавление данных в БД
    • Миграция данных ClickHouse
    • Шардирование таблиц
    • Использование гибридного хранилища
    • Получение данных из Managed Service for Apache Kafka®
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Классы хостов
      • Действующие классы хостов
      • Архив
        • До 1 июня 2020 года
      • Использование устаревших классов хостов
    • Сеть в Managed Service for ClickHouse
    • Квоты и лимиты
    • Типы хранилища
    • Резервные копии
    • Репликация
    • Словари
    • Шардирование
    • Поддерживаемые клиенты
    • Политика работа с версиями ClickHouse
  • Управление доступом
  • Правила тарификации
    • Действующие правила
    • Архив
      • До 1 января 2019 года
      • С 1 января до 1 марта 2019 года
      • С 1 марта 2019 года до 1 февраля 2020 года
  • Справочник API
    • Аутентификация в API
    • gRPC
      • Обзор
      • BackupService
      • ClusterService
      • DatabaseService
      • MlModelService
      • ResourcePresetService
      • UserService
      • VersionsService
      • OperationService
    • REST
      • Обзор
      • Backup
        • Обзор
        • get
        • list
      • Cluster
        • Обзор
        • addHosts
        • addShard
        • addZookeeper
        • backup
        • create
        • createExternalDictionary
        • createShardGroup
        • delete
        • deleteExternalDictionary
        • deleteHosts
        • deleteShard
        • deleteShardGroup
        • get
        • getShard
        • getShardGroup
        • list
        • listBackups
        • listHosts
        • listLogs
        • listOperations
        • listShardGroups
        • listShards
        • move
        • restore
        • start
        • stop
        • streamLogs
        • update
        • updateShard
        • updateShardGroup
      • Database
        • Обзор
        • create
        • delete
        • get
        • list
      • MlModel
        • Обзор
        • create
        • delete
        • get
        • list
        • update
      • ResourcePreset
        • Обзор
        • get
        • list
      • User
        • Обзор
        • create
        • delete
        • get
        • grantPermission
        • list
        • revokePermission
        • update
      • Versions
        • Обзор
        • list
      • Operation
        • Обзор
        • get
  • Вопросы и ответы
    • Общие вопросы
    • Вопросы о ClickHouse
    • Все вопросы на одной странице
  1. Пошаговые инструкции
  2. Управление схемами формата данных

Управление схемами формата данных

  • Перед подключением схемы формата данных
  • Подключить схему формата данных
  • Изменить схему формата данных
  • Отключить схему формата данных
  • Получить список схем формата данных в кластере
  • Получить детальную информацию о схеме формата данных

Managed Service for ClickHouse позволяет вставлять (INSERT) и выводить (SELECT) данные в различных форматах. Большинство таких форматов — самоописываемые, то есть они уже содержат в себе схему формата данных, описывающую допустимые типы данных, их порядок и представление в этом формате. Это позволяет, например, сразу делать вставку из файла.

Примечание

Схема формата данных (format schema) описывает формат ввода или вывода данных, в то время как схема данных (data scheme) описывает структуру и устройство баз данных и таблиц ClickHouse, которые хранят эти данные. Эти понятия не являются взаимозаменяемыми.

Форматы данных Cap'n Proto и Protobuf (включая ProtobufSingle) не содержат в себе схему формата — данные представляются в бинарном виде без какой-либо информации о структуре. Перед началом работы с данными в этих форматах (например, перед вставкой в таблицу) необходимо подключить схему данных к кластеру Managed Service for ClickHouse. Это позволит правильно интерпретировать количество, порядок и тип значений при работе с бинарными данными.

Вы можете подключить к кластеру Managed Service for ClickHouse одну или несколько таких схем формата, и использовать их для ввода и вывода требуемых данных в соответствующих форматах.

Важно

Чтобы использовать подключенные схемы формата, вставку данных в Managed Service for ClickHouse следует производить с помощью HTTP-интерфейса, т.к. в этом случае сериализация и десериализация данных производится на стороне сервера с использованием подключенных схем.

Подробнее о форматах данных см. в документации ClickHouse.

Примеры работы с форматами Cap'n Proto и Protobuf при вставке данных в кластер приведены в разделе Добавление данных в ClickHouse.

Перед подключением схемы формата данных

Managed Service for ClickHouse работает только со схемами формата данных, которые загружены в Object Storage. Перед подключением схемы к кластеру:

  1. Подготовьте файл со схемой формата (см. документацию Cap'n Proto и Protobuf).
  2. Загрузите файл со схемой формата в Object Storage.
  3. Получите ссылку на этот файл.

Подключить схему формата данных

CLI

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы подключить схему формата данных к кластеру, выполните команду:

  • для формата Cap'n Proto:

    yc managed-clickhouse format-schema create "<имя схемы формата>" \
        --cluster-name="<имя кластера>" \
        --type="capnproto" \
        --uri="<ссылка на файл в Object Storage>"
    
  • для формата Protobuf:

    yc managed-clickhouse format-schema create "<имя схемы формата>" \
        --cluster-name="<имя кластера>" \
        --type="protobuf" \
        --uri="<ссылка на файл в Object Storage>"
    

Имя кластера можно запросить со списком кластеров в каталоге.

Изменить схему формата данных

Managed Service for ClickHouse не отслеживает изменения в файле со схемой формата данных, который находится в бакете Object Storage.

Чтобы актуализировать содержимое схемы, которая уже подключена к кластеру:

  1. Загрузите файл с актуальной схемой формата данных в Object Storage.

  2. Получите ссылку на этот файл.

  3. Измените параметры схемы формата данных, подключенной к Managed Service for ClickHouse, передав новую ссылку на файл со схемой формата.

    CLI

    Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

    По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

    Чтобы изменить ссылку на файл в объектном хранилище со схемой формата данных, выполнив команду:

    yc managed-clickhouse format-schema update "<имя схемы данных>" \
        --cluster-name="<имя кластера>" \
        --uri="<новая ссылка на файл в Object Storage>"
    

    Имя схемы можно запросить со списком схем формата данных в кластере; имя кластера можно запросить со списком кластеров в каталоге.

Отключить схему формата данных

Примечание

После отключения схемы формата данных соответствующий объект остается в бакете Object Storage. Если этот объект со схемой формата больше не нужен, его можно удалить.

CLI

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы отключить схему формата данных, выполните команду:

yc managed-clickhouse format-schema delete "<имя схемы формата>" \
    --cluster-name="<имя кластера>"

Имя схемы можно запросить со списком схем формата данных в кластере; имя кластера можно запросить со списком кластеров в каталоге.

Получить список схем формата данных в кластере

CLI

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить список схем формата данных в кластере, выполните команду:

yc managed-clickhouse format-schema list --cluster-name="<имя кластера>"

Имя кластера можно запросить со списком кластеров в каталоге.

Получить детальную информацию о схеме формата данных

CLI

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить детальную информацию о схеме формата данных, выполните команду:

yc managed-clickhouse format-schema get "<имя схемы формата>" \
    --cluster-name="<имя кластера>" 

Имя схемы можно запросить со списком схем формата данных в кластере; имя кластера можно запросить со списком кластеров в каталоге.

В этой статье:
  • Перед подключением схемы формата данных
  • Подключить схему формата данных
  • Изменить схему формата данных
  • Отключить схему формата данных
  • Получить список схем формата данных в кластере
  • Получить детальную информацию о схеме формата данных
Language
Вакансии
Политика конфиденциальности
Условия использования
© 2021 ООО «Яндекс.Облако»