Подключиться
Yandex Managed Service for ClickHouse

Настройка доступа к Object Storage из ClickHouse-кластера

Статья создана

Managed Service for ClickHouse поддерживает работу с Yandex Object Storage для:

Для доступа к данным в бакете Object Storage из кластера воспользуйтесь одним из следующих способов:

После настройки любого из этих способов получите ссылку на объект в бакете, которую можно использовать при работе с данными в кластере. См. также Примеры работы с объектами.

Подключить сервисный аккаунт к кластеру

  1. При создании или изменении кластера выберите существующий сервисный аккаунт, либо создайте новый.

  2. Убедитесь, что этому аккаунту назначены корректные роли из группы ролей storage.*. При необходимости назначьте нужные роли, например, storage.viewer и storage.uploader.

Совет

Для связи кластеров Managed Service for ClickHouse с Object Storage рекомендуется использовать специально созданные для этой цели сервисные аккаунты: это позволяет организовать работу с любыми бакетами, в том числе с такими, для которых предоставление публичного доступа нежелательно или невозможно.

Настроить права доступа

  1. В консоли управления выберите каталог, в котором находится нужный бакет. Если бакета не существует — создайте его и наполните необходимыми данными.

  2. Выберите сервис Object Storage.

  3. Настройте ACL бакета или ACL объекта:

    1. В списке бакетов или объектов выберите нужный элемент и нажмите на значок .
    2. Нажмите ACL бакета или ACL объекта.
    3. В выпадающем списке Выберите пользователя укажите сервисный аккаунт, подключенный к кластеру.
    4. Нажмите кнопку Добавить.
    5. Задайте нужные разрешения для сервисного аккаунта из выпадающего списка.
    6. Нажмите кнопку Сохранить.

    Примечание

    При необходимости отзовите доступ у одного или нескольких пользователей, нажав кнопку Отозвать в нужной строке.

Чтобы работать в Managed Service for ClickHouse с данными объекта в Object Storage, нужно получить ссылку на этот объект в бакете:

  • Для бакета с ограниченным доступом ссылку вида https://storage.yandexcloud.net/<имя бакета>/<имя объекта>?X-Amz-Algorithm=... приведите к виду https://storage.yandexcloud.net/<имя бакета>/<имя объекта>, удалив все параметры в строке запроса.
  • Для бакета с публичным доступом ссылка будет сгенерирована сразу в нужном виде.

Примеры работы с объектами

Ссылки на объекты вида https://storage.yandexcloud.net/<имя бакета>/<имя объекта> можно использовать при работе с геометками, схемами, а также при использовании табличной функции s3 и табличного движка S3.

Табличный движок S3 аналогичен движкам File и URL, за исключением того, что данные хранятся в S3-совместимом хранилище (таком как Yandex Object Storage), а не на файловой системе или удаленном HTTP/HTTPS сервере. Этот движок позволяет читать и записывать данные в хранилище с использование стандартных SQL-запросов SELECT и INSERT.

Табличная функция s3 предоставляет ту же самую функциональность, что и движок таблиц S3, но при ее использовании не требуется предварительно создавать таблицу.

Например, если в бакете с ограниченным доступом my-bucket Object Storage в файле table.tsv хранятся данные таблицы в формате TSV, то можно создать таблицу или функцию, которая будет работать с этим файлом. Предполагается, что настроен беспарольный доступ и получена ссылка на файл table.tsv.

  1. Создайте таблицу:

    CREATE TABLE test (n Int32) ENGINE = S3('https://storage.yandexcloud.net/my-bucket/table.tsv', 'TSV');

  2. Выполните тестовые запросы к таблице:

    INSERT INTO test VALUES (1);
SELECT * FROM test;

┌─n─┐
│ 1 │
└───┘

  1. Вставьте данные:

    INSERT INTO FUNCTION s3('https://storage.yandexcloud.net/my-bucket/table.tsv', 'TSV', 'n Int32') VALUES (1);

  2. Выполните тестовый запрос:

    SELECT * FROM s3('https://storage.yandexcloud.net/my-bucket/table.tsv', 'TSV', 'n Int32');

┌─n─┐
│ 1 │
└───┘
В этой статье: