Подключиться
Yandex Managed Service for ClickHouse

Настройки ClickHouse

Статья создана

Для кластера Managed Service for ClickHouse можно задать настройки, которые относятся к ClickHouse. Часть настроек задается на уровне кластера, часть — на уровне пользователя.

Метки рядом с названием настройки позволяют определить, с помощью какого интерфейса задается значение этой настройки: консоль управления, CLI, API, SQL или Terraform. Метка Все интерфейсы указывает, что поддерживаются все перечисленные интерфейсы.

В зависимости от выбранного интерфейса, одна и та же настройка будет представлена по-разному, например:

  • Geobase uri в консоли управления соответствует:
    • geobase_uri в gRPC API, Terraform;
    • geobaseUri в REST API;
  • Allow DDL в консоли управления соответствует:
    • allow_ddl в CLI, gRPC API, SQL;
    • allowDdl в REST API.

Настройки на уровне кластера

Доступны следующие настройки:

  • Geobase uri Консоль управления API Terraform

    Адрес архива с пользовательской геобазой в Object Storage.

  • Keep alive timeout Консоль управления API Terraform

    Время в секундах после поступления последнего запроса к ClickHouse, в течение которого сервер ожидает новый запрос. Если в течение этого времени запросов не поступит, ClickHouse разорвет соединение. Подробнее см. в документации ClickHouse.

  • Log level Консоль управления API Terraform

    Уровень логирования событий. На каждом следующем уровне лог будет содержать всю информацию из предыдущего:

    1. ERROR — информация об ошибках в работе кластера;
    2. WARNING — информация о событиях, которые могут привести к ошибкам в работе кластера;
    3. INFORMATION — подтверждения, информация о событиях, не приводящих к ошибкам в работе кластера;
    4. DEBUG — системная информации для последующего использования в отладке;
    5. TRACE — вся доступная информации о работе кластера.

    Подробнее об уровнях логирования см. в документации ClickHouse.

  • Mark cache size Консоль управления API Terraform

    Приблизительный размер в байтах кэша засечек, используемых движками таблиц семейства MergeTree. Кэш общий для сервера, память выделяется по мере необходимости.

    Подробнее о логировании в ClickHouse см. в документации.

  • Max concurrent queries Консоль управления API Terraform

    Максимальное количество одновременно обрабатываемых запросов.

    Подробнее см. в документации ClickHouse.

  • Max connections Консоль управления API Terraform

    Максимальное количество входящих соединений.

    Подробнее см. в документации ClickHouse.

  • Max partition size to drop Консоль управления API Terraform

    Максимальный размер в байтах партиции таблицы семейства MergeTree, которую можно удалить с помощью запроса DROP.

  • Max table size to drop Консоль управления API Terraform

    Максимальный размер в байтах таблицы семейства MergeTree, которую можно удалить с помощью запроса DROP.

    Значение по умолчанию: 53687091200 (50 Гбайт).

    Значение 0 означает, что можно удалять все таблицы без ограничений.

    Подробнее см. в документации ClickHouse.

  • Metric log enabled Консоль управления Terraform

    Включает или выключает логирование истории значений метрик из таблиц system.metrics и system.events в таблицу system.metric_log.

    По умолчанию логирование включено (true).

  • Metric log retention size Консоль управления Terraform

    Максимальный размер в байтах, которого может достигнуть таблица system.metric_log, прежде чем из нее начнут удаляться старые записи.

    Значение 0 означает, что старые записи не будут удаляться из-за роста размера таблицы. Значение по умолчанию: 536870912 (0,5 ГБ).

  • Metric log retention time Консоль управления Terraform

    Период времени в миллисекундах, по истечении которого запись в таблице system.metric_log подлежит удалению. Отсчет начинается в момент внесения записи в таблицу.

    Значение 0 означает, что записи не будут удаляться по истечении времени. Значение должно быть кратно 1000. Значение по умолчанию: 2592000000 (30 дней).

  • Part log retention size Консоль управления Terraform

    Максимальный размер в байтах, которого может достигнуть таблица system.part_log, прежде чем из нее начнут удаляться старые записи.

    Значение 0 означает, что старые записи не будут удаляться из-за роста размера таблицы. Значение по умолчанию: 536870912 (0,5 ГБ).

  • Part log retention time Консоль управления Terraform

    Период времени в миллисекундах, по истечении которого запись в таблице system.part_log подлежит удалению. Отсчет начинается в момент внесения записи в таблицу. Значение должно быть кратно 1000.

    Значение 0 означает, что записи не будут удаляться по истечении времени. Значение по умолчанию: 2592000000 (30 дней).

  • Query log retention size Консоль управления Terraform

    Максимальный размер в байтах, которого может достигнуть таблица system.query_log, прежде чем из нее начнут удаляться старые записи.

    Значение 0 означает, что старые записи не будут удаляться из-за роста размера таблицы. Значение по умолчанию: 1073741824 (1 ГБ).

  • Query log retention time Консоль управления Terraform

    Период времени в миллисекундах, по истечении которого запись в таблице system.query_log подлежит удалению. Отсчет начинается в момент внесения записи в таблицу. Значение должно быть кратно 1000.

    Значение 0 означает, что записи не будут удаляться по истечении времени. Значение по умолчанию: 2592000000 (30 дней).

  • Query thread log enabled Консоль управления Terraform

    Включает или выключает логирование информации о потоках, которые выполняют запросы, например, имя потока, время его запуска, продолжительность обработки запроса. Логи пишутся в таблицу system.query_thread_log.

    По умолчанию логирование включено (true).

  • Query thread log retention size Консоль управления Terraform

    Максимальный размер в байтах, которого может достигнуть таблица system.query_thread_log, прежде чем из нее начнут удаляться старые записи.

    Значение 0 означает, что старые записи не будут удаляться из-за роста размера таблицы. Значение по умолчанию: 536870912 (0,5 ГБ).

  • Query thread log retention time Консоль управления Terraform

    Период времени в миллисекундах, по истечении которого запись в таблице system.query_thread_log подлежит удалению. Отсчет начинается в момент внесения записи в таблицу. Значение должно быть кратно 1000.

    Значение 0 означает, что записи не будут удаляться по истечении времени. Значение по умолчанию: 2592000000 (30 дней).

  • Text log enabled Консоль управления Terraform

    Включает или выключает запись системных логов в таблицу system.text_log.

    По умолчанию логирование выключено (false).

  • Text log level Консоль управления Terraform

    Уровень логирования событий в таблице system.text_log. На каждом следующем уровне лог будет содержать всю информацию из предыдущего:

    1. ERROR — информация об ошибках в работе СУБД;
    2. WARNING — информация о событиях, которые могут привести к ошибкам в работе СУБД;
    3. INFORMATION — подтверждения, информация о событиях, не приводящих к ошибкам в работе СУБД;
    4. DEBUG — системная информации для последующего использования в отладке;
    5. TRACE — вся доступная информации о работе СУБД.

  • Text log retention size Консоль управления Terraform

    Максимальный размер в байтах, которого может достигнуть таблица system.text_log, прежде чем из нее начнут удаляться старые записи.

    Значение 0 означает, что старые записи не будут удаляться из-за роста размера таблицы. Значение по умолчанию: 536870912 (0,5 ГБ).

  • Text log retention time Консоль управления Terraform

    Период времени в миллисекундах, по истечении которого запись в таблице system.text_log подлежит удалению. Отсчет начинается в момент внесения записи в таблицу. Значение должно быть кратно 1000.

    Значение 0 означает, что записи не будут удаляться по истечении времени. Значение по умолчанию: 2592000000 (30 дней).

  • Timezone Консоль управления API Terraform

    Временная зона сервера. Указывается идентификатором IANA в виде часового пояса UTC или географического положения (например, Africa/Abidjan).

    Подробнее см. в документации ClickHouse.

  • Trace log enabled Консоль управления Terraform

    Включает или выключает логирование стектрейсов, собираемых профилировщиком запросов, в таблицу system.trace_log.

    По умолчанию логирование включено (true).

  • Trace log retention size Консоль управления Terraform

    Максимальный размер в байтах, которого может достигнуть таблица system.trace_log, прежде чем из нее начнут удаляться старые записи.

    Значение 0 означает, что старые записи не будут удаляться из-за роста размера таблицы. Значение по умолчанию: 536870912 (0,5 ГБ).

  • Trace log retention time Консоль управления Terraform

    Период времени в миллисекундах, по истечении которого запись в таблице system.trace_log подлежит удалению. Отсчет начинается в момент внесения записи в таблицу. Значение должно быть кратно 1000.

    Значение 0 означает, что записи не будут удаляться по истечении времени. Значение по умолчанию: 2592000000 (30 дней).

  • Uncompressed cache size Консоль управления API Terraform

    Размер кэша в байтах для несжатых данных, используемых движками таблиц семейства MergeTree.

    Подробнее см. в документации ClickHouse.

  • Compression Консоль управления API Terraform

    Правила сжатия данных для таблиц семейства MergeTree:

    • Method — метод сжатия. Доступно два метода: LZ4 и zstd.
    • Min part size — минимальный размер куска данных таблицы в байтах. ClickHouse будет применять правило только к тем таблицам, у которых размер кусков больше или равен значению Min part size.
    • Min part size ratio — отношение размера наименьшего куска таблицы к полному размеру таблицы. ClickHouse будет применять правило только к тем таблицам, у которых такое отношение больше или равно значению Min part size ratio.

    Вы можете добавить несколько правил сжатия. ClickHouse проверит условия Min part size и Min part size ratio и применит правила к тем таблицам, для которых выполнены оба условия. Если к одной таблице подходит несколько правил, ClickHouse применит первое из них. Если ни одно из правил не подходит, ClickHouse применит метод сжатия LZ4.

    Подробнее см. в документации ClickHouse

  • Graphite rollup Консоль управления API Terraform

    Конфигурации движка GraphiteMergeTree для прореживания и агрегирования/усреднения (rollup) данных Graphite:

    • Name — имя конфигурации.
    • Patterns — набор правил прореживания. Правило применяется, если имя метрики соответствует значению параметра Regexp, а возраст данных соответствует значению группы параметров Retention.
      • Function — имя агрегирующей функции.
      • Regexp — регулярное выражение, которому должно соответствовать имя метрики.
      • Retention — параметры задержки. Функция применяется к данным, чей возраст оказался в интервале [Age, Age + Precision]. Вы можете задать несколько групп таких параметров.
        • Age — минимальный возраст данных в секундах.
        • Precision — точность определения возраста данных в секундах. Должен быть делителем для 86400 (количество секунд в сутках).

    Вы можете настроить несколько конфигураций и использовать их для разных таблиц.

    Подробнее о поддержке Graphite в ClickHouse читайте в документации.

  • Kafka Консоль управления Terraform

    Глобальные настройки аутентификации для интеграции с Apache Kafka®:

    • Sasl mechanism — механизм аутентификации SASL:
    • Sasl password — пароль учетной записи Apache Kafka®.
    • Sasl username — имя учетной записи Apache Kafka®.
    • Security protocol — протокол безопасности для использования при аутентификации:
      • PLAINTEXT — данные для аутентификации передаются в открытом виде.
      • SSL — данные для аутентификации передаются в зашифрованном виде с помощью SSL.
      • SASL_PLAINTEXT — данные для аутентификации передаются в открытом виде, в качестве транспорта используется SASL.
      • SASL_SSL — данные для аутентификации передаются в зашифрованном виде с помощью SSL, в качестве транспорта используется SASL.

    Подробнее см. в документации Apache Kafka®.

  • Kafka topics Консоль управления Terraform

    Настройки аутентификации на уровне топиков для интеграции с Apache Kafka®:

    • Name — имя топика Apache Kafka®.
    • Settings — настройки аутентификации для топика, аналогичные глобальным настройкам аутентификации в секции Kafka.

    Если для таблицы на движке Kafka не будут найдены данные аутентификации для топика, то будут использованы глобальные настройки из секции Kafka.

    Подробнее см. в документации Apache Kafka®.

  • Merge tree Консоль управления API Terraform

    Конфигурация движка MergeTree:

    • Max bytes to merge at min space in pool — максимальный общий размер куска данных для слияния, когда в фоновом пуле минимум свободных потоков.
    • Max replicated merges in queue — максимальное число задач слияния, которые могут одновременно находиться в очереди ReplicatedMergeTree.
    • Number of free entries in pool to lower max size of merge — предельное значение свободных записей в пуле. Если количество записей в пуле становится меньше этого значения, ClickHouse уменьшает максимальный размер куска данных для слияния. Это позволяет быстрее обрабатывать небольшие слияния, а не заполнять пул длительными.
    • Parts to delay insert — число активных кусков данных таблицы, при превышении которого ClickHouse будет искусственно уменьшать скорость вставки данных в таблицу.
    • Parts to throw insert — предельное число активных кусков данных таблицы, при превышении которого ClickHouse отправляет исключение 'Too many parts ...'.
    • Replicated deduplication window — число последних блоков хешей, которые ZooKeeper будет хранить (старые блоки будут удалены).
    • Replicated deduplication window seconds — время, в течение которого ZooKeeper хранит блоки хешей (старые блоки будут удалены).

    Подробнее см. в документации ClickHouse

  • Rabbitmq Консоль управления Terraform

    Глобальные настройки аутентификации для интеграции с RabbitMQ:

    • Password - пароль учетной записи RabbitMQ.
    • Username - имя учетной записи RabbitMQ.

Настройки на уровне пользователя

Настройки квот

Квота позволяет ограничить потребление ресурсов ClickHouse в течение заданного интервала времени. Настройки квоты задаются для отдельно взятого пользователя.

Если пользователь превысил одно из ограничений квоты, то он не сможет выполнять новые запросы до того, как истечет интервал.
ClickHouse выведет сообщение о превышении квоты и укажет время начала нового интервала, когда запрет на выполнение запросов будет снят, а счетчики ограничений — сброшены.

ClickHouse также использует квоты для учета потребления ресурсов.
Для каждого пользователя есть квота по умолчанию, которая учитывает потребление всех ресурсов за каждый час, но не накладывает никаких ограничений.
Сведения об уровне потребления ресурсов записываются в лог сервера ClickHouse.

Подробнее см. в документации ClickHouse.

Доступны следующие настройки квот:

  • Interval duration Все интерфейсы

    Интервал для квоты в миллисекундах.

    Минимальное значение — 1000 (одна секунда).

  • Errors Все интерфейсы

    Ограничение на суммарное количество запросов, которые завершились с ошибкой.

    Минимальное значение — 0 (нет ограничений).

  • Execution time Все интерфейсы

    Ограничение на суммарное время выполнения запросов в миллисекундах.

    Минимальное значение — 0 (нет ограничений).

  • Queries Все интерфейсы

    Ограничение на суммарное количество запросов.

    Минимальное значение — 0 (нет ограничений).

  • Read rows Все интерфейсы

    Ограничение на суммарное число исходных строк, считанных из таблиц для выполнения запросов (включая строки, считанные на удаленных серверах).

    Минимальное значение — 0 (нет ограничений).

  • Result rows Все интерфейсы

    Ограничение на суммарное число строк в результатах запроса.

    Минимальное значение — 0 (нет ограничений).

Настройки СУБД

Эти настройки действуют на уровне отдельного пользователя.

Доступны следующие настройки:

  • Add HTTP CORS header Консоль управления CLI API SQL

    Включает заголовок CORS в HTTP-ответы.

    По умолчанию заголовок CORS не включается в HTTP-ответы.

  • Allow DDL Консоль управления CLI API SQL

    Разрешает или запрещает выполнять DDL-запросы (например, CREATE, ALTER, RENAME и другие).

    По умолчанию выполнение DDL-запросов разрешено.

    Подробнее см. в документации ClickHouse.

    См. также: настройка Readonly.

  • Compile Консоль управления CLI API SQL

    Включает или выключает компиляцию запросов. Если вы выполняете большое количество структурно идентичных запросов, то при включенной компиляции такие запросы могут выполняться быстрее за счет использования скомпилированных частей запроса.

    Используется вместе с настройкой Min count to compile.

    По умолчанию компиляция выключена.

    Подробнее см. в документации ClickHouse.

  • Compile expressions Консоль управления CLI API SQL

    Включает или выключает компиляцию выражений. Если вы выполняете большое количество запросов, в которых используются идентичные выражения, то при включенной компиляции выражений такие запросы могут выполняться быстрее за счет использования скомпилированных выражений.

    Используется вместе с настройкой Min count to compile expression.

    По умолчанию компиляция выражений выключена.

  • Connect timeout Консоль управления CLI API SQL

    Задает время ожидания соединения в миллисекундах.

    Значение должно быть больше нуля (по умолчанию — 10000, 10 секунд).

  • DISTINCT overflow mode Консоль управления CLI API SQL

    Определяет поведение ClickHouse в ситуации, когда количество данных при выполнении запроса SELECT DISTINCT превысило ограничения — throw (прервать выполнение, вернуть ошибку) или break (вернуть неполный результат).

    Значение по умолчанию — не выбрано (эквивалентно throw).

  • Distributed aggregation memory efficient Консоль управления CLI API SQL

    Включает или выключает режим экономии памяти при распределенной агрегации.

    При распределённой обработке запроса внешняя агрегация производится на удалённых серверах. Для того чтобы на сервере-инициаторе запроса использовалось немного оперативной памяти, нужно включить эту настройку.

    По умолчанию режим экономии памяти выключен.

    Подробнее см. в документации ClickHouse.

  • Distributed product mode Консоль управления CLI API SQL

    Изменяет поведение распределенных подзапросов, когда запрос содержит произведение распределённых таблиц:

    • deny — запрещает использование таких подзапросов.
    • local — заменяет базу данных и таблицу в подзапросе на локальные для конечного сервера (шарда), оставив обычный IN/JOIN.
    • global — заменяет запрос IN/JOIN на GLOBAL IN/GLOBAL JOIN.
    • allow — разрешает использование таких подзапросов.

    Значение по умолчанию — не выбрано (эквивалентно deny).

    Подробнее см. в документации ClickHouse.

  • Empty result for aggregation by empty set Консоль управления CLI API SQL

    Определяет формат возвращаемого результата при выполнении агрегации данных без ключей (без GROUP BY) для пустого множества (например, SELECT count(*) FROM table WHERE 0):

    • опция выключена (по умолчанию) — ClickHouse вернет результат, состоящий из одной строки со значениями NULL для агрегатных функций, в соответствии со стандартом SQL.
    • опция включена — ClickHouse вернет пустой результат.

  • Enable HTTP compression Консоль управления CLI API SQL

    Включает или выключает сжатие данных в ответе на HTTP-запрос.

    По умолчанию ClickHouse хранит данные в сжатом виде. При выполнении запроса его результат представлен в несжатом виде. С помощью этой настройки вы можете указать ClickHouse сжимать результат запроса при отправке по HTTP.

    Чтобы ClickHouse сжал ответ при включенной настройке, добавьте в запрос заголовок Accept-Encoding: <метод сжатия>.

    Поддерживаются следующие методы сжатия: gzip, br и deflate.

    По умолчанию сжатие данных в ответе на HTTP-запрос выключено.

    Подробнее см. в документации ClickHouse.

  • Fallback to stale replicas for distributed queries Консоль управления CLI API SQL

    Включает или выключает форсирование запроса в устаревшую реплику в случае, если актуальные данные недоступны. Из устаревших реплик таблицы ClickHouse выбирает наиболее актуальную. Используется при выполнении SELECT из распределенной таблицы, которая указывает на реплицированные таблицы.

    По умолчанию форсирование запроса включено.

    Подробнее см. в документации ClickHouse.

    См. также настройку Max replica delay for distributed queries.

  • Force index by date Консоль управления CLI API SQL

    Запрещает выполнение запросов, если использовать индекс по дате невозможно. Работает с таблицами семейства MergeTree.

    По умолчанию опция выключена (выполнение запросов разрешено).

    Подробнее см. в документации ClickHouse.

  • Force primary key Консоль управления CLI API SQL

    Запрещает выполнение запросов, если использовать индекс по первичному ключу невозможно. Работает с таблицами семейства MergeTree.

    По умолчанию опция выключена (выполнение запросов разрешено).

    Подробнее см. в документации ClickHouse.

  • GROUP BY overflow mode Консоль управления CLI API SQL

    Определяет поведение ClickHouse в ситуации, когда количество уникальных ключей при агрегации превысило ограничение:

    • throw — прервать выполнение, вернуть ошибку.
    • break — вернуть неполный результат.
    • any — выполнить GROUP BY приближённо. Качество такого приближённого вычисления сильно зависит от статистических свойств данных.

    Значение по умолчанию — не выбрано (эквивалентно throw).

  • GROUP BY two level threshold Консоль управления CLI API SQL

    Определяет порог количества ключей, при достижении которого начинается двухуровневая агрегация.

    Значение 0 — порог не установлен (по умолчанию — 10000).

  • GROUP BY two level threshold bytes Консоль управления CLI API SQL

    Определяет порог количества байт в агрегате, при достижении которого начинается двухуровневая агрегация.

    Значение 0 — порог не установлен (по умолчанию — 100000000).

  • HTTP connection timeout Консоль управления CLI API SQL

    Задает время ожидания установления HTTP-соединения в миллисекундах.

    Значение должно быть больше нуля (по умолчанию — 1000, 1 секунда).

  • HTTP headers progress interval Консоль управления CLI API SQL

    Задает минимальный интервал (в миллисекундах) между уведомлениями о ходе выполнения запроса с помощью HTTP-заголовка X-ClickHouse-Progress.

    Значение должно быть больше нуля (по умолчанию — 100).

  • HTTP receive timeout Консоль управления CLI API SQL

    Задает время ожидания приема данных через HTTP-соединение в миллисекундах.

    Значение должно быть больше нуля (по умолчанию — 1800000, 1800 секунд, 30 минут).

  • HTTP send timeout Консоль управления CLI API SQL

    Задает время ожидания отправки данных через HTTP-соединение в миллисекундах.

    Значение должно быть больше нуля (по умолчанию — 1800000, 1800 секунд, 30 минут).

  • Input format defaults for omitted fields Консоль управления CLI API SQL

    Включает или выключает замену пропущенных полей значениями по умолчанию для типа данных столбца при вставке данных запросом INSERT.

    По умолчанию замена включена.

    Подробнее см. в документации ClickHouse.

  • Input format values interpret expressions Консоль управления CLI API SQL

    Включает или выключает парсер SQL, если потоковый парсер не может проанализировать данные. Используйте эту настройку, если значения, которые вы хотите вставить в таблицу, содержат в себе выражения SQL.

    Например, при вставке в таблицу значения, содержащего в себе выражение now(), потоковый парсер не сможет распознать это выражение , в то время как при включенном парсере SQL выражение будет распознано корректно и в качестве значения будет вставлен результат выполнения SQL-функции now() (текущая дата и время).

    Эта опция используется только для формата Values при вставке данных.

    По умолчанию парсер SQL включен.

    Подробнее см. в документации ClickHouse.

  • Insert quorum Консоль управления CLI API SQL

    Включает или выключает кворумную запись в кластере ClickHouse:

    • Если значение меньше 2, то кворумная запись выключена.
    • Если значение больше либо равно 2, то кворумная запись включена.

    Кворумная запись позволяет гарантировать, что за время, не большее чем Insert quorum timeout, ClickHouse смог без ошибок записать данные в кворум из Insert quorum реплик. Все реплики в кворуме консистентны, т.е. содержат данные всех более ранних запросов INSERT. Использование кворума при записи позволяет гарантировать, что данные не потеряются при выходе из строя одной или нескольких реплик.

    При чтении данных, записанных с помощью Insert quorum, можно использовать настройку Select sequential consistency.

    Подробнее см. в документации ClickHouse.

  • Insert quorum timeout Консоль управления CLI API SQL

    Задает время ожидания кворумной записи в миллисекундах. Если время прошло, а запись так не состоялась, то ClickHouse прервет выполнение INSERT-запроса, вернет ошибку, и клиент должен повторить запрос на запись того же блока на эту же или любую другую реплику.

    Минимальное значение — 1000 (1 секунда), по умолчанию — 60000 (1 минута).

  • Join use nulls Консоль управления CLI SQL

    Устанавливает тип поведения JOIN. При объединении таблиц могут появляться пустые ячейки. Если опция включена, то тип присоединяемого поля преобразуется в Nullable, а пустая ячейка заполняется значением NULL. В противном случае, пустая ячейка заполняется значением по умолчанию для данного типа поля.

    По умолчанию опция выключена.

    Подробнее см. в документации ClickHouse.

  • Joined subquery requires alias Консоль управления CLI SQL

    Требует наличия псевдонимов для подзапросов при выполнении операции JOIN.

    При включенной настройке подобный запрос не будет выполнен:

    SELECT col1, col2 FROM table1 JOIN (SELECT col3 FROM table2)

    При этом запрос с заданным псевдонимом будет выполнен успешно:

    SELECT col1, col2 FROM table1 JOIN (SELECT col3 FROM table2) AS MyQuery

    По умолчанию опция выключена.

  • Low cardinality allow in native format Консоль управления CLI API SQL

    Определяет, использовать ли тип LowCardinality в native-формате:

    • опция включена — да, использовать.
    • опция выключена — конвертировать столбцы LowCardinality в обычные столбцы для запроса SELECT, и конвертировать обычные столбцы в требуемый LowCardinality-столбец для запроса INSERT.

    Столбцы этого типа, также известные как «разреженные столбцы», позволяют более эффективно хранить данные в виде хэш-таблиц. Если данные это позволяют, ClickHouse использует столбец типа LowCardinality.

    Если вы используете сторонний клиент для ClickHouse, который не умеет работать со столбцами типа LowCardinality, то такой клиент не сможет правильно интерпретировать результат запроса, если в запросе будет присутствовать столбец типа LowCardinality. Выключите эту настройку, чтобы включать в результат столбец в обычном формате и позволить сторонним клиентам обработать результат.

    Официальный клиент ClickHouse умеет работать со столбцами типа LowCardinality.

    По умолчанию опция включена.

  • Max AST depth Консоль управления CLI API SQL

    Ограничивает максимальную глубину вложенности синтаксического дерева.

    Для больших и сложных запросов может быть построено синтаксическое дерево очень большой глубины. При помощи этой настройки вы можете запретить выполнение излишне больших или неоптимальных запросов для больших таблиц.

    Например, запрос SELECT * в большинстве случаев породит более сложное и глубокое синтаксическое дерево, чем запрос SELECT ... WHERE ... с ограничениями и условиями. Наложение ограничения с помощью настройки может побудить пользователя оптимизировать излишне сложные запросы.

    Значение должно быть больше нуля (по умолчанию — 1000). Слишком маленькое значение может привести к невозможности выполнения большинства запросов.

    Подробнее см. в документации ClickHouse.

  • Max AST elements Консоль управления CLI API SQL

    Ограничивает максимальное количество элементов синтаксического дерева запроса (количество узлов дерева).

    Для больших и сложных запросов может быть построено синтаксическое дерево c очень большим количеством элементов. При помощи этой настройки вы можете запретить выполнение излишне больших или неоптимальных запросов для больших таблиц.

    Значение должно быть больше нуля (по умолчанию — 50000). Слишком маленькое значение может привести к невозможности выполнения большинства запросов.

    Подробнее см. в документации ClickHouse.

  • Max block size Консоль управления CLI API SQL

    Данные в ClickHouse обрабатываются по блокам (наборам кусочков столбцов). Внутренние циклы обработки для одного блока достаточно эффективны, но есть заметные издержки на каждый блок. Эта настройка — рекомендация, какой размер блока (в количестве строк) загружать из таблиц.

    Значение должно быть больше нуля (по умолчанию — 65536).

    Подробнее см. в документации ClickHouse.

  • Max bytes before external GROUP BY Консоль управления CLI API SQL

    Задает порог потребления оперативной памяти (в байтах), по достижении которого временные данные, накопленные при выполнении операции агрегации GROUP BY, сбрасываются на диск для экономии оперативной памяти.

    По умолчанию агрегирование выполняется в памяти с помощью хэш-таблицы. Если запрос приводит к необходимости агрегации больших объемов данных, которые могут не поместиться в оперативную память и вызвать ошибку при выполнении запроса (см. настройку Max memory usage) — используйте эту настройку, чтобы ClickHouse сбрасывал данные на диск и успешно выполнял агрегацию.

    Минимальное значение и значение по умолчанию — 0 (GROUP BY во внешней памяти отключен).

    При использовании агрегации во внешней памяти рекомендуется задать значение этой настройки в два раза меньше значения настройки Max memory usage (по умолчанию максимальное использование памяти ограничено десятью гигабайтами).

    Подробнее см. в документации ClickHouse.

    См. также настройку Distributed aggregation memory efficient.

  • Max bytes before external sort Консоль управления CLI API SQL

    Настройка аналогична предыдущей, за исключением того, что она применяется для операции сортировки (ORDER BY).

  • Max bytes in DISTINCT Консоль управления CLI API SQL

    Ограничивает максимальное количество байт (несжатых данных), занимаемых хэш-таблицей, при использовании DISTINCT.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max bytes to read Консоль управления CLI API SQL

    Ограничивает максимальное количество байт (несжатых данных), которое можно прочитать из таблицы при выполнении запроса.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max bytes to sort Консоль управления CLI API SQL

    Ограничивает максимальное количество байт (несжатых данных), которое можно прочитать из таблицы до сортировки. Позволяет ограничить потребление оперативной памяти при сортировке.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max bytes to transfer Консоль управления CLI API SQL

    Ограничивает максимальное количество байт (несжатых данных), которых можно передать на удалённый сервер или сохранить во временную таблицу, при использовании GLOBAL IN.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max columns to read Консоль управления CLI API SQL

    Ограничивает максимальное количество столбцов, которое можно читать из таблицы в одном запросе. Если запрос требует чтения большего количества столбцов — он будет завершен с ошибкой.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max execution time Консоль управления CLI API SQL

    Ограничивает максимальное время выполнения запроса в миллисекундах. На данный момент не проверяется при одной из стадий сортировки а также при слиянии и финализации агрегатных функций.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max expanded AST elements Консоль управления CLI API SQL

    Ограничивает максимальное количество элементов синтаксического дерева запроса (количество узлов дерева) после раскрытия псевдонимов и звездочки.

    Для больших и сложных запросов может быть построено синтаксическое дерево c очень большим количеством элементов. При помощи этой настройки вы можете запретить выполнение излишне больших или неоптимальных запросов для больших таблиц.

    Значение должно быть больше нуля (по умолчанию — 500000). Слишком маленькое значение может привести к невозможности выполнения большинства запросов.

  • Max INSERT block size Консоль управления CLI API SQL

    Позволяет формировать блоки указанного размера (в байтах) при вставке в таблицу. Эта настройка действует только в тех случаях, когда сервер сам формирует такие блоки.

    Значение должно быть больше нуля (по умолчанию — 1048576).

    Подробнее см. в документации ClickHouse.

  • Max memory usage Консоль управления CLI API SQL

    Ограничивает максимально возможный объём оперативной памяти (в байтах) для выполнения запроса на одном сервере. Настройка не учитывает объём свободной памяти или общий объём памяти на машине. Ограничение действует на один запрос, в пределах одного сервера.

    Минимальное значение — 0 (нет ограничения). В конфигурационном файле по умолчанию ограничение равно 10737418240 (10 ГБ).

    Если вы также используете настройки Max bytes before external GROUP BY или Max bytes before external sort, рекомендуется, чтобы их значения были в два раза меньше значения Max memory usage.

    Подробнее см. в документации ClickHouse.

  • Max memory usage for user Консоль управления CLI API SQL

    Ограничивает максимально возможный объём оперативной памяти (в байтах) для выполнения запросов пользователя на одном сервере. Настройка не учитывает объём свободной памяти или общий объём памяти на машине. Ограничение действует на все запросы пользователя, которые выполняются одновременно в пределах одного сервера.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max network bandwidth Консоль управления CLI API SQL

    Ограничивает скорость обмена данными по сети (байт в секунду) при выполнении одного запроса.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max network bandwidth for user Консоль управления CLI API SQL

    Ограничивает скорость обмена данными по сети (байт в секунду). Эта настройка, в отличие от предыдущей, влияет на все одновременно выполняющиеся запросы пользователя.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max query size Консоль управления CLI API SQL

    Ограничивает размер наибольшей части запроса (в байтах), которая может быть передана в оперативную память для разбора с помощью парсера SQL.

    Значение должно быть больше нуля (по умолчанию — 262144).

    Подробнее см. в документации ClickHouse.

  • Max replica delay for distributed queries Консоль управления CLI API SQL

    Ограничивает максимальную задержку реплики в миллисекундах. Если реплика отстает на значение больше установленного, реплика перестает использоваться.

    Минимальное значение — 1000 (1 секунда). Значение по умолчанию — 300000 (300 секунд или 5 минут).

    Подробнее см. в документации ClickHouse.

    См. также описание настройки Fallback to stale replicas for distributed queries.

  • Max result bytes Консоль управления CLI API SQL

    Ограничивает количество несжатых байт результата. Это ограничение проверяется также для подзапросов и на удалённых серверах при выполнении части распределённого запроса.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max result rows Консоль управления CLI API SQL

    Ограничивает количество строк результата. Это ограничение проверяется также для подзапросов и на удалённых серверах при выполнении части распределённого запроса.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max rows in DISTINCT Консоль управления CLI API SQL

    Ограничивает максимальное количество различных строк при использовании DISTINCT.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max rows to group by Консоль управления CLI API SQL

    Ограничивает максимальное количество уникальных ключей, получаемых в процессе агрегации. Позволяет ограничить потребление оперативной памяти при агрегации.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max rows to read Консоль управления CLI API SQL

    Ограничивает максимальное количество строк, которое можно прочитать из таблицы при выполнении запроса.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

    Подробнее см. в документации ClickHouse.

  • Max rows to sort Консоль управления CLI API SQL

    Ограничивает максимальное количество строк для сортировки. Позволяет ограничить потребление оперативной памяти при сортировке.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max rows to transfer Консоль управления CLI API SQL

    Ограничивает максимальное количество строк, которое можно передать на удалённый сервер или сохранить во временную таблицу, при использовании GLOBAL IN.

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max temporary columns Консоль управления CLI API SQL

    Ограничивает максимальное количество временных столбцов, которое должно храниться в оперативной памяти одновременно при выполнении запроса (с учетом постоянных столбцов).

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max temporary non const columns Консоль управления CLI API SQL

    Ограничивает максимальное количество временных столбцов, которое должно храниться в оперативной памяти одновременно при выполнении запроса (без учета постоянных столбцов).

    Минимальное значение и значение по умолчанию — 0 (нет ограничения).

  • Max threads Консоль управления CLI API SQL

    Ограничивает максимальное количество потоков обработки запроса (без учёта потоков для чтения данных с удалённых серверов). Этот параметр относится к потокам, которые выполняют параллельно одни стадии конвейера выполнения запроса.

    Минимальное значение и значение по умолчанию — 0 (значение вычисляется автоматически — это количество процессорных ядер без учёта Hyper-Threading).

    Подробнее см. в документации ClickHouse.

  • Merge tree max bytes to use cache Консоль управления CLI API SQL

    Ограничивает максимальный размер запроса в байтах для использования кэша несжатых данных. Кэш не используется для запросов, превышающих указанный размер.

    Эта настройка используется совместно с Use uncompressed cache.

    Значение должно быть больше нуля (по умолчанию: 192x10x1024x1024).

  • Merge tree max rows to use cache Консоль управления CLI API SQL

    Ограничивает максимальный размер запроса в строках для использования кэша несжатых данных. Кэш не используется для запросов, превышающих указанный размер.

    Эта настройка используется совместно с Use uncompressed cache.

    Значение должно быть больше нуля (по умолчанию: 128x8192).

  • Merge tree min bytes for concurrent read Консоль управления CLI API SQL

    Ограничивает минимальное количество байт, которое надо прочитать из файла, чтобы использовать одновременное чтение. Если количество байт, прочитанных из файла, превышает заданное значение, то ClickHouse пытается выполнить одновременное чтение из этого файла в несколько потоков.

    Значение должно быть больше нуля (по умолчанию: 24x10x1024x1024).

  • Merge tree min rows for concurrent read Консоль управления CLI API SQL

    Ограничивает минимальное количество строк, которое надо прочитать из файла, чтобы использовать одновременное чтение. Если количество строк, прочитанных из файла, превышает заданное значение, то ClickHouse пытается выполнить одновременное чтение из этого файла в несколько потоков.

    Значение должно быть больше нуля (по умолчанию: 20x8192).

  • Min bytes to use Direct I/O Консоль управления CLI API SQL

    Ограничивает минимальный объём данных в байтах, необходимый для прямого (небуферизованного) чтения (Direct I/O) на диск. ClickHouse использует этот параметр при чтении данных из таблиц.

    По умолчанию ClickHouse читает данные не напрямую с диска, а полагается на файловую систему и её кэш. Такое чтение эффективно при небольших объемах данных. Если данные читаются в больших объемах, эффективнее читать их с диска напрямую, минуя кэш файловой системы.

    Если общий объём хранения всех данных для чтения превышает заданное значение настройки, тогда ClickHouse читает данные с диска напрямую.

    Минимальное значение и значение по умолчанию — 0 (прямой ввод/вывод отключен).

  • Min count to compile Консоль управления CLI API SQL

    Определяет, после какого количества структурно идентичных запросов начать компиляцию.

    Минимальное значение — 0. Значение по умолчанию — 3.

    Для значения 0 компиляция выполняется синхронно: запрос ожидает окончания процесса компиляции перед продолжением выполнения. Рекомендуется использовать это значение только в целях тестирования.

    Для всех других значений компиляция выполняется асинхронно, в отдельном потоке: когда результат будет готов, он сразу же будет использован, в том числе уже выполняющимися в данный момент запросами.

    Подробнее см. в документации ClickHouse.

  • Min count to compile expression Консоль управления CLI API SQL

    Определяет, после какого количества идентичных выражений начать компиляцию выражений.

    Минимальное значение — 0. Значение по умолчанию — 3.

    Для значения 0 компиляция выполняется синхронно: выражение ожидает окончания процесса компиляции перед продолжением выполнения запроса. Рекомендуется использовать это значение только в целях тестирования.

    Для всех других значений компиляция выполняется асинхронно, в отдельном потоке: когда результат будет готов, он сразу же будет использован, в том числе уже выполняющимися в данный момент запросами.

  • Min INSERT block size bytes Консоль управления CLI API SQL

    Ограничивает минимальное количество байтов в блоке, который может быть вставлен в таблицу запросом INSERT. Блоки меньшего размера склеиваются в блоки большего размера.

    Минимальное значение — 0 (склейка блоков выключена). Значение по умолчанию — ‭268435456‬‬ (256 МБ).

  • Min INSERT block size rows Консоль управления CLI API SQL

    Ограничивает минимальное количество строк в блоке, который может быть вставлен в таблицу запросом INSERT. Блоки меньшего размера склеиваются в блоки большего размера.

Минимальное значение — 0 (склейка блоков выключена). Значение по умолчанию — 1048576.

  • Output format JSON quote denormals Консоль управления CLI API SQL

    Включает или выключает вывод специальных значений для чисел с плавающей запятой (+nan, -nan, +inf и -inf) при выводе в JSON.

    По умолчанию специальные значения не выводятся.

  • Output format JSON quote_64bit integers Консоль управления CLI API SQL

    Определяет формат чисел в JSON-выводе. Если опция включена, то при выводе в JSON 64-битные числа (UInt64 и Int64) выводятся в кавычках (из соображений совместимости с большинством реализаций JavaScript), иначе — без кавычек.

    По умолчанию вывод 64-битных целых чисел в кавычках выключен.

  • Priority Консоль управления CLI API SQL

    Определяет приоритет запроса:

    • 0 — приоритет не используется.
    • 1 — наивысший приоритет.
    • далее — чем выше число, тем ниже приоритет.

    Эта настройка выставляется для каждого запроса по отдельности.

    Если ClickHouse в текущий момент времени выполняет запросы с более высокими приоритетами, чем приоритет поступившего запроса, то выполнение такого запроса приостанавливается до завершения выполнения более приоритетных запросов.

    Минимальное значение и значение по умолчанию — 0.

  • Quota mode Консоль управления CLI SQL

    Задает режим учёта потребляемых ресурсов при включенных квотах:

    • default — режим по умолчанию, ключи не используются.
    • keyed — в параметре пользовательского запроса передаётся ключ quota_key, и квота считается по отдельности для каждого значения ключа.
    • keyed_by_ip — аналогично предыдущему, только в качестве ключа выступает IP-адрес пользователя (стоит учесть, что пользователь может достаточно легко менять IPv6-адрес).

    Значение по умолчанию — не выбрано (эквивалентно default).

    Подробнее см. в документации ClickHouse.

  • Read overflow mode Консоль управления CLI API SQL

    Определяет поведение ClickHouse в ситуации, когда количество прочитанных данных превысило одно из ограничений — throw (прервать выполнение, вернуть ошибку) или break (вернуть неполный результат).

    Значение по умолчанию — не выбрано (эквивалентно throw).

  • Readonly Консоль управления CLI API SQL

    Ограничивает разрешения для выполнения запросов на чтение данных, запись данных и изменение параметров:

    • 0 — разрешено выполнять все типы запросов, нет ограничений (значение по умолчанию).
    • 1 — разрешено выполнять только запросы на чтение данных.
    • 2 — разрешено выполнять запросы на чтение данных и изменение настроек.

    Настройка не влияет на возможность выполнения DDL-запросов. Чтобы разрешить или запретить выполнение DDL-запросов, используйте настройку Allow DDL.

    Подробнее см. в документации ClickHouse.

    См. также: пример создания пользователя с правами «только чтение».

  • Receive timeout Консоль управления CLI API SQL

    Задает время ожидания приема данных в миллисекундах.

    Значение должно быть больше нуля (по умолчанию — 300000, 300 секунд, 5 минут).

  • Replication ALTER partitions sync Консоль управления CLI API SQL

    Задает условия ожидания завершения асинхронных действий на репликах для запросов ALTER ... ATTACH DETACH DROP:

    • 0 — не ждать.
    • 1 — ждать выполнения только у себя (значение по умолчанию).
    • 2 — ждать всех.

    Подробнее см. в документации ClickHouse.

  • Result overflow mode Консоль управления CLI API SQL

    Определяет поведение ClickHouse в ситуации, когда объём результата превысил одно из ограничений — throw (прервать выполнение, вернуть ошибку) или break (вернуть неполный результат).

    Значение по умолчанию — не выбрано (эквивалентно throw).

  • SELECT sequential consistency Консоль управления CLI API SQL

    Включает или выключает последовательную консистентность для запросов SELECT.

    По умолчанию последовательная консистентность выключена.

    Подробнее см. в документации ClickHouse.

  • Send progress in HTTP headers Консоль управления CLI API SQL

    Включает или выключает отсылку уведомления о ходе выполнения с использованием заголовков X-ClickHouse-Progress.

    По умолчанию отсылка уведомлений выключена.

  • Send timeout Консоль управления CLI API SQL

    Задает время ожидания отправки данных в миллисекундах.

    Значение должно быть больше нуля (по умолчанию — 300000, 300 секунд, 5 минут).

  • Skip unavailable shards Консоль управления CLI API SQL

    Включает или выключает тихий пропуск недоступных шардов (шард считается недоступным, если все его реплики недоступны).

    По умолчанию тихий пропуск недоступных шардов выключен.

    Подробнее см. в документации ClickHouse.

  • Sort overflow mode Консоль управления CLI API SQL

    Определяет поведение ClickHouse в ситуации, когда количество строк, полученных перед сортировкой, превысило одно из ограничений — throw (прервать выполнение, вернуть ошибку) или break (вернуть неполный результат).

    Значение по умолчанию — не выбрано (эквивалентно throw).

  • Timeout overflow mode Консоль управления CLI API SQL

    Определяет поведение ClickHouse в ситуации, когда запрос выполняется дольше max_execution_time — throw (прервать выполнение, вернуть ошибку) или break (вернуть неполный результат).

    Значение по умолчанию — не выбрано (эквивалентно throw).

  • Transfer overflow mode Консоль управления CLI API SQL

    Определяет поведение ClickHouse в ситуации, когда количество данных для передачи на другой сервер превысило одно из ограничений — throw (прервать выполнение, вернуть ошибку) или break (вернуть неполный результат).

    Значение по умолчанию — не выбрано (эквивалентно throw).

  • Transform null in Консоль управления CLI SQL

    При включенной опции сравнение NULL = NULL вернет true в операторе IN.

    По умолчанию опция выключена (это сравнение вернет false в операторе IN).

    Подробнее см. в документации ClickHouse.

  • Use uncompressed cache Консоль управления CLI API SQL

    Определяет, использовать ли кэш разжатых блоков. Использование кэша несжатых блоков (только для таблиц семейства MergeTree) может существенно сократить задержку и увеличить пропускную способность при работе с большим количеством коротких запросов. Включите эту настройку для пользователей, от которых идут частые короткие запросы.

    По умолчанию кэш не используется.

    Подробнее см. в документации ClickHouse.

    См. также настройки Merge tree max bytes to use cache и Merge tree max rows to use cache.

Пользовательские настройки

SQL

Пользовательские настройки можно переопределять, как переменные, в профиле настроек, сессии или запросе. Работа с профилями настроек доступна, если для кластера включено управление пользователями через SQL.

Название пользовательской настройки в Managed Service for ClickHouse должно начинаться с предопределенного префикса custom_. Префикс фиксированный — пользователь не может его менять.

В этой статье: