Мониторинг состояния ClickHouse-кластера и хостов

1. В консоли управления перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse.

2. Нажмите на имя нужного кластера и выберите вкладку Мониторинг.

3. Чтобы перейти к работе с метриками, дашбордами или алертами в сервисе Yandex Monitoring, нажмите кнопку Открыть в мониторинге на панели сверху.

Если в кластере используется механизм репликации и распределения запросов с использованием ZooKeeper, на вкладке Мониторинг появляются две вкладки:

• Clickhouse — графики, которые показывают работу всего кластера и хостов ClickHouse.
• Zookeeper — графики, которые характеризуют работу хостов ZooKeeper.

Если репликация не используется или использует механизм ClickHouse Keeper, графики с вкладки Clickhouse показываются на общей вкладке Мониторинг.

• Active locks per host — количество активных блокировок, для каждого хоста.
• Average insert query time per host — среднее время исполнения запросов вставки, для каждого хоста.
• Average query time per host — среднее время исполнения запросов, для каждого хоста.
• Average select query time per host — среднее время исполнения запросов выборки, для каждого хоста.
• Connections per host — количество подключений, для каждого хоста.
• Data parts — количество кусков данных.
• Databases — количество баз данных.
• CPU cores usage — количество занятых процессорных ядер.
• CPU cores usage per host — количество занятых процессорных ядер, для каждого хоста.
• CPU usage per host — загрузка процессорных ядер, для каждого хоста.
• Disk read per host — скорость чтения с диска, для каждого хоста (байт/с).
• Disk space usage — занятое дисковое пространство (в байтах).
• Disk space usage per host — занятое дисковое пространство, для каждого хоста (выводится два графика: в байтах и в процентах).
• Disk usage per host — скорость дисковых операций, для каждого хоста (байт/с).
• Disk write per host — скорость записи на диск, для каждого хоста (байт/с).
• Failed insert queries per host — процент неуспешных запросов вставки в секунду, для каждого хоста.
• Failed queries per host — общий процент неуспешных запросов в секунду, для каждого хоста.
• Failed select queries per host — процент неуспешных запросов выборки в секунду, для каждого хоста.
• Inode usage — использованное количество inodes (выводится два графика: в штуках и в процентах).
• Insert queries — количество запросов вставки в секунду.
• Insert queries per host — количество запросов вставки в секунду, для каждого хоста.
• Inserted data — скорость вставки данных (байт/с).
• Inserted data per host — скорость вставки данных, для каждого хоста (байт/с).
• Inserted rows per host — скорость вставки данных, для каждого хоста (строк/с).
• Max data parts per partition — количество кусков данных в партиции, наибольшее среди всех таблиц. Лимит для этой величины определяется настройками СУБД. Приближение к лимиту указывает на чрезмерную нагрузку или низкую эффективность вставки данных.
• Max replication delay across tables — задержка репликации, наибольшая среди всех таблиц. Значения больше нескольких секунд могут указывать на чрезмерную нагрузку или проблемы в работе репликации.
• Memory usage — использование оперативной памяти (в байтах).
• Memory usage per host — использование оперативной памяти, для каждого хоста (выводится два графика: в байтах и в процентах).
• Merged data — скорость слияния данных (байт/с).
• Merged data per host — скорость слияния данных, для каждого хоста (байт/с).
• Merged rows per host — скорость слияния данных, для каждого хоста (строк/с).
• Network data received per host — скорость приема данных из сети, для каждого хоста (байт/с).
• Network data sent per host — скорость отправки данных в сеть, для каждого хоста (байт/с).
• Network usage per host — скорость обмена данными по сети, для каждого хоста (байт/с).
• Read data — скорость чтения данных (байт/с).
• Read data per host — скорость чтения данных, для каждого хоста (байт/с).
• Read rows per host — скорость чтения данных, для каждого хоста (строк/с).
• Replication queue — суммарная очередь репликации всех таблиц.
• Rows of MergeTree tables — количество строк в таблицах семейства MergeTree.
• Select queries — количество запросов выборки в секунду.
• Select queries per host — количество запросов выборки в секунду, для каждого хоста.
• Tables — количество таблиц.
• Total queries — общее количество запросов в секунду.
• Total queries per host — общее количество запросов в секунду, для каждого хоста.
• Waiting locks per host — количество ожидающих блокировок, для каждого хоста.

1. В консоли управления перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse.
2. Нажмите на имя нужного кластера и выберите вкладку Хосты.
3. Выберите вкладку Мониторинги.
4. Выберите нужный хост из выпадающего списка. Возле имени хоста будет показан его тип: CLICKHOUSE или ZOOKEEPER.

На этой странице выводятся графики, показывающие нагрузку на отдельный хост кластера:

• CPU usage — загрузка процессорных ядер. При повышении нагрузки значение Idle уменьшается.
• Disk read/write bytes — скорость дисковых операций (байт/с).
• Disk IOPS — интенсивность дисковых операций (операций/с).
• Memory usage — использование оперативной памяти (в байтах). При высоких нагрузках значение параметра Free уменьшается, остальные — растут.
• Network bytes — скорость обмена данными по сети (байт/с).
• Network packets — интенсивность обмена данными по сети (пакетов/с).

1. В консоли управления выберите каталог с кластером, для которого нужно настроить алерты.
2. В списке сервисов выберите  Monitoring.
3. В блоке Сервисные дашборды выберите:
   • Managed Service for ClickHouse — Cluster Overview для настройки алертов кластера;
   • Managed Service for ClickHouse — ZooKeeper для настройки алертов хостов ZooKeeper.
   • Managed Service for ClickHouse — Host Overview для настройки алертов хостов.
4. На нужном графике с показателями нажмите на значок и выберите Создать алерт.
5. Если на графике несколько показателей, выберите запрос данных для формирования метрики и нажмите Продолжить. Подробнее о языке запросов см. в документации Yandex Monitoring.
6. Задайте значения порогов Alarm и Warning для срабатывания алерта.
7. Нажмите кнопку Создать алерт.

1. Создайте алерт.
2. Добавьте метрику состояния.
3. Задайте в параметрах алерта значения порогов для оповещения.

1. В консоли управления перейдите на страницу каталога и выберите Managed Service for ClickHouse.
2. Наведите курсор на индикатор в столбце Доступность в строке нужного кластера.