Мониторинг состояния Elasticsearch-кластера и хостов

1. В консоли управления перейдите на страницу каталога и выберите сервис Managed Service for Elasticsearch.

2. Нажмите на имя нужного кластера и выберите вкладку Мониторинг.

3. Чтобы перейти к работе с метриками, дашбордами или алертами в сервисе Yandex Monitoring, нажмите кнопку Открыть в мониторинге на панели сверху.

На странице отображаются следующие графики:

• Active shards — количество активных первичных шардов и общее количество активных шардов в кластере.

• Deletion rate — количество операций удаления в секунду, для каждого хоста.

• Disk space usage percent — использование дискового пространства, для каждого хоста (в процентах).

• Flushes — количество операций сохранения лога транзакций (flush), для каждого хоста.

• Health status — уровень работоспособности и техническое состояние кластера:

  • 0 — красный: неработоспособное или частично работоспособное состояние. Хотя бы один из первичных шардов недоступен. Если кластер отвечает на запросы, результаты поиска в ответах будут неполными.
  • 1 — желтый: работоспособное состояние. Нет доступа хотя бы к одному из шардов-реплик. Результаты поиска в ответах кластера полные, но если появятся еще недоступные шарды, работоспособность кластера нарушится.
  • 2 — зеленый: исправное состояние. Все шарды кластера доступны.

• Indexing rate — интенсивность индексирования, для каждого хоста (операций/с).

• JVM heap — использование памяти кучи JVM, для каждого хоста (в байтах).

• JVM heap pressure — использование пула долгоживущих объектов JVM, для каждого хоста (в процентах).

• JVM old collections — количество циклов сборки мусора в пуле долгоживущих объектов JVM, для каждого хоста.

• JVM young collections — количество циклов сборки мусора в пуле новых объектов JVM, для каждого хоста.

• Merges — количество слияний сегментов индексов, для каждого хоста.

• Nodes — количество хостов с ролью Data node и общее количество хостов в кластере.

• Open file descriptors — количество открытых файловых дескрипторов, для каждого хоста.

• Other shards — количество неактивных шардов в каждом из состояний:

  • Delayed unassigned — назначение хоста отложено;
  • Unassigned — нет назначенного хоста;
  • Relocating — перемещаются на другой хост;
  • Initializing — инициализируются.

• Process CPU — загрузка процессорных ядер, которую создает процесс JVM Elasticsearch, для каждого хоста.

• Query cache — количество запросов в кеше, для каждого хоста.

• Read bytes — скорость чтения с диска, для каждого хоста (байт/с).

• Read operations — интенсивность чтения с диска, для каждого хоста (операций/с).

• Refreshes — количество операций обновления сегментов индексов (refresh), для каждого хоста.

• Search queries — количество запросов поиска в секунду, для каждого хоста.

• Segments — количество сегментов индексов, для каждого хоста.

• Store size — размер хранилища индексов на диске (в байтах).

• Write bytes — скорость записи на диск, для каждого хоста (байт/с).

• Write operations — интенсивность записи на диск, для каждого хоста (операций/с).

1. В консоли управления перейдите на страницу каталога и выберите сервис Managed Service for Elasticsearch.
2. Нажмите на имя нужного кластера и выберите вкладку Хосты
3. Выберите вкладку Мониторинги.
4. Выберите нужный хост из выпадающего списка.

На этой странице выводятся графики, показывающие нагрузку на отдельный хост кластера:

• CPU — загрузка процессорных ядер. При повышении нагрузки значение Idle уменьшается.
• Disk Bytes — скорость дисковых операций (байт/с).
• Disk IOPS — интенсивность дисковых операций (операций/с).
• Memory — использование оперативной памяти (в байтах). При высоких нагрузках значение параметра Free уменьшается, а значения остальных — растут.
• Network Bytes — скорость обмена данными по сети (байт/с).
• Network Packets — интенсивность обмена данными по сети (пакетов/с).

1. В консоли управления выберите каталог с кластером, для которого нужно настроить алерты.

2. В списке сервисов выберите  Monitoring.

3. В блоке Сервисные дашборды выберите:

   • Managed Service for Elasticsearch для настройки алертов кластера;
   • Managed Service for Elasticsearch — Host Overview для настройки алертов хостов.

4. На нужном графике нажмите на значок и выберите пункт Создать алерт.

5. Если на графике несколько показателей, выберите запрос данных для формирования метрики и нажмите Продолжить. Подробнее о языке запросов см. документацию Yandex Monitoring.

6. Задайте значения порогов Alarm и Warning для срабатывания алерта.

7. Нажмите кнопку Создать алерт.

1. Создайте алерт.
2. Добавьте метрику состояния.
3. Задайте в параметрах алерта значения порогов для оповещения.

1. В консоли управления перейдите на страницу каталога и выберите Managed Service for Elasticsearch.
2. Наведите курсор на индикатор в столбце Доступность в строке нужного кластера.