Мониторинг состояния трансфера
Данные о состоянии трансфера доступны в консоли управления. Их можно посмотреть на вкладке Мониторинг страницы управления трансфером или в сервисе Yandex Monitoring.
Диагностическая информация о состоянии трансфера представлена в виде графиков.
Вы можете настроить алерты в сервисе Yandex Monitoring для получения уведомлений о сбоях в работе трансфера. В Yandex Monitoring используются два порога срабатывания алерта: Warning
и Alarm
. При превышении заданного порога вы получите оповещения через настроенные каналы уведомлений.
Мониторинг состояния трансфера
Для просмотра информации о состоянии трансфера:
- Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
- На панели слева выберите Трансферы.
- Нажмите на имя нужного трансфера и выберите вкладку Мониторинг.
- Чтобы перейти к работе с метриками, дашбордами или алертами в сервисе Yandex Monitoring, нажмите кнопку Открыть в мониторинге на панели сверху.
На странице появятся графики:
-
Data upload lag (histogram by seconds) — гистограмма, которая показывает разницу во времени между появлением записей на приемнике и их появлением на источнике (в секундах). Гистограмма разбита на диапазоны (
bin
).Допустим, в выбранный момент времени на гистограмме представлены два диапазона
bin
45 и 60, со значением в 50% каждый. Это означает, что половина переносимых в этот момент записей имела задержку передачи от 30 до 45 секунд, а половина — от 45 до 60 секунд. -
Successfully pushed rows:
- Для табличных СУБД — скорость вставки строк в таблицы.
- Для нереляционных СУБД — скорость переноса объектов, хранящихся в коллекциях (штук в секунду).
-
Maximum lag on delivery — максимальное отставание данных (в секундах).
-
Successfully pushed rows by tables (top-50 tables) — ТОП-50 таблиц с максимальным количеством записанных в приемник строк.
-
Read buffer size — объем буфера или журнала опережающей записи (там, где он поддерживается) в источнике (в байтах).
-
Read bytes from source (top-50 workers) — объем считанных из источника данных (в байтах).
-
Sink response time (histogram by seconds) — время, нужное приемнику для обработки запроса от источника за последний интервал мониторинга (в секундах).
-
Read rows (parsed/unparsed) — количество считанных из источника строк.
-
Snapshot task progress (top-50 tables) — количество строк, ожидающих переноса.
-
Snapshot task status — выполняющаяся операция (
0
— репликация,1
— копирование).
Интеграция с Yandex Monitoring
Чтобы настроить алерты показателей состояния трансфера:
- В консоли управления выберите каталог с трансфером, для которого нужно настроить алерты.
- В списке сервисов выберите Monitoring.
- В блоке Сервисные дашборды выберите Data Transfer.
- На нужном графике с показателями нажмите на значок
- Если на графике больше одного показателя, создайте запрос данных для формирования метрики. Подробнее о языке запросов см. в документации Yandex Monitoring.
- Задайте значения порогов
Alarm
иWarning
для оповещения. - Нажмите Создать алерт.
Рекомендуемые значения порогов для некоторых метрик:
Метрика | Обозначение | Alarm |
Warning |
---|---|---|---|
Максимальная задержка передачи данных | sinker.pusher.time.row_max_lag_sec |
15 |
— |
Объем буфера в источнике | publisher.consumer.log_usage_bytes |
— | Не ниже максимального объема данных, поступающих в источник в рамках одной транзакции |