Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex Data Transfer
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Подготовка к трансферу
    • Настройка эндпоинтов
      • Управление эндпоинтами
      • Настройка эндпоинтов-источников
        • Apache Kafka®
        • AWS CloudTrail
        • BigQuery
        • ClickHouse
        • Greenplum®
        • MongoDB
        • MySQL
        • Oracle
        • PostgreSQL
        • S3
        • Yandex Data Streams
      • Настройка эндпоинтов-приемников
        • ClickHouse
        • Greenplum®
        • MongoDB
        • MySQL
        • Object Storage
        • PostgreSQL
        • YDB
    • Управление трансфером
    • Работа с базами данных во время трансфера
    • Мониторинг состояния трансфера
  • Практические руководства
    • Все руководства
    • Миграция базы данных в Yandex Managed Service for Greenplum®
    • Миграция базы данных в Yandex Managed Service for MongoDB
    • Миграция базы данных в Yandex Managed Service for MySQL
    • Миграция базы данных из Yandex Managed Service for MySQL в MySQL
    • Миграция базы данных в Yandex Managed Service for PostgreSQL
    • Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka®
    • Перенос данных из PostgreSQL в ClickHouse
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Сеть в Yandex Data Transfer
    • Какие задачи решает сервис
    • Жизненный цикл трансфера
    • Квоты и лимиты
  • Решение проблем
    • Обзор
    • MongoDB
    • MySQL
    • PostgreSQL
    • Yandex Managed Service for YDB и Yandex Data Streams
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • EndpointService
      • TransferService
      • OperationService
    • REST (англ.)
      • Overview
      • Endpoint
        • Overview
        • create
        • delete
        • get
        • list
        • update
      • Transfer
        • Overview
        • activate
        • create
        • deactivate
        • delete
        • get
        • list
        • update
  • Вопросы и ответы
  1. Пошаговые инструкции
  2. Мониторинг состояния трансфера

Мониторинг состояния трансфера

Статья создана
Yandex Cloud
  • Мониторинг состояния трансфера
  • Интеграция с Yandex Monitoring

Данные о состоянии трансфера доступны в консоли управления. Их можно посмотреть на вкладке Мониторинг страницы управления трансфером или в сервисе Yandex Monitoring.

Диагностическая информация о состоянии трансфера представлена в виде графиков.

Вы можете настроить алерты в сервисе Yandex Monitoring для получения уведомлений о сбоях в работе трансфера. В Yandex Monitoring используются два порога срабатывания алерта: Warning и Alarm. При превышении заданного порога вы получите оповещения через настроенные каналы уведомлений.

Мониторинг состояния трансфера

Для просмотра информации о состоянии трансфера:

Консоль управления
  1. Перейдите на страницу каталога и выберите сервис Yandex Data Transfer.
  2. На панели слева выберите Трансферы.
  3. Нажмите на имя нужного трансфера и выберите вкладку Мониторинг.
  4. Чтобы перейти к работе с метриками, дашбордами или алертами в сервисе Yandex Monitoring, нажмите кнопку Открыть в мониторинге на панели сверху.

На странице появятся графики:

  • Data upload lag (histogram by seconds) — гистограмма, которая показывает разницу во времени между появлением записей на приемнике и их появлением на источнике (в секундах). Гистограмма разбита на диапазоны (bin).

    Допустим, в выбранный момент времени на гистограмме представлены два диапазона bin 45 и 60, со значением в 50% каждый. Это означает, что половина переносимых в этот момент записей имела задержку передачи от 30 до 45 секунд, а половина — от 45 до 60 секунд.

  • Successfully pushed rows:

    • Для табличных СУБД — скорость вставки строк в таблицы.
    • Для нереляционных СУБД — скорость переноса объектов, хранящихся в коллекциях (штук в секунду).
  • Maximum lag on delivery — максимальное отставание данных (в секундах).

  • Successfully pushed rows by tables (top-50 tables) — ТОП-50 таблиц с максимальным количеством записанных в приемник строк.

  • Read buffer size — объем буфера или журнала опережающей записи (там, где он поддерживается) в источнике (в байтах).

  • Read bytes from source (top-50 workers) — объем считанных из источника данных (в байтах).

  • Sink response time (histogram by seconds) — время, нужное приемнику для обработки запроса от источника за последний интервал мониторинга (в секундах).

  • Read rows (parsed/unparsed) — количество считанных из источника строк.

  • Snapshot task progress (top-50 tables) — количество строк, ожидающих переноса.

  • Snapshot task status — выполняющаяся операция (0 — репликация, 1 — копирование).

Интеграция с Yandex Monitoring

Чтобы настроить алерты показателей состояния трансфера:

Консоль управления
  1. В консоли управления выберите каталог с трансфером, для которого нужно настроить алерты.
  2. В списке сервисов выберите Monitoring.
  3. В блоке Сервисные дашборды выберите Data Transfer.
  4. На нужном графике с показателями нажмите на значок и выберите пункт Создать алерт.
  5. Если на графике больше одного показателя, создайте запрос данных для формирования метрики. Подробнее о языке запросов см. в документации Yandex Monitoring.
  6. Задайте значения порогов Alarm и Warning для оповещения.
  7. Нажмите Создать алерт.

Рекомендуемые значения порогов для некоторых метрик:

Метрика Обозначение Alarm Warning
Максимальная задержка передачи данных sinker.pusher.time.row_max_lag_sec 15 —
Объем буфера в источнике publisher.consumer.log_usage_bytes — Не ниже максимального объема данных, поступающих в источник в рамках одной транзакции

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье:
  • Мониторинг состояния трансфера
  • Интеграция с Yandex Monitoring