Асинхронная репликация данных из Яндекс Метрика в ClickHouse с помощью Yandex Data Transfer

С помощью сервиса Data Transfer вы можете перенести данные из счетчика Яндекс Метрика в кластер ClickHouse. Такой перенос обеспечивает полноту переносимых данных из Яндекс Метрика и предоставляет возможности для:

• обработки данных средствами ClickHouse;
• стриминга из ClickHouse в другие локации;
• визуализации с помощью Yandex DataLens или других сервисов.

Чтобы перенести данные:

1. Подготовьте и активируйте трансфер.
2. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Подготовьте инфраструктуру:

1. Выберите счетчик Яндекс Метрика или создайте и установите новый счетчик.

2. Создайте кластер-приемник Managed Service for ClickHouse любой подходящей конфигурации.

Подготовьте и активируйте трансфер

1. Создайте эндпоинт для источника Metrica.

   Хиты и визиты переносятся как отдельные таблицы.

2. Создайте эндпоинт для приемника:

   • Тип базы данных — ClickHouse.

   • Параметры эндпоинта → Тип подключения — Кластер Managed Service for ClickHouse.

     Выберите кластер-приемник из списка и укажите настройки подключения к нему.

3. Создайте трансфер типа Репликация, использующий созданные эндпоинты.

4. Активируйте его.

Трансфер не переносит исторические данные, только текущие. Если трансфер деактивировать и активировать снова:

1. Данные полученные счетчиком Яндекс Метрика, пока трансфер был деактивирован, перенесены не будут.

2. В соответствии с политикой очистки, выбранной в эндпоинте-приемнике, существующие таблицы с данными будут:

   • Drop — удалены вместе с данными и созданы заново с теми же именами.
   • Truncate — очищены от существующих данных, но сами таблицы и их схемы останутся.
   • Не очищать — использоваться для дальнейшей записи данных.

Проверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Убедитесь, что в базу данных Managed Service for ClickHouse перенеслись данные из счетчика Яндекс Метрика:

   1. Подключитесь к кластеру с помощью clickhouse-client.

   2. Проверьте, что в базе данных появились таблицы хитов и визитов:

      SELECT table FROM system.tables
      WHERE database = '<имя базы данных ClickHouse>'
      

      Результат:

      ┌─table───────────────────────┐
      │ hits_dt...                  │
      │ visits_dt...                │
      └─────────────────────────────┘
      

   3. Проверьте, что таблицы хитов и визитов содержат данные из счетчика:

      SELECT * FROM <имя таблицы хитов или визитов>
      

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите трансфер.
2. Удалите эндпоинты для источника и приемника.
3. Удалите кластер Managed Service for ClickHouse.
4. Удалите счетчик Яндекс Метрика из личного кабинета Метрики Про.