Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
Проект Яндекса
© 2023 ООО «Яндекс.Облако»
Практические руководства
  • Веб-сервис
    • Все руководства
    • Статический сайт в Object Storage
    • Сайт на LAMP- или LEMP-стеке
    • Отказоустойчивый сайт с балансировкой нагрузки с помощью Network Load Balancer
    • Отказоустойчивый сайт с балансировкой нагрузки с помощью Application Load Balancer
    • Сайт на базе Joomla с БД PostgreSQL
    • Создание сайта на WordPress
    • Сайт на WordPress с БД MySQL
    • Перенос WordPress сайта с хостинга в Yandex Cloud
    • Сайт на базе 1С-Битрикс
    • Организация виртуального хостинга
    • Создание балансировщика с защитой от DDoS
    • Публикация обновлений для игр с помощью Cloud CDN
    • Интеграция L7-балансировщика с Cloud CDN и Object Storage
    • Сине-зеленое и канареечное развертывание версий сервиса
    • Терминирование TLS-соединений
  • Интернет-магазины
    • Все руководства
    • Интернет-магазин на 1С-Битрикс
    • Интернет-магазин на OpenCart
  • Архив данных
    • Все руководства
    • Однонодовый файловый сервер
    • Настройка SFTP-сервера на Centos 7
    • Резервное копирование в Object Storage через Acronis
    • Резервное копирование в Object Storage с помощью CloudBerry Desktop Backup
    • Резервное копирование в Object Storage через Duplicati
    • Резервное копирование в Object Storage с помощью Bacula
    • Резервное копирование в Object Storage с помощью Veritas Backup Exec
    • Распознавание архива изображений в Vision
  • Тестовая среда
    • Все руководства
    • Тестирование приложений с помощью GitLab
    • Создание тестовых ВМ через GitLab CI
    • Высокопроизводительные вычисления на прерываемых ВМ
    • Эмуляция множества IoT-устройств
    • Нагрузочное тестирование gRPC-сервиса
    • Развертывание и нагрузочное тестирование gRPC-сервиса с масштабированием
    • HTTPS-тест с постоянной нагрузкой с помощью Phantom
    • HTTPS-тест со ступенчатой нагрузкой с помощью Pandora
    • Нагрузочное тестирование с нескольких агентов
  • Управление инфраструктурой
    • Все руководства
    • Начало работы с Terraform
    • Загрузка состояний Terraform в Object Storage
    • Начало работы с Packer
    • Сборка образа ВМ с набором инфраструктурных инструментов с помощью Packer
    • Автоматизация сборки образов с помощью Jenkins и Packer
    • Непрерывное развертывание контейнеризованных приложений с помощью GitLab
    • Создание кластера Linux-серверов «1С:Предприятия» с кластером Managed Service for PostgreSQL
    • Миграция в Yandex Cloud с помощью Hystax Acura
    • Защита от сбоев с помощью Hystax Acura
    • Настройка синхронизации часов с помощью NTP
    • Работа с группой ВМ с автомасштабированием
    • Масштабирование группы ВМ по расписанию
    • Автомасштабирование группы ВМ для обработки сообщений из очереди Message Queue
    • Обновление группы ВМ под нагрузкой
    • Передача логов с ВМ в Cloud Logging
    • Резервное копирование ВМ с помощью Hystax Acura Backup
    • Настройка отказоустойчивой архитектуры в Yandex Cloud
    • Создание SAP-программы в Yandex Cloud
    • Настройка локального кеширующего DNS-резолвера
    • Миграция DNS-зон из Яндекс 360 в Cloud DNS
    • Интеграция Cloud DNS и корпоративного сервиса DNS
    • Создание веб-хука резолвера ACME для ответов на DNS01-проверки
    • Запись логов балансировщика в PostgreSQL
    • Создание триггера для бюджетов, который вызывает функцию для остановки ВМ
  • Построение Data Platform
    • Все руководства
    • Миграция БД из стороннего кластера Apache Kafka® в Managed Service for Apache Kafka®
    • Поставка данных из Managed Service for MySQL в Managed Service for Apache Kafka® с помощью Data Transfer
    • Поставка данных из Managed Service for PostgreSQL в Managed Service for Apache Kafka® с помощью Data Transfer
    • Поставка данных из Managed Service for Apache Kafka® в Managed Service for ClickHouse с помощью Data Transfer
    • Перенос данных между кластерами Managed Service for Apache Kafka® с помощью Data Transfer
    • Поставка данных из Managed Service for Apache Kafka® в Managed Service for YDB с помощью Data Transfer
    • Поставка данных из Managed Service for MySQL в Managed Service for Apache Kafka® с помощью Debezium
    • Поставка данных из Managed Service for PostgreSQL в Managed Service for Apache Kafka® с помощью Debezium
    • Настройка Kafka Connect для работы с кластером Managed Service for Apache Kafka®
    • Управление схемами данных в Managed Service for Apache Kafka®
    • Использование Managed Schema Registry с Managed Service for Apache Kafka®
    • Использование Confluent Schema Registry с Managed Service for Apache Kafka®
    • Миграция базы данных из MySQL в ClickHouse с помощью Data Transfer
    • Асинхронная репликация данных из PostgreSQL в ClickHouse
    • Обмен данными между Managed Service for ClickHouse и Data Proc
    • Настройка Managed Service for ClickHouse для Graphite
    • Получение данных из Managed Service for Apache Kafka® в Managed Service for ClickHouse
    • Поставка данных из Managed Service for Apache Kafka® в Managed Service for ClickHouse с помощью Data Transfer
    • Получение данных из RabbitMQ в Managed Service for ClickHouse
    • Сохранение потока данных Data Streams в Managed Service for ClickHouse
    • Использование гибридного хранилища в Managed Service for ClickHouse
    • Шардирование таблиц Managed Service for ClickHouse
    • Настройка Cloud DNS для доступа к кластерам управляемых баз данных из других облачных сетей
    • Настройка Cloud DNS для доступа к кластеру Managed Service for ClickHouse из других облачных сетей
    • Обмен данными между Managed Service for ClickHouse и Data Proc
    • Импорт данных из Managed Service for MySQL в Data Proc с помощью Sqoop
    • Импорт данных из Managed Service for PostgreSQL в Data Proc с помощью Sqoop
    • Использование скриптов инициализации для настройки GeeseFS в Data Proc
    • Миграция данных из стороннего кластера Elasticsearch в Managed Service for Elasticsearch с помощью Reindex API
    • Миграция коллекций из стороннего кластера MongoDB в Managed Service for MongoDB
    • Миграция данных в Managed Service for MongoDB
    • Шардирование коллекций MongoDB
    • Анализ производительности и оптимизация MongoDB
    • Миграция БД из стороннего кластера MySQL в кластер Managed Service for MySQL
    • Анализ производительности и оптимизация Managed Service for MySQL
    • Синхронизация данных из стороннего кластера MySQL в Managed Service for MySQL с помощью Data Transfer
    • Миграция БД из Managed Service for MySQL в сторонний кластер MySQL
    • Миграция БД из Managed Service for MySQL в Object Storage с помощью Data Transfer
    • Импорт данных из Managed Service for MySQL в Data Proc с помощью Sqoop
    • Поставка данных из Managed Service for MySQL в Managed Service for Apache Kafka® с помощью Data Transfer
    • Поставка данных из Managed Service for MySQL в Managed Service for Apache Kafka® с помощью Debezium
    • Миграция БД из Managed Service for MySQL в Managed Service for YDB с помощью Data Transfer
    • Создание кластера PostgreSQL для «1С:Предприятия»
    • Анализ производительности и оптимизация Managed Service for PostgreSQL
    • Миграция БД из Managed Service for PostgreSQL
    • Миграция БД из стороннего кластера PostgreSQL в Managed Service for PostgreSQL
    • Асинхронная репликация данных из PostgreSQL в ClickHouse
    • Поставка данных из Managed Service for PostgreSQL в Managed Service for Apache Kafka® с помощью Data Transfer
    • Поставка данных из Managed Service for PostgreSQL в Managed Service for Apache Kafka® с помощью Debezium
    • Импорт данных из Managed Service for PostgreSQL в Data Proc с помощью Sqoop
    • Поставка данных из Managed Service for PostgreSQL в Managed Service for YDB с помощью Data Transfer
    • Миграция БД из Managed Service for PostgreSQL в Object Storage
    • Миграция БД из Greenplum® в ClickHouse
    • Миграция БД из Greenplum® в PostgreSQL
    • Миграция БД из стороннего кластера Redis в Managed Service for Redis
    • Использование кластера Managed Service for Redis в качестве хранилища сессий PHP
  • Продукты Microsoft в Yandex Cloud
    • Все руководства
    • Развертывание Active Directory
    • Развертывание Microsoft Exchange
    • Развертывание Remote Desktop Services
    • Развертывание группы доступности Always On с внутренним сетевым балансировщиком
    • Развертывание Remote Desktop Gateway
  • Сетевая инфраструктура
    • Все руководства
    • Архитектура и защита базового интернет-сервиса
    • Настройки DHCP для работы с корпоративным DNS-сервером
    • Маршрутизация с помощью NAT-инстанса
    • Создание туннеля IPSec VPN
    • Установка виртуального роутера Cisco CSR 1000v
    • Установка виртуального роутера Mikrotik CHR
    • Соединение с облачной сетью при помощи OpenVPN
    • Создание и настройка шлюза UserGate в режиме прокси-сервера
    • Создание и настройка шлюза UserGate в режиме межсетевого экрана
    • Настройка сети для Data Proc
  • Визуализация и анализ данных
    • Все руководства
    • Визуализация данных из файла
    • Создание и публикация диаграммы с картой Москвы из CSV-файла
    • Анализ продаж сети магазинов из БД ClickHouse
    • Анализ открытых данных ДТП на дорогах России
    • Анализ продаж и локаций пиццерий на данных из БД ClickHouse и Cloud Marketplace
    • Веб-аналитика с подключением к Яндекс Метрике
    • Веб-аналитика с расчетом воронок и когорт на данных Яндекс Метрики
    • Аналитика мобильного приложения на данных AppMetrica
    • Анализ статистики подкастов Яндекс Музыки (для авторов подкастов)
    • Визуализация данных с помощью QL-чарта
    • Анализ customer journey мобильного приложения на данных AppMetrica
    • Анализ логов Object Storage при помощи DataLens
  • Интернет вещей
    • Руководства по работе с интернетом вещей
    • Мониторинг состояния географически распределенных устройств
    • Мониторинг показаний датчиков и уведомления о событиях
  • Бессерверные технологии
    • Сокращатель ссылок
    • Ввод данных в системы хранения
    • Хранение журналов работы приложения
    • Развертывание веб-приложения с использованием Java Servlet API
    • Разработка Slack-бота
    • Разработка Telegram-бота
    • Разработка пользовательской интеграции в API Gateway
    • Разработка CRUD API для сервиса фильмов
    • Разработка навыка Алисы и сайта с авторизацией
  1. Визуализация и анализ данных
  2. Веб-аналитика с расчетом воронок и когорт на данных Яндекс Метрики

Веб-аналитика с расчетом воронок и когорт на данных Яндекс Метрики

Статья создана
Yandex Cloud
  • Перед началом работы
    • Необходимые платные ресурсы
  • 1. Подключите ClickHouse и DataSphere
    • 1.1. Подключите ClickHouse
    • 1.2. Подключите DataSphere
    • 1.3. Клонируйте репозиторий в DataSphere
  • 2. Получите и загрузите данные в ClickHouse
    • 2.1. Яндекс Метрика. Создайте приложение и получите токен доступа
    • 2.2. DataSphere. Выгрузите данные через Logs API Яндекс Метрики
    • 2.3. DataSphere. Выгрузите данные тестового счетчика через Яндекс Диск
    • 2.4. ClickHouse. Получите адрес кластера
    • 2.5. DataSphere. Загрузите данные в ClickHouse
  • 3. Подключите DataLens и создайте чарты
    • 3.1. Подключитесь к DataLens
    • 3.2. Создайте подключение к ClickHouse в DataLens
    • 3.3. Создайте датасет на базе подключения
    • 3.4. Создайте чарт — накопительная диаграмма с областями
    • 3.5. Создайте чарт — сводная таблица
  • 4. Создайте и настройте дашборд в DataLens
    • 4.1. Создайте дашборд
    • 4.2. Настройте дашборд
  • 5. Постройте воронки конверсий
    • 5.1. DataSphere. Постройте воронки
    • 5.2. DataLens. Воронки по браузерам. Создайте датасет
    • 5.3. DataLens. Воронки по браузерам. Создайте чарт
    • 5.4. DataLens. Воронки по браузерам. Добавьте чарт на дашборд
    • 5.5. DataLens. Воронки по браузерам. Настройте дашборд
  • 6. Проведите когортный анализ
    • 6.1. DataSphere. Проведите когортный анализ
    • 6.2. DataLens. Создайте датасет и чарт с визуализацией когорт
    • 6.3. DataLens. Настройте чарт с визуализацией когорт
    • 6.4. DataLens. Создайте чарт с ретеншеном
    • 6.5. DataLens. Добавьте чарты на новую вкладку дашборда
    • 6.6. DataLens. Создайте чарты
    • 6.7. DataLens. Добавьте чарты на дашборд
  • Как удалить созданные ресурсы

В этом практическом руководстве вы научитесь строить воронки конверсий, проведете когортный анализ и посчитаете Retention пользовательской базы в Yandex DataSphere и визуализируете данные в Yandex DataLens.

В качестве источника данных будут использованы данные из Яндекс Метрики.

  1. Подключите ClickHouse и DataSphere:
    1. Подключите ClickHouse.
    2. Подключите DataSphere.
    3. Клонируйте репозиторий в DataSphere.
  2. Получите и загрузите данные в ClickHouse:
    1. Яндекс Метрика. Создайте приложение и получите токен доступа.
    2. DataSphere. Выгрузите данные через Logs API Яндекс Метрики.
    3. DataSphere. Выгрузите данные тестового счетчика через Яндекс Диск.
    4. ClickHouse. Получите адрес кластера.
    5. DataSphere. Загрузите данные в ClickHouse.
  3. Подключите DataLens и создайте чарты:
    1. Подключитесь к DataLens.
    2. Создайте подключение к ClickHouse в DataLens.
    3. Создайте датасет на базе подключения.
    4. Создайте чарт — накопительная диаграмма с областями.
    5. Создайте чарт — сводная таблица.
  4. Создайте и настройте дашборд в DataLens:
    1. Создайте дашборд.
    2. Настройте дашборд.
  5. Постройте воронки конверсий:
    1. DataSphere. Постройте воронки.
    2. DataLens. Воронки по браузерам. Создайте датасет.
    3. DataLens. Воронки по браузерам. Создайте чарт.
    4. DataLens. Воронки по браузерам. Добавьте чарт на дашборд.
    5. DataLens. Воронки по браузерам. Настройте дашборд.
  6. Проведите когортный анализ:
    1. DataSphere. Проведите когортный анализ.
    2. DataLens. Создайте датасет и чарт с визуализацией когорт.
    3. DataLens. Настройте чарт с визуализацией когорт.
    4. DataLens. Создайте чарт с ретеншеном.
    5. DataLens. Добавьте чарты на новую вкладку дашборда.
    6. DataLens. Создайте чарты.
    7. DataLens. Добавьте чарты на дашборд.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Перед началом работы нужно зарегистрироваться в Yandex Cloud, настроить сообщество и привязать к нему платежный аккаунт:

  1. На главной странице DataSphere нажмите Попробовать бесплатно и выберите аккаунт для входа — Яндекс ID или рабочий аккаунт в федерации (SSO).
  2. Выберите организацию, в которой вы будете работать в Yandex Cloud.
  3. Перейдите в сообщество организации по умолчанию или создайте новое.
  4. Привяжите платежный аккаунт к сообществу DataSphere, в котором вы будете работать. Убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его в интерфейсе DataSphere.

Совет

Чтобы Yandex DataLens и Yandex DataSphere могли работать внутри сети Yandex Cloud, создавайте их экземпляры в рамках одной организации.

Необходимые платные ресурсы

В стоимость развертывания инфраструктуры входят:

  • плата за вычислительные ресурсы кластера и объем хранилища (см. тарифы Managed Service for ClickHouse);
  • плата за время вычислений (см. тарифы DataSphere);
  • плата за исходящий трафик (см. тарифы Virtual Private Cloud).

1. Подключите ClickHouse и DataSphere

1.1. Подключите ClickHouse

  1. В консоли управления выберите каталог для создания кластера ClickHouse.
  2. Выберите Managed Service for ClickHouse.
  3. В открывшемся окне нажмите Создать кластер ClickHouse.
  4. Укажите настройки кластера ClickHouse:
    1. В блоке Базовые параметры укажите произвольное имя кластера.

    2. В блоке Ресурсы выберите платформу Intel Cascade Lake, тип burstable и класс хоста b2.medium.

      Важно

      Не рекомендуется использовать конфигурации ВМ типа burstable в продакшн-среде. В этом руководстве они используются в качестве примера. Для продакшн-решений используйте конфигурации standard или memory-optimized.

    3. В блоке Размер хранилища оставьте значение 10 ГБ.

    4. В блоке Хосты нажмите значок . Включите опцию Публичный доступ и нажмите кнопку Сохранить.

    5. В блоке Настройки СУБД выключите управление пользователями через SQL, укажите имя пользователя, пароль и имя БД, например metrica_data.

    6. В блоке Сервисные настройки включите опции:

      • Доступ из DataLens
      • Доступ из консоли управления
      • Доступ из Метрики и AppMetrica
      • Доступ из Serverless
    7. Нажмите кнопку Создать кластер.

1.2. Подключите DataSphere

  1. Откройте главную страницу DataSphere.

  2. В открывшемся окне нажмите кнопку Создать → Создать проект.

  3. Укажите произвольное имя проекта. Требования к имени:

    • Длина — от 3 до 63 символов.
    • Может содержать строчные буквы латинского алфавита, цифры и дефисы.
    • Первый символ — буква. Последний символ — не дефис.
  4. Выберите сообщество для проекта и нажмите кнопку Создать.

  5. Нажмите кнопку Открыть проект в JupyterLab.

Перед вами среда разработки JupyterLab, в которой вы будете работать дальше.

1.3. Клонируйте репозиторий в DataSphere

  1. В меню Git выберите Clone.
  2. В открывшемся окне укажите URI репозитория https://github.com/zhdanchik/yandex_metrika_cloud_case.git и нажмите кнопку CLONE.
  3. Нажмите кнопку OK.

2. Получите и загрузите данные в ClickHouse

Если у вас нет счетчика Метрики или в нем недостаточно данных, или вы гарантированно хотите пройти все шаги руководства и получить результат, перейдите к разделу 2.3 (пропустите 2.1 и 2.2).

Если у вас есть счетчик Метрики и доступ к нему, перейдите к разделам 2.1, 2.2 (пропустите 2.3). Эти шаги рекомендуем опытному пользователю, так как логика расчета воронок и когорт зависит от самих данных, и может потребоваться самостоятельная доработка скриптов.

2.1. Яндекс Метрика. Создайте приложение и получите токен доступа

  1. Для работы с API получите свой OAuth-токен.

  2. Создайте приложение:

    1. Перейдите на страницу https://oauth.yandex.ru/client/new.
    2. Укажите произвольное название сервиса.
    3. Перейдите к блоку Для какой платформы нужно приложение? → Веб-сервисы. В поле Callback URL вставьте https://oauth.yandex.ru/verification_code.
    4. Перейдите к блоку Какие данные вам нужны? → Яндекс Метрика (metrika). Активируйте опцию Получение статистики, чтение параметров своих и доверенных счётчиков (metrika:read).
    5. Нажмите кнопку Создать приложение.
    6. В открывшемся окне появится описание нашего приложения. Сохраните ClientID вашего приложения.
  3. Перейдите по ссылке https://oauth.yandex.ru/authorize?response_type=token&client_id=<ID_приложения>. В качестве <ID_приложения> вставьте ClientID вашего приложения.

  4. Нажмите кнопку Войти как.

  5. Сохраните полученный токен доступа.

2.2. DataSphere. Выгрузите данные через Logs API Яндекс Метрики

  1. В проекте DataSphere в корне рабочей директории создайте текстовый файл. Для этого нажмите Text File в рабочей области.

  2. Назовите файл .yatoken.txt, в содержимое файла вставьте полученный токен доступа. Сохраните изменения и закройте файл.

  3. Откройте папку yandex_metrika_cloud_case → ноутбук 1a. get_data_via_logs_api.ipynb.

  4. Укажите идентификатор счетчика Метрики в качестве значения переменной COUNTER_ID. Узнать идентификатор счетчика можно в Метрике на странице Мои счетчики.

  5. Укажите дату начала анализируемого периода в качестве значения переменной START_DATE.

  6. Укажите дату окончания анализируемого периода в качестве значения переменной END_DATE.

    Важно

    Диапазон дат НЕ будет включать дату окончания. Например, если вы хотите получить данные по 5 декабря 2022 года, вставьте в переменную END_DATE значение 2022-12-06.

  7. Выполните все шаги (ячейки с кодом) в ноутбуке 1a. get_data_via_logs_api.ipynb.

Если не получилось выгрузить данные из Logs API, то данные для демонстрационного счетчика можно скачать через Яндекс Диск.

2.3. DataSphere. Выгрузите данные тестового счетчика через Яндекс Диск

Примечание

Пропустите этот раздел, если вы работаете с данными своего счетчика.

  1. Откройте папку yandex_metrika_cloud_case → ноутбук 1b. get_data_via_yadisk.ipynb.
  2. Выполните все шаги (ячейки с кодом) в ноутбуке 1b. get_data_via_yadisk.ipynb.

2.4. ClickHouse. Получите адрес кластера

  1. В консоли управления перейдите в уже созданный кластер ClickHouse. Дождитесь, когда у кластера появится статус Alive. После этого откройте кластер, кликнув на сам кластер.
  2. Выберите из списка слева Хосты.
  3. На вкладке Обзор скопируйте имя хоста.

2.5. DataSphere. Загрузите данные в ClickHouse

  1. Откройте папку yandex_metrika_cloud_case → ноутбук 2. upload_data_to_ClickHouse.ipynb:

    1. Вставьте скопированное имя хоста в переменную CH_HOST_NAME.
    2. В переменную CH_USER вставьте имя пользователя, которое вы задали при создании кластера ClickHouse.
    3. В переменную CH_DB_NAME вставьте имя БД, которое вы задали при создании кластера ClickHouse.
  2. В корневой директории создайте новый текстовый файл с названием .chpass.txt.

  3. Запишите в файл .chpass.txt пароль заведенного пользователя, который вы задали при создании кластера ClickHouse. Сохраните и закройте файл.

  4. Выполните все шаги (ячейки с кодом) в ноутбуке.

3. Подключите DataLens и создайте чарты

3.1. Подключитесь к DataLens

  1. В консоли управления откройте страницу созданного кластера ClickHouse.
  2. В списке слева выберите DataLens.
  3. В открывшемся окне выберите каталог, в котором находится ваш DataLens, и нажмите кнопку Активировать.

3.2. Создайте подключение к ClickHouse в DataLens

  1. Нажмите кнопку Создать подключение.
  2. Выберите подключение ClickHouse.
  3. Заполните настройки подключения:
    1. Выберите кластер из выпадающего списка Кластер или создайте новый. Если нужный кластер в списке отсутствует, нажмите Указать вручную и укажите имя кластера ClickHouse.
    2. Выберите хост ClickHouse из выпадающего списка Имя хоста.
    3. Выберите имя пользователя.
    4. Введите пароль и нажмите Проверить подключение.
    5. После успешной проверки подключения нажмите Создать подключение, затем в открывшемся окне введите имя подключения и нажмите кнопку Создать.

3.3. Создайте датасет на базе подключения

  1. В правом верхнем углу нажмите Создать датасет.
  2. Выберите таблицу metrica_data.hits в качестве источника. Для этого перетащите таблицу из списка слева в область редактирования.
  3. Откройте вкладку Поля.
  4. В правом верхнем углу нажмите кнопку Добавить поле.
  5. Для подсчета числа хитов создайте вычисляемое поле: в Поле укажите Хиты, в рабочей области укажите 1 и нажмите кнопку Создать.
  6. Для поля Хиты выберите значение Сумма в столбце Агрегация.
  7. Переименуйте поле Browser в Браузер.
  8. В правом верхнем углу нажмите кнопку Сохранить.
  9. Назовите датасет ch_metrica_data_hits и нажмите кнопку Создать.

3.4. Создайте чарт — накопительная диаграмма с областями

  1. В правом верхнем углу нажмите кнопку Создать чарт.
  2. В открывшемся окне перетащите поля в области чарта:
    • EventDate — в область X.
    • Браузер — в область Цвета.
    • Хиты — в область Y.
  3. Измените тип чарта cо Столбчатая диаграмма на Накопительная диаграмма с областями.
  4. Нажмите кнопку Сохранить.
  5. В появившемся окне укажите имя чарта ch_metrica_data_hits_area и нажмите кнопку Сохранить.

3.5. Создайте чарт — сводная таблица

  1. В правом верхнем углу нажмите значок → Сохранить как.
  2. Укажите новое имя для копии чарта ch_metrica_data_hits_table и нажмите кнопку Сохранить.
  3. Выберите новый тип чарта Сводная таблица.
  4. Добавьте или перетащите поля в области чарта:
    • Браузер — в область Строки.
    • Хиты — в область Сортировка.
  5. Нажмите кнопку Сохранить.

4. Создайте и настройте дашборд в DataLens

4.1. Создайте дашборд

  1. Выберите значок Дашборды на панели слева и нажмите кнопку Создать дашборд.
  2. Укажите название дашборда ch_metrica_data и нажмите кнопку Создать.
  3. Добавьте первый чарт на дашборд. Для этого в правом верхнем углу нажмите Добавить → Чарт:
    1. Из выпадающего списка Чарт выберите чарт ch_metrica_data_hits_area.
    2. В поле Название укажите имя чарта Хиты в разбивке на браузеры и нажмите кнопку Добавить.
  4. По аналогии добавьте чарт ch_metrica_data_hits_table с именем Хиты в разбивке на браузеры за период.
  5. Переместите чарты и измените их размеры на дашборде:
    1. Перетащите чарт с таблицей справа от чарта с диаграммой.
    2. Измените вертикальные размеры чартов, потянув каждый из них за правый нижний угол.
  6. В правом верхнем углу нажмите кнопку Сохранить.

4.2. Настройте дашборд

  1. Добавьте фильтрацию, чтобы выбирать определенный браузер. Для этого в правом верхнем углу нажмите Редактировать → Добавить → Селектор.
  2. Селектор можно привязать к полю из какого-либо датасета. Выберите из списка Датасет созданный датасет ch_metrica_data_hits.
  3. В списке Поле выберите Браузер.
  4. Включите опцию Множественный выбор.
  5. В поле Значение по умолчанию выберите браузеры:
    • android_browser
    • chrome
    • chromemobile
    • firefox
    • opera
    • safari
    • safari_mobile
    • samsung_internet
    • yandex_browser
    • yandexsearch
  6. В поле Название укажите имя селектора и включите опцию Показывать.
  7. Нажмите кнопку Добавить.
  8. Перетащите селектор на верх дашборда и растяните по горизонтали.
  9. В правом верхнем углу нажмите кнопку Сохранить.

5. Постройте воронки конверсий

5.1. DataSphere. Постройте воронки

  1. Откройте главную страницу DataSphere.
  2. Откройте ноутбук 3. funnels.ipynb. Укажите хост, пользователя и название БД.
  3. Выполните ячейки, оцените результаты анализа.
    В ClickHouse будет создана таблица metrica_data.funnels_by_bro, в которой будут посчитаны воронки по браузерам.

5.2. DataLens. Воронки по браузерам. Создайте датасет

Создайте новый датасет на основе новой таблицы и подключения к ClickHouse:

  1. Откройте главную страницу DataLens (или нажмите DataLens на панели слева) и нажмите Создать датасет.
  2. Перейдите в область Подключения и нажмите кнопку Добавить.
  3. Из списка подключений выберите имя подключения, созданного на шаге 3.2.
  4. Перетащите новую таблицу metrica_data.funnels_by_bro в область редактирования.
  5. Откройте вкладку Поля:
    1. Переименуйте поля step X в Шаг X, где X — порядковый номер шага.
    2. Выберите значение Сумма в столбце Агрегация для полей Шаг X и нажмите кнопку Сохранить.
  6. Назовите датасет ch_metrica_data_funnels_by_bro и нажмите кнопку Создать.

5.3. DataLens. Воронки по браузерам. Создайте чарт

Создайте на основе датасета ch_metrica_data_funnels_by_bro чарт:

  1. Нажмите кнопку Создать чарт.
  2. Выберите тип чарта Сводная таблица.
  3. Перетащите поля в области чарта:
    • Браузер — в область Строки.
    • Шаг X — в область Показатели, где X — порядковый номер шага.
    • Шаг 1 — в область Сортировка.
  4. Нажмите кнопку Сохранить.
  5. Укажите название чарта ch_metrica_data_funnels_by_bro_table и нажмите кнопку Сохранить.

5.4. DataLens. Воронки по браузерам. Добавьте чарт на дашборд

  1. Перейдите на созданный дашборд (со страницы дашбордов).
  2. Добавьте новый чарт. В правом верхнем углу нажмите кнопку Редактировать:
    1. Нажмите Добавить → Чарты.
    2. Из выпадающего списка Чарт выберите чарт ch_metrica_data_funnels_by_bro_table.
    3. В поле Название укажите имя чарта Воронки по браузерам и нажмите кнопку Добавить.
  3. Расположите новый чарт справа от уже имеющихся двух. Растяните чарт так, чтобы он совпадал с остальными по вертикали и доходил справа до края страницы.
  4. Нажмите кнопку Сохранить.

5.5. DataLens. Воронки по браузерам. Настройте дашборд

Чтобы селектор влиял на новый чарт из другого датасета, настройте связи:

  1. Нажмите Редактировать → Связи.
  2. В открывшемся окне выберите из списка селектор Браузер.
  3. На странице с другими элементами дашборда прокрутите вниз до чарта Воронки по браузерам и нажмите на список со связью.
  4. Выберите тип связи Исх. связь.
  5. Из каждого списка выберите поля для связи Браузер. Нажмите кнопку Добавить.
  6. Нажмите кнопку Сохранить.
  7. В левом верхнем углу нажмите значок → Переименовать.
  8. Укажите название Supermarket.ru — анализ воронок и когорт. Нажмите кнопку Готово.

6. Проведите когортный анализ

6.1. DataSphere. Проведите когортный анализ

  1. Откройте ноутбук 4. cohorts.ipynb. Укажите хост, пользователя и название БД.
  2. Выполните ячейки, оцените результаты анализа.

В ClickHouse создастся таблица metrica_data.retention_users с данными, необходимыми для построения визуализации в DataLens.

6.2. DataLens. Создайте датасет и чарт с визуализацией когорт

Создайте датасет на основе новой таблицы и подключения к ClickHouse:

  1. Откройте главную страницу DataLens и нажмите Создать датасет.
  2. В области Подключения нажмите кнопку Добавить.
  3. Выберите из списка созданное подключение.
  4. Перетащите новую таблицу metrica_data.retention_users в рабочую зону, чтобы подключиться к ней.
  5. Откройте вкладку Поля и создайте новое вычисляемое поле week_num, которое равно ([date]-[min_date])/7.
    Поле будет означать число недель с момента первого посещения пользователя.
  6. Нажмите кнопку Создать.
  7. Для полей visits, purchases и revenue выберите значение Сумма в столбце Агрегация.
  8. Переименуйте поля в Визиты, Покупки и Доход соответственно.
  9. Сохраните датасет:
    1. Назовите датасет ch_metrica_data_users_visits.
    2. Нажмите кнопку Создать.
  10. На основе датасета создайте новый чарт:
    1. Измените тип чарта на Сводная таблица.
    2. Перетащите поле week_num в область Столбцы.
    3. Перетащите поле min_date в область Строки.
    4. Перетащите поле Визиты в область Показатели.

6.3. DataLens. Настройте чарт с визуализацией когорт

Отфильтруйте неполные недели 29.06.2020 и 28.09.2020:

  1. Перетащите поле min_date в область Фильтры.
  2. В поле min_date нажмите значок календаря:
    1. В открывшемся окне выберите начало и конец диапазона дат для фильтрации:
      • Дата начала — 29.06.2020.
      • Дата завершения — 27.09.2020.
    2. Нажмите кнопку Применить фильтр.
  3. Отформатируйте числа в значениях поля week_num — уберите знаки после запятой. Для этого в области Столбцы в поле week_num нажмите значок . В открывшемся окне выполните настройку:
    1. Установите для показателя Знаков после запятой значение 0.
    2. Установите для показателя Отображать группы разрядов значение Слитно.
    3. Нажмите кнопку Применить.
  4. Чтобы сделать таблицу цветной, добавьте поле Визиты в область Цвета и нажмите нажмите . В открывшемся окне выполните настройку цвета:
    1. Выберите Тип градиента — Трехцветный.
    2. Выберите Цвет — Оранжевый-Фиолетовый-Голубой.
    3. Включите настройку Задать пороговые значения и укажите значения 100, 1000 и 5000.
    4. Нажмите кнопку Применить.
  5. Нажмите кнопку Сохранить.
  6. Назовите чарт ch_metrica_data_users_visits_cohorts_abs и нажмите Сохранить.

6.4. DataLens. Создайте чарт с ретеншеном

Создайте чарт с ретеншеном на основе чарта ch_metrica_data_users_visits_cohorts_abs. Чарт можно открыть с дашборда или найти в списке чартов.

  1. В правом верхнем углу нажмите значок → Сохранить как.
  2. Укажите имя чарта ch_metrica_data_users_visits_cohorts_rel и нажмите кнопку Сохранить.
  3. Создайте новое вычисляемое поле для расчета ретеншена относительно первой недели:
    1. В левой части экрана нажмите значок , который находится над списком полей датасета, и выберите Добавить поле.
    2. Назовите поле Визиты от первой недели.
    3. Вставьте формулу SUM([Визиты])/RMAX(SUM([Визиты]) among [week_num]).
    4. Нажмите кнопку Создать.
  4. Перетащите поле Визиты от первой недели в секцию Показатели.
  5. Перетащите поле Визиты от первой недели в секцию Цвета вместо поля Визиты.
  6. Настройте формат поля Визиты от первой недели. Для этого в секции Показатели в поле Визиты от первой недели нажмите значок . В открывшемся окне выполните настройку:
    1. Установите показатель Формат в значение Процент.
    2. Нажмите кнопку Применить.
  7. Отредактируйте пороговые значения для цветов показателя. В секции Цвета нажмите значок . В открывшемся окне включите опцию Задать пороговые значения и укажите пороговые значения 0,01, 0,025 и 0,1 и нажмите кнопку Применить.
  8. Нажмите кнопку Сохранить.

6.5. DataLens. Добавьте чарты на новую вкладку дашборда

  1. Нажмите кнопку Дашборды на панели слева и откройте дашборд.
  2. Нажмите кнопку Редактировать → Вкладки.
  3. Переименуйте существующую вкладку как Обзор + Воронки.
  4. Добавьте новую вкладку и назовите ее Когорты. Нажмите Сохранить.
  5. Перейдите на новую вкладку Когорты:
    1. Добавьте на дашборд чарт ch_metrica_data_users_visits_cohorts_abs.
    2. В поле Название укажите Визиты по когортам (абсолюты).
  6. Чтобы добавить новую вкладку, нажмите слева кнопку Добавить:
    1. В новой вкладке добавьте чарт ch_metrica_data_users_visits_cohorts_rel.
    2. Укажите название Визиты по когортам (относительные).
    3. Нажмите кнопку Добавить.
    4. Нажмите кнопку Сохранить.

Вы получите чарт с двумя вкладками, между которыми можно переключаться.

6.6. DataLens. Создайте чарты

Создайте новый чарт на основе чарта ch_metrica_data_users_visits_cohorts_abs. Чарт можно открыть с дашборда или найти в списке чартов.

  1. В правом верхнем углу нажмите значок Сохранить.
  2. Укажите имя чарта ch_metrica_data_users_revenue_cohorts_abs и нажмите кнопку Сохранить.
  3. Перетащите поле Доход в области Показатели и Цвета поверх поля Визиты.
  4. В области поля Доход нажмите значок . Измените форматирование поля:
    1. Выберите 1 знак после запятой.
    2. Выберите размерность Миллионы.
    3. Замените пороги градации цветов для нового поля на 500000, 1500000 и 10000000.
  5. Сохраните чарт.

Создайте еще один чарт на основе чарта ch_metrica_data_users_visits_cohorts_rel:

  1. В правом верхнем углу нажмите значок Сохранить.
  2. Укажите имя чарта ch_metrica_data_users_revenue_cohorts_rel и нажмите кнопку Сохранить.
  3. Измените поле Визиты от первой недели:
    1. Переименуйте поле как Доход от первой недели.
    2. Измените формулу на SUM([Доход])/RMAX(SUM([Доход]) among [week_num]).
    3. Измените пороги градации цветов для нового поля на 0.01, 0.2 и 0.3.
  4. Сохраните чарт.

6.7. DataLens. Добавьте чарты на дашборд

Добавьте на дашборд чарты с визуализацией когорт:

  1. Нажмите кнопку Редактировать.
  2. Нажмите кнопку Добавить.
  3. Выберите Чарт.
  4. Из списка чартов выберите чарт ch_metrica_data_users_revenue_cohorts_abs.
  5. Укажите имя Доход по когортам (абсолюты).
  6. С помощью кнопки + Добавить создайте новую вкладку:
    1. В новой вкладке в списке чартов выберите чарт ch_metrica_data_users_revenue_cohorts_rel.
    2. Укажите имя Доход по когортам (относительный).
    3. В правом верхнем углу нажмите значок Сохранить.
  7. Расположите чарты на одном уровне.

Как удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы, удалите кластер.

Была ли статья полезна?

Language / Region
Проект Яндекса
© 2023 ООО «Яндекс.Облако»
В этой статье:
  • Перед началом работы
  • Необходимые платные ресурсы
  • 1. Подключите ClickHouse и DataSphere
  • 1.1. Подключите ClickHouse
  • 1.2. Подключите DataSphere
  • 1.3. Клонируйте репозиторий в DataSphere
  • 2. Получите и загрузите данные в ClickHouse
  • 2.1. Яндекс Метрика. Создайте приложение и получите токен доступа
  • 2.2. DataSphere. Выгрузите данные через Logs API Яндекс Метрики
  • 2.3. DataSphere. Выгрузите данные тестового счетчика через Яндекс Диск
  • 2.4. ClickHouse. Получите адрес кластера
  • 2.5. DataSphere. Загрузите данные в ClickHouse
  • 3. Подключите DataLens и создайте чарты
  • 3.1. Подключитесь к DataLens
  • 3.2. Создайте подключение к ClickHouse в DataLens
  • 3.3. Создайте датасет на базе подключения
  • 3.4. Создайте чарт — накопительная диаграмма с областями
  • 3.5. Создайте чарт — сводная таблица
  • 4. Создайте и настройте дашборд в DataLens
  • 4.1. Создайте дашборд
  • 4.2. Настройте дашборд
  • 5. Постройте воронки конверсий
  • 5.1. DataSphere. Постройте воронки
  • 5.2. DataLens. Воронки по браузерам. Создайте датасет
  • 5.3. DataLens. Воронки по браузерам. Создайте чарт
  • 5.4. DataLens. Воронки по браузерам. Добавьте чарт на дашборд
  • 5.5. DataLens. Воронки по браузерам. Настройте дашборд
  • 6. Проведите когортный анализ
  • 6.1. DataSphere. Проведите когортный анализ
  • 6.2. DataLens. Создайте датасет и чарт с визуализацией когорт
  • 6.3. DataLens. Настройте чарт с визуализацией когорт
  • 6.4. DataLens. Создайте чарт с ретеншеном
  • 6.5. DataLens. Добавьте чарты на новую вкладку дашборда
  • 6.6. DataLens. Создайте чарты
  • 6.7. DataLens. Добавьте чарты на дашборд
  • Как удалить созданные ресурсы