Веб-аналитика с расчетом воронок и когорт на данных Яндекс Метрики

В качестве источника данных будут использованы данные из Яндекс Метрики.
В этом сценарии вы научитесь строить воронки конверсий, проведете когортный анализ и посчитаете Retention пользовательской базы.

Сценарий также доступен в записи на YouTube-канале Yandex Cloud.

Для визуализации и исследования данных подготовьте облако к работе, затем выполните следующие шаги:

1. Подключите ClickHouse и DataSphere:
   1. Подключите ClickHouse.
   2. Подключите DataSphere.
   3. Клонируйте репозиторий в DataSphere.
2. Получите и загрузите данные в ClickHouse:
   1. Яндекс Метрика. Создайте приложение и получите токен доступа.
   2. DataSphere. Выгрузите данные через Logs API Яндекс Метрики.
   3. DataSphere. Выгрузите данные тестового счетчика через Яндекс Диск.
   4. ClickHouse. Получите адрес кластера.
   5. DataSphere. Загрузите данные в ClickHouse.
3. Подключите DataLens и создайте чарты:
   1. Подключитесь к DataLens.
   2. Создайте подключение к ClickHouse в DataLens.
   3. Создайте датасет на базе подключения.
   4. Создайте чарт — накопительная диаграмма с областями.
   5. Создайте чарт — сводная таблица.
4. Создайте и настройте дашборд в DataLens:
   1. Создайте дашборд.
   2. Настройте дашборд.
5. Воронки:
   1. DataSphere. Постройте воронки.
   2. DataLens. Воронки по браузерам. Создайте датасет.
   3. DataLens. Воронки по браузерам. Создайте чарт.
   4. DataLens. Воронки по браузерам. Добавьте чарт на дашборд.
   5. DataLens. Воронки по браузерам. Настройте дашборд.
6. Когорты:
   1. DataSphere. Проведите Когортный анализ.
   2. DataLens. Создайте датасет и чарт с визуализацией когорт.
   3. DataLens. Настройте чарт с визуализацией когорт.
   4. DataLens. Создайте чарт с ретеншеном.
   5. DataLens. Добавьте чарты на новую вкладку дашборда.
   6. DataLens. Создайте чарты.
   7. DataLens. Добавьте чарты на дашборд.

Подготовьте облако к работе

Перед работой нужно зарегистрироваться в Yandex Cloud и создать платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.
2. На странице биллинга убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

1. Подключите ClickHouse и DataSphere

1.1 Подключите ClickHouse

1. В консоль управления выберите из списка слева Managed Service for ClickHouse.
2. В открывшемся окне нажмите Создать кластер.
3. Укажите настройки кластера ClickHouse.

   1. В блоке Базовые параметры укажите произвольное имя кластера.

   2. В блоке Класс хоста выберите тип виртуальной машины burstable и тип хоста b2.medium.

      Важно

      Не рекомендуется использовать конфигурации ВМ типа burstable в продакшн-среде. В этом руководстве они используются в качестве примера. Для продакшн-решений используйте конфигурации standard или memory-optimized.

      

   3. В блоке Размер хранилища оставьте значение 10 ГБ.

   4. В блоке База данных укажите имя БД, например metrica_data, имя пользователя и пароль. Запомните имя БД.

      

   5. В блоке Хосты нажмите значок . Включите опцию Публичный доступ и нажмите кнопку Сохранить.

   6. В блоке Дополнительные настройки включите 4 опции:

      • Доступ из DataLens
      • Доступ из консоли управления
      • Доступ из Метрики и AppMetrica
      • Доступ из Serverless

   7. После всех настроек нажмите кнопку Создать кластер.

1.2 Подключите DataSphere

1. Перейдите в консоль управления.
2. Выберите из списка слева DataSphere.
3. В открывшемся окне нажмите кнопку Создать проект.
4. Укажите произвольное название проекта и нажмите кнопку Создать.
5. Откройте проект. Для этого в строке с именем проекта нажмите значок → Открыть.

Перед нами среда разработки JupyterLab, в которой мы будем работать дальше.

1.3 Клонируйте репозиторий в DataSphere

1. В левом верхнем углу нажмите Git Clone.
2. В открывшемся окне укажите URI репозитория https://github.com/zhdanchik/yandex_metrika_cloud_case.git и нажмите кнопку CLONE.

2. Получите и загрузите данные в ClickHouse

Если у вас нет счетчика Метрики или в нем недостаточно данных, или вы гарантированно хотите пройти все шаги инструкции и получить результат, перейдите к разделу 2.3 (пропустите 2.1 и 2.2).

Если у вас есть счетчик Метрики и доступ к нему, перейдите к разделам 2.1, 2.2 (пропустите 2.3). Эти шаги рекомендуем опытному пользователю, так как логика расчета воронок и когорт зависит от самих данных, может потребоваться самостоятельная доработка скриптов.

2.1 Яндекс Метрика. Создайте приложение и получите токен доступа

1. Для работы с API получите свой OAuth-токен.

2. Создайте приложение:

   1. Перейдите на страницу https://oauth.yandex.ru/client/new.
   2. Укажите произвольное название приложения.
   3. Перейдите к блоку Платформы → Веб-сервисы. В поле Callback URI #1 вставьте https://oauth.yandex.ru/verification_code.
   4. Перейдите к блоку Доступы → Яндекс Метрика (metrika). Активируйте опцию Получение статистики, чтение параметров своих и доверенных счётчиков (metrika:read).
   5. Нажмите кнопку Создать приложение.
   6. В открывшемся окне появится описание нашего приложения. Скопируйте ID вашего приложения.

3. Перейдите по ссылке https://oauth.yandex.ru/authorize?response_type=token&client_id=<ID приложения>. В параметр client_id добавьте скопированный ID вашего приложения.

4. Нажмите кнопку Войти как …

5. Скопируйте полученный токен доступа.

2.2 DataSphere. Выгрузите данные через Logs API Яндекс Метрики

1. В проекте DataSphere в корне рабочей директории создайте текстовый файл.

   

2. Назовите файл .yatoken.txt, в содержимое файла вставьте полученный токен доступа. Сохраните изменения и закройте файл.

3. Откройте папку yandex_metrika_cloud_case → ноутбук 1a. get_data_via_logs_api.ipynb.

Если не получилось выгрузить данные из Logs API, то данные для демонстрационного счетчика можно скачать через Яндекс Диск.

2.3 DataSphere. Выгрузите данные тестового счетчика через Яндекс Диск

1. Откройте папку yandex_metrika_cloud_case → ноутбук 1b. get_data_via_yadisk.ipynb.
2. Выполните все шаги (ячейки с кодом) в ноутбуке 1b. get_data_via_yadisk.ipynb.

2.4 ClickHouse. Получите адрес кластера

1. Перейдите в уже созданный кластер ClickHouse. Дождитесь, когда у кластера появится статус Alive. После этого откройте кластер, кликнув на сам кластер.

   

2. Выберите из списка слева Хосты.

3. На вкладке Обзор перейдите к столбцу Имя хоста. Чтобы скопировать имя хоста, наведите указатель мыши справа от названия хоста и нажмите значок копирования.

2.5 DataSphere. Загрузите данные в ClickHouse

1. Откройте папку yandex_metrika_cloud_case → ноутбук 2. upload_data_to_ClickHouse.ipynb.

   1. Вставьте скопированное имя хоста в переменную CH_HOST_NAME.

   2. Используйте имя заведенного пользователя в переменной CH_USER.

   3. Используйте имя заведенной БД в переменной CH_DB_NAME.

      

2. В корневой директории создайте новый текстовый файл с названием .chpass.txt.

   

3. Запишите в файл .chpass.txt пароль заведенного пользователя. Сохраните и закройте файл.

4. Выполните все шаги (ячейки с кодом) в ноутбуке.

3. Подключите DataLens и создайте чарты

3.1 Подключитесь к DataLens

1. На странице созданного кластера ClickHouse слева в меню выберите DataLens.
2. В открывшемся окне нажмите кнопку Активировать.
3. В открывшемся окне выберите каталог default и нажмите Активировать DataLens.

3.2 Создайте подключение к ClickHouse в DataLens

1. Нажмите кнопку Создать подключение.
2. Выберите подключение ClickHouse.
3. Заполните настройки подключения.

   1. Добавьте произвольное название.

   2. Выберите хост ClickHouse из выпадающего списка Имя хоста.

   3. Выберите имя пользователя.

   4. Введите пароль и нажмите Проверить подключение.

      

   5. После проверки подключения в правом верхнем углу нажмите кнопку Создать.

3.3 Создайте датасет на базе подключения

1. В правом верхнем углу нажмите Создать датасет.

2. Выберите таблицу metrica_data.hits в качестве источника. Для этого перетащите таблицу из списка слева в область редактирования.

3. Откройте вкладку Поля.

4. В правом верхнем углу нажмите кнопку Добавить поле.

5. Для подсчета числа хитов создайте вычисляемое поле Хиты, которое будет равно 1. Нажмите кнопку Создать.

   

6. Для поля Хиты выберите значение Сумма в агрегации.

7. Переименуйте поле Browser в Браузер.

8. В правом верхнем углу нажмите кнопку Сохранить.

9. Назовите датасет ch_metrica_data_hits и нажмите кнопку Создать.

3.4 Создайте чарт — накопительная диаграмма с областями

Перейдите к созданию чартов.

1. В правом верхнем углу нажмите кнопку Создать чарт.

2. В открывшемся окне перетащите следующие поля в область чарта:

   • Перетащите поле EventDate в область X.
   • Перетащите поле Браузер в область Цвета.
   • Перетащите поле Хиты в область Y.

3. Измените тип чарта на Накопительная диаграмма с областями.

   

4. Нажмите кнопку Сохранить.

   

5. В появившемся окне укажите имя чарта ch_metrica_data_hits_area и нажмите кнопку Сохранить.

3.5 Создайте чарт — сводная таблица

Создайте на основе готового чарта еще один чарт – сводную таблицу.

1. В правом верхнем углу нажмите значок → Сохранить как.
2. Укажите новое имя для копии чарта ch_metrica_data_hits_table и нажмите кнопку Сохранить.
3. Выберите новый тип чарта Сводная таблица.
4. Добавьте или скорректируйте следующие поля в области чарта:
   • Перетащите поле Браузер в область Строки.
   • Перетащите поле Хиты в область Сортировка.
5. Нажмите кнопку Сохранить.

4. Создайте и настройте дашборд в DataLens

4.1 Создайте дашборд

1. Откройте главную страницу DataLens и нажмите Создать дашборд.

2. Укажите название дашборда ch_metrica_data и нажмите кнопку Создать.

3. Добавьте первый чарт на дашборд. Для этого в правом верхнем углу нажмите Добавить → Чарт.

   1. Из выпадающего списка Чарт выберите чарт ch_metrica_data_hits_area.
   2. В поле Название укажите имя чарта Хиты в разбивке на браузеры и нажмите кнопку Добавить.

4. По аналогии добавьте чарт ch_metrica_data_hits_table с именем Хиты в разбивке на браузеры за период.

   

5. Переместите чарты и измените их размеры на дашборде.

   1. Перетащите чарт с таблицей справа от чарта с диаграммой.
   2. Измените вертикальные размеры чартов, потянув каждый из них за правый нижний угол.

6. В правом верхнем углу нажмите кнопку Сохранить.

4.2 Настройте дашборд

1. Добавьте фильтрацию, чтобы выбирать определенный браузер. Для этого в правом верхнем углу нажмите Добавить → Селектор.

2. Селектор можно привязать к полю из какого-либо датасета. Выберите из списка Датасет созданный датасет ch_metrica_data_hits.

   

3. Из списка Поле выберите Браузер. В поле Название укажите имя селектора и включите опцию Показывать.

4. Включите опцию Множественный выбор.

5. В поле Значение по умолчанию выберите браузеры:

   • android_browser
   • chrome
   • chromemobile
   • firefox
   • opera
   • safari
   • safari_mobile
   • samsung_internet
   • yandex_browser
   • yandexsearch

6. Нажмите кнопку Добавить.

7. Перетащите селектор на верх дашборда и растяните по горизонтали.

8. В правом верхнем углу нажмите кнопку Сохранить.

   

5. Воронки

5.1 DataSphere. Постройте воронки

1. Откройте ноутбук 3. funnels.ipynb. Укажите хост, пользователя и название БД.

   

2. Выполните ячейки, оцените результаты анализа.

   

В ClickHouse будет создана таблица metrica_data.funnels_by_bro, в которой будут посчитаны воронки по браузерам.

5.2 DataLens. Воронки по браузерам. Создайте датасет

Создайте новый датасет на основе новой таблицы и подключения к ClickHouse.

1. Откройте главную страницу DataLens и нажмите Создать датасет.

2. Перейдите в область Подключения и нажмите кнопку Добавить.

3. Из списка подключений выберите metrica_analysis.

4. Перетащите новую таблицу metrica_data.funnels_by_bro в область редактирования.

5. Откройте вкладку Поля.

   1. Переименуйте поля step X → Шаг X, где X — порядковый номер шага.
   2. Укажите значение агрегации Сумма для полей Шаг X и нажмите кнопку Сохранить.

   

6. Назовите датасет ch_metrica_data_funnels_by_bro и нажмите кнопку Создать.

5.3 DataLens. Воронки по браузерам. Создайте чарт

Создайте на основе датасета ch_metrica_data_funnels_by_bro чарт.

1. Нажмите кнопку Создать чарт.
2. Выберите тип чарта Сводная таблица.
3. Перетащите следующие поля в область чарта:
   • Поле Браузер в область Строки.
   • Поле Шаг X в область Показатели.
   • Поле Шаг 1 в область Сортировка.
4. Нажмите кнопку Сохранить.
5. Укажите название чарта ch_metrica_data_funnels_by_bro_table и нажмите кнопку Сохранить.

5.4 DataLens. Воронки по браузерам. Добавьте чарт на дашборд

1. Перейдите на созданный дашборд (можно со страницы дашбордов).

2. Добавьте новый чарт. В правом верхнем углу нажмите кнопку Редактировать.

3. Добавьте чарт ch_metrica_data_funnels_by_bro_table. Укажите название Воронки по браузерам и нажмите кнопку Добавить.

4. Расположите новый чарт справа от уже имеющихся двух. Растяните чарт так, чтобы он совпадал с остальными по вертикали и доходил справа до края страницы.

5. Нажмите кнопку Сохранить.

   

5.5 DataLens. Воронки по браузерам. Настройте дашборд

Чтобы селектор влиял на новый чарт из другого датасета, настройте связи.

1. Нажмите Редактировать → Связи.

2. В открывшемся окне выберите из списка селектор Браузер:.

3. На странице с другими элементами дашборда прокрутите вниз до чарта Воронки по браузерам и нажмите на список со связью.

   1. Выберите тип связи Исх. связь.

   

4. Из каждого списка выберите поля для связи Браузер. Нажмите кнопку Добавить.

5. В правом верхнем углу дашборда нажмите кнопку Сохранить.

6. В левом верхнем углу нажмите → Переименовать.

7. Укажите название Supermarket.ru — анализ воронок и когорт. Нажмите кнопку Готово.

   

6. Когорты

6.1 DataSphere. Когортный анализ

1. Откройте ноутбук 4. cohorts.ipynb. Укажите хост, пользователя и название БД.

   

2. Выполните ячейки, оцените результаты анализа.

   

В ClickHouse создастся таблица metrica_data.retention_users с данными, необходимыми для построения визуализации в DataLens.

6.2 DataLens. Создайте датасет и чарт с визуализацией когорт

Создайте датасет на основе новой таблицы и подключения к ClickHouse.

1. Откройте главную страницу DataLens и нажмите Создать датасет.

2. В области Подключения нажмите кнопку Добавить.

3. Выберите из списка подключение metrica_analysis.

4. Перетащите новую таблицу metrica_data.retention_users в рабочую зону, чтобы подключиться к ней.

5. Откройте вкладку Поля и создайте новое вычисляемое поле week_num, которое равно ([date]-[min_date])/7.
   Поле будет означать число недель с момента первого посещения пользователя.

6. Нажмите кнопку Создать.

7. Для полей visits, purchases и revenue установите агрегацию Сумма.

8. Переименуйте поля в Визиты, Покупки и Доход соответственно.

9. Сохраните датасет.

   1. Назовите датасет ch_metrica_data_users_visits.
   2. Нажмите кнопку Создать.

10. На основе датасета создайте новый чарт:

    • Измените тип чарта на сводную таблицу.
    • Перетащите поле week_num в область Столбцы.
    • Перетащите поле min_date в область Строки.
    • Перетащите поле Визиты в область Показатели.

    

6.3 DataLens. Настройте чарт с визуализацией когорт

Отфильтруем неполные недели 29.06.2020 и 28.09.2020.

1. Перетащите поле min_date в область Фильтры.
2. В поле min_date нажмите значок календаря.
   1. В открывшемся окне выберите начало и конец диапазона дат для фильтрации:
      • Дата начала – 06.07.2020.
      • Дата завершения – 27.09.2020.
   2. Нажмите кнопку Применить фильтр.
3. Отформатируйте числа в значениях поля week_num – уберите знаки после запятой. Для этого в области Столбцы в поле week_num нажмите значок решетки. В открывшемся окне выполните настройку:
   1. Установите показатель Знаков после запятой в значение 0.
   2. Установите показатель Отображать группы разрядов в значение Слитно.
   3. Нажмите кнопку Применить.
4. Чтобы сделать таблицу цветной, добавьте поле Визиты в область Цвета и нажмите значок шестеренки. В открывшемся окне выполните настройку цвета:
   1. Выберите Тип градиента — Трехцветный.
   2. Выберите Цвет — Оранжевый-Фиолетовый-Голубой.
   3. Включите настройку Задать пороговые значения и укажите значения 100, 1000 и 5000.
   4. Нажмите кнопку Применить.
5. Нажмите кнопку Сохранить.
6. Назовите чарт ch_metrica_data_users_visits_cohorts_abs и нажмите Сохранить.

6.4 DataLens. Создайте чарт с ретеншеном

Создайте чарт с ретеншеном на основе чарта ch_metrica_data_users_visits_cohorts_abs. Чарт можно открыть с дашборда или найти в списке чартов.

1. Нажмите кнопку Сохранить как.
2. Укажите имя чарта ch_metrica_data_users_visits_cohorts_rel и нажмите кнопку Сохранить.
3. Создайте новое вычисяемое поле для расчета ретеншена относительно первой недели:
   1. В левой части экрана нажмите значок , который находится над списком полей датасета, и выберите Добавить поле.
   2. Назовите поле Визиты от первой недели.
   3. Введите формулу SUM([Визиты])/RMAX(SUM([Визиты]) among [week_num]).
   4. Нажмите кнопку Создать.
4. Перетащите поле Визиты от первой недели в секцию Показатели.
5. Перетащите поле Визиты от первой недели в секцию Цвета вместо поля Визиты.
6. Настройте формат поля Визиты от первой недели. Для этого в секции Показатели в поле Визиты от первой недели нажмите значок решетки. В открывшемся окне выполните настройку:
   1. Установите показатель Формат в значение Процент.
   2. Нажмите кнопку Применить.
7. Отредактируйте пороговые значения для цветов показателя. В секции Цвета нажмите значок шестеренки. В открывшемся окне укажите пороговые значения 0,01, 0,025 и 0,1 и нажмите кнопку Применить.
8. Нажмите кнопку Сохранить.

6.5 DataLens. Добавьте чарты на новую вкладку дашборда

Возвращаемся на дашборд.

1. Нажмите кнопку Редактировать → Вкладки.
2. Переименуйте существующую вкладку как Обзор + Воронки.
3. Добавьте новую вкладку и назовите ее Когорты. Нажимите Сохранить.
4. Перейдите на новую вкладку Когорты.
   1. Добавьте на дашборд чарт ch_metrica_data_users_visits_cohorts_abs.
   2. В поле Название укажите Визиты по когортам (абсолюты).
   3. Чтобы добавить новую вкладку, нажмите слева кнопку Добавить.
      1. В новой вкладке добавьте чарт ch_metrica_data_users_visits_cohorts_rel.
      2. Укажите название Визиты по когортам (относительные).
   4. Нажмите кнопку Добавить.

Вы получите чарт с двумя вкладками, между которыми можно переключаться.

6.6 DataLens. Создайте чарты

Создайте новый чарт на основе чарта ch_metrica_data_users_visits_cohorts_abs. Чарт можно открыть с дашборда или найти в списке чартов.

1. Нажмите кнопку Сохранить как.

2. Укажите имя чарта ch_metrica_data_users_revenue_cohorts_abs и нажмите кнопку Сохранить.

3. Перетащите поле Доход в области Показатели и Цвета поверх поля Визиты.

4. В области поля Доход нажмите значок решетки. Измените форматирование поля.

   1. Выберите 1 знак после запятой.
   2. Выберите размерность Миллионы.
   3. Замените пороги градации цветов для нового поля на 500000, 1500000 и 10000000.

5. Сохраните чарт.

   

Создайте еще один чарт на основе чарта ch_metrica_data_users_visits_cohorts_rel.

1. Нажмите кнопку Сохранить как.

2. Укажите имя чарта ch_metrica_data_users_revenue_cohorts_rel и нажмите кнопку Сохранить.

3. Измените поле Визиты от первой недели.

   1. Переименуйте поле как Доход от первой недели.
   2. Измените формулу на SUM([Доход])/RMAX(SUM([Доход]) among [week_num]).
   3. Измените пороги градации цветов для нового поля на 0.01, 0.2 и 0.3.

4. Сохраните чарт.

   

6.7 DataLens. Добавьте чарты на дашборд

Добавьте на дашборд чарты с визуализацией когорт.

1. Нажмите кнопку Редактировать.

2. Нажмите кнопку Добавить.

3. Выберите Чарт.

4. Из списка чартов выберите чарт ch_metrica_data_users_revenue_cohorts_abs.

5. Укажите имя Доход по когортам (абсолюты).

6. С помощью кнопки + Добавить создайте новую вкладку.

   1. В новой вкладке в списке чартов выберите чарт ch_metrica_data_users_revenue_cohorts_rel.
   2. Укажите имя Доход по когортам (относительный).
   3. Нажмите кнопку Сохранить.

7. Расположите чарты на одном уровне.