Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Практические руководства
  • Веб-сервис
    • Все руководства
    • Cтатический сайт в Object Storage
    • Cайт на LAMP- или LEMP-стеке
    • Отказоустойчивый сайт с балансировкой нагрузки через Network Load Balancer
    • Отказоустойчивый сайт с балансировкой нагрузки через Application Load Balancer
    • Сайт на базе Joomla с БД PostgreSQL
    • Сайт на WordPress
    • Сайт на WordPress с БД MySQL
    • Перенос WordPress сайта с хостинга в Yandex Cloud
    • Веб-сайт на базе 1С-Битрикс
    • Интеграция L7-балансировщика с Cloud CDN и Object Storage
    • Сине-зеленое и канареечное развертывание версий сервиса
  • Интернет-магазины
    • Все руководства
    • Интернет-магазин на 1С-Битрикс
    • Интернет-магазин на Opencart
  • Архив данных
    • Все руководства
    • Однонодовый файловый сервер
    • Настройка SFTP-сервера на Centos 7
    • Резервное копирование в Object Storage через Acronis
    • Резервное копирование в Object Storage через CloudBerry Desktop Backup
    • Резервное копирование в Object Storage через Duplicati
    • Резервное копирование в Object Storage через Bacula
    • Резервное копирование в Object Storage через Veritas Backup Exec
    • Оцифровка архива в Yandex Vision
  • Тестовая среда
    • Все руководства
    • Тестирование приложений с помощью GitLab
    • Создание тестовых ВМ через GitLab CI
    • Высокопроизводительные вычисления на прерываемых виртуальных машинах
    • Эмуляция множества IoT-устройств
    • Нагрузочное тестирование gRPC-сервиса
    • HTTPS-тест с постоянной нагрузкой с помощью Phantom
    • HTTPS-тест со ступенчатой нагрузкой с помощью Pandora
  • Управление инфраструктурой
    • Все руководства
    • Начало работы с Terraform
    • Загрузка состояний Terraform в Object Storage
    • Начало работы с Packer
    • Сборка образа ВМ с набором инфраструктурных инструментов с помощью Packer
    • Автоматизация сборки образов ВМ с помощью Jenkins
    • Непрерывное развертывание контейнеризованных приложений с помощью GitLab
    • Создание кластера Linux-серверов «1С:Предприятия» с кластером Managed Service for PostgreSQL
    • Создание кластера Windows-серверов «1С:Предприятия» с базой данных SQL Server
    • Миграция в Yandex Cloud с помощью Hystax Acura
    • Защита от сбоев с помощью Hystax Acura
    • Настройка отказоустойчивой архитектуры в Yandex Cloud
    • Создание SAP-программы в Yandex Cloud
  • Построение Data Platform
    • Все руководства
    • Синхронизация данных из MySQL с помощью Yandex Data Transfer
    • Миграция базы данных из Yandex Managed Service for MySQL в MySQL
    • Настройка управляемой базы данных в кластере ClickHouse для Graphite
    • Обмен данными между Yandex Managed Service for ClickHouse и Yandex Data Proc
    • Импорт базы данных в Yandex Data Proc с использованием Sqoop
    • Использование Confluent Schema Registry с Yandex Managed Service for Apache Kafka®
    • Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Debezium
    • Поставка данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer
    • Миграция данных в Yandex Managed Service for Apache Kafka®
    • Перенос коллекций из MongoDB в Yandex Managed Service for MongoDB
    • Миграция базы данных в Yandex Managed Service for SQL Server
    • Перенос данных из PostgreSQL в ClickHouse с помощью Yandex Data Transfer
    • Настройка Kafka Connect для работы с кластером Yandex Managed Service for Apache Kafka®
    • Настройка Yandex Cloud DNS для доступа к кластерам управляемых баз данных из других облачных сетей
    • Миграция в Yandex Managed Service for Elasticsearch с помощью Reindex API
    • Использование скриптов инициализации для настройки GeeseFS в Yandex Data Proc
  • Windows в Yandex Cloud
    • Все руководства
    • Развертывание Active Directory
    • Развертывание Microsoft Exchange
    • Развертывание Remote Desktop Services
    • Развертывание группы доступности Always On
    • Развертывание группы доступности Always On с внутренним сетевым балансировщиком
    • Развертывание Remote Desktop Gateway
  • Сетевая маршрутизация
    • Все руководства
    • Маршрутизация с помощью NAT-инстанса
    • Создание VPN-туннеля
    • Установка виртуального роутера Cisco CSR1000v
    • Установка виртуального роутера Mikrotik CHR
    • Соединение с облачной сетью при помощи OpenVPN
    • Настройка сети для Yandex Data Proc
  • Визуализация и анализ данных
    • Все руководства
    • Визуализация данных из CSV-файла
    • Создание и публикация диаграммы с картой Москвы из CSV-файла
    • Анализ продаж сети магазинов из БД ClickHouse
    • Анализ открытых данных ДТП на дорогах России
    • Анализ продаж и локаций пиццерий на данных из БД ClickHouse и Marketplace
    • Веб-аналитика с подключением к Яндекс Метрике
    • Веб-аналитика с расчетом воронок и когорт на данных Яндекс Метрики
    • Аналитика мобильного приложения на данных AppMetrica
    • Анализ статистики подкастов Яндекс Музыки (для авторов подкастов)
    • Визуализация данных с помощью SQL-чарта
    • Анализ customer journey мобильного приложения на данных AppMetrica
    • Анализ логов Object Storage при помощи DataLens
  • Интернет вещей
    • Руководства по работе с интернетом вещей
    • Мониторинг состояния географически распределенных устройств
    • Мониторинг показаний датчиков и уведомления о событиях
  • Бессерверные технологии
    • Сокращатель ссылок
    • Ввод данных в системы хранения
    • Хранение журналов работы приложения
  1. Визуализация и анализ данных
  2. Анализ открытых данных ДТП на дорогах России

Анализ открытых данных ДТП на дорогах России

Статья создана
Yandex Cloud
  • Перед началом работы
  • Шаг 1. Создайте подключение к CSV-файлу
  • Шаг 2. Создайте датасет и настройте его поля
  • Шаг 3. Создайте первый чарт — Тепловую карту
  • Шаг 4. Создайте второй чарт — Линейчатую диаграмму
  • Шаг 5. Создайте еще чарты — Линейные диаграммы
  • Шаг 6. Создайте дашборд
  • Шаг 7. Добавьте чарты на дашборд
  • Шаг 8. Добавьте селекторы и сформируйте дашборд
  • Шаг 9. Подключите дополнительный источник с геослоями регионов
  • Шаг 10. Добавьте новые поля в датасет
  • Шаг 11. Создайте чарт с использованием новых полей
  • Шаг 12. Добавьте новый чарт на дашборд
  • Шаг 13. Опубликуйте дашборд

В этом сценарии будут проанализированы открытые данные по дорожно-транспортным происшествиям на дорогах РФ. Помимо выявления фактов статистики ДТП в России, в процессе анализа вы научитесь:

  • работать с основными сущностями DataLens: Подключения, Датасеты, Чарты, Дашборды;
  • объединять несколько источников на уровне одного датасета;
  • работать с типом данных Дата и время, изменять группировки на уровне чарта;
  • работать с геоданными: геоточками и геополигонами;
  • создавать публичные дашборды, которые будут доступны всем с любых устройств без аутентификации.

Для визуализации и исследования данных подготовьте DataLens к работе, затем выполните следующие шаги:

  1. Создайте подключение к CSV-файлу.
  2. Создайте датасет и настройте его поля.
  3. Создайте первый чарт — Тепловую карту.
  4. Создайте второй чарт — Линейчатую диаграмму.
  5. Создайте еще чарты — Линейные диаграммы.
  6. Создайте дашборд.
  7. Добавьте чарты на дашборд.
  8. Добавьте селекторы и сформируйте дашборд.
  9. Подключите дополнительный источник с геослоями регионов.
  10. Добавьте новые поля в датасет.
  11. Создайте чарт с использованием новых полей.
  12. Добавьте новый чарт на дашборд.
  13. Опубликуйте дашборд.

Перед началом работы

Чтобы начать работать с DataLens:

Новый пользователь
Уже использую Yandex Cloud
  1. Войдите в ваш аккаунт на Яндексе. Если у вас еще нет аккаунта, создайте его.
  2. Откройте главную страницу DataLens.
  3. Нажмите Открыть DataLens.
  4. Нажмите Войти.
  1. Войдите в ваш аккаунт на Яндексе.

  2. Откройте главную страницу DataLens.

  3. Нажмите Открыть DataLens.

  4. Выберите один из вариантов:

    • Если у вас уже есть организация, выберите ее в выпадающем меню на вкладке Организации и нажмите Открыть DataLens.

      Примечание

      Для активации экземпляра DataLens пользователю нужна роль admin или owner. Подробнее про роли см. в разделе Назначение прав доступа.

    • Если у вас есть облако, но нет организации, нажмите Добавить новый DataLens. В открывшемся окне введите название и описание организации и нажмите Создать организацию и DataLens. Подробнее о работе с организациями см. в разделе Начало работы с организациями.

Если у вас возник технический вопрос по работе сервиса, обратитесь в службу поддержки Yandex Cloud. Чтобы спросить совета, обсудить решение вашей задачи или лучшие практики работы сервиса, напишите в чат DataLens в Telegram.

Шаг 1. Создайте подключение к CSV-файлу

  1. Скачайте файл с данными статистики ДТП за апрель-декабрь 2018 года в формате CSV.

  2. Откройте главную страницу DataLens и нажмите Создать подключение.

    image

  3. Выберите тип подключения CSV.

    image

  4. Нажмите кнопку Выбрать CSV-файл, затем выберите скачанный ранее файл. Загрузка может занять до нескольких минут, в зависимости от скорости подключения к интернету.

    image

    Данные могут отобразиться не сразу, дождитесь завершения материализации. После успешной загрузки вы увидите превью данных файла. Для просмотра используйте полосы прокрутки справа и внизу.

    image

  5. В правом верхнем углу нажмите кнопку Создать.

Подключение к CSV-файлу создано. Данные представлены в том же виде, что и в файле. Для дальнейшей работы с ними нужно создать датасет.

Шаг 2. Создайте датасет и настройте его поля

Датасет будет состоять из одного источника — файла CSV.

  1. Нажмите кнопку Создать датасет.

    image

  2. Перейдите на вкладку Поля.

    image

    Здесь есть возможность добавить поля данных и вычисляемые поля, изменить тип данных поля, правила агрегации, переименовать поле.

    image

  3. Измените имена полей на русские, по порядку:

    • Код региона
    • Название региона
    • Код дороги
    • Название дороги
    • Тип дороги
    • ОКТМО
    • Адрес
    • Тип ДТП

    image

  4. Дата и время ДТП показаны в следующих полях:

    • crash_date — дата, записанная числом, вида 20190218;
    • crash_time — время, записанное текстом, вида 19:34.

    В таком виде они не будут использоваться в датасете. Скройте их, нажав значок видимости.

    image

  5. Для отображения сведений о дате и времени ДТП добавьте новое поле.

    1. Нажмите Добавить поле.

      image

    2. Укажите для него данные:

      • Название поля: Дата и время
      • Формула: DATETIME_PARSE(str([crash_date])+' '+str([crash_time]))

      Совет

      Чтобы избежать ошибок, не вводите поля для формулы вручную, а выбирайте их из списка слева.

      image

      Совет

      Если хотите самостоятельно изучить документацию по этим функциям, нажмите справа вверху диалогового окна кнопку Справочник.

    3. Нажмите Создать.

    В разделе предпросмотра появилось корректное отображение даты и времени ДТП в виде значения типа Дата и время с разделителем T. Новое поле Дата и время находится в таблице сверху. По значку доступно редактирование формулы поля.

    image

  6. Продолжите переименование полей по порядку:

    • Причина ДТП
    • Кол-во погибших
    • Кол-во пострадавших
    • Кол-во ТС
    • Кол-во участников

    Для следующих полей установите тип агрегации Сумма:

    • Кол-во погибших
    • Кол-во пострадавших
    • Кол-во ТС
    • Кол-во участников

    image

  7. Добавьте поле для отображения геоточки.

    1. Справа вверху нажмите кнопку Добавить поле.

      image

    2. Введите данные для нового поля:

      • Название поля: Геоточка
      • Формула: GEOPOINT([latitude],[longitude])

      где [latitude] и [longitude] — поля датасета.

      image

    3. Нажмите Создать.

      Примечание

      В примере используются готовые данные в формате координат. В других случаях для конвертации данных в формат координат вы можете воспользоваться функцией геокодинга.

    4. Убедитесь, что в таблице и превью появилось новое поле с типом Геоточка.

      image

  8. Добавьте поле для отображения количества ДТП.

    1. Нажмите Добавить поле.

      image

    2. Введите данные для нового поля:

      • Название поля: Кол-во ДТП
      • Формула: SUM(1)

      image

    3. Нажмите Создать.

    Тип агрегации для этого поля устанавливать не нужно, DataLens при добавлении поля на чарт применит функцию агрегации автоматически.

  9. Добавьте поле для данных о смертности в ДТП.

    1. Нажмите Добавить поле.

      image

    2. Введите данные для нового поля:

      • Название поля: Смертность в ДТП
      • Формула: [Кол-во погибших]/[Кол-во ДТП]

      image

    3. Нажмите Создать

    Примечание

    Вычисляемые поля можно создавать непосредственно в чарте. Однако удобнее сделать это на уровне датасета, чтобы они были доступны во всех чартах.

  10. Сохраните датасет, нажав справа вверху кнопку Сохранить.

  11. В открывшемся окне укажите название датасета: ДТП. Нажмите Создать.

Датасет создан.

Шаг 3. Создайте первый чарт — Тепловую карту

Приступайте к созданию первого чарта.

  1. Нажмите Создать чарт.

    image

  2. В появившемся окне визарда нажмите на поле, в котором по умолчанию указано Столбчатая диаграмма, и выберите тип чарта Карта.

    image

  3. Выберите в разделе Геоточки тип слоя Геоточки (тепловая карта).

    image

  4. Перетащите поле Геоточка в раздел Геоточки.

    image

    Вы получили первый чарт на карте.

  5. Для сохранения чарта сначала рядом с кнопкой Сохранить нажмите значок стрелки, затем выберите Сохранить как.

    image

  6. В диалоговом окне укажите название чарта: Тепловая карта и нажмите Сохранить.

Шаг 4. Создайте второй чарт — Линейчатую диаграмму

  1. Проанализируйте количество ДТП по регионам.

    1. В том же окне выберите тип чарта Линейчатая диаграмма.

      image

    2. Перетащите:

      • поле Название региона — в раздел Y;
      • поле Кол-во ДТП — в раздел X;
      • поле Кол-во ДТП — в раздел Сортировка.

      image

      На диаграмме отобразилось количество ДТП по регионам. Больше всего ДТП в Московской области.

      Примечание

      Не все линии диаграммы подписаны. Если линия не подписана, наведите на нее указатель, и название региона отобразится в подсказке.

    3. Сохраните диаграмму по кнопке Сохранить как.

    4. В открывшемся окне укажите название чарта: Количество ДТП по регионам и сохраните его.

  2. Проанализируйте смертность в ДТП по регионам.

    1. Замените показатель Кол-во ДТП на Смертность в ДТП с помощью перетаскивания.

      image

      На этот раз в лидерах с большим отрывом Ингушетия, Калмыкия и Волгоградская область.

    2. Сохраните чарт по кнопке Сохранить как с названием Смертность по регионам.

Шаг 5. Создайте еще чарты — Линейные диаграммы

Посмотрите, как распределяется количество ДТП и смертность в них по неделям, дням недели и времени суток.

  1. Проанализируйте количество ДТП и смертность по неделям.

    1. В том же окне выберите тип чарта Линейная диаграмма.

      image

    2. В разделах управления чартом остались предыдущие значения. Удалите их с помощью значка .

    3. Перетащите поле Дата и время в раздел X и нажмите зеленый значок календаря.

      image

    4. В поле Группировка выберите Часть даты ⟶ Неделя, затем нажмите Применить.

      image

    5. Перетащите:

      • поле Кол-во ДТП — в раздел Y;
      • поле Смертность в ДТП — в раздел Y2.

      image

      Появилась диаграмма с двумя графиками — количества ДТП и смертности. Если навести указатель на точку графика, в подсказке отобразятся конкретные значения.

    6. Сохраните чарт по кнопке Сохранить как с названием Кол-во ДТП и смертность по неделям.

  2. Теперь проанализируйте количество ДТП и смертность по дням недели.

    1. Измените группировку по дате и времени на Часть даты ⟶ День недели.

      image

      На этой диаграмме заметны более явные тенденции.

      image

    2. Сохраните чарт по кнопке Сохранить как с названием Кол-во ДТП и смертность по дням недели.

  3. Проанализируйте количество ДТП и смертность по часам суток.

    1. Измените группировку по дате и времени, укажите: Часть даты ⟶ Час.

      image

      Диаграмма показывает: ночью количество ДТП меньше, но среди них больше происшествий со смертельным исходом.

      image

    2. Сохраните чарт по кнопке Сохранить как с названием Кол-во ДТП и смертность по часам в течение дня.

Шаг 6. Создайте дашборд

  1. Откройте меню по значку слева от логотипа и выберите пункт Дашборды.

    image

  2. Нажмите кнопку Создать дашборд

    image

  3. Введите название дашборда ДТП в РФ и нажмите Создать.

Примечание

Если это первый дашборд, созданный в каталоге, он откроется сразу после создания. Если в каталоге уже есть другие дашборды, то откроется их список. В этом случае нужно из списка открыть дашборд ДТП в РФ.

Шаг 7. Добавьте чарты на дашборд

  1. Добавьте первый чарт.

    1. Нажмите Добавить и в выпадающем списке выберите Чарт.

      image

    2. В поле Чарт нажмите Выбрать и выберите из списка чартов созданный ранее чарт Тепловая Карта.

      image

    3. Нажмите кнопку Добавить.

      Чарт появился на дашборде.

  2. Повторите предыдущие три шага для чартов Количество ДТП по регионам, Кол-во ДТП и смертность по неделям, Кол-во ДТП и смертность по дням недели, Кол-во ДТП и смертность по часам в течение дня, добавив их на дашборд.

  3. Создайте на дашборде переключатель чартов Количество ДТП по регионам и Смертность по регионам.

    1. Откройте настройки чарта Количество ДТП по регионам по значку.

      image

    2. В левой части окна нажмите Добавить.

      image

    3. В поле Чарт нажмите Выбрать и выберите чарт Смертность по регионам.

      image

    4. Нажмите Сохранить.

Шаг 8. Добавьте селекторы и сформируйте дашборд

Селекторы позволяют фильтровать данные по значениям.

  1. Добавьте селектор для отбора по названию региона.

    1. Нажмите Добавить и выберите Селектор.

      image

    2. Отметьте На основе датасета, затем нажмите Выбрать и выберите созданный ранее датасет ДТП.

      image

    3. В реквизите Поле выберите Название региона, затем рядом с названием селектора поставьте отметку Показывать. Нажмите кнопку Добавить.

      image

    Селектор появился на дашборде в виде прямоугольного элемента.

  2. Повторите предыдущие три шага для полей:

    • Причина ДТП
    • Тип ДТП
    • Тип дороги
    • Название дороги
  3. Элементы дашборда можно перетаскивать и менять их размер. Сформируйте расположение элементов в соответствии со скриншотом или любым другим удобным образом, затем сохраните дашборд по кнопке Сохранить.

    image

Если в селекторах выбрать значения, на чартах отобразятся данные для этих значений.

Чарт Количество ДТП по регионам можно переключить на Смертность по регионам.

image

Шаг 9. Подключите дополнительный источник с геослоями регионов

Тепловая карта не всегда является самой информативной. Загрузите справочник полигонов и добавьте чарт с цветовой заливкой регионов РФ.

  1. Откройте меню по кнопке слева от логотипа и перейдите в раздел Подключения.

    image

  2. Справа вверху нажмите кнопку Создать подключение.

    image

  3. Выберите тип файла CSV.

    image

    Скачайте на свой компьютер файл Регионы.csv. Затем в окне создания подключения загрузите его по кнопке Выбрать CSV-файл.

  4. Просмотрите превью данных файла. Для параметра Заголовок таблицы установите значение Есть.

    image

  5. Справа вверху нажмите кнопку Создать.

Шаг 10. Добавьте новые поля в датасет

Необходимо обогатить созданный ранее датасет ДТП новыми полями.

  1. Через левое меню перейдите в раздел Датасеты.

    image

  2. Выберите датасет ДТП.

    image

  3. Перейдите на вкладку Источники.

    image

  4. Нажмите Добавить.

    image

  5. Выберите Подключения, затем Регионы.

    image

    Поскольку данные подключений еще не объединены, может появиться сообщение об ошибке. Выполните последующие действия.

  6. Нажмите значок объединения данных.

    image

  7. Нажмите кнопку Добавить связь.

    image

  8. Выберите поля, которые будут связаны: reg_name и Регион ДТП. Затем нажмите Применить.

    image

    Убедитесь, что превью данных отобразилось корректно.

    image

  9. Перейдите на вкладку Поля.

    image

  10. Внизу списка появились новые поля. Для поля Полигон укажите тип данных Геополигон.

    image

  11. В правом верхнем углу нажмите кнопку Сохранить.

Шаг 11. Создайте чарт с использованием новых полей

  1. Нажмите кнопку Создать чарт.

    image

  2. Выберите тип чарта Карта.

    image

  3. Добавьте полигоны на карту. Из раздела Измерения перетащите поле Полигон в секцию Геополигоны.

  4. Измените цвета полигонов относительно показателя количества ДТП. Из раздела Показатели перетащите поле Кол-во ДТП в секцию Цвета.

  5. Перетащите следующие поля в раздел Тултипы:

    • Название Региона;
    • Кол-во ДТП;
    • Кол-во погибших;
    • Кол-во пострадавших;
    • Кол-во ТС;
    • Кол-во участников;
    • Смертность в ДТП.

    На диаграмме отобразилась карта с заливкой регионов. Если навести указатель на регион, появятся сведения по этому региону.

    image

  6. В правом вверхнем углу нажмите кнопку Сохранить.

  7. Введите название чарта: Карта регионов и снова нажмите Сохранить.

Шаг 12. Добавьте новый чарт на дашборд

  1. Через левое верхнее меню перейдите в раздел Дашборды.

    image

  2. Выберите ранее созданный дашборд с ДТП.

    image

  3. Справа вверху нажмите кнопку Редактировать.

    image

  4. Откройте настройки Тепловой карты по значку.

    image

  5. В левой части окна нажмите Добавить.

    image

  6. В поле Чарт нажмите Выбрать и выберите последний чарт Карта регионов.

    image

  7. Нажмите Сохранить.

Появилась возможность переключать тип визуализации данных на карте: тепловая карта или заливка регионов.

image

Шаг 13. Опубликуйте дашборд

Чтобы настроить публичный доступ к дашборду:

  1. В левом верхнем углу экрана нажмите .

    image

  2. В выпадающем меню нажмите Публичный доступ.

    image

  3. Включите доступ по ссылке. Появившуюся ссылку можно скопировать и делиться ею. По ссылке дашборд будет доступен всем, с любых устройств и без аутентификации. Нажмите Применить.

    image

    Примечание

    Вы можете включить или выключить публичный доступ отдельно для каждого чарта и датасета, связанного с дашбордом.

    Дашборд опубликован и доступен для пользователей.

    image

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье:
  • Перед началом работы
  • Шаг 1. Создайте подключение к CSV-файлу
  • Шаг 2. Создайте датасет и настройте его поля
  • Шаг 3. Создайте первый чарт — Тепловую карту
  • Шаг 4. Создайте второй чарт — Линейчатую диаграмму
  • Шаг 5. Создайте еще чарты — Линейные диаграммы
  • Шаг 6. Создайте дашборд
  • Шаг 7. Добавьте чарты на дашборд
  • Шаг 8. Добавьте селекторы и сформируйте дашборд
  • Шаг 9. Подключите дополнительный источник с геослоями регионов
  • Шаг 10. Добавьте новые поля в датасет
  • Шаг 11. Создайте чарт с использованием новых полей
  • Шаг 12. Добавьте новый чарт на дашборд
  • Шаг 13. Опубликуйте дашборд