О чем эта история
SevenTech — системный интегратор, разрабатывающий и подключающий мобильные сервисы для доставки текстовых и голосовых сообщений клиентам на телефон: на почту, через SMS, мессенджеры, социальные сети или мобильные приложения.
Построив аналитическое решение на базе Yandex Managed Service for ClickHouse и Yandex DataLens, компания смогла сэкономить до 450 часов работы менеджеров и технических специалистов в месяц, минимизировать риски возникновения дебиторской задолженности и кассового разрыва и увеличить эффективность работы аккаунт-менеджеров. Рассказываем, как им это удалось.
Собрать, обработать, визуализировать
Компания начала свою работу в августе 2018 года. Уже в первый месяц было подключено 20 компаний-партнеров и отправлено клиентам около 20 миллионов сообщений.
Каждое сообщение — это не просто текст. Надо было знать, кому и когда было отправлено сообщение, номер абонента и его имя, тип трафика, какой статус был получен и многое другое. Необходимо было решение, которое позволит оперативно собирать, обрабатывать, анализировать и визуализировать данные для отчетности перед партнерами и принятия решений по развитию бизнеса.
СУБД MS SQL Server™, которой пользовались изначально, была неэффективна для аналитики на больших объемах: обработка данных занимала много времени, возникали проблемы. Решили протестировать ClickHouse. Проверили, как она работает в инфраструктуре облака своего провайдера, и удивились: производительность оказалась выше в несколько десятков раз — четыре миллиарда строк были обработаны за несколько минут, а раньше на это требовалось несколько часов. Поэтому от MS SQL Server™ отказались и стали использовать ClickHouse на мощностях отечественного сервис-провайдера.
Со сбором и обработкой данных разобрались, но появилась другая проблема: как оперативно предоставлять информацию клиентам и сотрудникам. В идеале — без привлечения программистов.
Пока данных было мало, справлялись так: менеджер говорил, какие данные нужны, например статистика по определенному оператору или типу сообщения, программист быстро писал SQL-запрос и через пару минут отправлял менеджеру результат.
Но через четыре месяца компаний-партнеров стало 65, а количество ежемесячно отправляемых сообщений превысило 70 миллионов. К тому же получение информации начало занимать очень много времени и ресурсов программистов. Нужно было найти другое решение для визуализации данных и представления отчетности.
По запросам SQL были написаны скрипты, которые экспортировали данные в файлы Excel. Теперь менеджеры могли самостоятельно получать нужные выборки и анализ. Визуализированные метрики выводили в Grafana.
В марте 2019 года у SevenTech было уже 89 партнерских подключений, 90 миллионов сообщений в месяц, несколько десятков Excel-файлов и бесчисленное количество визуализаций в Grafana. Чтобы партнеры могли отслеживать оперативную статистику, в компании создали несколько самописных веб-приложений на Django. «Костыли» множились и работать становилось сложнее.
К концу 2019 года через сервисы компании отправляли больше 190 миллионов сообщений в месяц. За два года компания из стартапа превратилась в бизнес с миллиардными оборотами. Появилась необходимость в сервисе, который будет визуализировать информацию для внутренних сотрудников и внешних партнеров, а также справляться с постоянным увеличением количества данных.
Yandex.Cloud и Yandex DataLens для визуализации
Сервис, который полностью подходил для задач визуализации и анализа данных компании, — Yandex DataLens. Он не требовал сложной настройки — начинать работать можно было сразу. А еще он позволял:
- давать доступ всем сотрудникам компании и даже внешним партнерам;
- полноценно работать даже в бесплатном тарифе;
- самостоятельно создавать необходимые отчеты для бизнес-пользователей.
Узнали о нем на конференции Yandex Scale в 2019 году и сразу решили попробовать. Уже на следующий день аккаунт-менеджеры могли сами генерировать отчеты и составлять нужные им дашборды. Другие BI-решения не рассматривали: DataLens полностью закрывал потребности компании.
Но несмотря на то, что стали использовать облачный DataLens, работать в SevenTech продолжали с необлачным ClickHouse.
Переход на Yandex Managed Service for ClickHouse
Самостоятельная поддержка и развитие ClickHouse требует времени и денег. В компании рассчитали стоимость потребления облачного управляемого ClickHouse и решили переехать на Yandex Managed Service for ClickHouse.
Благодаря службе технической поддержки Yandex.Cloud удалось быстро справиться со всеми задачами миграции и в сентябре 2020 года компания полностью перешла на использование облачного Managed Service for ClickHouse.
Результаты
Сейчас менеджеры с помощью селекторов самостоятельно делают необходимые выборки и проводят анализ. Например, они могут выбрать период, клиента, сколько сообщений отправлено, сколько нужно протарифицировать.
Можно делать и более сложные аналитические отчеты для руководства или клиентов с ключевыми метриками — с визуализацией количества трафика по группам клиентов или планам по KPI. Например, директор по продажам может поставить менеджерам KPI и отслеживать исполнение по каждому из направлений, при необходимости может сравнить показатели за прошлые периоды.
К Yandex DataLens подключили сотрудников и партнеров — каждый может просматривать и анализировать статистику в том виде, в котором удобно, — это еще один плюс сервиса.
Мнение
Мы постоянно пробуем разные решения как в существующих продуктах, так и в новых разработках. Сейчас мы работаем над расширением платформы на Managed PG с использованием Yandex Managed Service for Apache Kafka®. Managed PG довольно органично занял место в нашем dev-окружении — коллеги со стороны разработки и QA довольны. Некоторые из наших внутренних приложений уже готовы к миграции из локальных инсталляций БД в managed-вариант, и мы будем пробовать это сделать в ближайшее время.