О чём эта история
Группа Ренессанс страхование занимается всеми видами страхования — от ДМС и туристического до каско и страхования ипотеки.
В онлайн-сегменте группа занимает первое место, а всего её услугами пользуются более 5 млн клиентов, в том числе через цифровую платформу.
Совместно с «КОРУС Консалтинг» и Yandex Cloud компания перенесла в облако часть данных: о транзакциях, отчётах и некоторые другие. Также специалисты разработали пошаговую инструкцию, благодаря которой «Ренессанс страхование» может теперь не только полностью перенести данные в облачное хранилище, но и ускорить их обработку в 2,5 раза, не превысив бюджет.
Задача компании
У Группы Ренессанс страхование собственная информационная система, через которую клиенты оформляют страховку онлайн. Компания регулярно запускает новые продукты, в том числе с использованием машинного обучения.
Раньше все данные хранились и обрабатывались на физических серверах, но с ростом объёма информации обработка стала занимать слишком много времени. Увеличились сроки формирования отчётности.
Тогда команда «Ренессанс страхование» решила обрабатывать данные в облаке и выбрала одного из отечественных провайдеров. Однако перенести инфраструктуру в облако «как есть» оказалось недостаточно. Стало понятно, что необходимо использовать современный технологический стек, ориентированный на облачную архитектуру, и разработать пошаговый план миграции.
Также для «Ренессанс страхование» было важно, чтобы бюджет на поддержку инфраструктуры не превышал текущий, а скорость обработки данных выросла не менее чем в два раза.
В качестве нового облака компания выбрала Yandex Cloud, так как уже работала с сервисами платформы. В частности, аналитики использовали Yandex DataLens для визуализации данных.
Также в проекте участвовал партнёр «Ренессанс страхование» — «КОРУС Консалтинг». Совместно с Yandex Cloud решили отказаться от горизонтального масштабирования как основного способа решения проблемы и перестроить систему, изначально заложив рост объёма данных.
Решение
Yandex Cloud и «КОРУС Консалтинг» предложили построить массово-параллельную архитектуру, при которой данные распределяются по множеству независимых друг от друга узлов.
В тестовой среде команда проверила небольшую часть вычислительной функциональности — скорость обработки данных выросла более чем в 2,5 раза.
Всю необходимую инфраструктуру команда развернула c помощью Terraform. Данные из старой базы Microsoft SQL Server выгружали с помощью Yandex Data Proc в новое хранилище Yandex Object Storage. В нём первичные данные размещались в сжатом формате. Тестировали систему в сервисе Yandex Managed Service for Apache Airflow™. Анализировали данные в Yandex Managed Service for Greenplum®, где создали оптимальную физическую модель.
Результаты
Проектирование и тестирование архитектуры заняло около двух месяцев. В результате для «Ренессанс страхование» был разработан пошаговый план действий по переносу всей базы данных в облако с рекомендациями по улучшению архитектуры аналитического хранилища.
Пилотное тестирование показало, что производительность и скорость обработки данных увеличились в 2,5 раза. Команда Группы Ренессанс страхование планирует перенести в облако оставшуюся инфраструктуру, а также использовать больше управляемых сервисов.