Как Yandex Cloud помогло повысить производительность команды разработки компании Arenadata

Arenadata — один из лидеров отечественного рынка больших данных. Решения компании строятся на технологиях с открытым исходным кодом и помогают работать с интернетом вещей, машинным обучением и связанными технологиями. Портфель включает продукты для централизованного управления экосистемой с открытым исходным кодом, построения федеративных хранилищ больших данных со множеством температурных слоёв (in-memory, MPP, Hadoop), организации CDC и ETL/ELT, потоковой обработки данных и работы с очередями. В 2019 году Arenadata мигрировала на Yandex Cloud.

С момента создания Arenadata вела разработку в Google Cloud Platform. В 2018 году из-за ситуации на рынке компания перешла на отечественное решение, но его функциональных возможностей оказалось недостаточно. Начался поиск нового облачного провайдера. Нужно было учесть и внутренние потребности: разработчики Arenadata используют множество сценариев тестирования, и функционального, и нагрузочного, позволяющего найти такие проблемы, которые было бы просто невозможно обнаружить при ручном тестировании.

При выборе провайдера Arenadata руководствовалась рядом важных критериев:

• Решение от российского производителя. Позволяет устранить сразу две проблемы — избежать неудобств, связанных с потенциальными блокировками зарубежных сервисов, и не оказаться обременённой валютным договором, когда курс рубля нестабилен.
• Техническая поддержка на территории России. Наличие у провайдера техподдержки, с которой можно было бы оперативно связаться при возникновении форс-мажоров, — важный фактор для Arenadata.
• Best practice. Компанию Arenadata не устраивало кустарное или хаотичное решение. Оно должно было быть разработано согласно мировым практикам построения облаков.
• Высокий уровень реализации аппаратной части. Наличие у провайдера собственного ЦОД и готовность модернизировать аппаратную часть под задачи заказчика.

Yandex Cloud отвечает высоким требованиям компании к провайдеру, и выбор остановили на этой платформе. Тем более что к моменту принятия решения об её использовании Arenadata уже начала плодотворное сотрудничество с Яндексом при работе над своим новым продуктом Arenadata QuickMarts для крупных представителей enterprise-рынка. В основу этого продукта легла технология ClickHouse, в разработке которой специалисты Arenadata также активно участвуют.

Этапы переездаЭтапы переезда

Переезд на Yandex Cloud занял у Arenadata два месяца.

01.08 — 23.08
Эксперименты с облаком: один инженер на полный день.

Специалисты Arenadata протестировали разнообразные варианты топологии сети и механизмы развёртывания виртуальных машин, в результате решили организовать DMZ сети на базе ряда каталогов с несколькими шлюзами на Linux. Все виртуальные машины имеют только приватные адреса, внешние адреса заблокированы с помощью квот. Всё общение с внешним миром происходит либо через интернет-шлюз, либо через шлюзы Yandex Cloud Interconnect (IPSec и OpenVPN) с другими частями сети. Эта топология потребовала активного участия техподдержки Yandex Cloud.

Каталоги выполняют главным образом функцию RBAC: построены продакшн-каталог, каталог для автотестирования, разработки, которые отличаются разными настройками доступа для пользователей.

26.08 — 30.08
Подготовка сетевой инфраструктуры, подключение нового облака в единую структуру. Создание аккаунтов в облаке для конечных пользователей (~40 человек). Два инженера.

Для переезда Arenadata сформировала промежуточный вариант сети, гарантирующий доступность публичных сервисов, если случится сбой. Все публичные сервисы были протестированы на доступ по IP как через старую площадку, так и через Яндекс. Таким образом, переезд должен был завершиться переключением DNS-имён на новые IP. Были автоматически (скрипт с использованием API) созданы аккаунты в Яндекс.Коннекте, для чего поднят и делегирован в Яндекс специальный домен.

02.09 — 04.09
Запуск облака в ограниченном режиме. На облако перенесена автоматизированная нагрузка (сборочные цепочки, тестирование продукта). Два инженера.

05.09 — 06.09
Доступ к облаку предоставлен одной из групп разработчиков (восемь человек). Один инженер.

16.09 — 20.09
По результатам опытной эксплуатации доступ предоставлен уже для всех (40 человек). Доступ к старому облаку ограничен (нельзя создавать ничего нового).

21.09 — 22.09
Перенос публичных серверов на Яндекс, переключение DNS. Работа в выходной день, два инженера. Простой по системам составил 1–2 часа и в основном связан с необходимостью переносить большой объём данных на удалённую площадку.

23.09 — 30.09
Окончание переноса, решение мелких проблем с ПО, демонтаж временных роутов и доступов, связанных с переездом. Полное отключение старого облака.

В сотрудничестве с Yandex Cloud компания Arenadata достигла нескольких результатов:

• оперативно перенесла инфраструктуру с прежних облаков благодаря функциональности Yandex Cloud и команде поддержки;
• построила всю свою разработку (сборку и разработку продуктов) в Yandex Cloud;
• снизила стоимость владения инфраструктурой более чем на 30%;
• увеличила пул ресурсов;
• запустила автоматическое и нагрузочное тестирование продуктов.

Уже на старте сотрудничества компания оценила богатые функциональные возможности Yandex Cloud, которых было вполне достаточно для того, чтобы быстро перейти на него с текущей инфраструктуры. Очень важной оказалась готовность специалистов Яндекса к взаимодействию с клиентами: они прислушиваются к потребностям заказчика и сразу реагируют. Так, когда налаживали инфраструктуру, провайдер оперативно решал возникающие проблемы.

Сотрудничество дало команде Arenadata возможность использовать качественный продукт мирового уровня, реализовать сценарии повышения качества своих решений за счёт автоматического тестирования и увеличить производительность команды разработки благодаря быстрому созданию виртуальных окружений в Yandex Cloud.