Перенос данных в системы хранения с помощью Yandex Data Streams
Принимайте неограниченный поток данных из приложений, мобильных устройств, внешних сервисов и журналов работы в шину данных Yandex Data Streams (YDS).
Управляемый, масштабируемый и надёжный сервис YDS будет с высокой скоростью принимать данные, надёжно хранить и выгружать их с помощью Yandex Data Transfer в облачные системы хранения — YDB, ClickHouse и Object Storage.
Почему эту задачу нужно решать с Yandex Cloud
Масштабирование по требованию
Принимайте данные из тысяч источников одновременно. Шина данных Yandex Data Streams легко масштабируется под задачу любой сложности. Вам не нужно рассчитывать производительность виртуальных машин, объём памяти и размер дисков — полностью управляемые сервисы быстро масштабируются под растущий трафик данных.
Стандартные протоколы
Перенесите сервисы из Amazon Kinesis Data Streams, используя совместимый API. Работайте с библиотеками языков программирования, готовыми системами поставки журналов (fluentd, fluentbit, logstash) и другими инструментами. Yandex Data Streams интегрирован с сервисами облака, но может работать с любыми внешними источниками.
Прозрачное ценообразование
Платите только за фактически потребляемые ресурсы — объём хранимых в шине данных и скорость доступа. Контролируйте затраты на работу сервисов в удобной системе биллинга. Используйте готовое решение от Yandex Cloud и сократите затраты на разработку.
Управляемые сервисы
Экосистема управляемых сервисов Yandex Cloud позволяет быстро развернуть необходимые инструменты для решения бизнес-задач. Сервисами легко управлять из графической консоли или CLI, а также автоматизировать задачи с помощью API. Подход lowcode избавляет от дорогостоящей долгой разработки.
Распределение данных под задачу
Загружайте все данные в общую шину данных и распределяйте их с помощью сервиса Yandex Data Transfer по нескольким системам хранения в зависимости от поставленной задачи. Например, в ClickHouse — для быстрой аналитики, а в Object Storage — для долговременного хранения.
Умная обработка логов
Отправляйте данные логов из приложений агрегаторов в промежуточных буфер — шину потоков данных — Yandex Data Streams, чтобы повысить надёжность хранения. Ограничьте доступ пользователей к персональной информации, используя маскировку данных с Cloud Functions.
Архитектура решения
Архитектура решения
Используйте управляемые сервисы Yandex Cloud для создания готового решения приёма данных из многих источников с последующим переносом в системы хранения. Сократите затраты, оплачивая только потребляемые ресурсы в архитектуре бессерверных вычислений.
