Yandex Data Streams

Масштабируемый сервис для управления потоками данных
в режиме реального времени.

Упрощает обмен данными между компонентами в микросервисных архитектурах.
При использовании в качестве транспорта для микросервисов
упрощает интеграцию, увеличивает надёжность, улучшает масштабирование.

Совместим с протоколами Apache Kafka®, AWS Kinesis Data Streams.

Мгновенная передача данных

Запись данных и их чтение практически в режиме реального времени. Вы можете задать скорость передачи данных и время их хранения.

Эластичное выделение ресурсов

Гранулярно настраиваются необходимые ресурсы для обработки потока данных: от очень маленьких потоков в 100 КБ/с и до потоков в 100 МБ/с.

Управление потоком данных

С помощью Yandex Data Transfer один поток данных может быть передан в несколько приёмников с различными политиками хранения.

Репликация на несколько зон доступности

Данные автоматически реплицируются между несколькими географически распределёнными зонами доступности.

Простота эксплуатации

После создания вы можете централизованно управлять потоками данных из консоли управления или с помощью API.

Решайте свои задачи с Data Streams

Шина потоков данных

Упрощает обмен данными между компонентами в микросервисных архитектурах, особенно в сценарии многие-ко-многим. При использовании в качестве транспорта для микросервисов: упрощает интеграцию, увеличивает надежность, улучшает масштабирование. Совместим с протоколами Apache Kafka®, AWS Kinesis Data Streams.

Хранение журналов работы приложений

Интеграция с системами поставки типа fluentd®/logstash позволяет без написания кода поставлять журналы работы приложений в системы хранения данных Yandex Cloud:

Ввод данных в системы хранения

Позволяет вводить произвольные данные в системы хранения Yandex Cloud с любых источников: мобильных телефонов, устройств, серверов за счет поддержки HTTP протокола и протокола AWS Kinesis Data Streams. Вводимые данные можно обработать в Cloud Functions для очистки, маскирования чувствительных данных или для смены формата.

Работает в связке с
Cloud Functions

Поставка и обработка данных с Data Streams

Потоковая обработка с Data Streams

Yandex Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб‑сайтов, логи работы приложений, ленты социальных сетей и системные журналы.

Посмотрите доклад Yandex Scale 2021

Узнайте, как организовать миграцию между различными средами, создать DR-площадку и обеспечить поставку данных в аналитическое хранилище.

Вопросы и ответы

Для чего нужен Data Streams?

Yandex Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб‑сайтов, логи работы приложений, ленты социальных сетей и системные журналы.

Начните пользоваться Data Streams

Logstash является зарегистрированным товарным знаком Elasticsearch BV в США и/или других странах.

Apache® и Apache Kafka® являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах.

ClickHouse является зарегистрированным товарным знаком ClickHouse, Inc.