Preview
Yandex Data Streams

Масштабируемый сервис для управления потоками данных в режиме реального времени.

Сервис находится на стадии Preview.

Документация
Шина потоков данных
Запись данных и их чтение практически в режиме реального времени. Вы можете задать скорость передачи данных и время их хранения.
Эластичное выделение ресурсов
Гранулярно настраиваются необходимые ресурсы для обработки потока данных: от очень маленьких потоков в 100 КБ/с и до потоков в 10 МБ/с на стадии Preview.
Управление потоком данных
Сохранение одного потока в несколько приемников с различными политиками хранения с помощью Yandex Data Transfer.

Как настроить потоковую обработку данных

Потоковая обработка
Обработка и передача данных
Пример настройки

Потоковая обработка с Data Streams

Yandex Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб‑сайтов, логи работы приложений, ленты социальных сетей и системные журналы.

Вопросы и ответы

Для чего нужен Data Streams?

Yandex Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб‑сайтов, логи работы приложений, ленты социальных сетей и системные журналы.

Yandex Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб‑сайтов, логи работы приложений, ленты социальных сетей и системные журналы.

Какие типы данных можно передавать с Data Streams?

  • Логи действий пользователей на сайте (access log). Все действия пользователей за последний год сохраняются в холодном хранилище Object Storage, а данные за последний месяц сохраняются в OLAP БД ClickHouse.
  • Логи работы приложений. Для соответствия compliance-требованиям логи работы приложений сохраняются в холодном хранилище Object Storage на длительное время.
  • Данные телеметрии различных устройств (мобильные телефоны, IoT) по HTTP-протоколу поступают в Data Streams, откуда они передаются в различные системы хранения и обработки данных.
  • Логи действий пользователей на сайте (access log). Все действия пользователей за последний год сохраняются в холодном хранилище Object Storage, а данные за последний месяц сохраняются в OLAP БД ClickHouse.
  • Логи работы приложений. Для соответствия compliance-требованиям логи работы приложений сохраняются в холодном хранилище Object Storage на длительное время.
  • Данные телеметрии различных устройств (мобильные телефоны, IoT) по HTTP-протоколу поступают в Data Streams, откуда они передаются в различные системы хранения и обработки данных.

Как отправлять данные?

С помощью стандартных решений поставки логов: fluentd, logstash и других. Кроме этого, Data Streams совместим с Amazon Kinesis Data Streams, поэтому данные можно отправлять из любых других приложений с использованием AWS Kinesis SDK или с помощью стандартного HTTP-протокола.

С помощью стандартных решений поставки логов: fluentd, logstash и других. Кроме этого, Data Streams совместим с Amazon Kinesis Data Streams, поэтому данные можно отправлять из любых других приложений с использованием AWS Kinesis SDK или с помощью стандартного HTTP-протокола.

Чем Data Streams отличается от Apache Kafka®?

И Data Streams и Apache Kafka® решают одну и ту же задачу — ввод потоков данных и передачу их потребителям.

В отличие от Apache Kafka, Data Streams не требует выделенных виртуальных машин, а работает с понятием «потока передачи данных». Все потоки данных в Data Streams резервированы по всем зонам доступности.

Data Streams интегрирован с другими сервисами Yandex.Cloud, что позволяет настроить сохранение данных из Data Streams в принимающие управляемые БД в одной консоли управления.

И Data Streams и Apache Kafka® решают одну и ту же задачу — ввод потоков данных и передачу их потребителям.

В отличие от Apache Kafka, Data Streams не требует выделенных виртуальных машин, а работает с понятием «потока передачи данных». Все потоки данных в Data Streams резервированы по всем зонам доступности.

Data Streams интегрирован с другими сервисами Yandex.Cloud, что позволяет настроить сохранение данных из Data Streams в принимающие управляемые БД в одной консоли управления.

Начните пользоваться Data Streams