Yandex Data Streams

Масштабируемый сервис для управления потоками данных
в режиме реального времени.

Упрощает обмен данными между компонентами в микросервисных архитектурах.
При использовании в качестве транспорта для микросервисов
упрощает интеграцию, увеличивает надёжность, улучшает масштабирование.

Совместим с протоколом AWS Kinesis Data Streams.

Мгновенная передача данных
Запись данных и их чтение практически в режиме реального времени. Вы можете задать скорость передачи данных и время их хранения.
Эластичное выделение ресурсов
Гранулярно настраиваются необходимые ресурсы для обработки потока данных: от очень маленьких потоков в 100 КБ/с и до потоков в 100 МБ/с.
Управление потоком данных
С помощью Yandex Data Transfer один поток данных может быть передан в несколько приёмников с различными политиками хранения.
Репликация на несколько зон доступности
Данные автоматически реплицируются между несколькими географически распределёнными зонами доступности.
Простота эксплуатации
После создания вы можете централизованно управлять потоками данных из консоли управления или с помощью API.

Решайте свои задачи с Data Streams

Шина потоков данных

Упрощает обмен данными между компонентами в микросервисных архитектурах, особенно в сценарии многие-ко-многим. При использовании в качестве транспорта для микросервисов: упрощает интеграцию, увеличивает надежность, улучшает масштабирование. Совместим с протоколом AWS Kinesis Data Streams.

Хранение журналов работы приложений

Интеграция с системами поставки типа fluentd®/logstash позволяет без написания кода поставлять журналы работы приложений в системы хранения данных Yandex.Cloud:

Ввод данных в системы хранения

Позволяет вводить произвольные данные в системы хранения Yandex.Cloud с любых источников: мобильных телефонов, устройств, серверов за счет поддержки HTTP протокола и протокола AWS Kinesis Data Streams. Вводимые данные можно обработать в Cloud Functions для очистки, маскирования чувствительных данных или для смены формата.

Работает в связке с
Cloud Functions

Поставка и обработка данных с Data Streams

Потоковая обработка
Обработка и передача данных
Пример настройки

Потоковая обработка с Data Streams

Yandex Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб‑сайтов, логи работы приложений, ленты социальных сетей и системные журналы.

Вопросы и ответы

Для чего нужен Data Streams?

Yandex Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб‑сайтов, логи работы приложений, ленты социальных сетей и системные журналы.

Yandex Data Streams способен непрерывно выполнять сбор данных из источников, таких как истории посещений веб‑сайтов, логи работы приложений, ленты социальных сетей и системные журналы.

Какие типы данных можно передавать с Data Streams?

  • Логи действий пользователей на сайте (access log). Все действия пользователей за последний год сохраняются в холодном хранилище Object Storage, а данные за последний месяц сохраняются в OLAP БД ClickHouse.
  • Логи работы приложений. Для соответствия compliance-требованиям логи работы приложений сохраняются в холодном хранилище Object Storage на длительное время.
  • Данные телеметрии различных устройств (мобильные телефоны, IoT) по HTTP-протоколу поступают в Data Streams, откуда они передаются в различные системы хранения и обработки данных.
  • Логи действий пользователей на сайте (access log). Все действия пользователей за последний год сохраняются в холодном хранилище Object Storage, а данные за последний месяц сохраняются в OLAP БД ClickHouse.
  • Логи работы приложений. Для соответствия compliance-требованиям логи работы приложений сохраняются в холодном хранилище Object Storage на длительное время.
  • Данные телеметрии различных устройств (мобильные телефоны, IoT) по HTTP-протоколу поступают в Data Streams, откуда они передаются в различные системы хранения и обработки данных.

Как отправлять данные?

С помощью стандартных решений поставки логов: fluentd, logstash и других. Кроме этого, Data Streams совместим с Amazon Kinesis Data Streams, поэтому данные можно отправлять из любых других приложений с использованием AWS Kinesis SDK или с помощью стандартного HTTP-протокола.

С помощью стандартных решений поставки логов: fluentd, logstash и других. Кроме этого, Data Streams совместим с Amazon Kinesis Data Streams, поэтому данные можно отправлять из любых других приложений с использованием AWS Kinesis SDK или с помощью стандартного HTTP-протокола.

Чем Data Streams отличается от Apache Kafka®?

И Data Streams и Apache Kafka® решают одну и ту же задачу — ввод потоков данных и передачу их потребителям.

В отличие от Apache Kafka, Data Streams не требует выделенных виртуальных машин, а работает с понятием «потока передачи данных». Все потоки данных в Data Streams резервированы по всем зонам доступности.

Data Streams интегрирован с другими сервисами Yandex.Cloud, что позволяет настроить сохранение данных из Data Streams в принимающие управляемые БД в одной консоли управления.

И Data Streams и Apache Kafka® решают одну и ту же задачу — ввод потоков данных и передачу их потребителям.

В отличие от Apache Kafka, Data Streams не требует выделенных виртуальных машин, а работает с понятием «потока передачи данных». Все потоки данных в Data Streams резервированы по всем зонам доступности.

Data Streams интегрирован с другими сервисами Yandex.Cloud, что позволяет настроить сохранение данных из Data Streams в принимающие управляемые БД в одной консоли управления.

Начните пользоваться Data Streams

  1. Logstash является зарегистрированным товарным знаком Elasticsearch BV в США и/или других странах.

  2. Apache® и Apache Kafka® являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах.