Yandex Managed Service for Apache Kafka^®

Сервис для создания и управления кластерами Apache Kafka^® в инфраструктуре Yandex.Cloud.

Apache Kafka — платформа с открытым исходным кодом для распределённой доставки, хранения и обработки данных в реальном времени.

Простое управление

Сфокусируйтесь на создании приложений обработки потока данных и не тратьте время на поддержание инфраструктуры. Managed Service for Apache Kafka отвечает за управление брокерами, кластерами Zookeeper, настройку кластеров и обновление версий.

Высокая доступность

Распределите брокеры кластера между разными зонами доступности и настройте фактор репликации для обеспечения нужного уровня отказоустойчивости. Сервис анализирует метрики и состояние кластера и, в случае отказа одного из узлов, автоматически его заменяет.

Эффективная утилизация ресурсов

Для каждого топика можно настроить фактор репликации, политику очистки лога, тип сжатия, а также максимальное количество сообщений, чтобы более эффективно использовать вычислительные, сетевые и дисковые ресурсы.

Масштабируемость

Вы можете по клику добавить в кластер брокеры, чтобы повысить производительность, или изменить класс хостов высокодоступной конфигурации без остановки работы и потери данных.

Безопасность

Все соединения шифруются при помощи протокола TLS. Механизм SASL контролирует доступ пользователей к топикам по спискам контроля доступа (ACL). Сервис соответствует требованиям 152-ФЗ, индустриальным стандартам ISO и GDPR.

Аналитика в реальном времени

С помощью Apache Kafka можно поставлять данные напрямую в ClickHouse без дополнительной разработки. ClickHouse отлично справляется с обработкой запросов к большим объёмам данных. А DataLens позволит эти данные визуализировать и построить отчёты.

Подробнее

Мы берём на себя большую часть работы по обслуживанию кластера

Процессы

Managed Service for Apache Kafka

Самостоятельная инсталляция Apache Kafka

Разграничение доступа к данным

Развёртывание виртуальных машин

Настройка сети

Установка ОС и ПО

Обновление брокеров

Безопасность хранилища данных и оборудования

Инструменты мониторинга

Самостоятельный контроль

Контроль на стороне Yandex.Cloud

С чего начать

Выберите необходимые вычислительные мощности и создайте готовый к работе кластер Apache Kafka.

Создать кластер

Вопросы и ответы

В чём особенность Apache Kafka?

Apache Kafka — распределённый брокер сообщений с возможностью горизонтального масштабирования для передачи данных между приложениями и их компонентами. Данные через Apache Kafka передаются между приложениями по принципу «публикация-подписка» при помощи топиков.

В документацию

Что такое топик?

Топик — это способ группировки потоков сообщений по категориям. Производители публикуют сообщения определённой категории в топик, а потребители подписываются на этот топик и читают из него сообщения. Для каждого топика Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов.

Как формируются разделы?

Раздел — это последовательность сообщений топика, которые упорядочены в порядке их поступления. Потребители читают сообщения от начала к концу раздела, то есть первыми будут прочитаны те сообщения, которые поступили раньше.