Подключиться
Managed Service for Apache Kafka®

Yandex Managed Service for Apache Kafka®

Сервис для создания и управления кластерами Apache Kafka® в инфраструктуре Yandex Cloud.

Apache Kafka — платформа с открытым исходным кодом для распределённой доставки, хранения и обработки данных в реальном времени.

ПодключитьсяДокументация
Простое управление
Сфокусируйтесь на создании приложений обработки потока данных и не тратьте время на поддержание инфраструктуры. Managed Service for Apache Kafka отвечает за управление брокерами, кластерами Zookeeper, настройку кластеров и обновление версий.
Высокая доступность
Распределите брокеры кластера между разными зонами доступности и настройте фактор репликации для обеспечения нужного уровня отказоустойчивости. Сервис анализирует метрики и состояние кластера и, в случае отказа одного из узлов, автоматически его заменяет.
Эффективная утилизация ресурсов
Для каждого топика можно настроить фактор репликации, политику очистки лога, тип сжатия, а также максимальное количество сообщений, чтобы более эффективно использовать вычислительные, сетевые и дисковые ресурсы.
Масштабируемость
Вы можете по клику добавить в кластер брокеры, чтобы повысить производительность, или изменить класс хостов высокодоступной конфигурации без остановки работы и потери данных.
Безопасность
Все соединения шифруются при помощи протокола TLS. Механизм SASL контролирует доступ пользователей к топикам по спискам контроля доступа (ACL). Сервис соответствует требованиям 152-ФЗ, индустриальным стандартам ISO, GDPR и PCI DSS.
Аналитика в реальном времени
С помощью Apache Kafka можно поставлять данные напрямую в ClickHouse без дополнительной разработки. ClickHouse отлично справляется с обработкой запросов к большим объёмам данных. А DataLens позволит эти данные визуализировать и построить отчёты.
Подробнее

Мы берём на себя большую часть работы по обслуживанию кластера

Процессы
Managed Service for Apache Kafka
Самостоятельная инсталляция Apache Kafka
Разграничение доступа к данным
Развёртывание виртуальных машин
Настройка сети
Установка ОС и ПО
Обновление брокеров
Безопасность хранилища данных и оборудования
Инструменты мониторинга

Самостоятельный контроль

Контроль на стороне Yandex Cloud

С чего начать

Выберите необходимые вычислительные мощности и создайте готовый к работе кластер Apache Kafka.

Создать кластер

Вопросы и ответы

В чём особенность Apache Kafka?

Apache Kafka — распределённый брокер сообщений с возможностью горизонтального масштабирования для передачи данных между приложениями и их компонентами. Данные через Apache Kafka передаются между приложениями по принципу «публикация-подписка» при помощи топиков.

В документацию

Apache Kafka — распределённый брокер сообщений с возможностью горизонтального масштабирования для передачи данных между приложениями и их компонентами. Данные через Apache Kafka передаются между приложениями по принципу «публикация-подписка» при помощи топиков.

В документацию

Что такое топик?

Топик — это способ группировки потоков сообщений по категориям. Производители публикуют сообщения определённой категории в топик, а потребители подписываются на этот топик и читают из него сообщения. Для каждого топика Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов.

Топик — это способ группировки потоков сообщений по категориям. Производители публикуют сообщения определённой категории в топик, а потребители подписываются на этот топик и читают из него сообщения. Для каждого топика Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов.

Как формируются разделы?

Раздел — это последовательность сообщений топика, которые упорядочены в порядке их поступления. Потребители читают сообщения от начала к концу раздела, то есть первыми будут прочитаны те сообщения, которые поступили раньше.

Раздел — это последовательность сообщений топика, которые упорядочены в порядке их поступления. Потребители читают сообщения от начала к концу раздела, то есть первыми будут прочитаны те сообщения, которые поступили раньше.

Какие версии Apache Kafka доступны в Yandex Cloud?

Managed Service for Apache Kafka поддерживает Apache Kafka версий 2.8 и 3.0.

Managed Service for Apache Kafka поддерживает Apache Kafka версий 2.8 и 3.0.

Мероприятия и вебинары 

Новости 

Начните пользоваться Managed Service for Apache Kafka

КонсольДокументация

Полезные ссылки

Найти партнёра
Задать вопрос
Тарифы

Apache® и Apache Kafka® являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах.