Коннекторы

Коннекторы — это встроенные в Managed Service for Apache Kafka^® компоненты инструмента Kafka Connect для передачи информации между Apache Kafka^® и другими хранилищами данных. Коннектор можно использовать для непрерывной миграции данных в кластер Managed Service for Apache Kafka^® или из него. Работа с данными в коннекторе выполняется в отдельных потоках процесса-исполнителя Kafka Connect (worker). Подробнее о Kafka Connect см. в документации Apache Kafka^®.

Коннектор выполняет следующие функции:

• Подключение к кластеру Managed Service for Apache Kafka^® и другим хранилищам данных.
• Чтение и запись данных.
• Управление процессом работы с данными.

Для любого типа коннекторов можно указать:

• Лимит задач. Определяет количество одновременно запущенных процессов-исполнителей.
• Дополнительные свойства.

Поддерживаемые коннекторы

MirrorMaker

Коннектор MirrorMaker используется для межкластерной репликации топиков Apache Kafka^®.

Процесс-исполнитель обращается к хостам-брокерам кластера Managed Service for Apache Kafka^® и реплицирует топики, указанные в шаблоне фильтрации коннектора. В зависимости от фактора репликации коннектора, подключение происходит к одному или нескольким брокерам.

Названия топиков в кластере-приемнике совпадают с их названиями в кластере-источнике.

Подробнее о том, как MirrorMaker выполняет перенос данных, см. в документации Apache Kafka^®.