Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
Проект Яндекса
© 2023 ООО «Яндекс.Облако»
Yandex Managed Service for Apache Kafka®
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Информация об имеющихся кластерах
    • Создание кластера
    • Подключение к кластеру
    • Остановка и запуск кластера
    • Обновление версии Apache Kafka®
    • Изменение настроек кластера
    • Управление хостами Apache Kafka®
    • Работа с топиками и разделами
    • Управление пользователями Apache Kafka®
    • Управление коннекторами
    • Просмотр логов кластера
    • Удаление кластера
    • Мониторинг состояния кластера и хостов
  • Практические руководства
    • Все руководства
    • Настройка Kafka Connect для работы с Managed Service for Apache Kafka®
    • Использование схем формата данных с Managed Service for Apache Kafka®
      • Обзор
      • Работа с управляемым реестром схем формата данных
      • Использование Confluent Schema Registry с Managed Service for Apache Kafka®
    • Миграция базы данных из стороннего кластера Apache Kafka®
    • Перенос данных между кластерами Managed Service for Apache Kafka® с помощью Yandex Data Transfer
    • Поставка данных из Yandex Managed Service for PostgreSQL с помощью Debezium
    • Поставка данных из Yandex Managed Service for MySQL с помощью Debezium
    • Поставка данных из Yandex Managed Service for PostgreSQL с помощью Yandex Data Transfer
    • Поставка данных в Managed Service for ClickHouse
    • Поставка данных в Yandex Managed Service for ClickHouse с помощью Yandex Data Transfer
    • Поставка данных в ksqlDB
    • Поставка данных в Yandex Managed Service for YDB с помощью Yandex Data Transfer
  • Концепции
    • Взаимосвязь ресурсов сервиса
    • Топики и разделы
    • Брокеры
    • Производители и потребители
    • Управление схемами данных
    • Классы хостов
    • Сеть в Managed Service for Apache Kafka®
    • Квоты и лимиты
    • Типы дисков
    • Коннекторы
    • Техническое обслуживание
    • Настройки Apache Kafka®
  • Управление доступом
  • Правила тарификации
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • ClusterService
      • ConnectorService
      • ResourcePresetService
      • TopicService
      • UserService
      • OperationService
    • REST (англ.)
      • Overview
      • Cluster
        • Overview
        • create
        • delete
        • get
        • list
        • listHosts
        • listLogs
        • listOperations
        • move
        • rescheduleMaintenance
        • start
        • stop
        • streamLogs
        • update
      • Connector
        • Overview
        • create
        • delete
        • get
        • list
        • pause
        • resume
        • update
      • ResourcePreset
        • Overview
        • get
        • list
      • Topic
        • Overview
        • create
        • delete
        • get
        • list
        • update
      • User
        • Overview
        • create
        • delete
        • get
        • grantPermission
        • list
        • revokePermission
        • update
      • Operation
        • Overview
        • get
  • История изменений
  • Вопросы и ответы
  1. Концепции
  2. Коннекторы

Коннекторы

Статья создана
Yandex Cloud
  • Поддерживаемые коннекторы
    • MirrorMaker
    • S3 Sink

Коннекторы — это встроенные в Managed Service for Apache Kafka® компоненты инструмента Kafka Connect для передачи информации между Apache Kafka® и другими хранилищами данных. Коннектор можно использовать для непрерывной миграции данных в кластер Managed Service for Apache Kafka® или из него. Работа с данными в коннекторе выполняется в отдельных потоках процесса-исполнителя Kafka Connect (worker). Подробнее о Kafka Connect см. в документации Apache Kafka®.

Коннектор выполняет следующие функции:

  • Подключение к кластеру Managed Service for Apache Kafka® и другим хранилищам данных.
  • Чтение и запись данных.
  • Управление процессом работы с данными.

Для любого типа коннекторов можно указать:

  • Лимит задач. Определяет количество одновременно запущенных процессов-исполнителей.
  • Дополнительные свойства.

Пошаговые инструкции по работе с коннекторами см. в разделе Управление коннекторами.

Поддерживаемые коннекторы

MirrorMaker

Коннектор MirrorMaker используется для межкластерной репликации топиков Apache Kafka®.

Процесс-исполнитель обращается к хостам-брокерам кластера Managed Service for Apache Kafka® и реплицирует топики, указанные в шаблоне фильтрации коннектора. В зависимости от фактора репликации коннектора, подключение происходит к одному или нескольким брокерам.

Названия топиков в кластере-приемнике совпадают с их названиями в кластере-источнике.

Подробнее о том, как MirrorMaker выполняет перенос данных, см. в документации Apache Kafka®.

S3 Sink

Коннектор S3 Sink используется только в качестве приемника для экспорта данных из топиков Apache Kafka® в хранилище S3.

Коннектор периодически запрашивает данные из Apache Kafka® и загружает их в хранилище S3. Данные разделяются на куски (chunks), которые представляют собой файл-объекты S3. Размер каждого такого куска данных зависит от заданного максимального количества записей в нем.

Подробнее о том, как S3 Sink выполняет перенос данных, см. в документации коннектора.

Была ли статья полезна?

Language / Region
Проект Яндекса
© 2023 ООО «Яндекс.Облако»
В этой статье:
  • Поддерживаемые коннекторы
  • MirrorMaker
  • S3 Sink