Создание триггера для Yandex Data Streams

Статья создана

Перед началом работы
Создать триггер
Проверить результат
Что дальше

Создайте триггер для Data Streams, который будет вызывать функцию Cloud Functions или контейнер Serverless Containers при отправке данных в поток.

Перед началом работы

Для создания триггера вам понадобятся:

Функция или контейнер, которые триггер будет запускать.
- Если у вас нет функции:
  - Создайте функцию.
  - Создайте версию функции.
- Если у вас нет контейнера:
  - Создайте контейнер.
  - Создайте ревизию контейнера.
Поток, при отправке данных в который триггер будет запускаться. Если у вас нет потока, создайте его.
(опционально) Очередь Dead Letter Queue, куда будут перенаправляться сообщения, которые не смогли обработать функция или контейнер. Если у вас нет очереди, создайте ее.
Сервисные аккаунты с правами:
- на вызов функции или контейнера;
- на чтение из потока, при отправке данных в который триггер будет запускаться;
- (опционально) на запись в очередь Dead Letter Queue.
Вы можете использовать один и тот же сервисный аккаунт или разные. Если у вас нет сервисного аккаунта, создайте его.

Создать триггер

Примечание

Триггер начинает работать в течение 5 минут после создания.

Консоль управления

CLI

API

В консоли управления перейдите в каталог, в котором хотите создать триггер.
Откройте сервис Cloud Functions.
На панели слева выберите Триггеры.
Нажмите кнопку Создать триггер.
В блоке Базовые параметры:
- Введите имя и описание триггера.
- В поле Тип выберите Data Streams.
- Выберите, что будет запускать триггер — функцию или контейнер.
В блоке Настройки Data Streams выберите поток данных и сервисный аккаунт с правами на чтение из потока данных и запись в него.
(опционально) В блоке Настройки группирования сообщений укажите:
- размер группы сообщений в байтах. Допустимые значения от 1 Б до 64 КБ, значение по умолчанию — 1 Б.
- максимальное время ожидания. Допустимые значения от 1 до 60 секунд, значение по умолчанию — 1 секунда.
Триггер группирует сообщения не дольше указанного времени ожидания и отправляет их в функцию или контейнер. Суммарный объем данных, которые передаются в функцию или контейнер, может превышать указанный размер группы, если данные передаются в одном сообщении. Во всех остальных случаях объем данных не превышает размер группы.
Если триггер будет запускать:
- функцию, в блоке Настройки функции выберите ее и укажите:
  - тег версии функции;
  - сервисный аккаунт, от имени которого будет вызываться функция.
- контейнер, в блоке Настройки контейнера выберите его и укажите:
  - ревизию контейнера;
  - сервисный аккаунт, от имени которого будет вызываться контейнер.
(опционально) В блоке Настройки повторных запросов:
- В поле Интервал укажите время, через которое будет сделан повторный вызов функции или контейнера, если текущий завершился неуспешно. Допустимые значения — от 10 до 60 секунд, значение по умолчанию — 10 секунд.
- В поле Количество попыток укажите количество повторных вызовов функции или контейнера, которые будут сделаны, прежде чем триггер отправит сообщение в Dead Letter Queue. Допустимые значения — от 1 до 5, значение по умолчанию — 1.
(опционально) В блоке Настройки Dead Letter Queue выберите очередь Dead Letter Queue и сервисный аккаунт с правами на запись в нее.
Нажмите кнопку Создать триггер.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать триггер, который запускает функцию, выполните команду:

yc serverless trigger create yds \
  --name <имя триггера> \
  --stream <имя потока данных> \
  --batch-size 1b \
  --batch-cutoff 1s \
  --stream-service-account-id <идентификатор сервисного аккаунта> \
  --invoke-function-id <идентификатор функции> \
  --invoke-function-service-account-id <идентификатор сервисного аккаунта> \
  --retry-attempts 1 \
  --retry-interval 10s \
  --dlq-queue-id <идентификатор очереди Dead Letter Queue> \
  --dlq-service-account-id <идентификатор сервисного аккаунта>

Где:

--name — имя триггера.
--stream — имя потока данных.
--batch-size — размер группы сообщений. Необязательный параметр. Допустимые значения от 1 Б до 64 КБ, значение по умолчанию — 1 Б.
--batch-cutoff — максимальное время ожидания. Необязательный параметр. Допустимые значения от 1 до 60 секунд, значение по умолчанию — 1 секунда. Триггер группирует сообщения не дольше batch-cutoff и отправляет их в функцию или контейнер. Суммарный объем данных, которые передаются в функцию или контейнер, может превышать batch-size, если данные передаются в одном сообщении. Во всех остальных случаях объем данных не превышает batch-size.
--stream-service-account-id — идентификатор сервисного аккаунта, у которого есть права на чтение из потока данных и запись в него.
--invoke-function-id — идентификатор функции.
--invoke-function-service-account-id — идентификатор сервисного аккаунта, у которого есть права на вызов функции.
--retry-attempts — время, через которое будет сделан повторный вызов функции, если текущий завершился неуспешно. Необязательный параметр. Допустимые значения — от 10 до 60 секунд, значение по умолчанию — 10 секунд.
--retry-interval — количество повторных вызовов, которые будут сделаны, прежде чем триггер отправит сообщение в Dead Letter Queue. Необязательный параметр. Допустимые значения — от 1 до 5, значение по умолчанию — 1.
--dlq-queue-id — идентификатор очереди Dead Letter Queue. Необязательный параметр.
--dlq-service-account-id — сервисный аккаунт с правами на запись в очередь Dead Letter Queue. Необязательный параметр.

Результат:

id: a1sfe084v4se4morbu2i
folder_id: b1g88tflru0ek1omtsu0
created_at: "2019-12-04T08:45:31.131391Z"
name: data-streams-trigger
rule:
  yds:
    invoke_function:
      stream: my-beta-stream
      stream-service-account-id: aje3932acd0c********
      function_id: d4eofc7n0m03********
      function_tag: $latest
      service_account_id: aje3932acd0c********
      retry_settings:
        retry_attempts: "1"
        interval: 10s
      dead_letter_queue:
        queue-id: yrn:yc:ymq:ru-central1:aoek49ghmknn********:dlq
        service-account-id: aje3932acd0c********
status: ACTIVE

Создать триггер можно с помощью метода API create.

Проверить результат

Проверьте, что триггер работает корректно. Для этого посмотрите логи функции или логи контейнера, в них отображается информация о вызовах.

Что дальше

Ознакомьтесь с концепциями триггеров.
Прочитайте подробнее о триггере для Data Streams.
Посмотрите, что можно делать с триггерами в пошаговых инструкциях.

Создание триггера для Yandex Data Streams

Перед началом работы

Создать триггер

Проверить результат

Что дальше

Была ли статья полезна?