Создание триггера для Yandex Data Streams
Создайте триггер для Data Streams, который будет вызывать функцию Cloud Functions или контейнер Serverless Containers при отправке данных в поток.
Перед началом работы
Для создания триггера вам понадобятся:
-
Функция или контейнер, которые триггер будет запускать.
-
Если у вас нет функции:
-
Если у вас нет контейнера:
-
-
Поток, при отправке данных в который триггер будет запускаться. Если у вас нет потока, создайте его.
-
(опционально) Очередь Dead Letter Queue, куда будут перенаправляться сообщения, которые не смогли обработать функция или контейнер. Если у вас нет очереди, создайте ее.
-
Сервисные аккаунты с правами:
- на вызов функции или контейнера;
- на чтение из потока, при отправке данных в который триггер будет запускаться;
- (опционально) на запись в очередь Dead Letter Queue.
Вы можете использовать один и тот же сервисный аккаунт или разные. Если у вас нет сервисного аккаунта, создайте его.
Создать триггер
Примечание
Триггер начинает работать в течение 5 минут после создания.
-
В консоли управления перейдите в каталог, в котором хотите создать триггер.
-
Откройте сервис Cloud Functions.
-
На панели слева выберите Триггеры.
-
Нажмите кнопку Создать триггер.
-
В блоке Базовые параметры:
- Введите имя и описание триггера.
- В поле Тип выберите Data Streams.
- Выберите, что будет запускать триггер — функцию или контейнер.
-
В блоке Настройки Data Streams выберите поток данных и сервисный аккаунт с правами на чтение из потока данных и запись в него.
-
(опционально) В блоке Настройки группирования сообщений укажите:
- размер группы сообщений в байтах. Допустимые значения от 1 Б до 64 КБ, значение по умолчанию — 1 Б.
- максимальное время ожидания. Допустимые значения от 1 до 60 секунд, значение по умолчанию — 1 секунда.
Триггер группирует сообщения не дольше указанного времени ожидания и отправляет их в функцию или контейнер. Суммарный объем данных, которые передаются в функцию или контейнер, может превышать указанный размер группы, если данные передаются в одном сообщении. Во всех остальных случаях объем данных не превышает размер группы.
-
Если триггер будет запускать:
-
функцию, в блоке Настройки функции выберите ее и укажите:
- тег версии функции;
- сервисный аккаунт, от имени которого будет вызываться функция.
-
контейнер, в блоке Настройки контейнера выберите его и укажите:
- ревизию контейнера;
- сервисный аккаунт, от имени которого будет вызываться контейнер.
-
-
(опционально) В блоке Настройки повторных запросов:
- В поле Интервал укажите время, через которое будет сделан повторный вызов функции или контейнера, если текущий завершился неуспешно. Допустимые значения — от 10 до 60 секунд, значение по умолчанию — 10 секунд.
- В поле Количество попыток укажите количество повторных вызовов функции или контейнера, которые будут сделаны, прежде чем триггер отправит сообщение в Dead Letter Queue. Допустимые значения — от 1 до 5, значение по умолчанию — 1.
-
(опционально) В блоке Настройки Dead Letter Queue выберите очередь Dead Letter Queue и сервисный аккаунт с правами на запись в нее.
-
Нажмите кнопку Создать триггер.
Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.
По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name
или --folder-id
.
Чтобы создать триггер, который запускает функцию, выполните команду:
yc serverless trigger create yds \
--name <имя триггера> \
--stream <имя потока данных> \
--batch-size 1b \
--batch-cutoff 1s \
--stream-service-account-id <идентификатор сервисного аккаунта> \
--invoke-function-id <идентификатор функции> \
--invoke-function-service-account-id <идентификатор сервисного аккаунта> \
--retry-attempts 1 \
--retry-interval 10s \
--dlq-queue-id <идентификатор очереди Dead Letter Queue> \
--dlq-service-account-id <идентификатор сервисного аккаунта>
Где:
--name
— имя триггера.--stream
— имя потока данных.--batch-size
— размер группы сообщений. Необязательный параметр. Допустимые значения от 1 Б до 64 КБ, значение по умолчанию — 1 Б.--batch-cutoff
— максимальное время ожидания. Необязательный параметр. Допустимые значения от 1 до 60 секунд, значение по умолчанию — 1 секунда. Триггер группирует сообщения не дольшеbatch-cutoff
и отправляет их в функцию или контейнер. Суммарный объем данных, которые передаются в функцию или контейнер, может превышатьbatch-size
, если данные передаются в одном сообщении. Во всех остальных случаях объем данных не превышаетbatch-size
.--stream-service-account-id
— идентификатор сервисного аккаунта, у которого есть права на чтение из потока данных и запись в него.--invoke-function-id
— идентификатор функции.--invoke-function-service-account-id
— идентификатор сервисного аккаунта, у которого есть права на вызов функции.--retry-attempts
— время, через которое будет сделан повторный вызов функции, если текущий завершился неуспешно. Необязательный параметр. Допустимые значения — от 10 до 60 секунд, значение по умолчанию — 10 секунд.--retry-interval
— количество повторных вызовов, которые будут сделаны, прежде чем триггер отправит сообщение в Dead Letter Queue. Необязательный параметр. Допустимые значения — от 1 до 5, значение по умолчанию — 1.--dlq-queue-id
— идентификатор очереди Dead Letter Queue. Необязательный параметр.--dlq-service-account-id
— сервисный аккаунт с правами на запись в очередь Dead Letter Queue. Необязательный параметр.
Результат:
id: a1sfe084v4se4morbu2i
folder_id: b1g88tflru0ek1omtsu0
created_at: "2019-12-04T08:45:31.131391Z"
name: data-streams-trigger
rule:
yds:
invoke_function:
stream: my-beta-stream
stream-service-account-id: aje3932acd0c********
function_id: d4eofc7n0m03********
function_tag: $latest
service_account_id: aje3932acd0c********
retry_settings:
retry_attempts: "1"
interval: 10s
dead_letter_queue:
queue-id: yrn:yc:ymq:ru-central1:aoek49ghmknn********:dlq
service-account-id: aje3932acd0c********
status: ACTIVE
Создать триггер можно с помощью метода API create.
Проверить результат
Проверьте, что триггер работает корректно. Для этого посмотрите логи функции или логи контейнера, в них отображается информация о вызовах.
Что дальше
- Ознакомьтесь с концепциями триггеров.
- Прочитайте подробнее о триггере для Data Streams.
- Посмотрите, что можно делать с триггерами в пошаговых инструкциях.