Подключиться
Yandex Cloud Functions

Создать триггер для Data Streams, который вызывает функцию Cloud Functions

Статья создана

Создайте триггер для Data Streams, который будет вызывать функцию Cloud Functions при отправке данных в поток.

Перед началом работы

Для создания триггера вам понадобятся:

  • Функция, которую триггер будет вызывать. Если у вас нет функции:

  • (опционально) Очередь Dead Letter Queue, куда будут перенаправляться сообщения, которые не смогла обработать функция. Если у вас нет очереди, создайте ее.

  • Сервисные аккаунты с правами:

    • на вызов функции;
    • на чтение из потока, при отправке данных в который триггер будет запускаться;
    • (опционально) на запись в очередь Dead Letter Queue.

    Вы можете использовать один и тот же сервисный аккаунт или разные. Если у вас нет сервисного аккаунта, создайте его.

  • Поток, при отправке данных в который триггер будет запускаться. Если у вас нет потока, создайте его.

Создать триггер

Примечание

Триггер начинает работать в течение 5 минут после создания.

  1. В консоли управления перейдите в каталог, в котором хотите создать триггер.

  2. Выберите сервис Cloud Functions.

  3. На панели слева выберите Триггеры.

  4. Нажмите кнопку Создать триггер.

  5. В блоке Базовые параметры:

    • Введите имя и описание триггера.
    • В поле Тип выберите Data Streams.
    • В поле Запускаемый ресурс выберите Функция.

  6. В блоке Настройки Data Streams выберите поток данных и сервисный аккаунт с правами на чтение из потока данных и запись в него.

  7. (опционально) В блоке Настройки группирования сообщений укажите:

    • размер группы сообщений в байтах. Допустимые значения от 1 Б до 64 КБ, значение по умолчанию — 1 Б.
    • максимальное время ожидания. Допустимые значения от 1 до 60 секунд, значение по умолчанию — 1 секунда.

    Триггер группирует сообщения не дольше указанного времени ожидания и отправляет их в функцию. Суммарный объем данных, которые передаются в функцию, может превышать указанный размер группы, если данные передаются в одном сообщении. Во всех остальных случаях объем данных не превышает размер группы.

  8. В блоке Настройки функции выберите функцию и укажите:

  9. (опционально) В блоке Настройки повторных запросов:

    • В поле Интервал укажите время, через которое будет сделан повторный вызов функции, если текущий завершился неуспешно. Допустимые значения — от 10 до 60 секунд, значение по умолчанию — 10 секунд.
    • В поле Количество попыток укажите количество повторных вызовов функции, которые будут сделаны, прежде чем триггер отправит сообщение в Dead Letter Queue. Допустимые значения — от 1 до 5, значение по умолчанию — 1.

  10. (опционально) В блоке Настройки Dead Letter Queue выберите очередь Dead Letter Queue и сервисный аккаунт с правами на запись в нее.

  11. Нажмите кнопку Создать триггер.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать триггер, который вызывает функцию, выполните команду:

yc serverless trigger create yds \
  --name <имя триггера> \
  --database <размещение_базы_данных> \
  --stream <имя потока данных> \
  --batch-size 1b \
  --batch-cutoff 1s \
  --stream-service-account-id <идентификатор сервисного аккаунта> \
  --invoke-function-id <идентификатор функции> \
  --invoke-function-service-account-id <идентификатор сервисного аккаунта> \
  --retry-attempts 1 \
  --retry-interval 10s \
  --dlq-queue-id <идентификатор очереди Dead Letter Queue> \
  --dlq-service-account-id <идентификатор сервисного аккаунта>

Где:

  • --name — имя триггера.

  • --database — размещение базы данных YDB, к которой привязан поток Data Streams.

    Чтобы узнать, где размещена база данных, выполните команду yc ydb database list. Размещение базы данных указано в столбце ENDPOINT, в параметре database, например /ru-central1/b1gia87mba**********/etn7hehf6g*******.

  • --stream — имя потока данных Data Streams.

  • --batch-size — размер группы сообщений. Необязательный параметр. Допустимые значения от 1 Б до 64 КБ, значение по умолчанию — 1 Б.

  • --batch-cutoff — максимальное время ожидания. Необязательный параметр. Допустимые значения от 1 до 60 секунд, значение по умолчанию — 1 секунда. Триггер группирует сообщения не дольше batch-cutoff и отправляет их в функцию. Суммарный объем данных, которые передаются в функцию, может превышать batch-size, если данные передаются в одном сообщении. Во всех остальных случаях объем данных не превышает batch-size.

  • --stream-service-account-id — идентификатор сервисного аккаунта, у которого есть права на чтение из потока данных и запись в него.

  • --invoke-function-id — идентификатор функции.
  • --invoke-function-service-account-id — сервисный аккаунт с правами на вызов функции.
  • --retry-attempts — количество повторных вызовов, которые будут сделаны, прежде чем триггер отправит сообщение в Dead Letter Queue. Необязательный параметр. Допустимые значения — от 1 до 5, значение по умолчанию — 1.
  • --retry-interval — время, через которое будет сделан повторный вызов функции, если текущий завершился неуспешно. Необязательный параметр. Допустимые значения — от 10 до 60 секунд, значение по умолчанию — 10 секунд.
  • --dlq-queue-id — идентификатор очереди Dead Letter Queue. Необязательный параметр.
  • --dlq-service-account-id — сервисный аккаунт с правами на запись в очередь Dead Letter Queue. Необязательный параметр.

Результат:

id: a1smnfisr5**********
folder_id: b1gc1t4cb6**********
created_at: "2022-10-31T10:57:08.234586266Z"
name: data-streams-trigger
rule:
  data_stream:
    database: /ru-central1/b1gvlrnlei**********/etn3ege6nj**********
    stream: yds-stream
    service_account_id: aje07l4q4v**********
    batch_settings:
      size: "1"
      cutoff: 1s
    invoke_function:
      function_id: d4e155orh3**********
      function_tag: $latest
      service_account_id: aje07l4q4v**********
      retry_settings:
        retry_attempts: "1"
        interval: 10s
      dead_letter_queue:
        queue_id: yrn:yc:ymq:ru-central1:b1gc1t4cb6**********:queue_dead
        service_account_id: aje07l4q4v**********
status: ACTIVE

Создать триггер для Data Streams можно с помощью метода API create.

Проверить результат

Проверьте, что триггер работает корректно. Для этого посмотрите логи функции, в них отображается информация о вызовах.

См. также

В этой статье: