Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex Cloud Functions
  • Сопоставление с другими сервисами Yandex Cloud
  • Начало работы
    • Обзор
    • Создание функции
      • Обзор
      • Node.js
      • Python
      • Go
      • PHP
      • Bash
      • Java
    • Создание триггера
      • Обзор
      • Таймер
      • Триггер для Message Queue
      • Триггер для Object Storage
      • Триггер для Container Registry
      • Триггер для Cloud Logs
      • Триггер для Cloud Logging
      • Триггер для Yandex IoT Core
      • Триггер для бюджетов
      • Триггер для Data Streams
  • Пошаговые инструкции
    • Все инструкции
    • Получение IAM-токена сервисного аккаунта с помощью функции
    • Подключение к управляемым БД из функции
    • Управление правами доступа к функции
    • Управление функцией
      • Создание функции
      • Управление версиями функции
      • Работа в редакторе кода
      • Вызов функции
      • Изменение функции
      • Масштабирование функции
      • Мониторинг функции
      • Просмотр журнала выполнения
      • Удаление функции
    • Управление триггером
      • Получение информации о триггере
      • Создание таймера
      • Создание триггера для Message Queue
      • Создание триггера для Object Storage
      • Создание триггера для Container Registry
      • Создание триггера для Cloud Logs
      • Создание триггера для Cloud Logging
      • Создание триггера для Yandex IoT Core
      • Создание триггера для бюджетов
      • Создание триггера для Data Streams
      • Изменение триггера
      • Мониторинг триггера
      • Удаление триггера
  • Концепции
    • Обзор
    • Функция
    • Вызов функции
    • Среда выполнения
      • Обзор
      • Окружение
      • Контекст выполнения
      • Предзагружаемая среда выполнения
    • Сборщик
    • Триггер
      • Обзор
      • Таймер
      • Триггер для Message Queue
      • Триггер для Object Storage
      • Триггер для Container Registry
      • Триггер для Cloud Logs
      • Триггер для Cloud Logging
      • Триггер для Yandex IoT Core
      • Триггер для бюджетов
      • Триггер для Data Streams
    • Dead Letter Queue
    • Лог-группа
    • Резервное копирование
    • Квоты и лимиты
  • Разработка на Node.js
    • Обзор
    • Управление зависимостями
    • Обработчик запросов
    • Контекст вызова
    • Журналирование
    • Обработка ошибок
    • Использование SDK
  • Разработка на Python
    • Обзор
    • Управление зависимостями
    • Обработчик запросов
    • Контекст вызова
    • Журналирование
    • Обработка ошибок
    • Использование SDK
  • Разработка на Go
    • Обзор
    • Управление зависимостями
    • Обработчик запросов
    • Контекст вызова
    • Журналирование
    • Обработка ошибок
    • Использование SDK
  • Разработка на PHP
    • Обзор
    • Управление зависимостями
    • Обработчик запросов
    • Контекст вызова
    • Журналирование
    • Обработка ошибок
  • Разработка на Bash
    • Обзор
    • Обработчик запросов
    • Журналирование
    • Обработка ошибок
    • Использование SDK
  • Разработка на Java
    • Обзор
    • Модель программирования
      • Обзор
      • Интерфейс Function
      • Интерфейс YcFunction
      • Класс HttpServlet
      • Spring Boot
    • Управление зависимостями
    • Обработчик запросов
    • Контекст вызова
    • Журналирование
    • Обработка ошибок
    • Использование SDK
  • Разработка на R
    • Обзор
    • Модель программирования
    • Управление зависимостями
    • Обработчик запросов
    • Контекст вызова
    • Журналирование
    • Обработка ошибок
  • Разработка на C#
    • Обзор
    • Модель программирования
      • Обзор
      • Интерфейс Function
      • Интерфейс YcFunction
    • Управление зависимостями
    • Обработчик запросов
    • Контекст вызова
    • Журналирование
    • Обработка ошибок
    • Использование SDK
  • Практические руководства
    • Создание навыка Алисы
    • Развертывание веб-приложения
    • Разработка навыка Алисы и сайта с авторизацией
    • Запись данных с устройства в Managed Service for PostgreSQL
    • Разработка Slack-бота
    • Разработка Telegram-бота
    • Подключение к базе данных YDB из функции на Python
    • Подключение к базе данных YDB из функции на Node.js
    • Конвертация видео в GIF на Python
    • Создание функции Node.js с помощью TypeScript
  • Правила тарификации
  • Управление доступом
  • Справочник API Functions
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • FunctionService
      • OperationService
    • REST (англ.)
      • Overview
      • Function
        • Overview
        • create
        • createVersion
        • delete
        • get
        • getVersion
        • getVersionByTag
        • list
        • listAccessBindings
        • listOperations
        • listRuntimes
        • listScalingPolicies
        • listTagHistory
        • listVersions
        • removeScalingPolicy
        • removeTag
        • setAccessBindings
        • setScalingPolicy
        • setTag
        • update
        • updateAccessBindings
  • Справочник API Triggers
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • TriggerService
      • OperationService
    • REST (англ.)
      • Overview
      • Trigger
        • Overview
        • create
        • delete
        • get
        • list
        • listOperations
        • pause
        • resume
        • update
  • Вопросы и ответы
  1. Начало работы
  2. Создание триггера
  3. Триггер для Data Streams

Создание триггера для Yandex Data Streams

Статья создана
Yandex Cloud
  • Перед началом работы
  • Создать триггер
  • Проверить результат
  • Что дальше

Создайте триггер для Data Streams, который будет вызывать функцию Cloud Functions или контейнер Serverless Containers при отправке данных в поток.

Перед началом работы

Для создания триггера вам понадобятся:

  • Функция или контейнер, которые триггер будет запускать.

    • Если у вас нет функции:

      • Создайте функцию.
      • Создайте версию функции.
    • Если у вас нет контейнера:

      • Создайте контейнер.
      • Создайте ревизию контейнера.
  • Поток, при отправке данных в который триггер будет запускаться. Если у вас нет потока, создайте его.

  • (опционально) Очередь Dead Letter Queue, куда будут перенаправляться сообщения, которые не смогли обработать функция или контейнер. Если у вас нет очереди, создайте ее.

  • Сервисные аккаунты с правами:

    • на вызов функции или контейнера;
    • на чтение из потока, при отправке данных в который триггер будет запускаться;
    • (опционально) на запись в очередь Dead Letter Queue.

    Вы можете использовать один и тот же сервисный аккаунт или разные. Если у вас нет сервисного аккаунта, создайте его.

Создать триггер

Примечание

Триггер начинает работать в течение 5 минут после создания.

Консоль управления
CLI
API
  1. В консоли управления перейдите в каталог, в котором хотите создать триггер.

  2. Откройте сервис Cloud Functions.

  3. На панели слева выберите Триггеры.

  4. Нажмите кнопку Создать триггер.

  5. В блоке Базовые параметры:

    • Введите имя и описание триггера.
    • В поле Тип выберите Data Streams.
    • Выберите, что будет запускать триггер — функцию или контейнер.
  6. В блоке Настройки Data Streams выберите поток данных и сервисный аккаунт с правами на чтение из потока данных и запись в него.

  7. (опционально) В блоке Настройки группирования сообщений укажите:

    • размер группы сообщений в байтах. Допустимые значения от 1 Б до 64 КБ, значение по умолчанию — 1 Б.
    • максимальное время ожидания. Допустимые значения от 1 до 60 секунд, значение по умолчанию — 1 секунда.

    Триггер группирует сообщения не дольше указанного времени ожидания и отправляет их в функцию или контейнер. Суммарный объем данных, которые передаются в функцию или контейнер, может превышать указанный размер группы, если данные передаются в одном сообщении. Во всех остальных случаях объем данных не превышает размер группы.

  8. Если триггер будет запускать:

    • функцию, в блоке Настройки функции выберите ее и укажите:

      • тег версии функции;
      • сервисный аккаунт, от имени которого будет вызываться функция.
    • контейнер, в блоке Настройки контейнера выберите его и укажите:

      • ревизию контейнера;
      • сервисный аккаунт, от имени которого будет вызываться контейнер.
  9. (опционально) В блоке Настройки повторных запросов:

    • В поле Интервал укажите время, через которое будет сделан повторный вызов функции или контейнера, если текущий завершился неуспешно. Допустимые значения — от 10 до 60 секунд, значение по умолчанию — 10 секунд.
    • В поле Количество попыток укажите количество повторных вызовов функции или контейнера, которые будут сделаны, прежде чем триггер отправит сообщение в Dead Letter Queue. Допустимые значения — от 1 до 5, значение по умолчанию — 1.
  10. (опционально) В блоке Настройки Dead Letter Queue выберите очередь Dead Letter Queue и сервисный аккаунт с правами на запись в нее.

  11. Нажмите кнопку Создать триггер.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать триггер, который запускает функцию, выполните команду:

yc serverless trigger create yds \
  --name <имя триггера> \
  --stream <имя потока данных> \
  --batch-size 1b \
  --batch-cutoff 1s \
  --stream-service-account-id <идентификатор сервисного аккаунта> \
  --invoke-function-id <идентификатор функции> \
  --invoke-function-service-account-id <идентификатор сервисного аккаунта> \
  --retry-attempts 1 \
  --retry-interval 10s \
  --dlq-queue-id <идентификатор очереди Dead Letter Queue> \
  --dlq-service-account-id <идентификатор сервисного аккаунта>

Где:

  • --name — имя триггера.
  • --stream — имя потока данных.
  • --batch-size — размер группы сообщений. Необязательный параметр. Допустимые значения от 1 Б до 64 КБ, значение по умолчанию — 1 Б.
  • --batch-cutoff — максимальное время ожидания. Необязательный параметр. Допустимые значения от 1 до 60 секунд, значение по умолчанию — 1 секунда. Триггер группирует сообщения не дольше batch-cutoff и отправляет их в функцию или контейнер. Суммарный объем данных, которые передаются в функцию или контейнер, может превышать batch-size, если данные передаются в одном сообщении. Во всех остальных случаях объем данных не превышает batch-size.
  • --stream-service-account-id — идентификатор сервисного аккаунта, у которого есть права на чтение из потока данных и запись в него.
  • --invoke-function-id — идентификатор функции.
  • --invoke-function-service-account-id — идентификатор сервисного аккаунта, у которого есть права на вызов функции.
  • --retry-attempts — время, через которое будет сделан повторный вызов функции, если текущий завершился неуспешно. Необязательный параметр. Допустимые значения — от 10 до 60 секунд, значение по умолчанию — 10 секунд.
  • --retry-interval — количество повторных вызовов, которые будут сделаны, прежде чем триггер отправит сообщение в Dead Letter Queue. Необязательный параметр. Допустимые значения — от 1 до 5, значение по умолчанию — 1.
  • --dlq-queue-id — идентификатор очереди Dead Letter Queue. Необязательный параметр.
  • --dlq-service-account-id — сервисный аккаунт с правами на запись в очередь Dead Letter Queue. Необязательный параметр.

Результат:

id: a1sfe084v4se4morbu2i
folder_id: b1g88tflru0ek1omtsu0
created_at: "2019-12-04T08:45:31.131391Z"
name: data-streams-trigger
rule:
  yds:
    invoke_function:
      stream: my-beta-stream
      stream-service-account-id: aje3932acd0c********
      function_id: d4eofc7n0m03********
      function_tag: $latest
      service_account_id: aje3932acd0c********
      retry_settings:
        retry_attempts: "1"
        interval: 10s
      dead_letter_queue:
        queue-id: yrn:yc:ymq:ru-central1:aoek49ghmknn********:dlq
        service-account-id: aje3932acd0c********
status: ACTIVE

Создать триггер можно с помощью метода API create.

Проверить результат

Проверьте, что триггер работает корректно. Для этого посмотрите логи функции или логи контейнера, в них отображается информация о вызовах.

Что дальше

  • Ознакомьтесь с концепциями триггеров.
  • Прочитайте подробнее о триггере для Data Streams.
  • Посмотрите, что можно делать с триггерами в пошаговых инструкциях.

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье:
  • Перед началом работы
  • Создать триггер
  • Проверить результат
  • Что дальше