Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex Compute Cloud
  • Начало работы
    • Обзор
    • Создание виртуальной машины Linux
    • Создание виртуальной машины Windows
    • Создание группы виртуальных машин
  • Пошаговые инструкции
    • Все инструкции
    • Создание виртуальной машины
      • Создать ВМ Linux
      • Создать ВМ Windows
      • Создать ВМ из набора дисков
      • Создать ВМ с дисками из снимков
      • Создать ВМ из пользовательского образа
      • Создать ВМ c GPU
      • Сделать ВМ прерываемой
    • DSVM
      • Обзор
      • Создать ВМ из публичного образа DSVM
    • Группы размещения
      • Создать группу размещения
      • Удалить группу размещения
      • Создать ВМ в группе размещения
      • Добавить ВМ в группу размещения
      • Исключить ВМ из группы размещения
    • Образы с предустановленным ПО
      • Создать ВМ из публичного образа
      • Настроить ПО
      • Работа с ВМ на базе публичного образа
      • Получить список публичных образов
    • Получение информации о виртуальной машине
      • Получить информацию о ВМ
      • Получить вывод последовательного порта
    • Управление виртуальной машиной
      • Остановить и запустить ВМ
      • Сбросить пароль пользователя ВМ
      • Подключить диск к ВМ
      • Отключить диск от ВМ
      • Перенести ВМ в другую зону доступности
      • Перенести ВМ в другой каталог
      • Привязать к ВМ публичный IP-адрес
      • Отвязать от ВМ публичный IP-адрес
      • Сделать публичный IP-адрес ВМ статическим
      • Изменить ВМ
      • Изменить вычислительные ресурсы ВМ
      • Удалить ВМ
    • Работа на виртуальной машине
      • Подключиться к ВМ по SSH
      • Подключиться к ВМ по RDP
      • Подключиться к ВМ через PowerShell
      • Работа с Yandex Cloud изнутри ВМ
      • Установить NVIDIA-драйверы
      • Восстановить доступ к ВМ
    • Управление агентом для сброса паролей
      • Проверить работу агента
      • Установить агент
      • Удалить агент
    • Создание диска
      • Создать пустой диcк
      • Создать пустой диск с блоком большого размера
      • Создать нереплицируемый диск
    • Управление диском
      • Создать снимок диска
      • Изменить диск
      • Перенести диск в другой каталог
      • Удалить диcк
      • Удалить снимок диска
    • Группы размещения дисков
      • Создать группу размещения дисков
      • Удалить диск из группы размещения
    • Создание образа
      • Подготовить образ диска
      • Загрузить свой образ
      • Создать образ из диска
      • Создать образ из снимка диска
      • Создать образ из другого пользовательского образа
    • Управление образом
      • Получить список образов
      • Удалить образ
    • Файловые хранилища
      • Создать файловое хранилище
      • Подключить файловое хранилище к ВМ
      • Отключить файловое хранилище от ВМ
      • Изменить файловое хранилище
      • Удалить файловое хранилище
    • Управление серийной консолью
      • Начало работы
      • Подключиться к серийной консоли по SSH
      • Подключиться к серийной консоли с помощью CLI
      • Запустить командную оболочку в Windows SAC
      • Отключить доступ к серийной консоли
    • Создание группы виртуальных машин
      • Создать группу ВМ фиксированного размера
      • Создать группу ВМ фиксированного размера с сетевым балансировщиком
      • Создать группу ВМ фиксированного размера с L7-балансировщиком
      • Создать автоматически масштабируемую группу ВМ
      • Создать группу ВМ с Container Optimized Image
      • Создать группу ВМ по YAML-спецификации
    • Получение информации о группе виртуальных машин
      • Получить список групп ВМ
      • Получить информацию о группе ВМ
      • Получить список ВМ в группе
    • Управление группой виртуальных машин
      • Изменить группу ВМ
      • Изменить группу ВМ по YAML-спецификации
      • Настроить проверку состояния приложения на ВМ
      • Обновить группу
        • Постепенное обновление
        • Обновление без простоя
      • Приостановить процессы в группе ВМ
      • Возобновить процессы в группе ВМ
      • Остановить группу ВМ
      • Запустить группу ВМ
      • Удалить группу ВМ
    • Выделенные хосты
      • Создать группу выделенных хостов
      • Создать ВМ в группе выделенных хостов
      • Создать ВМ на выделенном хосте
  • Yandex Container Solution
  • Практические руководства
    • Настройка синхронизации времени NTP
    • Работа с группой ВМ с автоматическим масштабированием
    • Автомасштабирование группы ВМ для обработки сообщений из очереди
    • Обновление группы ВМ под нагрузкой
    • Развертывание Remote Desktop Gateway
    • Передача логов с ВМ в Yandex Cloud Logging
    • Сборка образа ВМ с набором инфраструктурных инструментов с помощью Packer
  • Концепции
    • Взаимосвязь ресурсов
    • Виртуальные машины
      • Обзор
      • Платформы
      • Уровни производительности vCPU
      • Прерываемые виртуальные машины
      • Сеть на виртуальной машине
      • Программно-ускоренная сеть
      • Динамическая миграция
      • Группы размещения
      • Статусы
      • Метаданные
      • Сброс паролей на ВМ Windows
    • Графические ускорители
    • Диски и файловые хранилища
      • Обзор
      • Диски
      • Снимки дисков
      • Группы размещения нереплицируемых дисков
      • Файловые хранилища
      • Операции чтения и записи
    • Образы
    • Группы виртуальных машин
      • Обзор
      • Доступ
      • YAML-спецификация
      • Шаблон виртуальной машины
      • Переменные в шаблоне виртуальной машины
      • Политики
        • Обзор
        • Политика распределения
        • Политика развертывания
        • Политика масштабирования
      • Типы масштабирования
      • Автоматическое восстановление
      • Обновление
        • Обзор
        • Распределение виртуальных машин по зонам
        • Алгоритм развертывания
        • Правила обновления виртуальных машин
        • Изменение дополнительных дисков в шаблоне виртуальной машины
      • Остановка группы и приостановка процессов
      • Статусы
    • Выделенный хост
    • Резервное копирование
    • Квоты и лимиты
  • Управление доступом
  • Правила тарификации
    • Действующие правила
    • Архив
      • До 1 января 2019 года
      • С 1 января до 1 марта 2019 года
      • С 1 марта до 1 мая 2019 года
  • Справочник API
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • DiskPlacementGroupService
      • DiskService
      • DiskTypeService
      • FilesystemService
      • HostGroupService
      • HostTypeService
      • ImageService
      • InstanceService
      • PlacementGroupService
      • SnapshotService
      • ZoneService
      • InstanceGroupService
      • OperationService
    • REST (англ.)
      • Overview
      • DiskPlacementGroup
        • Overview
        • create
        • delete
        • get
        • list
        • listDisks
        • listOperations
        • update
      • Disk
        • Overview
        • create
        • delete
        • get
        • list
        • listOperations
        • move
        • update
      • DiskType
        • Overview
        • get
        • list
      • Filesystem
        • Overview
        • create
        • delete
        • get
        • list
        • listOperations
        • update
      • HostGroup
        • Overview
        • create
        • delete
        • get
        • list
        • listHosts
        • listInstances
        • listOperations
        • update
      • HostType
        • Overview
        • get
        • list
      • Image
        • Overview
        • create
        • delete
        • get
        • getLatestByFamily
        • list
        • listOperations
        • update
      • Instance
        • Overview
        • addOneToOneNat
        • attachDisk
        • attachFilesystem
        • create
        • delete
        • detachDisk
        • detachFilesystem
        • get
        • getSerialPortOutput
        • list
        • listOperations
        • move
        • removeOneToOneNat
        • restart
        • start
        • stop
        • update
        • updateMetadata
        • updateNetworkInterface
      • PlacementGroup
        • Overview
        • create
        • delete
        • get
        • list
        • listInstances
        • listOperations
        • update
      • Snapshot
        • Overview
        • create
        • delete
        • get
        • list
        • listOperations
        • update
      • Zone
        • Overview
        • get
        • list
      • Operation
        • Overview
        • get
      • InstanceGroup
        • Overview
        • list
        • get
        • listLogRecords
        • updateFromYaml
        • updateAccessBindings
        • pauseProcesses
        • stop
        • start
        • delete
        • listInstances
        • createFromYaml
        • update
        • setAccessBindings
        • listOperations
        • create
        • listAccessBindings
        • resumeProcesses
  • Вопросы и ответы
    • Общие вопросы
    • Виртуальные машины
    • Подключение
    • Диски, снимки, образы
    • Аварийное восстановление
    • Мониторинг
    • Лицензирование
    • Все вопросы на одной странице
  1. Практические руководства
  2. Передача логов с ВМ в Yandex Cloud Logging

Передача логов с ВМ в Yandex Cloud Logging

Статья создана
Yandex Cloud
  • Перед началом работы
  • Создайте сервис systemd, генерирующий логи
  • Установите и настройте Fluent Bit
  • Подключите плагин
  • Посмотрите логи
  • Удалите созданные ресурсы

Обработчик логов Fluent Bit позволяет транслировать логи с виртуальных машин в сервис Yandex Cloud Logging. Для передачи логов используется модуль Fluent Bit plugin for Yandex Cloud Logging.

Чтобы настроить передачу логов:

  1. Создайте сервис systemd, генерирующий логи.
  2. Установите и настройте Fluent Bit.
  3. Подключите плагин.

Перед началом работы

  1. Создайте сервисный аккаунт с ролью logging.writer на каталог.
  2. Создайте ВМ из публичного образа Linux. В настройках ВМ укажите сервисный аккаунт, который создали на предыдущем шаге.
  3. Подключитесь к ВМ по SSH.
  4. Установите на ВМ:
    • Go не ниже версии 1.17:
      wget https://go.dev/dl/go1.17.6.linux-amd64.tar.gz
      tar -xzf go1.17.6.linux-amd64.tar.gz
      export PATH=$PWD/go/bin:$PATH
      
    • Git:
      sudo apt install git
      

Создайте сервис systemd, генерирующий логи

  1. Создайте директорию:

    sudo mkdir /usr/local/bin/logtest
    sudo chown $USER /usr/local/bin/logtest
    cd /usr/local/bin/logtest
    
  2. Создайте файл logtest.py:

    import logging
    import random
    import sys
    import time
    
    from systemdlogging.toolbox import check_for_systemd
    from systemdlogging.toolbox import SystemdFormatter
    from systemdlogging.toolbox import SystemdHandler
    
    # Следующие несколько строк можно заменить на вызов `systemdlogging.toolbox.init_systemd_logging`
    # Код приводится в целях демонстрации
    
    # Проверяем, доступен ли systemd
    systemd_ok = check_for_systemd()
    
    if systemd_ok:
        handler = SystemdHandler()
        # syslog_id: значение, которое будет использовано в поле SYSLOG_IDENTIFIER
        handler.syslog_id = ''
        handler.setFormatter(SystemdFormatter())
    
        # Получаем экземпляр объекта логгера
        logger = logging.getLogger()
        logger.addHandler(handler)
    
    else:
        logger = logging.getLogger(__name__)
        # Логи выводятся в STDOUT
        handler = logging.StreamHandler(stream=sys.stdout)
        handler.setFormatter(logging.Formatter(
            '[%(levelname)s] %(code)d %(message)s'
        ))
        logger.addHandler(handler)
    
    # Настраиваем уровень логирования по умолчанию, опционально
    logger.setLevel(logging.DEBUG)
    
    # Генерируем URL-подобные значения
    PATHS = [
        '/',
        '/admin',
        '/hello',
        '/docs',
    ]
    
    PARAMS = [
        'foo',
        'bar',
        'query',
        'search',
        None
    ]
    
    
    def fake_url():
        path = random.choice(PATHS)
        param = random.choice(PARAMS)
        if param:
            val = random.randint(0, 100)
            param += '=%s' % val
        code = random.choices([200, 400, 404, 500], weights=[10, 2, 2, 1])[0]
        return '?'.join(filter(None, [path, param])), code
    
    
    if __name__ == '__main__':
        while True:
            # Создаем пару — код и значение URL
            path, code = fake_url()
            # Если код 200, пишем в  лог с уровнем Info
            # Cloud Logging смотрит на текстовое написание уровня логирования, поэтому в `context` передаем
            # дополнительное значение `SEVERITY`
            # Оно попадет в journald и сможет быть прочитано в плагине yc-logging
            if code == 200:
                logger.info(
                    'Path: %s',
                    path,
                    extra={"code": code, "context": {"SEVERITY": "info"}},
                )
            # Иначе с уровнем Error
            else:
                logger.error(
                    'Error: %s',
                    path,
                    extra={"code": code, "context": {"SEVERITY": "error"}},
                )
    
            # Ждем 1 секунду, чтобы не засорять журнал
            time.sleep(1)
    
  3. Создайте виртуальную среду и установите необходимые зависимости:

    sudo apt install python3-pip python3.8-venv
    python3 -m venv venv
    source venv/bin/activate
    pip3 install systemd-logging
    
  4. Создайте файл logtest.sh:

    #!/bin/bash
    
    SCRIPT_PATH=$(dirname "$(realpath "$0")")
    . "$SCRIPT_PATH/venv/bin/activate"
    python "$SCRIPT_PATH/logtest.py"
    
  5. systemd будет вызывать logtest.sh для запуска сервиса, поэтому сделайте файл исполняемым:

    chmod +x logtest.sh
    
  6. Создайте файл logtest.service:

    [Unit]
    Description=Sample to show logging from a Python application to systemd
    After=network.target
    
    [Service]
    Type=simple
    ExecStart=/usr/local/bin/logtest/logtest.sh
    Restart=on-abort
    
    [Install]
    WantedBy=multi-user.target
    
  7. Создайте символическую ссылку для logtest.service:

    sudo ln -s "$(pwd)/logtest.service" /etc/systemd/system/logtest.service
    
  8. Перезапустите systemd:

    sudo systemctl daemon-reload
    
  9. Посмотрите статус сервиса logtest.service:

    systemctl status logtest.service
    

    Результат:

    ● logtest.service - Sample to show logging from a Python application to systemd
     Loaded: loaded (/etc/systemd/system/logtest.service; linked; vendor preset: enabled)
     Active: inactive (dead)
    
  10. Запустите сервис logtest.service:

    sudo systemctl start logtest.service
    
  11. Снова посмотрите статус сервиса logtest.service, теперь он должен быть активен:

    systemctl status logtest.service
    

    Результат:

    ● logtest.service - Sample to show logging from a Python application to systemd
         Loaded: loaded (/etc/systemd/system/logtest.service; linked; vendor preset: enabled)
         Active: active (running) since Wed 2022-02-02 18:49:03 UTC; 13h ago
       Main PID: 6550 (logtest.sh)
          Tasks: 2 (limit: 2311)
         Memory: 8.5M
         CGroup: /system.slice/logtest.service
                 ├─6550 /bin/bash /usr/local/bin/logtest/logtest.sh
                 └─6568 python /usr/local/bin/logtest/logtest.py
    

Установите и настройте Fluent Bit

  1. Добавьте GPG-ключ, которым подписаны пакеты в репозитории Fluent Bit:

    wget -qO - https://packages.fluentbit.io/fluentbit.key | sudo apt-key add -
    
  2. Добавьте в файл /etc/apt/sources.list следующую строку:

    deb https://packages.fluentbit.io/ubuntu/focal focal main
    
  3. Обновите индексы apt:

    sudo apt-get update
    
  4. Установите пакет td-agent-bit:

    sudo apt-get install td-agent-bit
    
  5. Запустите сервис td-agent-bit:

    sudo systemctl start td-agent-bit
    
  6. Проверьте статус сервиса td-agent-bit, он должен быть активен:

    systemctl status td-agent-bit
    

    Результат:

    ● td-agent-bit.service - TD Agent Bit
         Loaded: loaded (/lib/systemd/system/td-agent-bit.service; disabled; vendor preset: enabled)
         Active: active (running) since Wed 2022-02-02 12:09:11 UTC; 56s ago
       Main PID: 7365 (td-agent-bit)
          Tasks: 3 (limit: 2311)
         Memory: 4.9M
         CGroup: /system.slice/td-agent-bit.service
                 └─7365 /opt/td-agent-bit/bin/td-agent-bit -c /etc/td-agent-bit/td-agent-bit.conf
    

Подключите плагин

  1. Клонируйте репозиторий с кодом плагина:

    git clone https://github.com/yandex-cloud/fluent-bit-plugin-yandex.git
    
  2. Скомпилируйте библиотеку yc-logging.so:

    cd fluent-bit-plugin-yandex/
    export fluent_bit_version=1.8.6
    export plugin_version=dev
    CGO_ENABLED=1 go build     -buildmode=c-shared \
      -o ./yc-logging.so \
      -ldflags "-X main.PluginVersion=${plugin_version}" \
      -ldflags "-X main.FluentBitVersion=${fluent_bit_version}"
    
  3. Скопируйте библиотеку yc-logging.so:

    sudo cp yc-logging.so /usr/lib/td-agent-bit/yc-logging.so
    
  4. Добавьте в файл с настройками плагинов /etc/td-agent-bit/plugins.conf путь до библиотеки yc-logging.so:

    [PLUGINS]
        Path /usr/lib/td-agent-bit/yc-logging.so
    
  5. Добавьте в файл /etc/td-agent-bit/td-agent-bit.conf настройки сервиса td-agent-bit:

    [INPUT]
        Name  systemd
        Tag   host.*
        Systemd_Filter  _SYSTEMD_UNIT=logtest.service
    
    [OUTPUT]
        Name            yc-logging
        Match           *
        resource_type   logtest
        folder_id       <идентификатор_каталога>
        message_key     MESSAGE
        level_key       SEVERITY
        default_level   WARN
        authorization   instance-service-account
    

    В поле folder_id укажите идентификатор каталога, в лог-группу по умолчанию которого будут передаваться логи.

  6. Перезапустите сервис td-agent-bit:

    sudo systemctl restart td-agent-bit
    

Посмотрите логи

Консоль управления
CLI
API
  1. В консоли управления перейдите в каталог, который указали в настройках сервиса td-agent-bit.
  2. Откройте сервис Cloud Logging.
  3. Перейдите на вкладку Группы.
  4. Нажмите на строку c лог-группой по умолчанию default.
  5. Перейдите на вкладку Логи.
  6. На открывшейся странице отобразятся записи.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы посмотреть записи в лог-группе, выполните команду:

yc logging read --folder-id=<идентификатор_каталога>
  • --folder-id — идентификатор каталога, который указан в настройках сервиса td-agent-bit.

Посмотреть записи в лог-группе можно с помощью метода API read.

Удалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

  1. Удалите виртуальную машину.
  2. Удалите лог-группу.

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье:
  • Перед началом работы
  • Создайте сервис systemd, генерирующий логи
  • Установите и настройте Fluent Bit
  • Подключите плагин
  • Посмотрите логи
  • Удалите созданные ресурсы