Передача логов с ВМ в Yandex Cloud Logging

Обработчик логов Fluent Bit позволяет транслировать логи с виртуальных машин в сервис Yandex Cloud Logging. Для передачи логов используется модуль Fluent Bit plugin for Yandex Cloud Logging.

Чтобы настроить передачу логов:

1. Создайте сервис systemd, генерирующий логи.
2. Установите и настройте Fluent Bit.
3. Подключите плагин.

Перед началом работы

1. Создайте сервисный аккаунт с ролью logging.writer на каталог.
2. Создайте ВМ из публичного образа Linux. В настройках ВМ укажите сервисный аккаунт, который создали на предыдущем шаге.
3. Подключитесь к ВМ по SSH.
4. Установите на ВМ:
   • Go не ниже версии 1.17:

     wget https://go.dev/dl/go1.17.6.linux-amd64.tar.gz
     tar -xzf go1.17.6.linux-amd64.tar.gz
     export PATH=$PWD/go/bin:$PATH
     

   • Git:

     sudo apt install git
     

Создайте сервис systemd, генерирующий логи

1. Создайте директорию:

   sudo mkdir /usr/local/bin/logtest
   sudo chown $USER /usr/local/bin/logtest
   cd /usr/local/bin/logtest
   

2. Создайте файл logtest.py:

   import logging
   import random
   import sys
   import time
   
   from systemdlogging.toolbox import check_for_systemd
   from systemdlogging.toolbox import SystemdFormatter
   from systemdlogging.toolbox import SystemdHandler
   
   # Следующие несколько строк можно заменить на вызов `systemdlogging.toolbox.init_systemd_logging`
   # Код приводится в целях демонстрации
   
   # Проверяем, доступен ли systemd
   systemd_ok = check_for_systemd()
   
   if systemd_ok:
       handler = SystemdHandler()
       # syslog_id: значение, которое будет использовано в поле SYSLOG_IDENTIFIER
       handler.syslog_id = ''
       handler.setFormatter(SystemdFormatter())
   
       # Получаем экземпляр объекта логгера
       logger = logging.getLogger()
       logger.addHandler(handler)
   
   else:
       logger = logging.getLogger(__name__)
       # Логи выводятся в STDOUT
       handler = logging.StreamHandler(stream=sys.stdout)
       handler.setFormatter(logging.Formatter(
           '[%(levelname)s] %(code)d %(message)s'
       ))
       logger.addHandler(handler)
   
   # Настраиваем уровень логирования по умолчанию, опционально
   logger.setLevel(logging.DEBUG)
   
   # Генерируем URL-подобные значения
   PATHS = [
       '/',
       '/admin',
       '/hello',
       '/docs',
   ]
   
   PARAMS = [
       'foo',
       'bar',
       'query',
       'search',
       None
   ]
   
   
   def fake_url():
       path = random.choice(PATHS)
       param = random.choice(PARAMS)
       if param:
           val = random.randint(0, 100)
           param += '=%s' % val
       code = random.choices([200, 400, 404, 500], weights=[10, 2, 2, 1])[0]
       return '?'.join(filter(None, [path, param])), code
   
   
   if __name__ == '__main__':
       while True:
           # Создаем пару — код и значение URL
           path, code = fake_url()
           # Если код 200, пишем в  лог с уровнем Info
           # Cloud Logging смотрит на текстовое написание уровня логирования, поэтому в `context` передаем
           # дополнительное значение `SEVERITY`
           # Оно попадет в journald и сможет быть прочитано в плагине yc-logging
           if code == 200:
               logger.info(
                   'Path: %s',
                   path,
                   extra={"code": code, "context": {"SEVERITY": "info"}},
               )
           # Иначе с уровнем Error
           else:
               logger.error(
                   'Error: %s',
                   path,
                   extra={"code": code, "context": {"SEVERITY": "error"}},
               )
   
           # Ждем 1 секунду, чтобы не засорять журнал
           time.sleep(1)
   

3. Создайте виртуальную среду и установите необходимые зависимости:

   sudo apt install python3-pip python3.8-venv
   python3 -m venv venv
   source venv/bin/activate
   pip3 install systemd-logging
   

4. Создайте файл logtest.sh:

   #!/bin/bash
   
   SCRIPT_PATH=$(dirname "$(realpath "$0")")
   . "$SCRIPT_PATH/venv/bin/activate"
   python "$SCRIPT_PATH/logtest.py"
   

5. systemd будет вызывать logtest.sh для запуска сервиса, поэтому сделайте файл исполняемым:

   chmod +x logtest.sh
   

6. Создайте файл logtest.service:

   [Unit]
   Description=Sample to show logging from a Python application to systemd
   After=network.target
   
   [Service]
   Type=simple
   ExecStart=/usr/local/bin/logtest/logtest.sh
   Restart=on-abort
   
   [Install]
   WantedBy=multi-user.target
   

7. Создайте символическую ссылку для logtest.service:

   sudo ln -s "$(pwd)/logtest.service" /etc/systemd/system/logtest.service
   

8. Перезапустите systemd:

   sudo systemctl daemon-reload
   

9. Посмотрите статус сервиса logtest.service:

   systemctl status logtest.service
   

   Результат:

   ● logtest.service - Sample to show logging from a Python application to systemd
    Loaded: loaded (/etc/systemd/system/logtest.service; linked; vendor preset: enabled)
    Active: inactive (dead)
   

10. Запустите сервис logtest.service:

    sudo systemctl start logtest.service
    

11. Снова посмотрите статус сервиса logtest.service, теперь он должен быть активен:

    systemctl status logtest.service
    

    Результат:

    ● logtest.service - Sample to show logging from a Python application to systemd
         Loaded: loaded (/etc/systemd/system/logtest.service; linked; vendor preset: enabled)
         Active: active (running) since Wed 2022-02-02 18:49:03 UTC; 13h ago
       Main PID: 6550 (logtest.sh)
          Tasks: 2 (limit: 2311)
         Memory: 8.5M
         CGroup: /system.slice/logtest.service
                 ├─6550 /bin/bash /usr/local/bin/logtest/logtest.sh
                 └─6568 python /usr/local/bin/logtest/logtest.py
    

Установите и настройте Fluent Bit

1. Добавьте GPG-ключ, которым подписаны пакеты в репозитории Fluent Bit:

   wget -qO - https://packages.fluentbit.io/fluentbit.key | sudo apt-key add -
   

2. Добавьте в файл /etc/apt/sources.list следующую строку:

   deb https://packages.fluentbit.io/ubuntu/focal focal main
   

3. Обновите индексы apt:

   sudo apt-get update
   

4. Установите пакет td-agent-bit:

   sudo apt-get install td-agent-bit
   

5. Запустите сервис td-agent-bit:

   sudo systemctl start td-agent-bit
   

6. Проверьте статус сервиса td-agent-bit, он должен быть активен:

   systemctl status td-agent-bit
   

   Результат:

   ● td-agent-bit.service - TD Agent Bit
        Loaded: loaded (/lib/systemd/system/td-agent-bit.service; disabled; vendor preset: enabled)
        Active: active (running) since Wed 2022-02-02 12:09:11 UTC; 56s ago
      Main PID: 7365 (td-agent-bit)
         Tasks: 3 (limit: 2311)
        Memory: 4.9M
        CGroup: /system.slice/td-agent-bit.service
                └─7365 /opt/td-agent-bit/bin/td-agent-bit -c /etc/td-agent-bit/td-agent-bit.conf
   

Подключите плагин

1. Клонируйте репозиторий с кодом плагина:

   git clone https://github.com/yandex-cloud/fluent-bit-plugin-yandex.git
   

2. Скомпилируйте библиотеку yc-logging.so:

   cd fluent-bit-plugin-yandex/
   export fluent_bit_version=1.8.6
   export plugin_version=dev
   CGO_ENABLED=1 go build     -buildmode=c-shared \
     -o ./yc-logging.so \
     -ldflags "-X main.PluginVersion=${plugin_version}" \
     -ldflags "-X main.FluentBitVersion=${fluent_bit_version}"
   

3. Скопируйте библиотеку yc-logging.so:

   sudo cp yc-logging.so /usr/lib/td-agent-bit/yc-logging.so
   

4. Добавьте в файл с настройками плагинов /etc/td-agent-bit/plugins.conf путь до библиотеки yc-logging.so:

   [PLUGINS]
       Path /usr/lib/td-agent-bit/yc-logging.so
   

5. Добавьте в файл /etc/td-agent-bit/td-agent-bit.conf настройки сервиса td-agent-bit:

   [INPUT]
       Name  systemd
       Tag   host.*
       Systemd_Filter  _SYSTEMD_UNIT=logtest.service
   
   [OUTPUT]
       Name            yc-logging
       Match           *
       resource_type   logtest
       folder_id       <идентификатор_каталога>
       message_key     MESSAGE
       level_key       SEVERITY
       default_level   WARN
       authorization   instance-service-account
   

   В поле folder_id укажите идентификатор каталога, в лог-группу по умолчанию которого будут передаваться логи.

6. Перезапустите сервис td-agent-bit:

   sudo systemctl restart td-agent-bit
   

Посмотрите логи

yc logging read --folder-id=<идентификатор_каталога>

Удалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

1. Удалите виртуальную машину.
2. Удалите лог-группу.