Передача логов кластера Yandex Managed Service for Kubernetes в Cloud Logging

Обработчик логов Fluent Bit позволяет транслировать логи кластера Managed Service for Kubernetes в сервис Yandex Cloud Logging. Для передачи логов используется модуль Fluent Bit plugin for Yandex Cloud Logging.

Чтобы настроить передачу логов:

1. Подготовьте кластер Kubernetes.
2. Установите и настройте Fluent Bit.

Перед началом работы

1. Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

   По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

2. Создайте сервисный аккаунт, необходимый для работы Fluent Bit.

   1. Назначьте ему роль logging.writer.

   2. Создайте для него авторизованный ключ и сохраните его в файл key.json:

      yc iam key create \
        --service-account-name <имя сервисного аккаунта для Fluent Bit> \
        --output key.json
      

3. Создайте лог-группу.

4. Создайте кластер Managed Service for Kubernetes и группу узлов любой подходящей конфигурации с версией Kubernetes не ниже 1.21.

5. Установите kubectl и настройте его на работу с созданным кластером.

Подготовьте кластер Kubernetes

1. Создайте объекты, необходимые для работы Fluent Bit:

   kubectl create namespace logging && \
   kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-service-account.yaml && \
   kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role.yaml && \
   kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role-binding.yaml
   

2. Создайте секрет, содержащий ключ сервисного аккаунта:

   kubectl create secret generic secret-key-json \
     --from-file=key.json \
     --namespace logging
   

Установите и настройте Fluent Bit

1. Создайте каталог для ключа сервисного аккаунта и скопируйте туда ключ:

   sudo mkdir -p /etc/secret && \
   sudo cp key.json /etc/secret
   

2. Скачайте конфигурационный файл config.yaml:

   wget https://raw.githubusercontent.com/knpsh/yc-logging-fluent-bit-example/main/config.yaml
   

3. Укажите параметры трансляции логов в блоке data.output-elasticsearch.conf файла config.yaml:

   ...
     output-elasticsearch.conf: |
       [OUTPUT]
         Name            yc-logging
         Match           *
         group_id        <идентификатор лог-группы>
         resource_id     <опционально: идентификатор кластера Kubernetes>
         message_key     log
         authorization   iam-key-file:/etc/secret/key.json
   ...
   

   Идентификатор лог-группы можно получить со списком лог-групп в каталоге.

   При необходимости укажите дополнительные настройки Fluent Bit.

4. Создайте объекты Fluent Bit:

   kubectl apply -f config.yaml
   

   Ожидаемый результат выполнения команды:

   configmap/fluent-bit-config created
   daemonset.apps/fluent-bit created
   

5. Убедитесь, что под Fluent Bit перешел в состояние Running:

   kubectl get pods -n logging
   

6. Проверьте передачу логов кластера Kubernetes в Cloud Logging.

Удалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

1. Удалите кластер Managed Service for Kubernetes.
2. Если вы зарезервировали для кластера публичный статический IP-адрес, удалите его.
3. Удалите лог-группу.