Запись логов балансировщика в PostgreSQL

1. В консоли управления выберите сервис Virtual Private Cloud.
2. Нажмите кнопку Создать сеть.
3. Укажите Имя сети: alb-logging-network.
4. В поле Дополнительно выберите опцию Создать подсети.
5. Нажмите кнопку Создать сеть.

1. В консоли управления выберите сервис Virtual Private Cloud.

2. Откройте вкладку Группы безопасности.

3. Создайте группу безопасности для балансировщика:

   1. Нажмите кнопку Создать группу.

   2. Укажите Имя группы: alb-logging-sg-balancer.

   3. Выберите Сеть alb-logging-network.

   4. В блоке Правила создайте следующие правила по инструкции под таблицей:

      Направление трафика	Описание	Диапазон портов	Протокол	Тип источника / назначения	Источник / назначение
      Исходящий	any	Весь	Любой	CIDR	0.0.0.0/0
      Входящий	ext-http	80	TCP	CIDR	0.0.0.0/0
      Входящий	ext-https	443	TCP	CIDR	0.0.0.0/0
      Входящий	healthchecks	30080	TCP	Проверки состояния балансировщика	—

      1. Выберите вкладку Исходящий трафик или Входящий трафик.

      2. Нажмите кнопку Добавить правило.

      3. В открывшемся окне в поле Диапазон портов укажите один порт или диапазон портов, куда или откуда будет поступать трафик.

      4. В поле Протокол укажите нужный протокол или оставьте Любой, чтобы разрешить передачу трафика по всем протоколам.

      5. В поле Назначение или Источник выберите назначение правила:

         • CIDR — правило будет применено к диапазону IP-адресов. В поле CIDR блоки укажите CIDR и маски подсетей, в которые или из которых будет поступать трафик. Чтобы добавить несколько CIDR, нажимайте кнопку Добавить CIDR.
         • Группа безопасности — правило будет применено к ВМ из текущей группы или из выбранной группы безопасности.
         • Проверки состояния балансировщика — правило, которое позволяет балансировщику проверять состояние ВМ.

      6. Нажмите кнопку Сохранить. Таким образом создайте все правила из таблицы.

   5. Нажмите кнопку Сохранить.

4. Аналогично создайте группу безопасности для ВМ с именем alb-logging-sg-vms, той же сетью alb-logging-network и следующими правилами:

   Направление трафика	Описание	Диапазон портов	Протокол	Тип источника	Источник
   Входящий	balancer	80	TCP	Группа безопасности	alb-logging-sg-balancer
   Входящий	ssh	22	TCP	CIDR	0.0.0.0/0

5. Аналогично создайте группу безопасности для кластера PostgreSQL с именем alb-logging-sg-cluster, той же сетью alb-logging-network и следующим правилом:

   Направление трафика	Описание	Диапазон портов	Протокол	Тип источника	Источник
   Входящий	db	6432	TCP	CIDR	0.0.0.0/0

1. В консоли управления выберите сервис Managed Service for PostgreSQL.

2. Нажмите кнопку Создать кластер.

3. В поле Имя кластера введите alb-logging-cluster.

4. В поле Окружение выберите PRODUCTION.

5. В поле Версия выберите 12.

6. В блоке Класс хоста:

   • Укажите платформу Intel Cascade Lake.
   • Выберите тип burstable.
   • Укажите класс b2.nano.

   Важно

   Класс b2.nano был выбран только в рамках тестирования. В реальных проектах использовать хосты с гарантированной долей vCPU ниже 100% не рекомендуется.

7. В блоке Размер хранилища:

   • Выберите network-ssd.
   • Укажите размер равным 10 ГБ.

   Примечание

   Тип и размер диска следует выбирать в соответствии с решаемыми задачами. Значения, указанные выше, используются для тестирования.

8. В блоке База данных укажите атрибуты БД:

   • Имя базы данных. Имя БД должно быть уникальным в рамках каталога и содержать только латинские буквы, цифры и подчеркивания.
   • Имя пользователя — владельца БД. Имя пользователя должно содержать только латинские буквы, цифры и подчеркивания.
   • Пароль пользователя. Длина — от 8 до 128 символов.

   Для базы данных, которая создается вместе с кластером, устанавливаются настройки набора символов (кодировки) LC_CTYPE=C и LC_COLLATE=C. После создания эти настройки изменить нельзя, но вы можете создать новую базу с нужными настройками.

9. В блоке Сетевые настройки:

   • Выберите сеть alb-logging-network.
   • Выберите группу безопасности alb-logging-sg-cluster.

10. В блоке Хосты добавьте хост, который будет доступен извне Yandex Cloud. Для этого включите опцию Публичный доступ.

11. В блоке Дополнительные настройки включите опции Доступ из консоли управления и Доступ из Serverless.

12. Остальные поля оставьте заполненными по умолчанию.

13. Нажмите кнопку Создать кластер.

После создания кластера вы автоматически будете перенаправлены на страницу Кластеры.

1. Дождитесь, когда статус кластера alb-logging-cluster изменится на Alive, и выберите этот кластер.

2. Перейдите на вкладку SQL.

3. Выберите пользователя, созданного вместе с кластером, и введите его пароль.

4. Выберите базу данных, созданную вместе с кластером, и нажмите кнопку Подключиться.

5. В окне редактирования введите следующий запрос:

   CREATE TABLE load_balancer_requests (
       type            varchar(24) NOT NULL,
       "time"          timestamptz NOT NULL,
       http_status     varchar(4) NOT NULL,
       backend_ip      varchar(40) NULL,
       request_time    numeric NULL
   );
   

6. Нажмите кнопку Выполнить.

7. Дождитесь появления надписи о завершении выполнения запроса.

1. В консоли управления выберите сервис Compute Cloud.

2. Откройте вкладку Группы виртуальных машин. Нажмите кнопку Создать группу.

3. Укажите имя группы ВМ: alb-logging-ig.

4. В блоке Распределение выберите несколько зон доступности, чтобы обеспечить отказоустойчивость хостинга.

5. В блоке Шаблон виртуальной машины нажмите кнопку Задать.

6. В блоке Выбор образа/загрузочного диска откройте вкладку Cloud Marketplace и нажмите кнопку Посмотреть больше. Выберите продукт LEMP и нажмите кнопку Использовать.

7. В блоке Вычислительные ресурсы:

   • Выберите платформу виртуальной машины.
   • Укажите необходимое количество vCPU и объем RAM.

   Для функционального тестирования сайта хватит минимальной конфигурации:

   • Платформа — Intel Cascade Lake.
   • Гарантированная доля vCPU — 5%.
   • vCPU — 2.
   • RAM — 1 ГБ.

8. В блоке Сетевые настройки выберите Сеть alb-logging-network, созданную ранее, и ее подсети.

9. В поле Публичный адрес выберите Автоматически.

10. Выберите группу безопасности alb-logging-sg-vms, созданную ранее.

11. Укажите данные для доступа на виртуальную машину:

    • В поле Логин введите имя пользователя.

    • В поле SSH-ключ вставьте содержимое файла открытого ключа.

      Пару ключей для подключения по SSH необходимо создать самостоятельно, см. раздел о подключении к виртуальным машинам по SSH.

    Внимание

    IP-адрес и имя хоста (FQDN) для подключения к машине назначатся ей при создании. Если вы выбрали вариант Без адреса в поле Публичный адрес, вы не сможете обращаться к ВМ из интернета.

12. Нажмите кнопку Сохранить.

13. В блоке Масштабирование укажите Размер группы ВМ — 2.

14. В блоке Интеграция с Application Load Balancer выберите опцию Создать целевую группу и укажите имя группы — alb-logging-tg. Подробнее о целевых группах.

15. Нажмите кнопку Создать.

1. В консоли управления выберите сервис Application Load Balancer.
2. Откройте вкладку Группы бэкендов. Нажмите кнопку Создать группу бэкендов.
3. Укажите Имя группы бэкендов: alb-logging-bg.
4. В блоке Бэкенды нажмите кнопку Добавить.
5. Укажите Имя бэкенда: alb-logging-backend.
6. В поле Целевая группа выберите группу alb-logging-tg.
7. Укажите Порт, на котором ВМ бэкенда будут принимать входящий трафик от балансировщика: 80.
8. Нажмите кнопку Добавить проверку состояния.
9. Укажите Порт, на котором ВМ бэкенда будут принимать проверочные соединения: 80.
10. Укажите Путь, к которому будет обращаться балансировщик при проверке состояния: /.
11. Нажмите кнопку Создать.

1. В консоли управления выберите сервис Application Load Balancer.
2. Откройте вкладку HTTP-роутеры. Нажмите кнопку Создать HTTP-роутер.
3. Укажите Имя HTTP-роутера: alb-logging-router.
4. Нажмите кнопку Добавить виртуальный хост.
5. Укажите Имя виртуального хоста: alb-logging-host.
6. Нажмите кнопку Добавить маршрут.
7. Укажите Имя маршрута: alb-logging-route.
8. В поле Группа бэкендов выберите группу alb-logging-bg.
9. Нажмите кнопку Создать.

1. В консоли управления выберите сервис Application Load Balancer.
2. Нажмите кнопку Создать L7-балансировщик.
3. Укажите Имя балансировщика: alb-logging-balancer.
4. В блоке Сетевые настройки выберите сеть alb-logging-network и группу безопасности alb-logging-sg-balancer, созданные ранее.
5. В блоке Обработчики нажмите кнопку Добавить обработчик.
6. Укажите Имя обработчика: alb-logging-listener.
7. В поле Протокол выберите пункт HTTP.
8. В поле HTTP-роутер выберите роутер alb-logging-router, созданный ранее.
9. Нажмите кнопку Создать.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

Выполните команду:

yc alb load-balancer get alb-logging-balancer | grep log_group_id

1. В консоли управления выберите сервис Cloud Functions.

2. Нажмите кнопку Создать функцию.

3. Введите имя функции: alb-logging-function.

4. Нажмите кнопку Создать. После создания функции вы автоматически будете перенаправлены на страницу Редактор.

5. Выберите среду выполнения Python и нажмите кнопку Продолжить.

6. Очистите область редактирования файла и вставьте в нее следующий код:

   Код функции

   import os
   import logging
   import psycopg2
   import json
   
   logger = logging.getLogger()
   logger.setLevel(logging.INFO)
   verboseLogging = eval(os.environ['VERBOSE_LOG'])
   if verboseLogging:
       logger.info('Loading handler function')
   
   def handler(event, context):
       statusCode = 500
       
       if verboseLogging:
           logger.info(event)
           logger.info(context)
       
       connection_string = (
           "host='{db_hostname}' port='{db_port}' dbname='{db_name}' "
           "user='{db_user}' password='{db_password}' sslmode='require'"
       ).format(
           db_hostname=os.environ['DB_HOSTNAME'],
           db_port=os.environ['DB_PORT'],
           db_name=os.environ['DB_NAME'],
           db_user=os.environ['DB_USER'],
           db_password=os.environ['DB_PASSWORD']
       )
           
       if verboseLogging:
           logger.info(f'Connecting: {connection_string}')
   
       conn = psycopg2.connect(connection_string)
       cursor = conn.cursor()
   
       messages = event['messages'][0]['details']['messages']
   
       for message in messages:
           alb_message = json.loads(message['message'])
           alb_message['table_name'] = 'load_balancer_requests'
           insert_statement = (
               'INSERT INTO {table_name} ' 
               '(type, "time", http_status, backend_ip, request_time) ' 
               'VALUES(\'{type}\', timestamptz \'{time}\', \'{http_status}\', ' 
               '\'{backend_ip}\', {request_processing_times[request_time]});'
           ).format(**alb_message)
   
           if verboseLogging:     
               logger.info(f'Exec: {insert_statement}')
           try:
               cursor.execute(insert_statement)
               statusCode = 200
           except Exception as error:
               logger.error(error)
           
           conn.commit()
           
       cursor.close()
       conn.close()
   
       return {
           'statusCode': statusCode,
           'headers': {
               'Content-Type': 'text/plain'
           }
       }
   

7. Задайте следующие параметры версии:

   • Таймаут, с: 10.
   • Память: 128 МБ.

8. Создайте сервисный аккаунт:

   1. Нажмите кнопку Создать аккаунт (или Создать новый). Откроется дополнительное окно.
   2. В поле Имя введите alb-logging-function-service-account.
   3. Добавьте роли: serverless.functions.invoker и editor.
   4. Нажмите кнопку Создать.

   Созданный аккаунт автоматически добавится в поле Сервисный аккаунт. От имени этого аккаунта функция будет записывать данные в БД.

9. Добавьте переменные окружения:

   • VERBOSE_LOG — параметр, отвечающий за вывод подробной информации о выполнении функции. Введите значение True.
   • DB_HOSTNAME — имя хоста БД PostgreSQL для подключения.
   • DB_PORT — порт для подключения.
   • DB_NAME — имя базы данных для подключения.
   • DB_USER — имя пользователя для подключения.
   • DB_PASSWORD — пароль, который был введен при создании кластера.

   Чтобы определить значения параметров для подключения:

   1. В консоли управления выберите сервис Managed Service for PostgreSQL.
   2. Выберите кластер alb-logging-cluster.
   3. Нажмите значок в строке с нужной БД.
   4. Выберите пункт Подключиться.
   5. На вкладке Shell найдите пример строки подключения.
   6. Перенесите значения переменных host, port, dbname и user в соответствующее поле Значение переменных окружения функции.

10. В правом верхнем углу нажмите кнопку Создать версию.

Выполните команду:

yc serverless trigger create cloud-logs alb-logging-trigger \
  --log-groups <идентификатор лог-группы> \
  --invoke-function-name alb-logging-function \
  --invoke-function-service-account-name alb-logging-function-service-account \
  --batch-size 10 \
  --batch-cutoff 15s

Где:

• --log-groups — идентификатор лог-группы для балансировщика, полученный ранее.
• --invoke-function-name — имя функции, созданной ранее.
• --invoke-function-service-account-name — имя сервисного аккаунта, созданного вместе с функцией.
• --batch-size — максимальное количество сообщений, одновременно отправляемых в функцию.
• --batch-cutoff — максимальное время между последовательными отправками сообщений в функцию.

Подробнее о команде см. в справочнике CLI.