Загрузка аудитных логов в Yandex Managed Service for ClickHouse и визуализация данных в Yandex DataLens

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

1. Создайте сервисный аккаунт с именем sa-trail-logs:

   yc iam service-account create --name sa-trail-logs
   

   Результат:

   id: aje6o61*****h6g9a33s
   folder_id: b1gvmob*****aplct532
   created_at: "2022-07-25T18:01:25Z"
   name: sa-trail-logs
   

   Подробнее о команде yc iam service-account create см. в справочнике CLI.

2. Назначьте сервисному аккаунту роль audit-trails.viewer:

   yc resource-manager folder add-access-binding <имя_каталога> \
     --role audit-trails.viewer \
     --subject serviceAccount:<идентификатор_сервисного_аккаунта_sa-trail-logs>
   

   Подробнее о команде yc resource-manager folder add-access-binding см. в справочнике CLI.

3. Назначьте сервисному аккаунту роль yds.editor:

   yc resource-manager folder add-access-binding <имя_каталога> \
     --role yds.editor \
     --subject serviceAccount:<идентификатор_сервисного_аккаунта_sa-trail-logs>
   

Если у вас ещё нет Terraform, установите его и настройте провайдер Yandex Cloud.

1. Опишите в конфигурационном файле параметры сервисного аккаунта:

   resource "yandex_iam_service_account" "sa" {
     name = "sa-trail-logs"
   }
   
   resource "yandex_resourcemanager_folder_iam_binding" "sa-role-audit-viewer" {
     folder_id   = "<идентификатор_каталога>"
     role        = "audit-trails.viewer"
     members     = [
       "serviceAccount:<идентификатор_сервисного_аккаунта_sa-trail-logs>",
     ]
   }
   
   resource "yandex_resourcemanager_folder_iam_binding" "sa-role-yds-editor" {
     folder_id   = "<идентификатор_каталога>"
     role        = "yds.editor"
     members     = [
       "serviceAccount:<идентификатор_сервисного_аккаунта_sa-trail-logs>",
     ]
   }
   

   Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера.

2. Проверьте корректность конфигурационных файлов.

   1. В командной строке перейдите в папку, где вы создали конфигурационный файл.

   2. Выполните проверку с помощью команды:

      terraform plan
      

   Если конфигурация описана верно, в терминале отобразится список создаваемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет.

3. Разверните облачные ресурсы.

   1. Если в конфигурации нет ошибок, выполните команду:

      terraform apply
      

   2. Подтвердите создание ресурсов: введите в терминал слово yes и нажмите Enter.

1. Создайте сервисный аккаунт с помощью метода create для ресурса ServiceAccount.

2. Узнайте идентификатор сервисного аккаунта:

   export FOLDER_ID=<идентификатор_каталога>
   export IAM_TOKEN=<iam_токен>
   curl -H "Authorization: Bearer ${IAM_TOKEN}" \
     "https://iam.api.cloud.yandex.net/iam/v1/serviceAccounts?folderId=${FOLDER_ID}"
   

   Результат:

   {
    "serviceAccounts": [
     {
      "id": "aje6o61*****h6g9a33s",
      "folderId": "b1gvmob*****aplct532",
      "createdAt": "2022-07-25T18:01:25Z",
      "name": "sa-trail-logs",
     }
    ]
   }
   

3. Сформируйте тело запроса в файле body.json. В свойстве action укажите ADD, а в свойстве subject — тип serviceAccount и идентификатор сервисного аккаунта sa-trail-logs:

   body.json:

   {
    "accessBindingDeltas": [
     {
      "action": "ADD",
      "accessBinding": {
        "roleId": "audit-trails.viewer",
        "subject": {
          "id": "<идентификатор_сервисного_аккаунта_sa-trail-logs>",
          "type": "serviceAccount"
          }
        }
      }
      {
       "action": "ADD",
       "accessBinding": {
         "roleId": "yds.writer",
         "subject": {
           "id": "<идентификатор_сервисного_аккаунта_sa-trail-logs>",
           "type": "serviceAccount"
           }
         }
      }
    ]
   }
   

4. Назначьте роли сервисному аккаунту:

   export FOLDER_ID=<идентификатор_каталога>
   export IAM_TOKEN=<iam_токен>
   curl -X POST \
     -H "Content-Type: application/json" \
     -H "Authorization: Bearer ${IAM_TOKEN}" \
     -d '@body.json' \
     "https://resource-manager.api.cloud.yandex.net/resource-manager/v1/folders/${FOLDER_ID}:updateAccessBindings"
   

1. Проверьте, есть ли в каталоге подсети для хостов кластера:

   yc vpc subnet list
   

   Если ни одной подсети в каталоге нет, создайте нужные подсети в сервисе VPC.

2. Укажите параметры кластера в команде создания:

   yc managed-clickhouse cluster create \
     --name trail-logs \
     --environment production \
     --network-name <имя_сети> \
     --host type=clickhouse,zone-id=<зона_доступности>,subnet-id=<идентификатор_подсети> \
     --clickhouse-resource-preset b2.nano \
     --clickhouse-disk-type network-hdd \
     --clickhouse-disk-size 10 \
     --user name=user,password=<пароль_пользователя> \
     --database name=trail_data \
     --datalens-access=true \
     --datatransfer-access=true \
     --websql-access=true
   

   Подробнее о команде yc managed-clickhouse cluster create см. в справочнике CLI.

1. Добавьте в конфигурационный файл описание кластера и его хостов:

   resource "yandex_mdb_clickhouse_cluster" "trail-logs" {
     name                = "trail-logs"
     environment         = "PRODUCTION"
     network_id          = yandex_vpc_network.<имя_сети_в_Terraform>.id
   
     clickhouse {
       resources {
         resource_preset_id = "b2.nano"
         disk_type_id       = "network-hdd"
         disk_size          = 10
       }
     }
   
     database {
       name = "trail_data"
     }
   
     user {
       name     = "user"
       password = "<пароль>"
       permission {
         database_name = "trail_data"
       }
     }
   
     host {
       type      = "CLICKHOUSE"
       zone      = "<зона_доступности>"
       subnet_id = yandex_vpc_subnet.<имя_подсети_в_Terraform>.id
     }
   
     access {
       datalens     = true
       datatransfer = true
     }
   }
   

   Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера.

2. Проверьте корректность конфигурационных файлов.

   1. В командной строке перейдите в папку, где вы создали конфигурационный файл.

   2. Выполните проверку с помощью команды:

      terraform plan
      

   Если конфигурация описана верно, в терминале отобразится список создаваемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет.

3. Разверните облачные ресурсы.

   1. Если в конфигурации нет ошибок, выполните команду:

      terraform apply
      

   2. Подтвердите создание ресурсов: введите в терминал слово yes и нажмите Enter.

Используйте метод REST API create.

Создайте трансфер с именем logs-transfer:

yc datatransfer transfer create --name logs-transfer
  --source-id <идентификатор_эндпоинта-источника_source-logs-stream>
  --target-id <идентификатор_эндпоинта-приемника_target-logs-ch>
  --type increment-only

Подробнее о команде yc datatransfer transfer create см. в справочнике CLI.

1. Добавьте в конфигурационный файл описание трансфера.

   resource "yandex_datatransfer_transfer" "transfer" {
     folder_id   = "<идентификатор_каталога>"
     name        = "logs-transfer"
     source_id   = "<идентификатор_эндпоинта-источника_source-logs-stream>"
     target_id   = "<идентификатор_эндпоинта-приемника_target-logs-ch>"
     type        = "INCREMENT_ONLY"
   }
   

   Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера.

2. Проверьте корректность конфигурационных файлов.

   1. В командной строке перейдите в папку, где вы создали конфигурационный файл.

   2. Выполните проверку с помощью команды:

      terraform plan
      

   Если конфигурация описана верно, в терминале отобразится список создаваемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет.

3. Разверните облачные ресурсы.

   1. Если в конфигурации нет ошибок, выполните команду:

      terraform apply
      

   2. Подтвердите создание ресурсов: введите в терминал слово yes и нажмите Enter.