Анализ логов Object Storage при помощи DataLens

1. Если у вас еще нет AWS CLI, установите и сконфигурируйте его.

2. Создайте бакет bucket-logs:

   aws --endpoint-url https://storage.yandexcloud.net \
     s3 mb s3://bucket-logs
   

   Результат:

   make_bucket: bucket-logs
   

3. Включите публичный доступ к чтению объектов и их списка:

   aws --endpoint-url https://storage.yandexcloud.net \
     s3api put-bucket-acl \
     --bucket bucket-logs \
     --acl public-read
   

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

1. Добавьте в конфигурационный файл параметры бакета bucket-logs:

   resource "yandex_storage_bucket" "bucket-logs" {
     bucket = "bucket-logs"
     acl    = "public-read"
   }
   

   Подробнее о ресурсе yandex_storage_bucket см. в документации провайдера Terraform.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте бакет.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Используйте метод REST API create.

Используйте метод REST API putBucketLogging.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать кластер:

1. Проверьте, есть ли в каталоге подсети для хостов кластера:

   yc vpc subnet list
   

   Если ни одной подсети в каталоге нет, создайте нужные подсети в сервисе VPC.

2. Укажите параметры кластера в команде создания:

   yc managed-clickhouse cluster create \
      --name s3-logs \
      --environment production \
      --network-name <имя сети> \
      --host type=clickhouse,zone-id=<зона доступности>,subnet-id=<идентификатор подсети> \
      --clickhouse-resource-preset b2.nano \
      --clickhouse-disk-type network-ssd \
      --clickhouse-disk-size 10 \
      --user name=user,password=<пароль пользователя> \
      --database name=s3_data \
      --datalens-access=true \
      --websql-access=true \
      --version 21.3
   

1. Добавьте в конфигурационный файл описание кластера и его хостов:

   resource "yandex_mdb_clickhouse_cluster" "s3-logs" {
     name                = "s3-logs"
     environment         = "PRODUCTION"
     version             = "21.3"
     network_id          = yandex_vpc_network.<имя сети в Terraform>.id
   
     clickhouse {
       resources {
         resource_preset_id = "b2.nano"
         disk_type_id       = "network-ssd"
         disk_size          = 10
       }
     }
   
     database {
       name = "s3_data"
     }
   
     user {
       name     = "user"
       password = "<пароль>"
       permission {
         database_name = "s3_data"
       }
     }
   
     host {
       type      = "CLICKHOUSE"
       zone      = "<зона доступности>"
       subnet_id = yandex_vpc_subnet.<имя подсети в Terraform>.id
     }
   
     access {
       datalens  = true
       web_sql   = true
     }
   }
   

   Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер:

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Используйте метод REST API create.