Создание ClickHouse-кластера

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать кластер:

1. Проверьте, есть ли в каталоге подсети для хостов кластера:

   $ yc vpc subnet list
   

   Если ни одной подсети в каталоге нет, создайте нужные подсети в сервисе VPC.

2. Посмотрите описание команды CLI для создания кластера:

   $ yc managed-clickhouse cluster create --help
   

3. Укажите параметры кластера в команде создания (в примере приведены не все доступные параметры):

   yc managed-clickhouse cluster create \
      --name <имя кластера> \
      --environment <окружение: prestable или production> \
      --network-name <имя сети> \
      --host type=<clickhouse или zookeeper>,zone-id=<зона доступности>,subnet-id=<идентификатор подсети> \
      --clickhouse-resource-preset <класс хоста> \
      --clickhouse-disk-type <network-hdd | network-ssd | local-ssd | network-ssd-nonreplicated> \
      --clickhouse-disk-size <размер хранилища в гигабайтах> \
      --user name=<имя пользователя>,password=<пароль пользователя> \
      --database name=<имя базы данных> \
      --security-group-ids <список идентификаторов групп безопасности> \
      --deletion-protection=<защита от удаления кластера: true или false>
   

   Идентификатор подсети subnet-id необходимо указывать, если в выбранной зоне доступности создано 2 и больше подсетей.

   Включенная защита от удаления кластера не помешает подключиться вручную и удалить содержимое базы данных.

   1. Чтобы включить режим управления пользователями через SQL:

      Внимание

      Настройки Управление пользователями через SQL и Управление базами данных через SQL невозможно изменить после создания кластера!

      • Задайте значение true для параметра --enable-sql-user-management.
      • Задайте пароль для пользователя admin в параметре --admin-password.

      yc managed-clickhouse cluster create \
         ...
         --enable-sql-user-management=true \
         --admin-password <пароль пользователя admin>
      

   2. Чтобы включить режим управления базами данных через SQL:

      • Задайте значение true для параметров --enable-sql-user-management и --enable-sql-database-management.
      • Задайте пароль для пользователя admin в параметре --admin-password.

      yc managed-clickhouse cluster create \
         ...
         --enable-sql-user-management=true \
         --enable-sql-database-management=true \
         --admin-password <пароль пользователя admin>
      

Terraform позволяет быстро создать облачную инфраструктуру в Yandex.Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language).

При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Если у вас еще нет Terraform, установите его и настройте провайдер.

Чтобы создать кластер:

1. Опишите в конфигурационном файле параметры ресурсов, которые необходимо создать:

   • Кластер базы данных — описание кластера и его хостов. При необходимости здесь же можно задать настройки СУБД.
   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.
   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла:

   resource "yandex_mdb_clickhouse_cluster" "<имя кластера>" {
     name                = "<имя кластера>"
     environment         = "<окружение>"
     network_id          = "<идентификатор сети>"
     security_group_ids  = ["<список групп безопасности>"]
     deletion_protection = <защита от удаления кластера: true или false>
   
     clickhouse {
       resources {
         resource_preset_id = "<класс хоста>"
         disk_type_id       = "<тип хранилища>"
         disk_size          = <объем хранилища, ГБ>
       }
     }
   
     database {
       name = "<имя базы данных>"
     }
   
     user {
       name     = "<имя пользователя БД>"
       password = "<пароль>"
       permission {
         database_name = "<имя БД, в которой создается пользователь>"
       }
     }
   
     host {
       type      = "CLICKHOUSE"
       zone      = "<зона доступности>"
       subnet_id = "<идентификатор подсети>"
     }
   }
   
   resource "yandex_vpc_network" "<имя сети>" { name = "<имя сети>" }
   
   resource "yandex_vpc_subnet" "<имя подсети>" {
     name           = "<имя подсети>"
     zone           = "<зона доступности>"
     network_id     = "<идентификатор сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Включенная защита от удаления кластера не помешает подключиться вручную и удалить содержимое базы данных.

   Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором вы создали конфигурационный файл.

   2. Выполните проверку с помощью команды:

      terraform plan
      

   Если конфигурация описана верно, в терминале отобразится список изменяемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет. Это проверочный этап: ресурсы не будут изменены.

3. Создайте кластер.

   1. Если в конфигурации нет ошибок, выполните команду:

      terraform apply
      

   2. Подтвердите изменение ресурсов.

   После этого в указанном каталоге будут созданы все требуемые ресурсы, а в терминале отобразятся IP-адреса виртуальных машин. Проверить появление ресурсов и их настройки можно в консоли управления.

Чтобы создать кластер, воспользуйтесь методом API create и передайте в запросе:

• Идентификатор каталога, в котором должен быть размещен кластер, в параметре folderId.
• Имя кластера в параметре name.
• Окружение кластера в параметре environment.
• Конфигурацию кластера в параметре configSpec.
• Конфигурацию хостов кластера в одном или нескольких параметрах hostSpecs.
• Идентификатор сети в параметре networkId.
• Идентификаторы групп безопасности в параметре securityGroupIds.

При необходимости включите управление пользователями и базами данных через SQL:

• configSpec.sqlUserManagement — задайте значение true для включения режима управления пользователями через SQL.
• configSpec.sqlDatabaseManagement — задайте значение true для включения режима управления базами данных через SQL. Необходимо, чтобы был включен режим управления пользователями через SQL.
• configSpec.adminPassword — задайте пароль пользователя admin, с помощью которого осуществляется управление.

При создании кластера из нескольких хостов:

• Если в виртуальной сети для кластера есть подсети в каждой из зон доступности, то в каждую подсеть автоматически будет добавлено по одному хосту ZooKeeper, если не указать настройки этих хостов явно. При необходимости можно явно указать три хоста ZooKeeper и их настройки при создании кластера.
• Если в виртуальной сети для кластера есть подсети только в некоторых зонах доступности, то нужно явно указать три хоста ZooKeeper и их настройки при создании кластера.

Допустим, нужно создать ClickHouse-кластер и сеть для него со следующими характеристиками:

• С именем mych.
• В окружении PRESTABLE.
• В облаке с идентификатором b1gq90dgh25bebiu75o.
• В каталоге с идентификатором b1gia87mbaomkfvsleds.
• В новой сети mynet.
• В новой группе безопасности mych-sg, разрешающей подключение к кластеру из интернета по портам 8443, 9440.
• С одним хостом класса s2.micro в новой подсети mysubnet, в зоне доступности ru-central1-c. Подсеть mysubnet будет иметь диапазон 10.5.0.0/24.
• С быстрым сетевым хранилищем объемом 32 ГБ.
• С именем базы данных my_db.
• C именем пользователя user1 и паролем user1user1.
• С защитой от случайного удаления кластера.

Конфигурационный файл для такого кластера выглядит так:

provider "yandex" {
  token     = "<OAuth или статический ключ сервисного аккаунта>"
  cloud_id  = "b1gq90dgh25bebiu75o"
  folder_id = "b1gia87mbaomkfvsleds"
  zone      = "ru-central1-c"
}

resource "yandex_mdb_clickhouse_cluster" "mych" {
  name                = "mych"
  environment         = "PRESTABLE"
  network_id          = yandex_vpc_network.mynet.id
  security_group_ids  = [ yandex_vpc_security_group.mych-sg.id ]
  deletion_protection = true

  clickhouse {
    resources {
      resource_preset_id = "s2.micro"
      disk_type_id       = "network-ssd"
      disk_size          = 32
    }
  }

  database {
    name = "my_db"
  }

  user {
    name     = "user1"
    password = "user1user1"
    permission {
      database_name = "my_db"
    }
  }

  host {
    type      = "CLICKHOUSE"
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.mysubnet.id
  }
}

resource "yandex_vpc_network" "mynet" { name = "mynet" }

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "ru-central1-c"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.5.0.0/24"]
}

resource "yandex_vpc_security_group" "mych-sg" {
  name       = "mych-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "MCHSSSH"
    port           = 8443
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }

  ingress {
    description    = "MCHSSH2"
    port           = 9440
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }
}