Создание кластера

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать кластер:

1. Проверьте, есть ли в каталоге подсети для хостов кластера:

   yc vpc subnet list
   

   Если ни одной подсети в каталоге нет, создайте нужные подсети в сервисе VPC.

2. Посмотрите описание команды CLI для создания кластера:

   yc managed-elasticsearch cluster create --help
   

3. Укажите параметры кластера в команде создания (в примере приведены не все параметры):

   yc managed-elasticsearch cluster create \
      --name <имя кластера> \
      --environment <окружение: prestable или production> \
      --network-name <имя сети> \
      --host zone-id=<зона доступности>,subnet-id=<идентификатор подсети>,assign-public-ip=<публичный доступ>,type=<тип хоста: datanode или masternode> \
      --datanode-resource-preset <класс хостов c ролью DataNode> \
      --datanode-disk-size <размер хранилища в гигабайтах для хостов с ролью DataNode> \
      --datanode-disk-type <тип хранилища для хостов с ролью DataNode> \
      --masternode-resource-preset <класс хостов с ролью MasterNode> \
      --masternode-disk-size <размер хранилища в гигабайтах для хостов с ролью MasterNode> \
      --masternode-disk-type <тип хранилища для хостов с ролью MasterNode> \
      --security-group-ids <список идентификаторов групп безопасности> \
      --version <версия Elasticsearch> \
      --edition <редакция Elasticsearch: basic, gold или platinum> \
      --admin-password <пароль пользователя admin> \
      --deletion-protection=<защита от удаления кластера: true или fasle>
   

   Идентификатор подсети subnet-id необходимо указывать, если в выбранной зоне доступности больше одной подсети.

   Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex.Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language).

При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Если у вас еще нет Terraform, установите его и настройте провайдер.

Чтобы создать кластер:

1. Опишите в конфигурационном файле параметры ресурсов, которые необходимо создать:

   • Кластер базы данных — описание кластера и его хостов.
   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.
   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла:

   terraform {
     required_providers {
       yandex = {
         source = "yandex-cloud/yandex"
       }
     }
   }
   
   provider "yandex" {
     token     = "<OAuth или статический ключ сервисного аккаунта>"
     cloud_id  = "<идентификатор облака>"
     folder_id = "<идентификатор каталога>"
     zone      = "<зона доступности>"
   }
   
   resource "yandex_mdb_elasticsearch_cluster" "<имя кластера>" {
     name        = "<имя кластера>"
     environment = "<окружение, PRESTABLE или PRODUCTION>"
     network_id  = "<идентификатор сети>"
   
     config {
       version = "<(необязательно) версия Elasticsearch>"
       edition = "<(необязательно) редакция Elasticsearch: basic, gold или platinum>"
   
       admin_password = "<пароль пользователя-администратора>"
   
       data_node {
         resources {
           resource_preset_id = "<класс хоста>"
           disk_type_id       = "<тип хранилища>"
           disk_size          = <объем хранилища, ГБ>
         }
       }
   
       master_node {
         resources {
           resource_preset_id = "<класс хоста>"
           disk_type_id       = "<тип хранилища>"
           disk_size          = <объем хранилища, ГБ>
         }
       }
   
     }
   
     security_group_ids = [ "<список групп безопасности>" ]
   
     host {
       name = "<имя хоста>"
       zone = "<зона доступности>"
       type = "<роль хоста: DATA_NODE или MASTER_NODE>"
       assign_public_ip = <публичный доступ к хосту: true или false>
       subnet_id = "<идентификатор подсети>"
     }
   
   }
   
   resource "yandex_vpc_network" "<имя сети>" { name = "<имя сети>" }
   
   resource "yandex_vpc_subnet" "<имя подсети>" {
     name           = "<имя подсети>"
     zone           = "<зона доступности>"
     network_id     = "<идентификатор сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера Terraform.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором вы создали конфигурационный файл.

   2. Выполните проверку с помощью команды:

      terraform plan
      

   Если конфигурация описана верно, в терминале отобразится список изменяемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет. Это проверочный этап: ресурсы не будут изменены.

3. Создайте кластер.

   1. Если в конфигурации нет ошибок, выполните команду:

      terraform apply
      

   2. Подтвердите изменение ресурсов.

Чтобы создать кластер, воспользуйтесь методом API create и передайте в запросе:

• Идентификатор каталога, в котором должен быть размещен кластер, в параметре folderId.
• Имя кластера в параметре name.
• Версию Elasticsearch в параметре configSpec.version.
• Редакцию Elasticsearch в параметре configSpec.edition.
• Конфигурацию кластера в параметре configSpec, в том числе:
  • Класс хостов с ролью Master node в параметре configSpec.elasticsearchSpec.masterNode.resources. Чтобы не создавать выделенных хостов с ролью Master node — не задавайте значения для группы параметров configSpec.elasticsearchSpec.masterNode.
  • Класс хостов с ролью Data node в параметре configSpec.elasticsearchSpec.dataNode.resources.
• Конфигурацию хостов кластера в одном или нескольких параметрах hostSpecs.
• Идентификатор сети в параметре networkId.
• Идентификаторы групп безопасности в параметре securityGroupIds.

Допустим, нужно создать Elasticsearch-кластер со следующими характеристиками:

• С именем my-es-clstr.
• Версии 7.13.
• С редакцией Basic.
• В окружении PRODUCTION.
• В облаке с идентификатором b1gq90dgh25bebiu75o.
• В каталоге с идентификатором b1gia87mbaomkfvsleds.
• В новой сети mynet.
• В новой группе безопасности es-sg, разрешающей подключение к кластеру из интернета через порты 443 (Kibana) и 9200 (Elasticsearch).
• С одним публично доступным хостом с ролью Data node класса s2.micro в новой подсети mysubnet, в зоне доступности ru-central1-c. Подсеть mysubnet будет иметь диапазон 10.5.0.0/24.
• С быстрым сетевым хранилищем (network-ssd) объемом 20 ГБ.
• С паролем esadminpwd для пользователя admin.

Конфигурационный файл для такого кластера выглядит так:

terraform {
  required_providers {
    yandex = {
      source = "yandex-cloud/yandex"
    }
  }
}

provider "yandex" {
  token     = "<OAuth или статический ключ сервисного аккаунта>"
  cloud_id  = "b1gq90dgh25bebiu75o"
  folder_id = "b1gia87mbaomkfvsleds"
  zone      = "ru-central1-c"
}

resource "yandex_mdb_elasticsearch_cluster" "my-es-clstr" {
  name        = "my-es-clstr"
  environment = "PRODUCTION"
  network_id  = yandex_vpc_network.mynet.id

  config {
    edition = "basic"

    admin_password = "esadminpwd"

    data_node {
      resources {
        resource_preset_id = "s2.micro"
        disk_type_id       = "network-ssd"
        disk_size          = 20
      }
    }

  }

  security_group_ids = [ yandex_vpc_security_group.es-sg.id ]

  host {
    name = "node"
    zone = "ru-central1-c"
    type = "DATA_NODE"
    assign_public_ip = true
    subnet_id = yandex_vpc_subnet.mysubnet.id
  }

}

resource "yandex_vpc_network" "mynet" {
  name = "mynet"
}

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "ru-central1-c"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.5.0.0/24"]
}

resource "yandex_vpc_security_group" "es-sg" {
  name       = "es-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "Kibana"
    port           = 443
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }

  ingress {
    description    = "Elasticsearch"
    port           = 9200
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }
}