Подключиться
Yandex Managed Service for PostgreSQL

Создание PostgreSQL-кластера

PostgreSQL-кластер — это один или несколько хостов базы данных, между которыми можно настроить репликацию. Репликация работает по умолчанию в любом кластере из более чем 1 хоста: хост-мастер принимает запросы на запись, синхронно дублирует изменения в основной реплике и асинхронно — во всех остальных.

Примечание

Если хранилище баз данных заполнится на 95%, кластер перейдет в режим только чтения. Рассчитывайте и увеличивайте необходимый размер хранилища заранее.

Количество хостов, которые можно создать вместе с PostgreSQL-кластером, зависит от выбранного типа хранилища:

  • При использовании локального хранилища вы можете создать кластер из трех или более хостов (минимум три хоста необходимо, чтобы обеспечить отказоустойчивость).
  • При использовании сетевого хранилища:
    • Если выбрано стандартное или быстрое сетевое хранилище, вы можете добавить любое количество хостов в пределах текущей квоты.
    • Если выбрано нереплицируемое сетевое хранилище, вы можете создать кластер из трех или более хостов (минимум три хоста необходимо, чтобы обеспечить отказоустойчивость).

После создания кластера в него можно добавить дополнительные хосты, если для этого достаточно ресурсов каталога.

По умолчанию Managed Service for PostgreSQL выставляет максимально возможное количество подключений к каждому хосту PostgreSQL-кластера. Этот максимум не может быть больше значения настройки Max connections.

Важно

Managed Service for PostgreSQL резервирует 15 подключений для служебных пользователей на каждом PostgreSQL-хосте. Например, если для кластера выставлено значение настройки Max connections 100, то вы можете зарезервировать не больше 85 подключений для пользователей кластера.

Как создать кластер PostgreSQL

  1. В консоли управления выберите каталог, в котором нужно создать кластер баз данных.

  2. Выберите сервис Managed Service for PostgreSQL.

  3. Нажмите кнопку Создать кластер.

  4. Введите имя кластера в поле Имя кластера. Имя кластера должно быть уникальным в рамках Yandex.Cloud.

  5. Выберите окружение, в котором нужно создать кластер (после создания кластера окружение изменить невозможно):

    • PRODUCTION — для стабильных версий ваших приложений.
    • PRESTABLE — для тестирования, в том числе самого сервиса Managed Service for PostgreSQL. В Prestable-окружении раньше появляются новая функциональность, улучшения и исправления ошибок. При этом не все обновления обеспечивают обратную совместимость.

  6. Выберите версию СУБД.

    Примечание

    При выборе класса хоста в версии 12-1c (PostgreSQL 12 для 1C) ориентируйтесь на количество пользователей вашей инсталляции «1С:Предприятия»:

    • для одновременной работы 50 и более пользователей рекомендуется использовать класс s2.medium;
    • для работы менее 50 пользователей достаточно класса s2.small.

  7. Выберите класс хостов — он определяет технические характеристики виртуальных машин, на которых будут развернуты хосты баз данных. Все доступные варианты перечислены в разделе Классы хостов. При изменении класса хостов для кластера меняются характеристики всех уже созданных хостов.

  8. В блоке Размер хранилища:

    • Выберите тип хранилища — более гибкое сетевое (network-hdd, network-ssd или network-ssd-nonreplicated) или более быстрое локальное хранилище (local-ssd).

      При выборе типа хранилища обратите внимание, что:

      • Размер локального хранилища можно менять только с шагом 100 ГБ.
      • Размер нереплицируемого сетевого хранилища можно менять только с шагом 93 ГБ.

    • Выберите объем, который будет использоваться для данных и резервных копий. Подробнее о том, как занимают пространство резервные копии, см. раздел Резервные копии.

  9. В блоке База данных укажите атрибуты базы данных:

    • Имя базы данных. Это имя должно быть уникальным в рамках каталога и содержать только латинские буквы, цифры и подчеркивания.

    • Имя пользователя — владельца базы данных. Это имя должно содержать только латинские буквы, цифры и подчеркивания. По умолчанию новому пользователю выделяется 50 подключений к каждому хосту кластера.

    • Пароль пользователя, от 8 до 128 символов.

    • Локаль сортировки и локаль набора символов. Эти настройки определяют правила, по которым производится сортировка строк (LC_COLLATE) и классификация символов (LC_CTYPE). В Managed Service for PostgreSQL настройки локали действуют на уровне отдельно взятой базы данных.

      PostgreSQL использует локали для поддержки различных языковых стандартов. Выбор локали влияет на:

      • Порядок сортировки в запросах с использованием оператора ORDER BY или стандартных операторов сравнения текстовых данных.
      • Функции upper, lower, initcap, а также семейство функций to_char.
      • Операторы поиска по шаблону (LIKE, ILIKE, SIMILAR TO, регулярные выражения).
      • Возможность использовать индексы с оператором LIKE.

      По умолчанию используется локаль C. При использовании кодировки C для текстовых данных с нелатинскими (например, кириллическими) символами возможны ошибки в порядке сортировки данных и отображении данных при поиске по шаблону. Если эта локаль не подходит для корректной обработки таблиц в базе данных, выберите другую из списка. Однако учитывайте, что использование нестандартной локали может снизить скорость выполнения запросов к базе данных.

      Подробнее о настройках локали см. в документации PostgreSQL.

      Настройки локали нельзя изменить после создания базы данных. Но вы можете задать локаль сортировки для столбцов при создании и изменении отдельных таблиц. Подробнее читайте в документации PostgreSQL.

  10. В блоке Сетевые настройки выберите облачную сеть для размещения кластера и группы безопасности для сетевого трафика кластера. Может потребоваться дополнительная настройка групп безопасности для того, чтобы можно было подключаться к кластеру.

  11. В блоке Хосты выберите параметры хостов баз данных, создаваемых вместе с кластером. Открыв блок Расширенные настройки, вы можете выбрать конкретные подсети для каждого хоста — по умолчанию каждый хост создается в отдельной подсети.

    При настройке параметров хостов обратите внимание, что если в блоке Хранилище выбран local-ssd или network-ssd-nonreplicated, то необходимо добавить не менее трех хостов в кластер.

  12. При необходимости задайте дополнительные настройки кластера:

    • Начало резервного копирования (UTC) — время по UTC, когда требуется начать резервное копирование кластера (в 24-часовом формате). Если время не задано, резервное копирование начнется в 22:00 UTC.

    • Окно обслуживания — настройки окна технического обслуживания. С их помощью вы можете указать предпочтительное время начала проведения операций по техническому обслуживанию хостов кластера (например, можно выбрать время, когда кластер наименее нагружен запросами):

      • Чтобы указать предпочтительное время начала окна технического обслуживания, выберите пункт по расписанию и задайте нужные день недели и час дня в UTC (Coordinated Universal Time), выбрав значения из выпадающих списков.
      • Чтобы разрешить проведение операций технического обслуживания в любое время, выберите пункт произвольное.

      Операции по техническому обслуживанию могут включать в себя: обновление версии СУБД, применение патчей и так далее.

    • Доступ из DataLens — включите эту опцию, чтобы получить возможность анализировать данные из кластера в сервисе Yandex DataLens. Подробнее о настройке подключения см. в разделе Подключение к DataLens.

    • Доступ из консоли управления — включите эту опцию, чтобы получить возможность выполнять SQL-запросы к базам кластера из консоли управления Yandex.Cloud.

    • Сбор статистики — включите эту опцию, чтобы воспользоваться инструментом Диагностика производительности в кластере. Эта функциональность находится на стадии Preview.

  13. При необходимости задайте настройки СУБД уровня кластера.

  14. Нажмите кнопку Создать кластер.

Если у вас еще нет интерфейса командной строки Yandex.Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать кластер:

  1. Проверьте, есть ли в каталоге подсети для хостов кластера:

    $ yc vpc subnet list

    Если ни одной подсети в каталоге нет, создайте нужные подсети в сервисе VPC.

  2. Посмотрите описание команды CLI для создания кластера:

    $ yc managed-postgresql cluster create --help

  3. Укажите параметры кластера в команде создания (в примере приведены не все параметры):

    $ yc managed-postgresql cluster create \
   --name <имя кластера> \
   --environment <окружение, prestable или production> \
   --network-name <имя сети> \
   --host zone-id=<зона доступности>,subnet-id=<идентификатор подсети> \
   --resource-preset <класс хоста> \
   --user name=<имя пользователя>,password=<пароль пользователя> \
   --database name=<имя базы данных>,owner=<имя владельца базы данных> \
   --disk-size <размер хранилища в гигабайтах> \
   --disk-type  <network-hdd | network-ssd | local-ssd | network-ssd-nonreplicated> \ 
   --security-group-ids <список идентификаторов групп безопасности>

    Идентификатор подсети subnet-id необходимо указывать, если в выбранной зоне доступности создано 2 и больше подсетей.

    Также вы можете указать несколько дополнительных опций в параметре --host для управления репликацией в кластере:

    • Источник репликации для хоста в опции replication-source для того, чтобы вручную управлять потоками репликации.
    • Приоритет хоста в опции priority для того, чтобы влиять на процесс выбора синхронной реплики:
      • Хост с наибольшим значением приоритета в кластере становится синхронной репликой.
      • Если в кластере есть несколько хостов с наибольшим приоритетом, то среди них проводятся выборы синхронной реплики.
      • Наименьший приоритет — 0 (по умолчанию), наивысший — 100.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex.Cloud и управлять ей с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language).

При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Если у вас ещё нет Terraform, установите его и настройте провайдер.

Чтобы создать кластер:

  1. Опишите в конфигурационном файле параметры ресурсов, которые необходимо создать:

    • Кластер базы данных — описание кластера и его хостов. При необходимости здесь же можно задать настройки СУБД.
    • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.
    • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

    Пример структуры конфигурационного файла:

    terraform {
  required_providers {
    yandex = {
      source = "yandex-cloud/yandex"
    }
  }
}

provider "yandex" {
  token     = "<OAuth или статический ключ сервисного аккаунта>"
  cloud_id  = "<идентификатор облака>"
  folder_id = "<идентификатор каталога>"
  zone      = "<зона доступности>"
}

resource "yandex_mdb_postgresql_cluster" "<имя кластера>" {
  name        = "<имя кластера>"
  environment = "<окружение, PRESTABLE или PRODUCTION>"
  network_id  = "<идентификатор сети>"
  security_group_ids = [ "<список групп безопасности>" ]

  config {
    version = "<версия PostgreSQL: 10, 10-1с, 11, 11-1c, 12, 12-1c или 13>"
    resources {
      resource_preset_id = "<класс хоста>"
      disk_type_id       = "<тип хранилища>"
      disk_size          = "<размер хранилища в гигабайтах>"
    }
  }

  database {
    name  = "<имя базы данных>"
    owner = "<имя владельца базы данных>"
  }

  user {
    name     = "<имя пользователя>"
    password = "<пароль пользователя>"
    permission {
      database_name = "<имя базы данных>"
    }
  }

  host {
    zone      = "<зона доступности>"
    subnet_id = "<идентификатор подсети>"
  }
}

resource "yandex_vpc_network" "<имя сети>" { name = "<имя сети>" }

resource "yandex_vpc_subnet" "<имя подсети>" {
  name           = "<имя подсети>"
  zone           = "<зона доступности>"
  network_id     = "<идентификатор сети>"
  v4_cidr_blocks = ["<диапазон>"]
}

    Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера.

  2. Проверьте корректность конфигурационных файлов.

    1. В командной строке перейдите в каталог, в котором создан конфигурационный файл.

    2. Выполните проверку с помощью команды:

      terraform plan

    Если конфигурация описана верно, в терминале отобразится список создаваемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет. Это проверочный этап: ресурсы не будут созданы.

  3. Создайте кластер.

    1. Если в конфигурации нет ошибок, выполните команду:

      terraform apply

    2. Подтвердите создание ресурсов.

    После этого в указанном каталоге будут созданы все требуемые ресурсы, а в терминале отобразятся IP-адреса виртуальных машин. Проверить появление ресурсов и их настройки можно в консоли управления.

Важно

Если вы указали идентификаторы групп безопасности при создании кластера, то для подключения к нему может потребоваться дополнительная настройка групп безопасности.

Примеры

Создание кластера с одним хостом

Чтобы создать кластер с одним хостом, следует передать один параметр --host.

Допустим, нужно создать PostgreSQL-кластер со следующими характеристиками:

  • С именем mypg.
  • В окружении production.
  • В сети default.
  • В группе безопасности enp6saqnq4ie244g67sb.
  • С одним хостом класса s2.micro в подсети b0rcctk2rvtr8efcch64, в зоне доступности ru-central1-c.
  • С быстрым сетевым хранилищем (network-ssd) объемом 20 ГБ.
  • С одним пользователем (user1), с паролем user1user1.
  • С одной базой данных db1, принадлежащей пользователю user1.

Запустите следующую команду:

$ yc managed-postgresql cluster create \
     --name mypg \
     --environment production \
     --network-name default \
     --resource-preset s2.micro \
     --host zone-id=ru-central1-c,subnet-id=b0rcctk2rvtr8efcch64 \
     --disk-type network-ssd \
     --disk-size 20 \
     --user name=user1,password=user1user1 \
     --database name=db1,owner=user1 \
     --security-group-ids enp6saqnq4ie244g67sb

Допустим, нужно создать PostgreSQL-кластер и сеть для него со следующими характеристиками:

  • С именем mypg.
  • Версии 13.
  • В окружении PRESTABLE.
  • В облаке с идентификатором b1gq90dgh25bebiu75o.
  • В каталоге с идентификатором b1gia87mbaomkfvsleds.
  • В новой сети mynet.
  • В новой группе безопасности pgsql-sg, разрешающей подключение к кластеру из интернета через порт 6432.
  • С одним хостом класса s2.micro в новой подсети mysubnet, в зоне доступности ru-central1-c. Подсеть mysubnet будет иметь диапазон 10.5.0.0/24.
  • С быстрым сетевым хранилищем (network-ssd) объемом 20 ГБ.
  • С одним пользователем (user1), с паролем user1user1.
  • С одной базой данных db1, принадлежащей пользователю user1.

Конфигурационный файл для такого кластера выглядит так:

terraform {
  required_providers {
    yandex = {
      source = "yandex-cloud/yandex"
    }
  }
}

provider "yandex" {
  token     = "<OAuth или статический ключ сервисного аккаунта>"
  cloud_id  = "b1gq90dgh25bebiu75o"
  folder_id = "b1gia87mbaomkfvsleds"
  zone      = "ru-central1-c"
}

resource "yandex_mdb_postgresql_cluster" "mypg" {
  name        = "mypg"
  environment = "PRESTABLE"
  network_id  = yandex_vpc_network.mynet.id
  security_group_ids = [ yandex_vpc_security_group.pgsql-sg.id ]

  config {
    version = 13
    resources {
      resource_preset_id = "s2.micro"
      disk_type_id       = "network-ssd"
      disk_size          = "20"
    }
  }

  database {
    name  = "db1"
    owner = "user1"
  }

  user {
    name     = "user1"
    password = "user1user1"
    permission {
      database_name = "db1"
    }
  }

  host {
    zone      = "ru-central1-c"
    subnet_id = yandex_vpc_subnet.mysubnet.id
  }
}

resource "yandex_vpc_network" "mynet" {
  name = "mynet"
}

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "ru-central1-c"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.5.0.0/24"]
}

resource "yandex_vpc_security_group" "pgsql-sg" {
  name       = "pgsql-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "PostgreSQL"
    port           = 6432
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }
}
В этой статье: