Подключиться
Yandex Managed Service for Elasticsearch

Подключение к кластеру

Статья создана

К хостам кластера Managed Service for Elasticsearch с ролью Data node можно подключиться:

  • Через интернет, если вы настроили публичный доступ для нужного хоста.
  • С виртуальных машин Yandex.Cloud, расположенных в той же виртуальной сети.

Вне зависимости от способа подключения, Managed Service for Elasticsearch поддерживает только соединения с SSL-сертификатом к хостам кластера.

Настройка групп безопасности

Группы безопасности могут препятствовать подключению к кластеру. В этом случае внесите изменения в правила групп.

Настройки правил будут различаться в зависимости от выбранного способа подключения:

Настройте все группы безопасности кластера так, чтобы они разрешали входящий трафик с любых IP-адресов на порты 443 (Kibana) и 9200 (Elasticsearch). Для этого создайте следующие правила для входящего трафика:

  • протокол: TCP;
  • диапазон портов: 443, 9200;
  • тип источника: CIDR;
  • источник: 0.0.0.0/0.

На каждый порт создается отдельное правило.

  1. Настройте все группы безопасности кластера так, чтобы они разрешали входящий трафик из группы безопасности, в которой находится ВМ, на порты 443 (Kibana) и 9200 (Elasticsearch). Для этого создайте в этих группах следующие правила для входящего трафика:

    • протокол: TCP;
    • диапазон портов: 443, 9200;
    • тип источника: Группа безопасности;
    • источник: группа безопасности, в которой находится ВМ. Если она совпадает с настраиваемой группой, то укажите Текущая.

    На каждый порт создается отдельное правило.

  2. Настройте все группы безопасности, в которых находится ВМ так, чтобы можно было подключаться к ВМ и был разрешен трафик между ней и хостами кластера.

    Пример правил для ВМ:

    • Для входящего трафика:

      • протокол: TCP;
      • диапазон портов: 22, 443, 9200;
      • тип источника: CIDR;
      • источник: 0.0.0.0/0.

      На каждый порт создается отдельное правило.

    • Для исходящего трафика:

      • протокол: Any;
      • диапазон портов: 0-65535;
      • тип назначения: CIDR;
      • назначение: 0.0.0.0/0.

      Это правило разрешает любой исходящий трафик, что позволяет не только подключаться к кластеру, но и устанавливать сертификаты и утилиты, необходимые для подключения к кластеру.

Примечание

Вы можете задать более детальные правила для групп безопасности, например, разрешающие трафик только в определенных подсетях.

Группы безопасности должны быть корректно настроены для всех подсетей, в которых будут размещены хосты кластера. При неполных или некорректных настройках групп безопасности можно потерять доступ к кластеру.

Подробнее о группах безопасности см. в разделе Группы безопасности.

Получение SSL-сертификата

Чтобы использовать шифрованное соединение, получите SSL-сертификат:

mkdir ~/.elasticsearch && \
wget  "https://storage.yandexcloud.net/cloud-certs/CA.pem" -O ~/.elasticsearch/root.crt && \
chmod 0600 ~/.elasticsearch/root.crt

Сертификат будет сохранен в каталоге $HOME/.elasticsearch/root.crt.

mkdir $HOME\.elasticsearch; curl -o $HOME\.elasticsearch\root.crt https://storage.yandexcloud.net/cloud-certs/CA.pem

Сертификат будет сохранен в каталоге $HOME\.elasticsearch\root.crt.

При подключении к кластеру Elasticsearch вы можете:

  • Явно задать имена хостов с ролью Data node в строках подключения.

    Этот способ подходит для любого способа подключения. Например, его можно использовать для подключения через интернет в случае, когда только нескольким хостам назначен публичный IP-адрес.

  • Использовать специальный FQDN вида c-<идентификатор кластера Elasticsearch>.rw.mdb.yandexcloud.net (например, https://c-e4ut2....rw.mdb.yandexcloud.net).

    Этот способ подходит только в том случае, если все хосты с ролью Data node имеют публичный IP-адрес или же подключение осуществляется только с виртуальных машин Yandex.Cloud. Это связано с тем, что хост для подключения, на который указывает этот FQDN, выбирается случайным образом среди все хостов с ролью Data node.

Примеры строк подключения

Примеры для Linux проверялись в следующем окружении:

  • Виртуальная машина в Облаке c Ubuntu 20.04 LTS.
  • Bash: 5.0.16.
  • Python: 3.8.2; pip3: 20.0.2.
  • Go: 1.13.8.

Примеры для Windows проверялись в следующем окружении:

  • Локальная машина с Windows 10 Pro build 19042.1052.
  • PowerShell: 5.1.19041.

Перед подключением подготовьте сертификат.

Для подключения нужно использовать имя пользователя и пароль, которые были заданы при создании кластера.

Пример команды с заполненным FQDN хоста доступен в консоли управления по нажатию кнопки Подключиться на странице кластера.

Если хосту с ролью Data node назначен публичный IP-адрес:

  1. Перед подключением установите SSL-сертификат в хранилище доверенных корневых сертификатов браузера (инструкция для Mozilla Firefox).
  2. В браузере перейдите по одному из адресов:
    • https://c-<идентификатор кластера Elasticsearch>.rw.mdb.yandexcloud.net, если публичный IP-адрес назначен всем хостам с этой ролью. Идентификатор кластера можно получить со списком кластеров в каталоге.
    • https://<имя любого хоста с ролью Data node и публичным IP>.mdb.yandexcloud.net
  3. Введите имя пользователя и пароль.

Если ни одному хосту с ролью Data node не назначен публичный IP-адрес:

  1. Создайте виртуальную машину на основе Linux в той же виртуальной сети, что и кластер.

  2. Подключитесь к виртуальной машине по SSH.

  3. Установите зависимости:

    sudo apt update && sudo apt install -y nginx ssl-cert

  4. Скопируйте загруженный SSL-сертификат в директорию /etc/nginx/:

    sudo cp ~/.elasticsearch/root.crt /etc/nginx/root.crt

  5. Измените файл конфигурации по умолчанию для NGINX, например, так:

    /etc/nginx/sites-available/default

    upstream es-datanodes {
   server <FQDN хоста 1 с ролью Data Node>:443;
   ...
   server <FQDN хоста N с ролью Data Node>:443;
}

server {
   listen 443 ssl;

   ssl_certificate /etc/ssl/certs/ssl-cert-snakeoil.pem;
   ssl_certificate_key /etc/ssl/private/ssl-cert-snakeoil.key;

   server_name _;

   location / {

       proxy_pass https://es-datanodes;
       
       proxy_ssl_trusted_certificate /etc/nginx/root.crt;
       proxy_ssl_session_reuse on;
   }
}

    Также можно использовать директиву proxy_pass со специальным FQDN:

    proxy_pass https://c-<идентификатор кластера Elasticsearch>.rw.mdb.yandexcloud.net;

    Важно

    В этом примере конфигурационного файла используется самоподписанный сертификат snakeoil из пакета ssl-cert. Использовать этот сертификат в реальном кластере небезопасно. Вместо самоподписанного сертификата укажите путь к вашим публичным и приватным ключам SSL-сертификата в директивах ssl_certificate и ssl_certificate_key.

  6. Перезапустите NGINX:

    sudo systemctl restart nginx

  7. Добавьте сертификат, указанный в директиве ssl_certificate, в хранилище доверенных корневых сертификатов браузера (инструкция для Mozilla Firefox).

  8. Перейдите в браузере по адресу https://<публичный IP-адрес ВМ>.

  9. Введите имя пользователя и пароль.

Пример команды для подключения с использованием SSL-соединения :

 curl \
   --user <имя пользователя>:<пароль> \
   --cacert ~/.elasticsearch/root.crt \
   -X GET 'https://c-<идентификатор кластера Elasticsearch>.rw.mdb.yandexcloud.net:9200/'

Пример команды для подключения с использованием SSL-соединения :

 curl `
   -Certificate <абсолютный путь к файлу сертификата> `
   -Uri https://c-<идентификатор кластера Elasticsearch>.rw.mdb.yandexcloud.net:9200 `
   -Credential <имя пользователя>

В открывшемся окне введите пароль пользователя.

Перед подключением установите зависимости:

sudo apt update && sudo apt install -y python3 python3-pip && \
pip3 install elasticsearch

Пример кода для подключения с использованием SSL-соединения:

connect.py

from elasticsearch import Elasticsearch

ES_CA = '~/.elasticsearch/root.crt'

ES_USER = '<имя пользователя>'
ES_PASS = '<пароль>'

ES_HOSTS = [
  "<FQDN хоста 1 Elasticsearch с ролью Data Node>",
  ...,
  "<FQDN хоста N Elasticsearch с ролью Data Node>"
  ]

conn = Elasticsearch(
  ES_HOSTS,
  http_auth=(ES_USER, ES_PASS),
  use_ssl=True,
  verify_certs=True,
  ca_certs=ES_CA)

print(conn.info())

conn.close()

Подключение:

python3 connect.py

Перед подключением установите зависимости:

sudo apt update && sudo apt install -y golang git && \
go get github.com/elastic/go-elasticsearch

Пример кода для подключения с использованием SSL-соединения:

connect.go

package main

import (
      "crypto/tls"
      "crypto/x509"
      "github.com/elastic/go-elasticsearch"
      "io/ioutil"
      "log"
      "net/http"
)

var ES_CA = "/home/<домашняя директория>/.elasticsearch/root.crt"

var ES_USER = "<имя пользователя>"
var ES_PASS = "<пароль>"

var ES_HOSTS = []string{
  "https://<FQDN хоста 1 Elasticsearch с ролью Data Node>:9200",
  ...,
  "https://<FQDN хоста N Elasticsearch с ролью Data Node>:9200"}

func main() {
     caCert, err := ioutil.ReadFile(ES_CA)
      if err != nil {
              log.Fatal(err)
      }
      caCertPool := x509.NewCertPool()
      caCertPool.AppendCertsFromPEM(caCert)

      cfg := elasticsearch.Config{
              Addresses: ES_HOSTS,
              Transport: &http.Transport{
                      TLSClientConfig: &tls.Config{
                              RootCAs: caCertPool,
                      },
              },
              Username: ES_USER,
              Password: ES_PASS,
      }
      conn, err := elasticsearch.NewClient(cfg)
      if err != nil {
              log.Printf("Error creating the client: %s", err)
      } else {
              log.Println(conn.Info())
      }
}

В отличие от других способов подключения, в этом коде необходимо указывать полный путь к сертификату CA.pem для Elasticsearch в переменной ES_CA.

Подключение:

go run connect.go

При успешном подключении будет выведена общая информация о кластере Elasticsearch.

В этой статье: