OpenSearch — поисковая и аналитическая система с открытым исходным кодом в облаке

Что такое OpenSearch

OpenSearch — это легко масштабируемая система поисковых и аналитических инструментов с открытым исходным кодом. Она была ответвлена от кодовой базы Elasticsearch 7.10.2. Из OpenSearch убрали компоненты, распространяемые не под лицензией Apache 2.0. В систему включены: движок хранения и поиска, веб‑интерфейс, среда визуализации данных OpenSearch Dashboards, а также дополнения, которые ранее поставлялись в продукте Open Distro for Elasticsearch. Плагины позволяют использовать ряд возможностей движка Elasticsearch:

• функциональность машинного обучения;

• быстрый поиск по векторам с помощью k‑NN (k‑Nearest Neighbor);

• управление безопасностью, индексами;

• поиск и обнаружение аномалий;

• поддержка SQL;

• генерация уведомлений;

• диагностика производительности кластера;

• шифрование трафика;

• разграничение доступа на основе ролей (RBAC);

• аутентификация через SAML и другие внешние источники авторизации;

• реализация единой точки входа (SSO);

• ведение детального лога для аудита.

Вместе с платформой доставки данных Beat (Filebeat, Winlogbeat и т. д.) OpenSearch позволяет построить полный цикл управления логами: сбор, систематизация, поиск. Возможности визуализации реализованы в Dashboards.

Сценарии применения плагинов OpenSearch

Обнаружение аномалий

Плагин для поиска аномалий даёт возможность анализировать ваши журналы. Для этого он использует алгоритмы, основанные на машинном обучении. Например, плагин позволит обнаружить и настроить оповещение об аномалии в данных метрики использования памяти. Уведомления предупредят о ранних признаках сбоя IT‑инфраструктуры.

Единый вход в OpenSearch с помощью SAML

Плагин безопасности SAML (Security Assertion Markup Language) поддерживает аутентификацию пользователей. Он использует профиль SSO веб‑браузера по протоколу SAML 2.0.

SAML позволяет пользователю получить доступ в несколько приложений, используя для авторизации один набор учётных данных. В основе его работы — обмен аутентификационной информацией между участниками. Например, между системой управления доступами и веб‑приложением.

Векторный поиск

Быстрый поиск с помощью k‑NN (по векторам по сходству признаков в документах, логах, журналах и запросах) позволяет реализовать такие сценарии, как построение рекомендательных систем, обнаружение мошенничества, поиск изображений, видео и связанных документов, а также многое другое.

Плагин OpenSearch k‑NN выполняет быстрый поиск ближайших соседей в миллиардах документов по тысячам измерений. Чтобы сделать поиск по сходству более точным, вы можете использовать агрегации и условия фильтрации.

OpenSearch в Yandex Cloud

Managed Service for OpenSearch имеет все преимущества управляемых сервисов в облаке. С выходом общедоступной версии сервиса появилась возможность использовать расширенный набор операций с кластером. Теперь вы можете:

• создать кластер сразу с нужным количеством групп хостов, а не добавлять их после создания;

• полноценно работать с группой хостов;

• восстановить данные из бэкапа;

• проводить мониторинг кластера, групп хостов или отдельных хостов;

• использовать SAML как внешний источник авторизации.

В новом сервисе появилась поддержка «холодных» и «горячих» зон кластера. Она стала возможной благодаря созданию разноранговых узлов. Теперь пользователи смогут сэкономить на хранении архивных данных, настроить удобные и экономичные конфигурации под какие‑либо специфичные задачи, например ML. А ещё им не нужно будет тратить силы и время на создание ранее обязательных ресурсов, например узлов Dashboards.

Мы отказались от прямого управления отдельными хостами. Все свойства, которые были внутри отдельных хостов, один в один переносятся на группу: зоны доступности, роли, сервис и т. д. Хосты в рамках группы можно добавлять и удалять как раньше.

В OpenSearch пользователи могут отслеживать узкие места в производительности. А в будущем мы планируем настроить полноценный интерфейс для оценки производительности на основе данных встроенного анализатора.