OpenSearch развивают при участии сообщества и крупных компаний: Red Hat, SAP, Capital One и т. д. Систему применяют для полнотекстового поиска по сайту, хранения и анализа журналов, для визуализации и анализа полученной информации.
OpenSearch — поисковая и аналитическая система с открытым исходным кодом в облаке
Рассказываем про OpenSearch — систему с открытым исходным кодом. С её помощью вы можете хранить и анализировать логи, организовывать поиск по сайту и визуализировать полученную информацию.
28 апреля 2023 г.
15 минут чтения
Что такое OpenSearch
OpenSearch — это легко масштабируемая система поисковых и аналитических инструментов с открытым исходным кодом. Она была ответвлена от кодовой базы Elasticsearch 7.10.2. Из OpenSearch убрали компоненты, распространяемые не под лицензией Apache 2.0. В систему включены: движок хранения и поиска, веб‑интерфейс, среда визуализации данных OpenSearch Dashboards, а также дополнения, которые ранее поставлялись в продукте Open Distro for Elasticsearch. Плагины позволяют использовать ряд возможностей движка Elasticsearch:
-
функциональность машинного обучения;
-
быстрый поиск по векторам с помощью k‑NN (k‑Nearest Neighbor);
-
управление безопасностью, индексами;
-
поиск и обнаружение аномалий;
-
поддержка SQL;
-
генерация уведомлений;
-
диагностика производительности кластера;
-
шифрование трафика;
-
разграничение доступа на основе ролей (RBAC);
-
аутентификация через SAML и другие внешние источники авторизации;
-
реализация единой точки входа (SSO);
-
ведение детального лога для аудита.
Вместе с платформой доставки данных Beat (Filebeat, Winlogbeat и т. д.) OpenSearch позволяет построить полный цикл управления логами: сбор, систематизация, поиск. Возможности визуализации реализованы в Dashboards.
Сценарии применения плагинов OpenSearch
Обнаружение аномалий
Плагин для поиска аномалий даёт возможность анализировать ваши журналы. Для этого он использует алгоритмы, основанные на машинном обучении. Например, плагин позволит обнаружить и настроить оповещение об аномалии в данных метрики использования памяти. Уведомления предупредят о ранних признаках сбоя IT‑инфраструктуры.
Единый вход в OpenSearch с помощью SAML
Плагин безопасности SAML (Security Assertion Markup Language) поддерживает аутентификацию пользователей. Он использует профиль SSO веб‑браузера по протоколу SAML 2.0.
SAML позволяет пользователю получить доступ в несколько приложений, используя для авторизации один набор учётных данных. В основе его работы — обмен аутентификационной информацией между участниками. Например, между системой управления доступами и веб‑приложением.
Векторный поиск
Быстрый поиск с помощью k‑NN (по векторам по сходству признаков в документах, логах, журналах и запросах) позволяет реализовать такие сценарии, как построение рекомендательных систем, обнаружение мошенничества, поиск изображений, видео и связанных документов, а также многое другое.
Плагин OpenSearch k‑NN выполняет быстрый поиск ближайших соседей в миллиардах документов по тысячам измерений. Чтобы сделать поиск по сходству более точным, вы можете использовать агрегации и условия фильтрации.
В этой статье мы расскажем:
OpenSearch в Yandex Cloud
Managed Service for OpenSearch имеет все преимущества управляемых сервисов в облаке. С выходом общедоступной версии сервиса появилась возможность использовать расширенный набор операций с кластером. Теперь вы можете:
-
создать кластер сразу с нужным количеством групп хостов, а не добавлять их после создания;
-
полноценно работать с группой хостов;
-
восстановить данные из бэкапа;
-
проводить мониторинг кластера, групп хостов или отдельных хостов;
-
использовать SAML как внешний источник авторизации.
Чтобы вы легко перенесли данные в сервис Yandex Managed Service for OpenSearch, мы подготовили специальную инструкцию по миграции.
В новом сервисе появилась поддержка «холодных» и «горячих» зон кластера. Она стала возможной благодаря созданию разноранговых узлов. Теперь пользователи смогут сэкономить на хранении архивных данных, настроить удобные и экономичные конфигурации под какие‑либо специфичные задачи, например ML. А ещё им не нужно будет тратить силы и время на создание ранее обязательных ресурсов, например узлов Dashboards.
Мы отказались от прямого управления отдельными хостами. Все свойства, которые были внутри отдельных хостов, один в один переносятся на группу: зоны доступности, роли, сервис и т. д. Хосты в рамках группы можно добавлять и удалять как раньше.
В OpenSearch пользователи могут отслеживать узкие места в производительности. А в будущем мы планируем настроить полноценный интерфейс для оценки производительности на основе данных встроенного анализатора.