Дайджест новостей платформы данных (январь — март)

Общие новости

Managed Service for OpenSearch стал общедоступным

C 23 января 2023 года сервис для быстрого поиска и аналитики по большим объёмам данных Managed Service for OpenSearch стал общедоступным. После выхода сервиса в Public Preview в ноябре мы расширили набор операций с кластером. Теперь поддерживаются стандартные операции с группами хостов, а также появилась возможность:

• восстанавливать данные из бэкапа;

• проводить мониторинг кластера, групп хостов или отдельных хостов;

• использовать сторонние провайдеры аутентификации и авторизации (SAML).

Подробности в блоге →

Работа с Audit Trails

Все действия с кластерами PostgreSQL, Greenplum^®, MySQL^® через API теперь логируются. Вся информация, включая данные о пользователе, конкретном запросе и настройках кластера до и после изменения, отправляется в сервис Audit Trails. С помощью Audit Trails можно отфильтровать информацию по фолдеру или ресурсу, сохранить в S3‑бакет или записать в сервис Cloud Logging.

Новый UI в ClickHouse и OpenSearch

Мы запустили новый интерфейс в ClickHouse и OpenSearch. Постепенно будем распространять его на все сервисы управляемых баз данных.

Data Transfer

В сценариях миграции и асинхронной репликации между приёмниками и источниками одного типа стало меньше ограничений. Например:

1. В трансферах PostgreSQL → PostgreSQL появилась поддержка переноса данных, типы которых определены в расширениях PostgreSQL. Подробнее в документации →

2. В трансферах MongoDB → MongoDB полноценно поддержали работу с шардированными кластерами. Теперь трансфер бесшовно переживёт ситуации, когда коллекция на приёмнике будет перешардирована по новому ключу в процессе работающей репликации. Не вызовут проблем и ситуации, когда в источнике произойдёт событие обновления значения ключа документа в шардированной коллекции.

Мы продолжаем развивать возможности сервиса, которые помогают нашим клиентам решать свои задачи:

1. В режиме закрытого Preview клиентам стал доступен источник Яндекс Метрика. Теперь вы можете поставлять потоки событий ваших счётчиков Яндекс Метрики в управляемые кластеры ClickHouse в Yandex Cloud с минимальными задержками. Подробная инструкция находится здесь. Необходимо подать заявку на подключение к коннектору.

2. Для решения задач наблюдаемости и безопасности мы поддержали работу с приёмниками OpenSearch и Elasticsearch. Теперь вы можете загружать произвольные данные из очередей в эти хранилища с минимальными задержками.

3. Поддержана работа с событиями облачных сервисов. Чтобы события внутри облака, регистрируемые в Audit Trails и Сloud Logging, было легко доставить до целевой системы анализа, мы поддержали нативную работу с ними. Теперь собрать подобный пайплайн можно в несколько кликов.

4. Интегрировали YDB в сценарии Change-Data-Capture (СDC). Всё больше наших клиентов подключают потоки CDC к рабочим процессам. Теперь клиентам, работающим с YDB, доступна данная функциональность через Data Transfer.

Также мы улучшили интерфейс нашего сервиса. Сделали форму создания и редактирования трансфера более логичной и удобной, разделив настройки для разных типов трансферов. Во многих местах убрали лишнюю вложенность и сэкономили число кликов при разворачивании, сделали более понятными тексты и подсказки. Ещё мы добавили следующие изменения:

• Появилась функциональность для настройки расписания запуска трансфера в виде cron‑выражения.

• Добавили возможность назначать лейблы эндпоинтам и трансферам.

• Изменили поведение при просмотре логов. Теперь в списке доступных логов показываются только те операции, по которым действительно есть или должны быть логи. А при выборе операции вы видите сначала самые свежие логи, то есть временной диапазон позиционируется на период от начала до окончания выполнения выбранной операции или до текущего времени. И добавили выбор направления логов — от новых к старым или наоборот.

Managed Service for Redis^™

Мы поддержали актуальную версию Redis 7.0 и улучшили отказоустойчивость. Теперь кластер Redis^™ будет отказоустойчивым даже в конфигурации из двух хостов в разных зонах. Подробнее в документации →

Managed Service for MongoDB

• Создание шардированного кластера. Мы улучшили флоу работы с шардированными кластерами. Раньше приходилось сначала создавать нешардированный кластер, а затем разбивать его на шарды. Теперь можно сразу делать шардированный.

• Hot binary backup. Начали создавать бинарные резервные копии, что позволило существенно увеличить лимиты на объём хранилищ. Подробнее в документации →

Managed Service for Greenplum^®

• Добавление машин в кластер. Добавлена возможность горизонтального масштабирования кластера Greenplum^®. Если существующие хосты не справляются с нагрузкой или на них заканчивается свободное место, то можно расширить инсталляцию. При этом данные перераспределяются между хостами, обеспечивая равномерную нагрузку. Следует учитывать, что процедура расширения довольно длительная и в её процессе кластер некоторое время находится в режиме Read‑Only.

• Помощник по конфигурации кластера в консоли. Для удобства создания кластеров Greenplum^® в консоли был добавлен помощник, который подскажет, какое число хостов и сегментов выбрать.

Managed Service for ClickHouse

Пользователям управляемого сервиса стала доступна версия ClickHouse 23.3 LTS. Что появилось нового:

• поддержка форматов Data Lake: Apache Hudi, Delta Lake и Apache Iceberg;

• механизм эффективного удаления данных со стандартным SQL‑синтаксисом DELETE FROM объявлен production ready;

• Grace Hash Join;

• улучшенная поддержка форматов Parquet, ORC и Arrow: добавлены настройки управления сжатием, увеличено быстродействие до 10 раз;

• кеш результатов выполнения запросов (experimental);

• ANN (Approximate Nearest Neighbor) и индексы Full‑Text Search (experimental);

• запрос UNDROP TABLE, позволяющий восстанавливать недавно удалённые данные;

• улучшенная совместимость с MySQL^® и Apache Spark^™;

• поддержка алгоритмов сжатия LZ4, BZ2 и Snappy в интерфейсе HTTP;

• параметризованные представления;

• форматы входных и выходных данных JSONObjectEachRow и BSONEachRow;

• составные временные интервалы.

Полный список изменений доступен на сайте.

DataLens

Добавили версионирование чартов и дашбордов

Теперь можно сохранять черновики и открывать историю изменений:

• Для чартов

• Для дашбордов

Какие бывают версии:

• Актуальная. Версия, которая отображается по умолчанию при открытии объекта. Актуальной может быть только одна версия.

• Черновик. В эту версию удобно вносить правки до показа всем пользователям. Черновик может быть только один для объекта. Для создания черновика выберите Сохранить как черновик.

• Неактуальная. Версия, которая раньше была Актуальной или Черновиком.

Любой версией можно поделиться — ссылка будет содержать параметр ?revId=zac5m4edoaqqr.

Расширили полномочия административных ролей в DataLens

C 23 января пользователи с ролями datalens.instances.admin получили полный доступ ко всем объектам вашего DataLens.

Администраторы смогут управлять правами всех объектов вашего DataLens и самостоятельно решать такие задачи:

• переназначать права на объекты уволившихся сотрудников;

• переносить объекты из личных папок сотрудников;

• переопределять права на дашборды и папки.

Подробнее про пользователей и роли можно почитать в документации.

Полномочия роли datalens.instances.admin также включены в общие роли облака:

• admin (администратор всех сервисов облака);

• organization‑manager.organizations.owner (создатель организации);

• resource‑manager.clouds.owner (создатель облака).

Подключение к Google Sheets с ограниченным доступом

Возможность поддержали в текущем подключении.

Напоминаем про действующие ограничения для каждой таблицы (листа), максимум:

• 300 столбцов;

• 200 МБ.

В свежей статье от DataLens Community Hero Сергея Платонова вы узнаете, как визуализировать структурированные и частично структурированные данные в формате CSV или TSV. Благодаря интеграции DataLens и Yandex Query и использованию Object Storage это можно сделать за три шага. Читайте пошаговую инструкцию у нас в блоге.