Дайджест новостей платформы данных (январь — март)
В дайджесте новостей платформы данных за первый квартал 2023 года мы рассказываем про выход Managed Service for OpenSearch в общий доступ и обновлениях наших сервисов.
C 23 января 2023 года сервис для быстрого поиска и аналитики по большим объёмам данных Managed Service for OpenSearch стал общедоступным. После выхода сервиса в Public Preview в ноябре мы расширили набор операций с кластером. Теперь поддерживаются стандартные операции с группами хостов, а также появилась возможность:
восстанавливать данные из бэкапа;
проводить мониторинг кластера, групп хостов или отдельных хостов;
использовать сторонние провайдеры аутентификации и авторизации (SAML).
Все действия с кластерами PostgreSQL, Greenplum®, MySQL® через API теперь логируются. Вся информация, включая данные о пользователе, конкретном запросе и настройках кластера до и после изменения, отправляется в сервис Audit Trails. С помощью Audit Trails можно отфильтровать информацию по фолдеру или ресурсу, сохранить в S3‑бакет или записать в сервис Cloud Logging.
В сценариях миграции и асинхронной репликации между приёмниками и источниками одного типа стало меньше ограничений. Например:
В трансферах PostgreSQL → PostgreSQL появилась поддержка переноса данных, типы которых определены в расширениях PostgreSQL. Подробнее в документации →
В трансферах MongoDB → MongoDB полноценно поддержали работу с шардированными кластерами. Теперь трансфер бесшовно переживёт ситуации, когда коллекция на приёмнике будет перешардирована по новому ключу в процессе работающей репликации. Не вызовут проблем и ситуации, когда в источнике произойдёт событие обновления значения ключа документа в шардированной коллекции.
Мы продолжаем развивать возможности сервиса, которые помогают нашим клиентам решать свои задачи:
В режиме закрытого Preview клиентам стал доступен источник Яндекс Метрика. Теперь вы можете поставлять потоки событий ваших счётчиков Яндекс Метрики в управляемые кластеры ClickHouse в Yandex Cloud с минимальными задержками. Подробная инструкция находится здесь. Необходимо подать заявку на подключение к коннектору.
Для решения задач наблюдаемости и безопасности мы поддержали работу с приёмниками OpenSearch и Elasticsearch. Теперь вы можете загружать произвольные данные из очередей в эти хранилища с минимальными задержками.
Поддержана работа с событиями облачных сервисов. Чтобы события внутри облака, регистрируемые в Audit Trails и Сloud Logging, было легко доставить до целевой системы анализа, мы поддержали нативную работу с ними. Теперь собрать подобный пайплайн можно в несколько кликов.
Интегрировали YDB в сценарии Change-Data-Capture (СDC). Всё больше наших клиентов подключают потоки CDC к рабочим процессам. Теперь клиентам, работающим с YDB, доступна данная функциональность через Data Transfer.
Актуальная матрица возможностей и интерактивные ссылки всегда доступны здесь.
Также мы улучшили интерфейс нашего сервиса. Сделали форму создания и редактирования трансфера более логичной и удобной, разделив настройки для разных типов трансферов. Во многих местах убрали лишнюю вложенность и сэкономили число кликов при разворачивании, сделали более понятными тексты и подсказки. Ещё мы добавили следующие изменения:
Появилась функциональность для настройки расписания запуска трансфера в виде cron‑выражения.
Добавили возможность назначать лейблы эндпоинтам и трансферам.
Изменили поведение при просмотре логов. Теперь в списке доступных логов показываются только те операции, по которым действительно есть или должны быть логи. А при выборе операции вы видите сначала самые свежие логи, то есть временной диапазон позиционируется на период от начала до окончания выполнения выбранной операции или до текущего времени. И добавили выбор направления логов — от новых к старым или наоборот.
Мы поддержали актуальную версию Redis 7.0 и улучшили отказоустойчивость. Теперь кластер Redis™ будет отказоустойчивым даже в конфигурации из двух хостов в разных зонах. Подробнее в документации →
Создание шардированного кластера. Мы улучшили флоу работы с шардированными кластерами. Раньше приходилось сначала создавать нешардированный кластер, а затем разбивать его на шарды. Теперь можно сразу делать шардированный.
Hot binary backup. Начали создавать бинарные резервные копии, что позволило существенно увеличить лимиты на объём хранилищ. Подробнее в документации →
Добавление машин в кластер. Добавлена возможность горизонтального масштабирования кластера Greenplum®. Если существующие хосты не справляются с нагрузкой или на них заканчивается свободное место, то можно расширить инсталляцию. При этом данные перераспределяются между хостами, обеспечивая равномерную нагрузку. Следует учитывать, что процедура расширения довольно длительная и в её процессе кластер некоторое время находится в режиме Read‑Only.
Помощник по конфигурации кластера в консоли. Для удобства создания кластеров Greenplum® в консоли был добавлен помощник, который подскажет, какое число хостов и сегментов выбрать.
Актуальная. Версия, которая отображается по умолчанию при открытии объекта. Актуальной может быть только одна версия.
Черновик. В эту версию удобно вносить правки до показа всем пользователям. Черновик может быть только один для объекта. Для создания черновика выберите Сохранить как черновик.
Неактуальная. Версия, которая раньше была Актуальной или Черновиком.
Любой версией можно поделиться — ссылка будет содержать параметр ?revId=zac5m4edoaqqr.
Напоминаем про действующие ограничения для каждой таблицы (листа), максимум:
300 столбцов;
200 МБ.
В свежей статье от DataLens Community Hero Сергея Платонова вы узнаете, как визуализировать структурированные и частично структурированные данные в формате CSV или TSV. Благодаря интеграции DataLens и Yandex Query и использованию Object Storage это можно сделать за три шага. Читайте пошаговую инструкцию у нас в блоге.