Дайджест новостей платформы данных (октябрь-декабрь)

Общие новости

Наш новый управляемый сервис Managed Service for OpenSearch вышел в Public Preview. OpenSearch — это поисковая система с открытым исходным кодом, лицензированная Apache 2.0. В запуске системы участвовали ведущие мировые вендоры, в том числе AWS, SAP, Capital One, Red Hat, Logz.io и другие. Managed Service for OpenSearch позволит пользователям улучшить анализ и поиск данных на сайтах. Настройки сервиса уже оптимизированы под выбранный размер кластера. В будущем в Managed Service for OpenSearch появится поддержка сторонних источников авторизации и холодных и горячих зон кластера. За счёт этого пользователи смогут сэкономить на хранении архивных данных. Yandex Cloud предоставляет OpenSearch как управляемый облачный сервис: пользователю не придётся заботиться о резервировании, мониторинге, обеспечении отказоустойчивости инфраструктуры и обновлении ПО.

Во всех managed базах данных добавлена поддержка сервисных ролей — теперь можно управлять ролями более гибко. Также мы выложили в opensource MySync. MySync — это инструмент для конфигурирования кластеров и обеспечения высокой доступности MySQL, предназначенный для переключения мастера в однородном MySQL-кластере в ручном и автоматическом режиме без потери данных.

Добавлены:

• Поддержка версий ClickHouse 22.9, 22.10, 22.11

• Поддержка версии Kafka^® 3.2

• Поддержка коннектора S3 Sink в Managed Service for Apache Kafka^®. Подробнее в документации

• Расширение кластера в Managed Service for Greenplum^®.

Data Transfer

Мы дополнили документацию о Data Transfer сценариями использования сервиса. Это практические руководства, которые помогут сделать нужную вам задачу c помощью нашего сервиса.

Упростились формы настройки трансфера. Появилась возможность управлять списком переносимых таблиц на уровне трансфера, а не источника. Теперь вы можете добавить таблицы в работающий трансфер, и он автоматически перенесёт их историю. Со временем интерфейс станет ещё проще и понятней. Следите за обновлениями в будущих дайджестах. Открыть в консоли →

DataLens

С 5 по 16 декабря мы проводили Yandex DataLens Festival для аналитиков и руководителей, где рассказывали о лучших практиках визуализации и анализа данных с помощью DataLens. Вы можете ознакомиться с материалами на платформе Яндекс Практикум, а также посмотреть записи уроков на YouTube.

Закрытие фестиваля прошло 22 декабря в формате отдельного мероприятия — Yandex DataLens Festival Afterparty. На встрече с комьюнити и участниками фестиваля мы обсудили итоги мероприятия, объявили победителей конкурса дашбордов, поделились планами продукта и пообщались вживую. Смотреть запись →

Также вы можете вдохновиться новыми примерами использования DataLens. Дашборды участников фестиваля помогают решить бизнес-задачи в ритейле. Смотрите топ-10 работ конкурса дашбордов в Telegram. Открыть список дашбордов →

Для тех, кто только погружается в задачи аналитики и визуализации данных с помощью DataLens, мы выпустили две статьи о быстром старте:

• Аналитика в Yandex DataLens за пределами CSV: начало работы с PostgreSQL

• Аналитика в Yandex DataLens за пределами CSV: строим аналитические витрины в ClickHouse

В 2022 году мы наблюдали рекордный рост комьюнити продукта. Наших единомышленников в Telegram стало в 2,3 раза больше с начала года, к концу декабря в нашем сообществе было более 4400 участников. Если вы ещё не среди них и вам интересен DataLens — присоединяйтесь. Вступить в комьюнити →

Описание дашборда

Теперь для дашборда в режиме редактирования можно добавить описание. Описание поддерживает Markdown и будет доступно всем пользователям по клику на иконку.

Улучшение работы с параметрами

Вы могли сталкиваться с проблемой, что при добавлении параметра на дашборд остальные селекторы после выбора параметра становились пустыми. Чтобы это исправить, приходилось разрывать связи между селекторами.

Теперь селекторы с параметрами перестанут участвовать в фильтрации других селекторов и такой проблемы не будет.

Условное форматирование

Для плоских таблиц добавили возможность делать независимую раскраску по столбцу. Как по значениям этого столбца, так и по другим измерениям и показателям из чарта. Пока для показателей поддерживаются только непрерывные шкалы, но скоро добавим и дискретные. В сочетании с функциями разметки и UTF-символами это позволяет гибко настраивать условное форматирование таблиц с помощью формул.

Отказ от материализации

Скоро мы закроем материализацию датасетов. Эта функциональность была удобна в некоторых случаях, но сейчас работает неидеально и тормозит разработку новых функций. Возможно, мы ещё вернёмся к ней в будущем. Подробнее о том, для чего использовалась материализация и какие альтернативы мы предлагаем, читайте в нашем Telegram-комьюнити.

Также добавили:

• Новый стандартный тип подключения — BigQuery. Подробности в документации →

• Обновлённое подключение для Google Таблиц. Скоро в этом же подключении появится возможность доступа к Google Таблицам c аутентификацией.

• Создание цветовых палитр на уровне экземпляра DataLens. Цвета задаются с помощью Hex-кода и сразу отображаются в превью для светлой и тёмной темы.

• Линейные индикаторы и ширину столбцов в сводных таблицах.

• Выбор приоритета загрузки: чартов или селектора. Полезно, если на дашборде есть фильтры, без выбора которых нет смысла показывать чарты.

• Кастомные сообщения перед обращением в поддержку и в случае ошибки доступа. Вы можете написать собственный FAQ, направить на свою команду поддержки или аналитиков.