Yandex Query: новый сервис для удобной работы с данными

С Yandex Query компании смогут упростить и ускорить цикл работы c большими массивами данных. Сервис поддерживает единый формат запросов для обработки потоковых данных и данных, хранимых в различных классах СУБД.

22 сентября 2022 г.
5 минут чтения
1

В Yandex Cloud появился новый управляемый сервис Yandex Query. Он позволяет выполнять аналитические и потоковые запросы к структурированным и частично структурированным данным. С Yandex Query компании смогут упростить и ускорить цикл работы c большими массивами данных. А за счёт унификации аналитической и потоковой обработки выполнять анализ данных в реальном времени станет ещё проще.

Выполнять запросы к базам данных в Yandex Query можно с помощью YQL — диалекта SQL-языка, привычного для инженеров данных и аналитиков. Кроме того, сервис разработан с помощью технологии бессерверных вычислений, а значит, нет необходимости настраивать сервера и устанавливать ПО. Сервис автоматически настраивает вычислительные мощности, которые необходимы для выполнения запроса.

Сервис подходит для аналитической и потоковой обработки данных.

Аналитическая обработка данных

Yandex Query может обращаться к объектному хранилищу Yandex Object Storage как к СУБД с помощью SQL, хотя данные в Object Storage хранятся в неструктурированном виде. Также Yandex Query может записывать результаты, полученные во время выполнения запросов, в хранилище Object Storage.

Потоковая обработка данных

Yandex Query интегрирован с другими сервисами Yandex Cloud. Например, с помощью Cloud Logging можно передавать логи приложений в Yandex Query для обработки в реальном времени. Обработанные данные можно:

  • отправить в Yandex Monitoring для нанесения на графики и алертинга;

  • записать в другой поток Yandex Data Streams, откуда данные можно передать на обработку в Cloud Functions или в Data Transfer для отправки в различные системы хранения;

  • подключить данные к сервису DataLens и визуализировать полученные результаты.

Схема обработки логов

Надёжность Yandex Query проверена на масштабах Яндекса, где сервис используют больше 5 лет. Данные в Yandex Query обрабатывают команды Карт, Поиска, Такси и других сервисов компании.

Сервис находится на стадии Preview и не тарифицируется. Сервис доступен из консоли управления для всех пользователей.

author
Команда Yandex Cloud

Консоль управления

Начните пользоваться Yandex Query

Страница Yandex Query

Узнайте больше о сервисе

Документация

Воспользуйтесь пошаговыми руководствами
Yandex Query: новый сервис для удобной работы с данными
22 сентября 2022 г.
5 минут чтения
1