Preview
Yandex Query

Интерактивный сервис виртуализации данных для инженеров и аналитиков, который позволяет выполнять аналитические и потоковые запросы в режиме реального времени к структурированным и частично структурированным данным с помощью YQL — диалекта SQL.

Сервис поможет упростить разработку за счёт бессерверных вычислений, единого формата запросов YQL и общих подходов к аналитике и потоковой обработке данных.

Сервис находится на стадии Preview и не тарифицируется.

Единый диалект запросов
Особенностью Yandex Query является единый формат запроса в YQL — это диалект SQL, который используется как для потоковой, так и для аналитической обработки.
Потоковая обработка данных
Потоковая обработка основана на группирующих оконных функциях, которые получают потоки данных, группируют их по источникам и временным окнам, после чего выполняют расчёты, а результаты исполнения отправляют во внешние системы.
Аналитические запросы к S3
С помощью аналитических запросов в Yandex Query вы сможете получать данные из Yandex Object Storage в форматах JSON, CSV, TSV, Parquet и др.
Полностью управляемый сервис
Все необходимые ресурсы для исполнения запросов выделяются в момент их запуска и освобождаются после завершения, а сами запросы начинают исполняться сразу же.
Универсальные запросы
Используйте один и тот же разработанный запрос для сценариев аналитики данных, которые хранятся в Yandex Object Storage, и аналитики данных в режиме реального времени.
Интеграция с сервисами Yandex Cloud
Выполняйте запросы к объектному хранилищу Object Storage, потокам данных реального времени Data Streams и агрегируйте результаты выполнения запросов между этими системами.

Решайте свои задачи с Yandex Query

Поддержка хранилищ данных

Большие объёмы данных, которые редко используются, компании предпочитают хранить в объектных хранилищах Yandex Object Storage, потому что это наиболее экономически выгодно. При этом данные в Yandex Object Storage хранятся в неструктурированном виде, и эти данные необходимо обрабатывать простым и удобным для аналитиков способом.

Работает в связке с
Object Storage

Анализ потока изменений Debezium

С помощью Yandex Data Streams можно захватывать эти изменения, а с помощью Yandex Query — выполнять их обработку. Обработанные данные можно отправить в Yandex Monitoring для построения графиков и алертинга или записать в другой поток, который передаст данные на обработку в Data Transfer для отправки в различные системы хранения.

Работает в связке с
Data Transfer

Визуализация данных из Yandex Object Storage

С помощью интеграции Yandex Query и Yandex DataLens можно визуализировать данные, которые хранятся в Yandex Object Storage. Yandex DataLens формирует запрос на языке YQL, Yandex Query исполняет этот запрос и возвращает результаты, и затем Yandex DataLens визуализирует эти результаты.

Работает в связке с
Yandex DataLens

С чего начать

Создайте подключение к источнику, укажите схему и выполняйте запросы.

Вопросы и ответы

Как работает Yandex Query?

Yandex Query объединяет возможности виртуализации данных и систему потоковой аналитики реального времени. Такая архитектура системы называется Unified Lambda. В модели Unified Lambda используется единый текст SQL-запроса для обработки потоковых данных и данных, хранимых в различных классах систем хранения.

Yandex Query объединяет возможности виртуализации данных и систему потоковой аналитики реального времени. Такая архитектура системы называется Unified Lambda. В модели Unified Lambda используется единый текст SQL-запроса для обработки потоковых данных и данных, хранимых в различных классах систем хранения.

Какие типы данных можно передавать с Yandex Query?

В Yandex Query Language поддерживаются следующие форматы данных:

  • csv_with_names
  • tsv_with_names
  • json_list
  • json_each_row
  • raw
  • json_each_row
  • json_as_string
  • parquet

В Yandex Query Language поддерживаются следующие форматы данных:

  • csv_with_names
  • tsv_with_names
  • json_list
  • json_each_row
  • raw
  • json_each_row
  • json_as_string
  • parquet

Начните пользоваться Yandex Query

Debezium является зарегистрированным товарным знаком Red Hat, Inc в США и/или других странах.