Yandex Query
Интерактивный сервис виртуализации данных для инженеров и аналитиков, который позволяет выполнять аналитические и потоковые запросы в режиме реального времени к структурированным и частично структурированным данным с помощью YQL — диалекта SQL.
Сервис поможет упростить разработку за счёт бессерверных вычислений, единого формата запросов YQL и общих подходов к аналитике и потоковой обработке данных.
Межсистемная аналитика
С помощью Yandex Query выполняйте федеративные запросы сразу к Object Storage, PostgreSQL и ClickHouse®, агрегируйте полученные результаты и обрабатывайте их как единое целое.
Потоковая обработка данных
Потоковая обработка основана на группирующих оконных функциях, которые получают потоки данных, группируют их по источникам и временным окнам, после чего выполняют расчёты, а результаты исполнения отправляют во внешние системы.
Аналитические запросы к S3
С помощью аналитических запросов в Yandex Query вы сможете получать данные из Yandex Object Storage в форматах JSON, CSV, TSV, Parquet и др.
Полностью управляемый сервис
Все необходимые ресурсы для исполнения запросов выделяются в момент их запуска и освобождаются после завершения, а сами запросы начинают исполняться сразу же.
Универсальные запросы
Используйте один и тот же разработанный запрос для сценариев аналитики данных, которые хранятся в Yandex Object Storage, и аналитики данных в режиме реального времени.
Интеграция с сервисами Yandex Cloud
Выполняйте запросы к объектному хранилищу Object Storage, потокам данных реального времени Data Streams и агрегируйте результаты выполнения запросов между этими системами.
Решайте свои задачи с Yandex Query
Поддержка хранилищ данных
Большие объёмы данных, которые редко используются, компании предпочитают хранить в объектных хранилищах Yandex Object Storage, потому что это наиболее экономически выгодно. При этом данные в Yandex Object Storage хранятся в неструктурированном виде, и эти данные необходимо обрабатывать простым и удобным для аналитиков способом.
Анализ потока изменений Debezium
С помощью Yandex Data Streams можно захватывать эти изменения, а с помощью Yandex Query — выполнять их обработку. Обработанные данные можно отправить в Yandex Monitoring для построения графиков и алертинга или записать в другой поток, который передаст данные на обработку в Data Transfer для отправки в различные системы хранения.
Визуализация данных из Yandex Object Storage
С помощью интеграции Yandex Query и Yandex DataLens можно визуализировать данные, которые хранятся в Yandex Object Storage. Yandex DataLens формирует запрос на языке YQL, Yandex Query исполняет этот запрос и возвращает результаты, и затем Yandex DataLens визуализирует эти результаты.
С чего начать
С чего начать
Создайте подключение к источнику, укажите схему и выполняйте запросы.
Научим работать с сервисом
На курсе «Инженер облачных сервисов» вы научитесь создавать отказоустойчивые облачные системы, работать с управляемыми базами данных и контейнерами, изучите основы бессерверных технологий и подходы к созданию защищённой от внешних атак облачной инфраструктуры.
Вопросы и ответы
Как работает Yandex Query?
Как работает Yandex Query?
Yandex Query объединяет возможности виртуализации данных и систему потоковой аналитики реального времени. Такая архитектура системы называется Unified Lambda. В модели Unified Lambda используется единый текст SQL-запроса для обработки потоковых данных и данных, хранимых в различных классах систем хранения.
Какие типы данных можно передавать с Yandex Query?
Какие типы данных можно передавать с Yandex Query?
Посмотрите вебинар
Посмотрите вебинар
Вебинар будет полезен тем, кто уже обрабатывает данные в Object Storage или только собирается познакомиться с этим хранилищем, особенностями его работы и сервисом Yandex Query.
Начните пользоваться Yandex Query
Полезные ссылки
Debezium является зарегистрированным товарным знаком Red Hat, Inc в США и/или других странах.
ClickHouse является зарегистрированным товарным знаком ClickHouse, Inc.