50 анонсов Yandex Scale 2021
В одном посте рассказываем обо всех релизах Yandex Scale 2021, новых сервисах и возможностях облачной платформы.

Общие новости
-
Yandex.Cloud выходит на европейский рынок. До конца 2022 года Yandex.Cloud откроет регион из нескольких зон доступности в Европе. Первый регион за пределами России будет размещаться в Германии. Клиенты европейской зоны доступности смогут воспользоваться всеми существующими сервисами и инструментами Yandex.Cloud. Доступ будет обеспечиваться с выполнением требований постановления Европейского союза General Data Protection Regulation для европейских пользователей. Кроме того, в планах платформы локализация когнитивных сервисов Yandex SpeechKit.
-
Гранты за работу над документацией облачной платформы. Контент-программа Yandex.Cloud предоставляет пользователям возможность улучшать и создавать новую документацию для облачной платформы. Каждый автор, который внесет правки в документацию, подготовит оригинальный сценарий решения задачи или пошаговое руководство, получит грант на свой платежный аккаунт Yandex.Cloud.
-
Yandex.Cloud и «АльфаСтрахование» запустили первую в России программу страхования рисков бизнеса при использовании облачных сервисов. Теперь ответственность Yandex.Cloud как провайдера облачных сервисов будет усилена новым инструментом — расширенной защитой от потенциальных убытков, связанных с нарушением целостности данных и непрерывности бизнеса.
-
G-Cloud. Для размещения государственных информационных систем на базе инфраструктуры и сервисов платформы Yandex.Cloud будет создан отдельный облачный регион, соответствующий требованиям безопасности и защищенности, которые регуляторы предъявляют к сервисам и инфраструктуре для работы ГИС. Благодаря G-Cloud государственные организации смогут использовать публичную облачную платформу для разработки и эксплуатации новых цифровых сервисов и оценить ее преимущества: виртуальную инфраструктуру, сервисы на базе ИИ, платформу данных и контейнерную разработку, а также гибкое и прозрачное ценообразование, профессиональную техническую поддержку критичных сервисов. Планируется, что платформа G-Cloud будет готова к размещению ГИС к концу 2022 года.
-
Yandex Distributed Cloud. Развитие концепции распределённого облака, в основе которой лежит использование платформенных сервисов и технологических решений Yandex.Cloud не только в публичном облаке, но и непосредственно на территории клиента. Комплексное облачное решение включает в себя IaaS, PaaS и SaaS и развивается вместе с публичным Yandex.Cloud за счёт общей кодовой базы. Единое решение одного вендора гарантирует высокую совместимость сервисов. Информационная безопасность обеспечивается совместно Yandex.Cloud и клиентом по прозрачной модели разделяемой ответственности. Сервисы предоставляются в соответствии с описанием и SLA.
-
Yandex.Cloud переходит на новое поколение серверных стоек. Теперь серверное оборудование поддерживает последние поколения процессоров — Intel Ice Lake. Новое поколение платформы позволяет добиться повышения производительности до 50% при работе с управляемыми базами данных, системами аналитики, сервисами машинного обучения, веб-приложениями и виртуальными рабочими местами. Также в новом поколении стоечных решений стали доступны графические процессоры NVIDIA A100 (GPU), которые работают с новыми процессорами AMD Epyc 2 (Milan).
-
Улучшение производительности дисков. Помимо производительности процессоров за этот год мы ускорили наши диски. Облачный диск более надежен чем физический, так как каждый блок данных мы записываем не на один, а на несколько дисков, расположенных в разных серверных стойках. Мы много инвестировали в производительность нашей дисковой подсистемы, и теперь по синтетическим тестам они подходят для всех типовых сценариев.
-
Образовательная инициатива. Один из приоритетов Yandex.Сloud на ближайшие годы — создание цифровых решений для развития сферы науки и образования. Облачная платформа располагает всеми необходимыми инструментами и технологиями, которые помогут решить любые задачи как ведущим вузам, так и EdTech-стартапам. Мы собрали все проекты, которые реализуем для сферы образования и науки.
Инфраструктура
Новые сервисы
- Yandex Cloud CDN, сервис для организации сети распространения, созданный на основе G-Core Labs CDN и предназначенный для переноса части нагрузки с источников данных на CDN-серверы, вышел в общий доступ. Сетевая инфраструктура Content Delivery Network состоит из распределенных CDN-серверов (более 800 серверов по всему миру).
- Yandex Application Load Balancer, сервис для распределения трафика между приложениями и создания управляемых балансировщиков, вышел в общий доступ. Сервис предоставляет масштабируемую инфраструктуру подачи HTTP-трафика, что облегчает построение микросервисной архитектуры.
- Yandex Cloud DNS, сервис администрирования ресурсных записей DNS и обслуживания DNS-запросов, вышел в общий доступ. С помощью Cloud DNS пользователи управляют своими доменами, купленными у любого регистратора, и доступом по доменным именам к приложениям, развёрнутым в облаке.
Новые возможности в сервисах
-
Public gRPC API — программный интерфейс в Yandex Cloud CDN для интеграции и обращения к облачным сервисам из внешних систем и управления ресурсами в облаке.
-
Поддержка Origin Shielding в Yandex Cloud CDN — помогает защитить origin-сервер (источник данных) от перегрузки запросами с нескольких узлов CDN. Origin Shielding аккумулирует все запросы клиентов на специальном сервере предварительного кэширования и перенаправляет их на origin-сервер.
-
Поддержка Raw Logs в Yandex Cloud CDN — позволяет получить с CDN-серверов все access-логи для их дальнейшего анализа.
-
Интеграция Yandex Cloud CDN с Certificate Manager — осуществляет управление и хранение TLS-сертификатов, а также позволяет использовать их в интегрированных сервисах Yandex.Cloud.
-
Управление трафиком приложений, запущенных в кластере Managed Service for Kubernetes®, в Yandex Application Load Balancer через ingress-контроллер. После установки такого контроллера будет автоматически развернут балансировщик с нужными целевыми и backend-группами, HTTP-роутерами и обработчиками. Контроллер поддерживает gRPC, traffic-shifting, интеграцию с Certificate Manager и Object Storage.
Платформа данных
Новые сервисы
- Yandex Data Transfer стал доступен для всех пользователей, но часть функциональности пока остается на стадии Preview. По мере развития сервиса трансферы будут выходить в публичный доступ (GA). За появлением новых трансферов и об изменениях стадий следите в блоге и телеграм-канале Yandex.Cloud.
- Базовая версия Yandex DataLens становится полностью бесплатной и без ограничений на число пользователей и сессий — как для внутренних, так и для внешних источников. Вместе с этим Yandex.Cloud продолжит развивать платные расширения для DataLens для решения более сложных задач.
Новые возможности в сервисах
-
В Data Transfer появилась возможность переносить данные между гетерогенными источниками. Например, можно взять данные из OLTP-базы и сделать их копию или постоянно поддерживаемую реплику в аналитической СУБД для их эффективного анализа.
-
В Data Transfer появилась работа с произвольными потоками данных. Теперь вы можете сохранить данные из брокеров данных (Managed Service for Apache Kafka, Yandex Data Streams) в различные хранилища, которые поддерживает сервис. Так для анализа вы можете направить ваш поток данных в ClickHouse, а для более дешевого долговременного хранения — в Object Storage, по пути обрабатывая данные с помощью Cloud Functions.
-
В Data Transfer появились public API и CLI.
-
В Yandex DataLens добавлены SQL-чарты для написания SQL запроса под конкретный чарт. Это позволяет раскрыть широкие возможности создания отчетов с комплексными вычислениями над данными.
-
В Yandex DataLens появились выражения Level of Detail — аналитические функции, которые можно использовать для двойных агрегаций. Например, чтобы посчитать средний DAU за неделю.
-
В Yandex DataLens появились полилинии — еще один тип возможного геослоя на чарте «Карта». Для работы с ним в датасете каждая точка каждой полилинии должна храниться отдельной строкой.
-
В Yandex DataLens добавили кольцевые диаграммы — новый тип чарта для отображения доли и общей суммы. Итоги можно включить через шестеренку настройки чарта.
-
В Yandex DataLens добавили итоги в плоских таблицах и фильтр по умолчанию для новых чартов.
-
В Yandex DataLens добавили новый коннектор для Greenplum и поддержку сервиса Yandex Database как источника данных.
-
В Yandex DataLens добавлены расширенные палитры цветов.
-
Большой демо дашборд с возможностями Yandex DataLens. В нем собраны как решения конкретных прикладных задач (например, когортный анализ), так и функциональные примеры, раскрывающие нюансы использования DataLens (комплексные аналитические функции, работа с геоданными и др.). Вы можете импортировать дашборд в свой аккаунт DataLens из Marketplace, чтобы изучать примеры, редактировать страницы и экспериментировать.
Больше новостей про сервисы по управлению базами данных и средствами загрузки читайте в дайджесте платформы данных.
Serverless
Новые сервисы
-
Вечный Free Tier. После запуска программы Free Tier, в рамках которой можно было попробовать использовать нашу serverless-экосистему бесплатно при соблюдении базовых лимитов, было принято решение продлить эту программу бессрочно.
-
Yandex Data Streams, сервис для управления потоками данных, становится общедоступным.
- Yandex Serverless Containers — сервис для миграции и запуска существующих микросервисных приложений в serverless-экосистему. Новый сервис позволяет запускать контейнеры без необходимости работы с Kubernetes, без создания виртуальных машин и настройки инфраструктуры.
- Yandex Cloud Logging, сервис для агрегации и чтения логов пользовательских приложений и ресурсов Yandex.Cloud, вышел в стадии Preview. Cloud Logging спроектирован как serverless-решение. С его помощью можно читать, записывать и безопасно хранить логи пользовательских приложений и ресурсов Yandex.Cloud, объединяя сообщения в группы, как с помощью низкоуровневого API, так и при помощи разработанного плагина для Fluent Bit.
Новые возможности в сервисах
-
В Yandex Data Streams появилась совместимость с сервисом AWS Kinesis Data Streams. Это позволяет легко мигрировать ваши приложения между облаком AWS и Yandex.Cloud. В результате получился простой в использовании serverless-сервис, который расширит возможности потоковой обработки в платформе Yandex.Cloud, дополнив Apache Kafka.
-
В Yandex Data Streams появилась интеграция с сервисом Data Transfer, что позволяет пользователям удобно отправлять данные в системы хранения Yandex.Cloud без написания кода.
-
MDB Proxy. Появилась возможность подключения serverless-экосистемы к платформе данных из функции. MDB Proxy позволит обращаться к хостам кластера, для которых не настроен публичный доступ. Сейчас эта возможность доступна для работы с базами, созданными при помощи сервисов Managed Service for PostgreSQL и Managed Service for ClickHouse, а в будущем и для других сервисов платформы данных Yandex.Cloud.
Developer Tools
Новые сервисы
- Managed Service for GitLab, сервис для управления DevOps-платформой GitLab в инфраструктуре Yandex.Cloud, вышел в стадии Preview. Managed Service for GitLab позволяет поддерживать инстанс GitLab без трудозатрат со стороны пользователя, поднимать сервис для работы с git-репозиториями в один клик. Сервис предоставляет инструменты для автоматического обновления, мониторинга, создания резервных копий и другие интеграции с Yandex.Cloud.
- Yandex Load Testing, сервис для проведения нагрузочного тестирования и анализа производительности, вышел в стадии Preview. Load Testing поможет подготовить виртуальную машину с необходимым ПО, настроить и запустить тесты и получить на их основе отчеты.
Бизнес-инструменты
Новые сервисы
- Yandex Cloud Desktop, сервис для запуска рабочих мест, вышел в стадии Preview. Решение обеспечивает терминальный доступ к виртуальным машинам, на которых сотрудники запускают свои рабочие приложения. С помощью Yandex Cloud Desktop можно создать рабочие места в облаке компаниям любого размера и получить неограниченное количество вычислительных ресурсов и дискового пространства, а также защитить данные.
Новые возможности в сервисах
- Мобильное приложение Yandex Tracker. Мы перезапустили мобильное приложение Yandex Tracker. На данный момент в нем можно: создать задачу, изменить исполнителя, дедлайн и другие параметры задачи, оставить комментарий в задаче, призвать коллегу, приложить или скачать файл, а также использовать шаблоны фильтров для быстрого поиска задач.
Скачать в App Store | Скачать в Google Play
Безопасность
Новые сервисы
- Yandex Cloud Organization — сервис для управления составом организации, настройки интеграции с каталогом сотрудников и разграничения доступов пользователей к облачным ресурсам организации. Пользователи, федерации удостоверений, облака и сервисы будут собраны внутри одной организации, что поможет централизованно управлять доступами и ресурсами.
- Yandex Audit Trails, сервис для сбора и выгрузки аудитных логов ресурсов Yandex.Cloud, вышел в стадии Preview. Он позволяет получать информацию о событиях, происходящих с ресурсами, и на основе этих данных строить процессы поиска аномалий. Audit Trails уже интегрирован с Yandex Cloud Organization. Собирайте события централизованно по всей организации, сохраняйте их в Object Storage для долговременного хранения, а также просматривайте в интерфейсе Cloud Logging и обрабатывайте при помощи триггеров.
Новые возможности в сервисах
-
У сервиса управления криптографическими ключами Yandex Key Management Service появился новый тип ключей, создание и использование которого проходит в специальных аппаратных модулях безопасности HSM. Это делает защиту ключей максимальной, а также убирает сложности самостоятельной работы с модулями HSM.
-
В Yandex Container Registry вышла в стадии Public Preview функция сканирования безопасности образов контейнеров. Это позволяет отслеживать уязвимости в docker-образах средствами облака, делать приложения безопаснее и в том числе выполнять требования регуляторов.
-
С помощью открытого решения External Secrets проведена интеграция Yandex Lockbox в Yandex Managed Service for Kubernetes® для еще более надежного хранения ваших секретов в Kubernetes.
Машинное обучение
Новые возможности в сервисах
- ML-модель в Yandex DataSphere теперь можно развернуть «по одной кнопке». При этом пользователям не нужно создавать и управлять инфраструктурой — все будет создано автоматически.
Биллинг
Новые возможности в сервисе
-
Типы бюджета: квартальные, годовые, настраиваемые. Первые два позволяют установить сумму расходов либо за квартал, либо за год.
-
Тип бюджета «Остаток средств». С его помощью пользователь будет получать уведомления, когда платежный баланс упадет ниже заданного лимита. Можно установить сразу несколько порогов, по достижении которых будут приходить сообщения, и задать каждому лимиту определенного получателя.
-
Интеграция бюджетов с облачными функциями. Теперь можно привязать к бюджету написанную пользователем облачную функцию, которая автоматически будет выполняться при достижении установленного порога бюджета. Например, при превышении расходов начнется плановое отключение части виртуальных машин или сокращение подключенных ресурсов.
-
Использование Cloud Functions и для интеграции со своими системами. Если вы используете CRM-систему, то можно настроить бюджеты так, чтобы сообщение о превышении потребления ресурсов приходило в систему. По схожему принципу происходит настройка отправки уведомлений в виде смс-сообщений или сообщений в мессенджер.
Документация
Появился раздел документации Yandex Cloud Desktop.
Появился раздел документации Yandex Forms.
Появился раздел документации Yandex Load Testing.
Появился раздел документации Yandex Managed Service for GitLab.
Появился раздел документации Yandex Serverless Containers.
Появился раздел документации Yandex Wiki.
Обновились следующие документы:
- Обновлена информация о кабинете партнёра Cloud Marketplace.
-
Добавлена информация об аутентификации и управлении доступом.
-
Добавлена информация о безопасной конфигурации.
-
Добавлена информация о квотах и лиматах Serverless Containers.
-
Обновлена информация о начале работы для новых пользователей Yandex.Cloud.
-
Добавлены вопросы и ответы.
-
Добавлено описание бюджетов.
-
Обновлена инструкция по установке уведомлений.
-
Добавлен справочник API.
Версия интерфейса командной строки YC CLI 0.82.0 (23.09.21). Изменения в сервисах Yandex.Cloud:
-
В Compute Cloud добавлены:
-
флаг
--pooled
в командуyc compute image create
; -
группа команд
yc compute filesystem
для управления файловыми хранилищами; -
команды
yc compute instance attach-filesystem
иyc compute instance detach-filesystem
; -
параметр
--attach-filesystem
в командуyc compute instance create
. -
В Managed Service for Kubernetes добавлены:
-
параметр
--node-labels
в командуyc k8s node-group update
; -
команды
yc k8s node-group add-node-labels
иyc k8s node-group remove-node-labels
. -
В Cloud Functions добавлена команда
yc serverless trigger create yds
для создания триггеров для Data Streams. -
В Serverless Containers добавлена группа команд для поддержки сервиса Serverless Containers.
-
В Virtual Private Cloud добавлены команды
yc vpc network list-route-tables
иyc vpc network list-security-groups
. -
В Data Proc добавлен параметр
--log-group-id
в командыyc dataproc cluster create
иyc dataproc cluster update
для привязки лог-группы Cloud Logging к кластеру. -
В Yandex Database добавлены параметры для управления лимитами баз данных в режиме Serverless в команды
yc ydb database create
иyc ydb database update
. -
В Managed Service for Redis значение параметра
--redis-version
по умолчанию в командеyc managed-redis cluster create
изменено на 6.2. -
В Managed Service for MySQL добавлено отображение настройки
replication source
в командуyc managed-mysql hosts list
. -
В Managed Service for PostgreSQL добавлено отображение настройки
replication source
в командуyc managed-postgresql hosts list
. -
В Data Transfer добавлены группы команд для управления эндпоинтами и трансферами сервиса Data Transfer.
Версия интерфейса командной строки YC CLI 0.81.0 (06.09.21). Изменения в CLI:
-
добавлено описание флагов и команд в автодополнении по умолчанию;
-
в команде
yc completion <SHELL>
добавлен флаг--without-desc
для отключения описания в автодополнении; -
поддержено автодополнение флагов:
folder-id
,folder-name
,cloud-id
,format
,profile
.
Изменения в сервисах Yandex.Cloud:
-
В Cloud Functions добавлены:
-
команда
yc serverless trigger create billing-budget
для создания триггеров на события от биллинга; -
команды для управления подключениями к управляемым БД.
-
В Cloud Logging исключена суб-команда
get-default
изlogging group
.
-
Добавлено описание интеграций с Serverless Containers и Data Streams.
-
Дополнена инструкция по просмотру графиков мониторинга.
-
Дополнена информация о группах бэкендов.
-
Дополнена информация об управлении доступом.
-
Добавлено практическое руководство по созданию балансировщика с защитой от DDoS.
-
Обновлены правила тарификации.
-
Обновлена инструкция по быстрому старту.
-
Добавлена информация об экранировании источников.
-
Добавлена информация о выгрузке логов.
-
Добавлена информация об управлении доступом.
-
Обновлены правила тарификации.
-
Добавлен справочник API.
-
Добавлена информация о файловых хранилищах и инструкции по работе с ними.
-
Обновлены конфигурации виртуальных машин.
-
Добавлена информация об образах, оптимизированных для развертывания.
-
Добавлена информация об операциях чтения и записи.
-
Обновлена инструкция по установке NVIDIA-драйверов.
-
Добавлена информация о томе Docker.
-
Добавлена информация о сканере уязвимостей.
-
Добавлено практическое руководство по автоматическому сканирование Docker-образа при загрузке.
-
Обновлена информация о классах хостов.
-
Перенесена и дополнена информация о свойствах компонентов.
-
Добавлено практическое руководство по работе с заданиями PySpark.
-
Добавлена инструкция по чтению данных из потока с помощью AWS CLI.
-
Добавлена инструкция по чтению данных из потока с помощью AWS SDK.
-
В HTTP API добавлено описание методов GetRecords и GetShardIterator.
-
Обновлены правила тарификации.
-
Обновлена информация о взаимосвязи ресурсов.
-
Обновлена информация о квотах и лимитах.
-
Обновлены инструкции по управлению эндпоинтом-источником и управлению эндпоинтом-приемником.
-
Обновлена инструкция по подготовке к трансферу.
-
Обновлены правила тарификации.
-
Добавлен справочник API.
-
Обновлена информация о чартах.
-
Добавлена информация об оконных функциях в DataLens.
-
Добавлена инструкция по созданию SQL-чарта.
-
Дополнена информация о новых конфигурациях вычислительных ресурсов.
-
Добавлена информация о развертывании эксплуатации моделей.
-
Добавлена инструкция об управлении потреблением проектов.
-
Добавлена инструкция по созданию ноды из ячейки с кодом на Python.
-
Добавлена инструкция о запросах в ноды, созданные из ячейки с кодом на Python.
-
Добавлена информация о распределенном обучении.
-
Добавлена инструкция по запуску распределенного обучения.
-
Обновлены правила тарификации.
- Обновлены правила тарификации.
-
Обновлена информация о средах выполнения.
-
Добавлена информация о предзагружаемой среде выполнения.
-
Добавлена информация о триггерах для бюджетов, Cloud Logging и Data Streams.
-
Добавлены инструкции по созданию триггеров для бюджетов, Cloud Logging и Data Streams.
-
Дополнена инструкция по подключению к управляемым БД из функции.
- Добавлено описание ролей Application Load Balancer, Cloud CDN и Serverless Containers.
- Добавлена информация о квотах.
- Обновлена информация о пользовательских метриках.
- Добавлена информация об аппаратном модуле безопасности (HSM).
-
Добавлена инструкция по мониторингу лог-группы.
-
Обновлена и дополнена информация о квотах и лимитах.
-
Обновлена информация о классах хостов.
-
Обновлены правила тарификации использования дискового пространства.
-
Обновлена информация о классах хостов.
-
Добавлена информация о политике работы с версиями.
-
Добавлена инструкция по изменению версии и редакции.
-
Обновлены вопросы и ответы.
-
Обновлена информация о классах хостов.
-
Добавлено практическое руководство по поставке данных из Managed Service for PostgreSQL в Managed Service for Apache Kafka® с помощью Debezium.
-
Обновлена информация об автоматическом масштабировании.
-
Обновлена информация о шифровании секретов.
-
Добавлена информация о внешних узлах кластера.
-
Добавлены рекомендации по использованию сервиса.
-
Обновлена инструкция по созданию кластера.
-
Добавлена инструкция по интеграции с Yandex Object Storage.
-
Добавлена инструкция по настройке автомасштабирования.
-
Добавлена инструкция по настройке Node Local DNS для контроллера сетевых политик Cilium.
-
Обновлена инструкция по обеспечению доступа к приложению, запущенному в кластере Kubernetes.
-
Добавлена инструкция по подключению внешних узлов к кластеру.
-
Добавлены вопросы и ответы по автоматическому масштабированию группы узлов.
-
Добавлено практическое руководство по автоматическому масштабированию DNS по размеру кластера.
- Обновлена информация о классах хостов.
- Обновлена информация о классах хостов.
-
Обновлена информация о классах хостов.
-
Дополнена инструкция по мониторингу состояния кластера и хостов.
-
Обновлена инструкция по SQL-запросам в консоли управления.
-
Добавлено практическое руководство по поставке данных из Managed Service for PostgreSQL в Managed Service for Apache Kafka® с помощью Debezium.
- Обновлена информация о классах хостов.
-
Обновлена информация о классах хостов.
-
Обновлена информация о репликации.
-
Обновлена инструкция по подключению к базе данных в кластере SQL Server.
-
Обновлена инструкция по управлению базами данных.
-
Добавлена инструкция по мониторингу состояния кластера и хостов.
-
Добавлено практическое руководство по миграции базы данных в Managed Service for SQL Server.
-
Обновлены правила тарификации.
- Добавлена инструкция по мониторингу процессов в очереди.
- Дополнена информация о конфигурировании агента по поставке метрик.
- Добавлена инструкция по управлению облаками и сервисами.
- Добавлена информация о SpeechKit Hybrid.
- Добавлена информация о GeeseFS.
-
Добавлена информация о мобильном приложении.
-
Добавлена информация о настройке связи с внешним приложением.
-
Добавлено описание запроса на получение списка внешних приложений.
-
Добавлено описание запроса на получение списка внешних связей задачи.
-
Добавлено описание запроса на добавление внешней связи.
-
Добавлено описание запроса на удаление внешней связи.
-
Обновлена информация о Serverless и Dedicated режимах работы.
-
Добавлена информация о скан запросах.
-
Обновлена информация о вторичных индексах.
-
Добавлена информация о развертывании.
-
Добавлено описание команды выполнения скан запросов.
-
Обновлены правила тарификации для бессерверного режима.
-
Добавлено практическое руководство по поставке данных из Managed Service for PostgreSQL в Managed Service for Apache Kafka® с помощью Debezium.
-
Добавлено практическое руководство по миграции базы данных в Managed Service for SQL Server.
-
Добавлено практическое руководство по эмуляции множества IoT-устройств.