50 анонсов Yandex Scale 2021

Общие новости

• Yandex.Cloud выходит на европейский рынок. До конца 2022 года Yandex.Cloud откроет регион из нескольких зон доступности в Европе. Первый регион за пределами России будет размещаться в Германии. Клиенты европейской зоны доступности смогут воспользоваться всеми существующими сервисами и инструментами Yandex.Cloud. Доступ будет обеспечиваться с выполнением требований постановления Европейского союза General Data Protection Regulation для европейских пользователей. Кроме того, в планах платформы локализация когнитивных сервисов Yandex SpeechKit.

• Гранты за работу над документацией облачной платформы. Контент-программа Yandex.Cloud предоставляет пользователям возможность улучшать и создавать новую документацию для облачной платформы. Каждый автор, который внесет правки в документацию, подготовит оригинальный сценарий решения задачи или пошаговое руководство, получит грант на свой платежный аккаунт Yandex.Cloud.

• Yandex.Cloud и «АльфаСтрахование» запустили первую в России программу страхования рисков бизнеса при использовании облачных сервисов. Теперь ответственность Yandex.Cloud как провайдера облачных сервисов будет усилена новым инструментом — расширенной защитой от потенциальных убытков, связанных с нарушением целостности данных и непрерывности бизнеса.

• G-Cloud. Для размещения государственных информационных систем на базе инфраструктуры и сервисов платформы Yandex.Cloud будет создан отдельный облачный регион, соответствующий требованиям безопасности и защищенности, которые регуляторы предъявляют к сервисам и инфраструктуре для работы ГИС. Благодаря G-Cloud государственные организации смогут использовать публичную облачную платформу для разработки и эксплуатации новых цифровых сервисов и оценить ее преимущества: виртуальную инфраструктуру, сервисы на базе ИИ, платформу данных и контейнерную разработку, а также гибкое и прозрачное ценообразование, профессиональную техническую поддержку критичных сервисов. Планируется, что платформа G-Cloud будет готова к размещению ГИС к концу 2022 года.

• Yandex Distributed Cloud. Развитие концепции распределённого облака, в основе которой лежит использование платформенных сервисов и технологических решений Yandex.Cloud не только в публичном облаке, но и непосредственно на территории клиента. Комплексное облачное решение включает в себя IaaS, PaaS и SaaS и развивается вместе с публичным Yandex.Cloud за счёт общей кодовой базы. Единое решение одного вендора гарантирует высокую совместимость сервисов. Информационная безопасность обеспечивается совместно Yandex.Cloud и клиентом по прозрачной модели разделяемой ответственности. Сервисы предоставляются в соответствии с описанием и SLA.

• Yandex.Cloud переходит на новое поколение серверных стоек. Теперь серверное оборудование поддерживает последние поколения процессоров — Intel Ice Lake. Новое поколение платформы позволяет добиться повышения производительности до 50% при работе с управляемыми базами данных, системами аналитики, сервисами машинного обучения, веб-приложениями и виртуальными рабочими местами. Также в новом поколении стоечных решений стали доступны графические процессоры NVIDIA A100 (GPU), которые работают с новыми процессорами AMD Epyc 2 (Milan).

• Улучшение производительности дисков. Помимо производительности процессоров за этот год мы ускорили наши диски. Облачный диск более надежен чем физический, так как каждый блок данных мы записываем не на один, а на несколько дисков, расположенных в разных серверных стойках. Мы много инвестировали в производительность нашей дисковой подсистемы, и теперь по синтетическим тестам они подходят для всех типовых сценариев.

• Образовательная инициатива. Один из приоритетов Yandex.Сloud на ближайшие годы — создание цифровых решений для развития сферы науки и образования. Облачная платформа располагает всеми необходимыми инструментами и технологиями, которые помогут решить любые задачи как ведущим вузам, так и EdTech-стартапам. Мы собрали все проекты, которые реализуем для сферы образования и науки.

Инфраструктура

Новые сервисы

• Yandex Cloud CDN, сервис для организации сети распространения, созданный на основе G-Core Labs CDN и предназначенный для переноса части нагрузки с источников данных на CDN-серверы, вышел в общий доступ. Сетевая инфраструктура Content Delivery Network состоит из распределенных CDN-серверов (более 800 серверов по всему миру).

Документация | Тарифы

• Yandex Application Load Balancer, сервис для распределения трафика между приложениями и создания управляемых балансировщиков, вышел в общий доступ. Сервис предоставляет масштабируемую инфраструктуру подачи HTTP-трафика, что облегчает построение микросервисной архитектуры.

Документация | Тарифы

• Yandex Cloud DNS, сервис администрирования ресурсных записей DNS и обслуживания DNS-запросов, вышел в общий доступ. С помощью Cloud DNS пользователи управляют своими доменами, купленными у любого регистратора, и доступом по доменным именам к приложениям, развёрнутым в облаке.

Документация | Тарифы

Новые возможности в сервисах

• Public gRPC API — программный интерфейс в Yandex Cloud CDN для интеграции и обращения к облачным сервисам из внешних систем и управления ресурсами в облаке.

• Поддержка Origin Shielding в Yandex Cloud CDN — помогает защитить origin-сервер (источник данных) от перегрузки запросами с нескольких узлов CDN. Origin Shielding аккумулирует все запросы клиентов на специальном сервере предварительного кэширования и перенаправляет их на origin-сервер.

• Поддержка Raw Logs в Yandex Cloud CDN — позволяет получить с CDN-серверов все access-логи для их дальнейшего анализа.

• Интеграция Yandex Cloud CDN с Certificate Manager — осуществляет управление и хранение TLS-сертификатов, а также позволяет использовать их в интегрированных сервисах Yandex.Cloud.

• Управление трафиком приложений, запущенных в кластере Managed Service for Kubernetes^®, в Yandex Application Load Balancer через ingress-контроллер. После установки такого контроллера будет автоматически развернут балансировщик с нужными целевыми и backend-группами, HTTP-роутерами и обработчиками. Контроллер поддерживает gRPC, traffic-shifting, интеграцию с Certificate Manager и Object Storage.

Платформа данных

Новые сервисы

• Yandex Data Transfer стал доступен для всех пользователей, но часть функциональности пока остается на стадии Preview. По мере развития сервиса трансферы будут выходить в публичный доступ (GA). За появлением новых трансферов и об изменениях стадий следите в блоге и телеграм-канале Yandex.Cloud.

Документация | Тарифы

• Базовая версия Yandex DataLens становится полностью бесплатной и без ограничений на число пользователей и сессий — как для внутренних, так и для внешних источников. Вместе с этим Yandex.Cloud продолжит развивать платные расширения для DataLens для решения более сложных задач.

Новые возможности в сервисах

• В Data Transfer появилась возможность переносить данные между гетерогенными источниками. Например, можно взять данные из OLTP-базы и сделать их копию или постоянно поддерживаемую реплику в аналитической СУБД для их эффективного анализа.

• В Data Transfer появилась работа с произвольными потоками данных. Теперь вы можете сохранить данные из брокеров данных (Managed Service for Apache Kafka, Yandex Data Streams) в различные хранилища, которые поддерживает сервис. Так для анализа вы можете направить ваш поток данных в ClickHouse, а для более дешевого долговременного хранения — в Object Storage, по пути обрабатывая данные с помощью Cloud Functions.

• В Data Transfer появились public API и CLI.

• В Yandex DataLens добавлены SQL-чарты для написания SQL запроса под конкретный чарт. Это позволяет раскрыть широкие возможности создания отчетов с комплексными вычислениями над данными.

• В Yandex DataLens появились выражения Level of Detail — аналитические функции, которые можно использовать для двойных агрегаций. Например, чтобы посчитать средний DAU за неделю.

• В Yandex DataLens появились полилинии — еще один тип возможного геослоя на чарте «Карта». Для работы с ним в датасете каждая точка каждой полилинии должна храниться отдельной строкой.

• В Yandex DataLens добавили кольцевые диаграммы — новый тип чарта для отображения доли и общей суммы. Итоги можно включить через шестеренку настройки чарта.

• В Yandex DataLens добавили итоги в плоских таблицах и фильтр по умолчанию для новых чартов.

• В Yandex DataLens добавили новый коннектор для Greenplum и поддержку сервиса Yandex Database как источника данных.

• В Yandex DataLens добавлены расширенные палитры цветов.

• Большой демо дашборд с возможностями Yandex DataLens. В нем собраны как решения конкретных прикладных задач (например, когортный анализ), так и функциональные примеры, раскрывающие нюансы использования DataLens (комплексные аналитические функции, работа с геоданными и др.). Вы можете импортировать дашборд в свой аккаунт DataLens из Marketplace, чтобы изучать примеры, редактировать страницы и экспериментировать.

Больше новостей про сервисы по управлению базами данных и средствами загрузки читайте в дайджесте платформы данных.

Serverless

Новые сервисы

• Вечный Free Tier. После запуска программы Free Tier, в рамках которой можно было попробовать использовать нашу serverless-экосистему бесплатно при соблюдении базовых лимитов, было принято решение продлить эту программу бессрочно.

• Yandex Data Streams, сервис для управления потоками данных, становится общедоступным.

Документация | Тарифы

• Yandex Serverless Containers — сервис для миграции и запуска существующих микросервисных приложений в serverless-экосистему. Новый сервис позволяет запускать контейнеры без необходимости работы с Kubernetes, без создания виртуальных машин и настройки инфраструктуры.

Документация | Тарифы

• Yandex Cloud Logging, сервис для агрегации и чтения логов пользовательских приложений и ресурсов Yandex.Cloud, вышел в стадии Preview. Cloud Logging спроектирован как serverless-решение. С его помощью можно читать, записывать и безопасно хранить логи пользовательских приложений и ресурсов Yandex.Cloud, объединяя сообщения в группы, как с помощью низкоуровневого API, так и при помощи разработанного плагина для Fluent Bit.

Документация | Тарифы

Новые возможности в сервисах

• В Yandex Data Streams появилась совместимость с сервисом AWS Kinesis Data Streams. Это позволяет легко мигрировать ваши приложения между облаком AWS и Yandex.Cloud. В результате получился простой в использовании serverless-сервис, который расширит возможности потоковой обработки в платформе Yandex.Cloud, дополнив Apache Kafka.

• В Yandex Data Streams появилась интеграция с сервисом Data Transfer, что позволяет пользователям удобно отправлять данные в системы хранения Yandex.Cloud без написания кода.

• MDB Proxy. Появилась возможность подключения serverless-экосистемы к платформе данных из функции. MDB Proxy позволит обращаться к хостам кластера, для которых не настроен публичный доступ. Сейчас эта возможность доступна для работы с базами, созданными при помощи сервисов Managed Service for PostgreSQL и Managed Service for ClickHouse, а в будущем и для других сервисов платформы данных Yandex.Cloud.

Документация

Developer Tools

Новые сервисы

• Managed Service for GitLab, сервис для управления DevOps-платформой GitLab в инфраструктуре Yandex.Cloud, вышел в стадии Preview. Managed Service for GitLab позволяет поддерживать инстанс GitLab без трудозатрат со стороны пользователя, поднимать сервис для работы с git-репозиториями в один клик. Сервис предоставляет инструменты для автоматического обновления, мониторинга, создания резервных копий и другие интеграции с Yandex.Cloud.

Документация | Тарифы

• Yandex Load Testing, сервис для проведения нагрузочного тестирования и анализа производительности, вышел в стадии Preview. Load Testing поможет подготовить виртуальную машину с необходимым ПО, настроить и запустить тесты и получить на их основе отчеты.

Документация | Тарифы

Бизнес-инструменты

Новые сервисы

• Yandex Cloud Desktop, сервис для запуска рабочих мест, вышел в стадии Preview. Решение обеспечивает терминальный доступ к виртуальным машинам, на которых сотрудники запускают свои рабочие приложения. С помощью Yandex Cloud Desktop можно создать рабочие места в облаке компаниям любого размера и получить неограниченное количество вычислительных ресурсов и дискового пространства, а также защитить данные.

Документация | Тарифы

Новые возможности в сервисах

• Мобильное приложение Yandex Tracker. Мы перезапустили мобильное приложение Yandex Tracker. На данный момент в нем можно: создать задачу, изменить исполнителя, дедлайн и другие параметры задачи, оставить комментарий в задаче, призвать коллегу, приложить или скачать файл, а также использовать шаблоны фильтров для быстрого поиска задач.

Скачать в App Store | Скачать в Google Play

Безопасность

Новые сервисы

• Yandex Cloud Organization — сервис для управления составом организации, настройки интеграции с каталогом сотрудников и разграничения доступов пользователей к облачным ресурсам организации. Пользователи, федерации удостоверений, облака и сервисы будут собраны внутри одной организации, что поможет централизованно управлять доступами и ресурсами.

Документация | Тарифы

• Yandex Audit Trails, сервис для сбора и выгрузки аудитных логов ресурсов Yandex.Cloud, вышел в стадии Preview. Он позволяет получать информацию о событиях, происходящих с ресурсами, и на основе этих данных строить процессы поиска аномалий. Audit Trails уже интегрирован с Yandex Cloud Organization. Собирайте события централизованно по всей организации, сохраняйте их в Object Storage для долговременного хранения, а также просматривайте в интерфейсе Cloud Logging и обрабатывайте при помощи триггеров.

Документация | Тарифы

Новые возможности в сервисах

• У сервиса управления криптографическими ключами Yandex Key Management Service появился новый тип ключей, создание и использование которого проходит в специальных аппаратных модулях безопасности HSM. Это делает защиту ключей максимальной, а также убирает сложности самостоятельной работы с модулями HSM.

• В Yandex Container Registry вышла в стадии Public Preview функция сканирования безопасности образов контейнеров. Это позволяет отслеживать уязвимости в docker-образах средствами облака, делать приложения безопаснее и в том числе выполнять требования регуляторов.

• С помощью открытого решения External Secrets проведена интеграция Yandex Lockbox в Yandex Managed Service for Kubernetes^® для еще более надежного хранения ваших секретов в Kubernetes.

Машинное обучение

Новые возможности в сервисах

• ML-модель в Yandex DataSphere теперь можно развернуть «по одной кнопке». При этом пользователям не нужно создавать и управлять инфраструктурой — все будет создано автоматически.

Биллинг

Новые возможности в сервисе

• Типы бюджета: квартальные, годовые, настраиваемые. Первые два позволяют установить сумму расходов либо за квартал, либо за год.

• Тип бюджета «Остаток средств». С его помощью пользователь будет получать уведомления, когда платежный баланс упадет ниже заданного лимита. Можно установить сразу несколько порогов, по достижении которых будут приходить сообщения, и задать каждому лимиту определенного получателя.

• Интеграция бюджетов с облачными функциями. Теперь можно привязать к бюджету написанную пользователем облачную функцию, которая автоматически будет выполняться при достижении установленного порога бюджета. Например, при превышении расходов начнется плановое отключение части виртуальных машин или сокращение подключенных ресурсов.

• Использование Cloud Functions и для интеграции со своими системами. Если вы используете CRM-систему, то можно настроить бюджеты так, чтобы сообщение о превышении потребления ресурсов приходило в систему. По схожему принципу происходит настройка отправки уведомлений в виде смс-сообщений или сообщений в мессенджер.

Документация

Появился раздел документации Yandex Cloud Desktop.

Появился раздел документации Yandex Forms.

Появился раздел документации Yandex Load Testing.

Появился раздел документации Yandex Managed Service for GitLab.

Появился раздел документации Yandex Serverless Containers.

Появился раздел документации Yandex Wiki.

Обновились следующие документы: