Продуктовый дайджест Yandex Cloud (август)

Все новости сервисов Yandex Cloud — в одном дайджесте. Читайте в этом выпуске: новые Terraform‑модули, асимметричная криптография в Key Management Service, расширенная программа образовательных курсов и многое другое.

За последний месяц мы добавили ряд улучшений в сервисы Yandex Cloud, а также обновили и расширили функциональность некоторых сервисов. Сегодня в одном дайджесте рассказываем обо всех релизах, нововведениях в сервисах и возможностях платформы.

Платформа данных

Окончание поддержки PostgreSQL версии 11 в Yandex Managed Service for PostgreSQL, два новых бесплатных курса «Витрина данных для веб‑аналитики в ClickHouse®» и «Основы работы с DataLens», возможность резервирования ресурсов для Managed Service for Greenplum и Managed Service for OpenSearch, Data Transfer стал доступен в мобильном приложении Yandex Cloud, а также последние новости группы сервисов «Платформа данных». О других изменениях, которые мы добавили в сервисы ранее, читайте здесь.

Managed PostgreSQL

Окончание поддержки PostgreSQL версии 11

С 14 августа 2023 года прекращается поддержка PostgreSQL версии 11 в Yandex Managed Service for PostgreSQL. Создавать новые кластеры этой версии будет невозможно. Мы планируем автоматическое обновление кластеров версии 11 до версии 12, начиная с 12 сентября 2023 года. Доступно самостоятельное обновление, с учётом наших рекомендаций.

Managed ClickHouse

Образовательная программа Yandex Cloud пополнилась курсом «Витрина данных для веб‑аналитики в ClickHouse®»

На бесплатном курсе вы погрузитесь в интерактивную историю в роли аналитика данных и попробуете себя в роли аналитика в онлайн‑магазине, изучите данные из разных источников и автоматизируете их загрузку в хранилище, разработаете хранилище данных на основе ClickHouse, соберёте дашборд в DataLens для визуализации и мониторинга и т. д. Курс будет полезен практикующим аналитикам и инженерам данных уровня junior или middle.

Узнайте больше на странице Витрина данных для веб аналитики в ClickHouse®.

DataLens

Бесплатный курс «Основы работы с DataLens» добавлен в образовательную программу Yandex Cloud

На курсе вы научитесь подключаться к данным и создавать подготовленные источники данных. Также вы создадите селф‑сервис‑датасет для команды категорийных менеджеров, разберётесь с функциональностью и особенностями DataLens, узнаете, как работать со сложными формулами и использовать параметры, ознакомитесь с практиками решения сложных аналитических задач в инструменте и решите реальные аналитические кейсы с помощью DataLens.

Узнайте больше на странице Основы Datalens.

Managed Greenplum® и OpenSearch

Резервируемое потребление для управляемых баз данных Greenplum® и OpenSearch

Мы добавили возможность резервирования определённого объёма ресурсов для Managed Service for Greenplum и Managed Service for OpenSearch. Получить скидку до 22% могут все пользователи платформы с 1 августа 2023 года. Стоимость ресурсов не изменится на протяжении всего срока действия предложения.

Подключить резервируемое потребление для сервисов Managed Service for Greenplum® и Managed Service for OpenSearch очень легко: в консоли управления достаточно выбрать срок и дату начала действия предложения. Подробную инструкцию вы найдёте в нашей документации.

Узнайте больше на странице Резервируемое потребление сервисов Yandex Cloud.

Новая функциональность Yandex Managed Service for Greenplum

В рамках развития сервиса Yandex Managed Service for Greenplum стали доступны:

Data Proc

Обновление инструкции по работе с DeltaLake в среде Data Proc

Обновили инструкцию по работе с DeltaLake в среде Data Proc, добавив в неё детали по запуску DeltaLake 9.3 поверх образа Data Proc 2.1.4 (Spark 3.3.2).

DataTransfer

Сервис Yandex Data Transfer стал доступен в мобильном приложении Yandex Cloud

Теперь в вашем смартфоне доступна информация:

  • о ресурсах сервиса — трансферах и эндпоинтах;

  • о состоянии работы трансферов;

  • об ошибках при выполнении операций;

  • о мониторинге и логах.

Также вы можете запустить и приостановить необходимые трансферы, что делает управление потоками данных ещё быстрее.

Если у вас пока нет мобильного приложения Yandex Cloud, то его можно установить из App Store и Google Play.

Yandex Scale 2023: регистрация открыта!

Yandex Scale — ежегодная и самая масштабная конференция Yandex Cloud, где бизнес и технологии говорят на одном языке. Регистрируйтесь и добавляйте событие в календарь.

Контейнерная разработка

Кратко о последних новостях сервисов для разработки и администрирования контейнерных приложений: опубликован скрипт сбора диагностической информации с узлов Managed Service for Kubernetes и обновление в Managed Service for GitLab.

Managed Service for Kubernetes
  • Команда Support Yandex Cloud опубликовала в GitHub скрипт сбора диагностической информации с узлов Yandex Managed Service for Kubernetes, который рекомендуем использовать перед заведением тикетов (обращений).

  • Cilium обновлён до версии 1.12.9.

  • Kyverno Polices обновлены до версии 1.9.2.

  • В раздел «Документация» добавлен подраздел «История изменений в Yandex Managed Service for Kubernetes», в котором мы будем собирать всю информацию о релизах и изменениях в сервисе Yandex Managed Service for Kubernetes.

Managed Service for GitLab

В рамках сервиса Yandex Managed Service for GitLab начали перевод клиентских инстансов на новую версию 16.

Бизнес‑инструменты

Новые возможности инструментов для визуализации и организации работы уже можно испытать в деле. Читайте, какую функциональность мы добавили в Tracker, Forms и Wiki.

Tracker
  • Дополнили страницы задач и очередей информацией о привязанных коммитах из систем хранения кода.

  • Обновили страницу привязки репозиториев для возможности добавлять собственные репозитории (на своих серверах) без обращения в поддержку.

  • Включили цветовую индикацию типов задач в списках задач и теперь отображаем закрытыми не только задачи с резолюцией, но и задачи с финальными статусами без резолюций.

  • Для работы по гибким методологиям на досках сделали возможным устанавливать WIP‑лимиты по группам (не только по колонкам на доске). Появилась возможность произвольной сортировки групп по любым полям для создания приоритетных групп и их произвольного ранжирования. Появилась возможность перетаскивания задач между группами (помимо колонок).

  • Реализовали возможность построения критического пути проекта и использовать цвета на диаграме Ганта на основе типов статусов.

Forms
  • Реализован новый интерфейс заполнения форм. В нём страницы опроса выглядят современнее, а работают быстрее и надёжнее.

  • Появилась тёмная тема, обновился дизайн страницы с результатами опроса. Кроме того, в опросе теперь сохраняются введённые значения на случай, если пользователь закрыл страницу.

Wiki
  • Добавлена возможность использовать схемы draw.io.

  • Добавили раздел недавно удалённых страниц для возможности восстановления их пользователем.

  • В комментариях теперь возможно отвечать на комментарии.

Marketplace

Добавили три новых образа в Yandex Cloud Marketplace: операционную систему Роса Хром Сервер, платформу для автоматизации рекрутмента T1 TalentForce и OSS Core — платформа для автоматизации тестирования продуктов на базе open source.

T1 TalentForce

T1 TalentForce — гибкий инструмент для бизнес‑заказчиков, рекрутеров и кандидатов. Он позволяет реализовать логику взаимодействия со всеми участниками подбора в единой системе. С помощью TalentForce можно настроить личный кабинет для каждого кандидата и упростить процесс пребординга, а также создавать табличные отчёты под свои потребности.

Роса Хром Сервер

Роса Хром Сервер — минималистичный серверный дистрибутив Linux. Эта операционная система построена на базе собственной программной платформы ROSA 2021.1 и прошла полный цикл разработки и сборки ABF. Роса Хром технологически совместима с другими сертифицированными продуктами производства ООО «НТЦ ИТ РОСА», что позволяет легко строить инфраструктуру любой сложности с разными контурами безопасности.

OSS Core

OSS Core предназначен для поиска и устранения функциональных дефектов и уязвимостей в коде компонентов. Кроме того, решение подходит для автоматизации тестирования 100% объёма заимствованного кода для аудита безопасности и доработки в процессе эксплуатации, а также защиты инфраструктуры от эксплуатации Open Source Supply Chain уязвимостей.

Безопасность

Асимметричная криптография теперь доступна в Key Management Service. Рассказываем, где применяется эта схема шифрования и в каких сценариях её можно использовать. А также приглашаем пройти наши бесплатные курсы — недавно мы обновили программу обучения информационной безопасности.

Общие новости
Key Management Service

Key Management Service: асимметричная криптография доступна в стадии preview

В Key Management Service теперь доступна асимметричная криптография. Использование асимметричной криптографии предполагает работу с ключевыми парами, состоящими из открытого (публичного) и закрытого (приватного) ключей.

Для шифрования данных используется публичный ключ, а для расшифровки — приватный. Подпись данных осуществляется с применением приватного ключа, а её проверка — при помощи доступного всем публичного ключа.

Key Management Service позволяет выгрузить открытый ключ, чтобы его можно было распространять и шифровать с его помощью данные на стороне клиента или проверять выработанную электронную подпись.

Расшифровка данных, зашифрованных открытым ключом, и подписание данных при помощи схем ЭП производится на закрытом ключе в сервисе Key Management Service. Прямой доступ к закрытому ключу и его извлечение из сервиса не допускаются.

Где применяется асимметричная криптография

Асимметричные ключи обычно используются для шифрования небольших объёмов данных (например, симметричных ключей или иных секретов).

При использовании асимметричных ключей в шифровании кто угодно, используя отрытый ключ, может зашифровать сообщение, но расшифровать его может только обладатель закрытого ключа (адресат).

Для подписания больших объёмов данных, например образов контейнера, используется предварительное хэширование:

  1. Сначала нужно вычислить хэш контейнера и загрузить его в Key Management Service.

  2. В сервисе с помощью закрытого ключа создаётся подпись по хэшу данных.

  3. Далее подпись передаётся адресату вместе с контейнером, и тот может проверить с помощью открытого ключа, что данные получены в неизменном состоянии.

Новую функциональность можно использовать в следующих сценариях:

  • Envelope encryption — шифрование симметричного ключа DEK публичным ключом. Например, если нужно передать в зашифрованном виде большой объём данных, их можно быстро зашифровать на симметричном ключе, а сам ключ — асимметричным.

  • Шифрование коротких сообщений и токенов. Например, со стороны клиентского приложения мы шифруем секрет (IAM‑токен, пароль и пр.), и приложение этот секрет передает в зашифрованном виде в сервис облака, где он уже расшифровывается на приватном ключе.

  • Подпись небольших файлов, например скриптов.

  • Офлайн проверка подписи данных.

  • Офлайн шифрование данных (вне облака).

Подробнее о работе с асимметричными ключами в Key Management Service читайте в документации.

Начните обучение сегодня

Углубите свои знания по интересующему направлению, научитесь работать с сервисами Yandex Cloud и примените полученный опыт в своих рабочих задачах.

Инфраструктура и сеть

Добавили два Terraform-модуля для Yandex Cloud и обновили бэкенд экспорта метрик в формате Prometheus для Yandex Monitoring. Подробнее — читайте под катом.

Общие новости

В библиотеку на GitHub добавлены два новых Terraform‑модуля для Yandex Cloud

Модули Terraform — это готовые наборы файлов с настройками для облачных сервисов, которые упрощают работу DevOps‑инженеров. Также модули помогают избегать дублирования кода. Модули Terraform для сервисов Yandex Cloud доступны на GitHub.

Недавно мы добавили ещё два новых модуля: для Yandex Object Storage и стартовый Terraform‑модуль для Yandex Cloud.

Модуль для Yandex Object Storage

Предназначен для простого создания и настройки бакетов и позволяет создавать шаблоны политик доступа к бакетам, объектам и группам объектов. Модуль упрощает создание учётной записи с разрешениями storage.admin для создания бакета, а также облегчает работу с KMS, Yandex Certificate Manager и другими сервисами.

Список функций модуля S3 также включает:

  • создание ключа KMS для шифрования данных и сертификата HTTPS для бакета;

  • создание самого бакета, применение политики;

  • применение Bucket Policy для Yandex Cloud Console, настройка правил CORS;

  • применение предопределённых ACL или предоставление пользовательских разрешений;

  • включение хостинга веб‑сайтов;

  • включение управления версиями, жизненного цикла и блокировки объектов;

  • включение ведения журнала и шифрования на стороне сервера.

Стартовый Terraform‑модуль для Yandex Cloud

С его помощью вы можете создать облако, привязать его к биллинг‑аккаунту, создать каталоги и, при необходимости, группы для управления этим облаком и каталогами.

Функциональность модуля включает:

  • создание нового облака или использование существующего;

  • создание облачных папок;

  • создание организационных групп и добавление пользователей в них;

  • назначение облачных разрешений группе и прав доступа к папкам.

Больше информации о модулях Terraform вы можете найти на странице проекта в Github.

Monitoring

Новый бэкенд экспорта метрик в формате Prometheus

Переписали бэкенд для экспорта облачных метрик в формате Prometheus.

Новый бэкенд ускорит экспорт метрик в десятки раз. Сейчас все клиенты Yandex Cloud уже переключены на новый бэкенд. Со стороны пользователей ничего менять не нужно, URL для подключения Prometheus остался прежним.

Compute Cloud

Высокопроизводительные SSD-диски стали доступны всем пользователям

Новые высокопроизводительные SSD-диски network-ssd-io-m3 теперь доступны всем пользователям платформы. Высокопроизводительные SSD-диски — это высокий IOPS и гарантия надёжности. Кроме того, они подходят для размещения высоконагруженных приложений: до 75 000 IOPS на диск (при соблюдении условий).

Все сервисы Yandex Cloud

Машинное обучение

Для DataSphere запустили новый системный образ, рекомендуемый для анализа данных и машинного обучения.

DataSphere

Новый системный образ DataSphere

Системный образсодержит базовый набор актуальных версий популярных библиотек. Образ использует Python 3.10, Nvidia Cuda 11.8, Nvidia Driver 525. Это позволит приступить к работе над проектом в DataSphere не тратя время на сбор кастомного окружения.

Чтобы использовать новый образ, измените системный образ проекта. Как это сделать, смотрите по ссылке.

Узнайте подробнее про сервис DataSphere.

Другие новости

Наш партнёр IT Summa разработал фреймворк, который уменьшает трудозатраты при работе с облаком почти вдвое. Читайте далее, о ключевых особенностях решения и его возможностях.

Фреймворк от IT Summa

IT Summa выложила в открытый доступ своё решение KulebiaC

Компания ITSumma — сертифицированный партнёр Yandex Cloud Professional в специализации Infrastructure & DevOps. Инструмент KulebiaC помогает DevOps и SRE‑инженерам примерно за 20–30 минут развернуть и описать рабочую инфраструктуру для стартапа или SaaS‑сервиса.

Решение основано на облачном инструментарии CDKTF (Cloud Development Kit for Terraform), в который портирован набор модулей, разработанных в ITSumma. Это помогает на 40% сократить трудозатраты на работу с Yandex Cloud.

Используя KulebiaC, инженеры смогут гибко работать со вложенными итерациями по массивам, создавать дополнительные вспомогательные провайдеры и использовать строгую типизацию для входных параметров модуля.

Ключевые особенности решения:

  • инфраструктура описывается в одном файле формата yaml;

  • отсутствуют проблемы при передаче значений и параметров;

  • нет необходимости регулировать порядок запуска;

  • инструмент лицензирован в соответствии с условиями Apache License 2.0.

Сейчас KulebiaC поддерживает:

  • все основные сервисы Yandex Cloud в качестве провайдера;

  • модули для быстрого подключения популярных баз данных: MySQL, MongoDB, ClickHouse, Redis;

  • создание и конфигурацию хранилища секретов Yandex Lockbox;

  • развёртывание SPA с использованием S3.

Ознакомиться с GitHub KulebiaC и примерами его использования можно по ссылке.

Подпишитесь на наш канал в Telegram и следите за новостями Yandex Cloud.

Блог Yandex Cloud

Новости, статьи, пресс-релизы и инструкции.

Напишите нам

Начать пользоваться Yandex Cloud

Тарифы

Узнать цены и рассчитать стоимость

Мероприятия

Календарь событий Yandex Cloud
Продуктовый дайджест Yandex Cloud (август)
Войдите, чтобы сохранить пост