Все новости сервисов Yandex Cloud — в одном дайджесте. Читайте в этом выпуске: выход в общий доступ Yandex Audit Trails, обновления Yandex SpeechSense, изменения в документации и многое другое.
Yandex Audit Trails
Yandex Audit Trails вышел в общий доступ.
Сервис позволяет собирать и выгружать аудитные логи ресурсов Yandex Cloud.
С Audit Trails вы можете:
анализировать события на уровне сервисов и их конфигураций;
визуализировать их с помощью DataLens;
выгружать их в Cloud Logging или сторонние системы (например, SIEM).
Это помогает в решении таких задач, как контроль действий пользователей, расследование инцидентов, прохождение аудитов и получение сертификаций.
Асимметричная криптография в Key Management Service теперь доступна всем пользователям.
По этой схеме шифрование выполняется с помощью открытого ключа (Public Key) асимметричной ключевой пары, а расшифрование — с помощью её закрытого ключа (Private Key).
Эта функциональность пригодится в следующих сценариях:
Еnvelope Encryption
Шифрование коротких сообщений и токенов
Подпись небольших файлов
Офлайн-проверка подписи данных
Шифрование данных вне облака
Yandex Monitoring
Уведомления в Telegram для внешних пользователей Yandex Monitoring.
Пользователям Yandex Monitoring теперь доступна отправка уведомлений о переходе алерта в другой статус в Telegram. Сообщения будут приходить от бота @YandexCloudNotify_bot в личные сообщения или групповой чат. Привязать свой личный логин или групповой чат можно в блоке настроек консоли уведомлений.
Лимит алертов увеличен до 1000.
В Managed Service for GitLab появилась возможность авторизации с помощью OmniAuth и использованием Yandex ID.
Подробнее о том, как настроить провайдер аутентификации, читайте в документации сервиса.
Регрессии в Yandex Load Testing
Регрессии — это механизм отслеживания показателей производительности во времени. Например, если вы запускаете нагрузочное тестирование.
При помощи регрессии с каждым релизом новой версии продукта можно:
сразу видеть динамику изменения показателей от релиза к релизу;
отслеживать квантили длительностей ответа;
отслеживать проценты ошибочных кодов протокола или сети.
Там же можно задавать пороговые значения, отклонение от которых будет подсвечиваться на графике.
Мы знаем, что бизнес-процессы у пользователей SpeechSense разные, и большинству необходима возможность настраивать и отлаживать теги самостоятельно.
Теперь, помимо системных тегов, которые отображаются в сервисе по умолчанию, есть возможность задавать собственные теги.
Такая возможность есть в рамках двух областей видимости:
пространство (доступен всем проектам пространства);
проект (доступен только в одном проекте).
Теги пространства или проекта можно редактировать на любом этапе жизненного цикла.
При настройке тегов можно:
выбрать набор поисковых строк («привет», «добрый день», «доброе утро»);
выбрать канал клиента/оператора или оба канала;
задать дистанцию между словами;
задать тип поиска: лемма*, полное совпадение.
* Лемма — начальная словарная форма слова. Позволяет искать совпадения по всем словоформам, независимо от падежа, рода, склонения, спряжения и т. д.
В SpeechSense также появился новый формат отчёта — «Отчёт динамики показателей».
Данный отчёт служит для отслеживания изменений важных бизнес-показателей во времени с разбивкой по операторам и подразделениям. Например, можно выявить, как изменилось количество предложений сопутствующих товаров в рамках сценария допродажи после проведения обучения, или количество повторных обращений (FCR — First Call Resolution). В отчёте доступен выбор периода и другие фильтры по диалогам.
Нейросеть YandexGPT 2 стала частью ИИ-сервиса Jay Copilot от Just AI. Jay Copilot — это платформа для удобного использования генеративного ИИ в работе и повседневных задачах. Модель YandexGPT 2 будет доступна как в режиме прямого доступа с возможностью тонкой настройки, так и в качестве базовой модели для готовых приложений.
С какими задачами YandexGPT 2 справляется особенно хорошо?
Кейсы, требующие актуальной информации, за счёт регулярного дообучения LLM
Генерация контента с учётом высоких требований к его этичности и чистоте от токсичных тем за счёт хорошего фильтра и фокуса на этом вопросе при обучении модели
Задачи, которые требуют дообучения модели на большом объёме собственных данных компании
У сервиса Jay Copilot также существует API, на базе которого можно реализовать сложные кейсы с интеграцией в сторонние системы и сервисы.
Также YandexGPT API теперь живёт в системе для интеллектуального анализа отзывов компании-партнёра Napoleon IT. Его задача — выявлять и группировать темы, о которых пользователи рассказывают в своих отзывах.
Чтобы максимально комфортно погрузить вас в работу с нашим сервисом, мы, совместно с экспертами в области контактных центров, разработали курс.
Он состоит из 8 модулей с теорией и практикой, где мы рассказываем об основных этапах работы с Yandex SpeechSense.
Ознакомиться с курсом и пройти его можно здесь.
Yandex Cloud теперь поддерживает Apache Kafka® версии 3.5.1. — Release Notes.
Apache Kafka® 3.5.1 включает в себя несколько исправлений ошибок и новых функций, которые улучшают производительность.
Основные изменения связаны с улучшением поддержки KRaft-протокола.
Yandex Cloud продолжает использовать ZooKeeper для управления кворумом в этом релизе. Для полного списка улучшений и исправлений ошибок смотрите Release Notes для Apache Kafka® 3.5.1.
В Managed Service for MongoDB добавили поддержку некоторых настроек (flowControl, changeStreamOptions, net.compression.compressors, storage.wiredTiger.indexConfig.prefixCompression).
Теперь пользователи смогут более тонко настраивать свой MongoDB-кластер. В UI/CLI/Terraform появилась возможность при изменении/создании кластера также настраивать новые параметры.
Создание кластеров OpenSearch в YC CLI и управления ими.
Однако до недавнего времени через YC CLI нельзя было управлять кластерами OpenSearch, сейчас мы добавили такую возможность. Теперь кластерами OpenSearch можно управлять через YC CLI наряду с другими базами.
Управление кластерами OpenSearch через Terraform
Terraform — современное средство управления конфигурациями кластеров с использованием декларативного языка описания конфигураций. Это альтернатива нашему веб-интерфейсу.
Terraform часто используется крупными компаниями для автоматизации управления большим парком различных кластеров. Мы добавили возможность управлять кластерами OpenSearch через Terraform, что позволит улучшить автоматизацию и не прибегать к использованию веб-интерфейса в ручном режиме.
В Greenplum появилась возможность частичного восстановления: вы можете указать список восстанавливаемых таблиц или схем. Это позволяет существенно ускорить восстановление и сэкономить на ресурсах кластера, если данных восстанавливается немного.
В Managed Service for Redis добавили возможность включения шардирования на существующих кластерах.
Если пользователи, у которых уже есть кластера Redis, понимают, что им нужно шардирование (горизонтальное масштабирование), они могут не создавать новый кластер и переносить данные, а в текущем кластере включить шардирование и потом уже добавлять новые шарды. Сейчас это можно сделать через API/CLI/Terraform.
Поддержали возможность перезапускать хосты кластера.
В большинстве случаев пользователям не нужно перезапускать хосты. Это инструмент экстренного устранения проблем, связанных с утечками памяти или зависанием внутренних процессов ClickHouse. Для решения таких проблем делаются системные фиксы, но новые ошибки иногда тоже появляются. Инструмент, в первую очередь, предназначен для снижения нагрузки на техподдержку и дежурных за сервис.
Появилась поддержка ClickHouse® версий 23.9, 23.10, 23.11, 23.12 и 24.1.
Что нового:
Автоматическое определение форматов JSON и JSONEachRow
JsonMergePatch-функция для объединения JSON-объектов
Автоматический вывод типов данных для вложенных JSON-объектов
Column Statistics — новый механизм оптимизации запросов в дополнение к индексам и проекциям
Улучшение совместимости с MySQL
Кодек GCD, позволяющий повысить эффективность сжатия числовых данных
Поддержка неконстантных временных зон в функциях для работы с датами и временем
Запрос DROP TABLE IF EMPTY
Виртуальная колонка _size для табличных функций url, s3, hdfs
Оптимизация производительности для оконных функций, запросов SELECT FINAL, чтения данных из ORC-файлов, внешней агрегации данных, запросов INSERT FROM INFILE, фоновых мержей данных, чтения данных из кэша
Обновляемые материализованные представления (Refreshable Materialized Views)
Тип данных Variant
Запросы APPLY DELETED MASK и SYSTEM JEMALLOC PURGE
Функции приближенного сравнения строк: damerauLevenshteinDistance, jaroSimilarity и jaroWinklerSimilarity.
Выражения PASTE JOIN и ORDER BY ALL
Sqids-идентификаторы
Оптимизация производительности для функций агрегации данных, запросов SELECT FINAL, фоновых мержей данных, JOIN-алгоритма hash
Исполнение ноутбука в Dedicated-режиме с помощью API
В API DataSphere добавлена возможность исполнения ноутбука в Dedicated-режиме, что позволит пользователям автоматизировать свои процессы.
Расширенные логи и метрики для пользовательских нод
Улучшены логи и метрики для нод, что делает процесс запуска сервисов в эксплуатацию с помощью DataSphere прозрачнее и нагляднее. Обновлённые логи и дашборды можно найти в табах в нодах и в сервисах Cloud Logging и Cloud Monitoring, в фолдерах, связанных c нодой.
Новые возможности и улучшения Data Transfer
Оптимизирована структура документации: консолидирована информация, относящаяся к работе с конкретным эндпоинтом (например, источником MySQL или приёмником PostgreSQL)
Исправлена ошибка подключения к Apache Kafka®.
Устранена проблема при редактировании трансформера.
Запрещена репликация из эндпоинта MySQL при отсутствии бинарного лога (binlog).
Устранена ошибка, из-за которой не переносились типы при переносе таблиц из PostgreSQL в PostgreSQL.
Исправлен механизм выбора хоста для шардирования эндпоинта ClickHouse®.
Исправлена ошибка некорректного переноса типа String для трансфера типа Репликация из YDB в YDB.
Больше об улучшениях можно узнать в changelog.
Опубликовали Roadmap развития DataLens Open Source
Теперь историю изменений можно посмотреть в документации сервиса. Будем пополнять changelog обновлениями и улучшениями каждый месяц.
Если вам также интересны новинки DataLens Open Source, то напоминаем, что о них можно узнать на GitHub.
Вы тоже можете влиять на проект, заводя новые Issues и участвуя в обсуждениях текущих.
Обязательные селекторы
Новая настройка селектора, которая делает выбор значения обязательным, теперь доступна для всех пользователей. Её включение поможет обеспечить корректность дашборда и более эффективную работу с источником данных. Для этого при создании или редактировании селектора включите опцию «Обязательное поле».
ScanFactory SaaS — платформа автоматизированного анализа защищённости публичных ресурсов. Решение проводит регулярное сканирование IP-адресов и сайтов компании с помощью 19 популярных сканеров безопасности и агрегирует результаты в веб-панели.
Opennix Pritunl — VPN-сервер, который позволяет виртуализировать ваши частные сети между центрами обработки данных и обеспечивает простой удалённый доступ в течение нескольких минут.
Добавлена информация о политике доступа по IP-адресам.
Обновлены пошаговые инструкции по созданию и изменению настроек ресурсов: добавлен параметр, который включает ограничение доступа к CDN-ресурсу по IP-адресу.
Добавлены справочники: команд CLI, ресурсов провайдера Terraform и логов Yandex Audit Trails.
Обновлены пошаговые инструкции по получению информации и списка лог-группы: добавлены примеры запросов к API.
Добавлена информация о политиках обслуживания виртуальных машин.
Добавлена пошаговая инструкция по изменению политики обслуживания.
Добавлена информация о регрессии нагрузочных тестов.
Добавлено практическое руководство по использования сценарного генератора нагрузки.
Добавлена пошаговая инструкция по созданию и настройке дашборда регрессий.
Добавлен справочник ресурсов провайдера Terraform.
Обновлена информация об удалении устаревших метрик (TTL).
Обновлена пошаговая инструкция по созданию канала уведомлений: добавлена информация об уведомлениях Telegram.
Обновлены ограничения для одного эндпоинта в Yandex Managed Service for Prometheus ®.
Обновлены метрики сервисов Yandex Data Proc, Yandex Certificate Manager, Yandex Identity and Access Management, Yandex Key Management Service, Yandex Lockbox и Yandex SmartCaptcha в Справочнике метрик.
Добавлено практическое руководство по загрузке данных из Yandex Object Storage в Managed Service for ClickHouse® с помощью Yandex Data Transfer.
Добавлено практическое руководство по загрузке данных из Object Storage в Yandex Managed Service for YDB с помощью Yandex Data Transfer.
Добавлена обзорная страница со способами управления доступом в Object Storage.
Обновлена информация о жизненных циклах объектов в бакете.
Обновлена пошаговая инструкция по управлению жизненными циклами объектов в бакете.
Обновлена пошаговая инструкция по настройке прав доступа к бакету с помощью Identity and Access Management.
Обновлена конфигурация жизненных циклов объектов в бакете в «Справочнике API».
Добавлено практическое руководство по загрузке данных из Object Storage в витрину ClickHouse®.
Добавлено практическое руководство по загрузке данных из Object Storage в витрину YDB.
Добавлена «История изменений» за январь.
Обновлена инструкция по решению проблем в Data Transfer.
Добавлена пошаговая инструкция по изменению настроек дашборда.
Обновлена информация о настройках дашборда.
Обновлена пошаговая инструкция по созданию подключения к Monitoring: добавлено примечание о правильном формате для запросов Yandex Monitoring.
Добавлено описание опции «Обязательное поле» при настройке селекторов.
Добавлена «История изменений» за январь.
Добавлена информация об аутентификации в DataSphere Jobs.
Добавлена информация о Docker-образах в заданиях.
Добавлена информация о среде исполнения заданий.
Добавлена информация о проверке состояния и мониторинге.
Добавлен Справочник ресурсов Yandex DataSphere провайдера Terraform.
Добавлено практическое руководство по развертыванию веб-интерфейса Apache Kafka®.
Добавлены справочники: команд CLI, ресурсов провайдера Terraform, метрик Yandex Monitoring и логов Yandex Audit Trails.
Добавлено практическое руководство по загрузке данных из Yandex Object Storage в Managed Service for ClickHouse® с помощью Yandex Data Transfer.
Добавлены справочники: команд CLI, ресурсов провайдера Terraform, метрик Yandex Monitoring и логов Yandex Audit Trails.
Обновлены пошаговые инструкции по управлению хостами кластера ClickHouse® и ZooKeeper.
В этой статье мы расскажем: