Дайджест новостей платформы данных

Рассказываем, что нового появилось в сервисах управляемых баз данных с октября 2020 года по май 2021-го.

Общее для всех управляемых баз данных (Managed Databases)

Четыре нововведения, которые касаются практически всех управляемых баз данных.

  • Группы безопасности. Security Groups помогают управлять доступом к управляемым базам данных. Они позволяют настроить правила входящего и исходящего трафика, чтобы организовать защищенное взаимодействие между базой и сервисами пользователя. Создавать группы и управлять ими можно через API, CLI, Консоль и Terraform. Применимо ко всем управляемым базам данных, кроме Yandex Database.

  • Полная поддержка Terraform. Теперь инфраструктурой баз данных можно полностью управлять через Terraform. Раньше были некоторые ограничения, но сейчас Terraform поддерживает все возможности нашего API. Применимо ко всем управляемым базам данных, кроме Elasticsearch.

  • Нереплицируемые SSD-диски. На платформе появились быстрые сетевые хранилища — non-replicated network-ssd. Это диски с повышенной производительностью, которые позволяют увеличить количество IOPs для управляемой базы данных. Применимо ко всем управляемым базам данных, кроме MongoDB. Более подробный анонс читайте в отдельном посте.

  • Изменения в системных метриках виртуальных машин:

    • Новые метрики средней загрузки системы (/System/load/avg_1min, /System/load/avg_5min, /System/load/avg_15min).

    • Детализированы метрики потребления памяти (/System/memory/active, /System/memory/available, /System/memory/buffers, /System/memory/cached, /System/memory/free, /System/memory/shared, /System/memory/total, /System/memory/used).

Managed Service for Redis

  • Обновление на Redis 6. Мы добавили последнюю актуальную версию Redis 6.0. Среди основных изменений: новый протокол RESP3, который позволяет напрямую возвращать сложные типы данных; поддержка списков контроля доступа (ACL), и поддержка кэширования данных на стороне клиента. Полный список нововведений смотрите на официальном сайте.

  • Поддержка SSL в бэкенде и API. Теперь взаимодействие с кластером Redis поддерживает шифрование через TLS-соединения.

  • Быстрые локальные диски. Теперь в кластере Redis можно использовать самые быстрые диски — local-ssd. Благодаря им можно вывести кластер на новый уровень производительности не теряя надежности.

  • Улучшили дашборд с графиками. Мы добавили больше графиков, чтобы вы могли лучше анализировать потребление памяти.

  • Добавили новые настройки:

    • notify-keyspace-events — для работы с уведомлениями пространства ключей.

    • slowlog-log-slower-than и slowlog-max-len — для работы с журналом медленных запросов.

    • database — позволяет выбрать базу данных для подключения.

Managed Service for MongoDB

  • Версия 3.6 больше не поддерживается. Разработчики MongoDB прекратили поддержку версии 3.6. Теперь в Yandex.Cloud нельзя создать новый кластер с этой версией, а все существующие кластеры мы автоматически обновим до версии 4.0.

  • Обновление на MongoDB 4.4. Мы добавили возможность обновления на актуальную версию MongoDB — 4.4. Среди основных изменений: расширение языка запросов с оператором unionWith, улучшение возможностей перешардирования и повышение производительности. Полный список нововведений смотрите на официальном сайте.

Managed Service for ClickHouse

  • Автоматическое создание схемы при добавлении хостов. Добавлена опция автоматического копирования схемы таблиц на добавляемые в кластер хосты. Теперь при создании реплики в шарде или при создании нового шарда на добавляемые хосты может копироваться схема с существующего хоста.

  • Управление пользователями и базами через SQL. Теперь управлять пользователями и базами можно не только через стандартные интерфейсы (CLI, API и консоль управления), но и при помощи SQL-запросов. Чтобы эта возможность появилась, нужно создать новый кластер с включенными соответствующими настройками. Учтите, что управлять пользователями и базами можно либо через стандартные интерфейсы, либо через SQL.

  • Поддержка репликации для кластеров с гибридным хранилищем. Для кластеров с гибридным хранилищем теперь можно создавать реплики. Доступно начиная с версии 21.4.

Managed Service for PostgreSQL

  • Новая версия: PostgreSQL 13. Мы добавили последнюю актуальную версию PostgreSQL — 13. Среди основных изменений: улучшение производительности и более экономное использование места. Полный список нововведений смотрите на официальном сайте.

  • Новая версия для 1С: PostgreSQL 12.5. Вариант PostgreSQL, оптимизированный для работы с системой «1С: Предприятие», теперь поддерживает версию 12.5.

  • Диагностика производительности запросов. Появилась отдельная страница с детальной информацией по конкретному запросу.

    Список всех запросов Детализация конкретного запроса
  • Визуализация плана запроса. Теперь можно посмотреть план запроса прямо в консоли Yandex.Cloud:

    Визуализация плана запроса
  • Новые графики. Мы добавили новые графики на дашборд кластера:

    • квантили времени выполнения запросов и транзакций в пулере соединений Odyssey.

    • графики размера временных файлов и размер WAL.

    • графики CPU, IO, network.

    Графики network, IOPS, CPU

Managed Service for MySQL®

  • Добавлены настройки:

    • range_optimizer_max_mem_size — позволяет ограничить использование памяти для оптимизации диапазона.

    • interactive_timeout — количество секунд, в течение которых сервер ожидает активности интерактивного соединения, прежде чем закрыть его.

    • wait_timeout — количество секунд, в течение которых сервер ожидает активности неинтерактивного соединения, прежде чем закрыть его.

  • Добавлено управление offline-режимом:

    • mdb_offline_mode_enable_lag — задержка репликации, при которой реплика будет переведена в offline-режим. Позволяет «скрывать» от приложения сильно отставшие реплики.

    • mdb_offline_mode_disable_lag — задержка, при которой реплика будет возвращена в online.

Managed Service for Apache Kafka®

  • Поддержка «неуправляемых» топиков. Это позволяет управлять топиками не через control plane, а напрямую в Kafka. Топики можно создавать автоматически через Kafka Admin API, например в ksqlDB. Подробнее смотрите видео-запись мероприятия about: cloud.

  • Задание прав на топики через паттерны. Теперь можно назначать права вида ksql_*. Это позволяет, например, дать пользователю права на чтение всех служебных топиков ksqlDB.

  • Новые метрики. Мы добавили много новых метрик кластеров, например количество офлайн-реплик на брокерах или количество ошибочных запросов к брокеру. Также появились новые метрики для топиков. Все метрики доступны в Yandex.Monitoring.

Data Proc

  • Автомасштабирование. Появилась новая возможность: автоматическое масштабирование Compute-подкластеров на основе метрик, которые поставляются в Yandex Monitoring. В зависимости от их значений в подкластере увеличится или уменьшится количество хостов. Это позволяет экономить: создавать дополнительные хосты лишь тогда, когда они на самом деле необходимы.

  • Выделенные хосты. Data Proc теперь можно запускать на выделенных хостах. Это позволяет физически изолировать виртуальную машину от оборудования других пользователей платформы. Это необходимо, если такового требуют правила информационной безопасности вашей компании.

  • Поддержка Airflow 2. Теперь Apache Airflow 2 поддерживает провайдер для Data Proc. Airflow дает возможность управлять ETL-процессами и помогает строить вычислительные pipelines в сфере больших данных.

Managed Service for Elasticsearch

  • Сервис стал общедоступным. Elasticsearch теперь доступен всем пользователям Yandex.Cloud. Для него действуют SLA и правила тарификации. Также, благодаря сотрудничеству с компанией Elastic NV, пользователям платформы теперь доступны три варианта подписки: Basic, Gold и Platinum. В расширенных вариантах подписки доступен дополнительный функционал, например дополнительные инструменты визуализации и машинное обучение. Подробнее об этом читайте в отдельном посте.

Managed Service for SQL Server

  • Сервис стал общедоступным. SQL Server 2016 Service Pack 2 теперь доступен всем пользователям Yandex.Cloud в редакциях Standard и Enterprise. Для него действуют SLA и правила тарификации. Также для него стал доступен мониторинг и создание резервных копий. Подробнее об этом читайте в отдельном посте.

Узнать больше про сервисы платформы данных →

  • Новости