Общие вопросы про Managed Service for ClickHouse

Статья создана

Что такое Managed Service for ClickHouse?

Managed Service for ClickHouse — это сервис, который помогает вам создавать, эксплуатировать и масштабировать базы данных ClickHouse в облачной инфраструктуре.

С Managed Service for ClickHouse вы можете:

создавать базы данных с необходимыми параметрами производительности;
масштабировать вычислительные мощности и выделенный объем хранилища для баз данных по мере необходимости;
получать журналы работы баз данных.

Managed Service for ClickHouse берет на себя трудоемкие задачи администрирования инфраструктуры ClickHouse:

предоставляет мониторинг потребляемых ресурсов;
автоматически создает резервные копии баз данных;
обеспечивает отказоустойчивость за счет автоматического переключения на резервные реплики;
своевременно обновляет программное обеспечение СУБД.

Вы взаимодействуете с кластером БД в Managed Service for ClickHouse как с обычной базой данных в вашей локальной инфраструктуре. Благодаря этому вы можете управлять внутренними настройками БД в соответствии с требованиями вашего приложения.

Какую часть работы по управлению и сопровождению баз данных берет на себя Managed Service for ClickHouse?

При создании кластеров Managed Service for ClickHouse выделяет ресурсы, устанавливает СУБД и создает базы данных.

Для созданных и запущенных баз данных Managed Service for ClickHouse автоматически создает резервные копии, а также устанавливает исправления и обновления СУБД.

Также Managed Service for ClickHouse обеспечивает репликацию данных между хостами БД (как внутри, так и между зонами доступности) и автоматически переключает нагрузку на резервную реплику в случае аварии.

Для каких задач стоит использовать Managed Service for ClickHouse, а для каких виртуальные машины с базами данных?

Yandex.Cloud предлагает два варианта работы с базами данных:

Managed Service for ClickHouse позволяет вам эксплуатировать шаблонные базы данных, не заботясь об администрировании.
Виртуальные машины Yandex Compute Cloud позволяют вам создавать и настраивать собственные базы данных. Такой подход позволяет использовать любые СУБД, подключаться к базам данных по SSH и так далее.

Что такое хост базы данных и кластер базы данных?

Хост БД — это изолированная среда базы данных в облачной инфраструктуре с выделенными вычислительными ресурсами и зарезервированным объемом хранилища данных.

Кластер БД — это один или более хостов БД, между которыми можно настроить репликацию.

Как начать работу с Managed Service for ClickHouse?

Managed Service for ClickHouse доступен всем зарегистрированным пользователям Yandex.Cloud.

Чтобы создать кластер базы данных в Managed Service for ClickHouse, необходимо определиться с его характеристиками:

Класс хостов (характеристики производительности — процессоры, память и т. п.).
Объем хранилища (резервируется в полном объеме при создании кластера).
Сеть, к которой будет подключен ваш кластер.
Количество хостов для кластера и зона доступности для каждого хоста вы можете выбрать зону доступности.

Подробные инструкции см. в разделе Как начать работать с Managed Service for ClickHouse.

Сколько хостов БД может содержать кластер?

Минимальное количество хостов зависит от типа используемого хранилища:

при использовании сетевого нереплицируемого хранилища (ssd-network-nonreplicated) — не менее 3;
при использовании быстрого локального хранилища (local-ssd) — не менее 2;
при использовании сетевого хранилища типа network-ssd или network-hdd допускается создание кластера из одного хоста.

Максимальное количество хостов в кластере ограничено только запрошенными вычислительными ресурсами и объемом хранилища для кластера.

Подробнее см. в разделе Квоты и лимиты.

Как получить доступ к запущенному хосту базы данных?

Вы можете подключаться к базам данных Managed Service for ClickHouse способами, стандартными для СУБД.

Подробнее о подключении к кластерам.

Сколько кластеров можно создать в рамках одного облака?

Технические и организационные ограничения MDB приведены в разделе Квоты и лимиты.

Как происходит обслуживание кластеров БД?

Под обслуживанием в Managed Service for ClickHouse понимается:

автоматическая установка обновлений и исправлений СУБД для ваших хостов БД;
изменение класса хостов и объема хранилища;
другие сервисные работы Managed Service for ClickHouse.

Какую версию ClickHouse использует Managed Service for ClickHouse?

Managed Service for ClickHouse использует несколько последних стабильных версий ClickHouse. Подробнее см. в разделе Политика работы с версиями ClickHouse.

Что происходит, когда выпускается новая версия СУБД?

При выходе новых минорных версий программное обеспечение кластеров автоматически обновляется после короткого периода тестирования.

Владельцы затронутых кластеров БД получают предварительное оповещение о сроках проведения работ и доступности баз данных.

Что происходит, когда версия СУБД становится неподдерживаемой (deprecated)?

Когда версия СУБД становится неподдерживаемой, Managed Service for ClickHouse автоматически оповещает владельцев кластеров БД, созданных с этой версией, по электронной почте.

Создание новых хостов с СУБД неподдерживаемых версий становится невозможным. Кластеры с неподдерживаемой версией ClickHouse обновляются в соответствии с политикой работы с версиями.

Как рассчитывается стоимость потребления для хоста базы данных?

В Managed Service for ClickHouse стоимость потребления рассчитывается исходя из следующих параметров:

Выбранный класс хостов.
Объем хранилища, зарезервированного для хоста БД.
Объем резервных копий кластера БД. Объем резервных копий, равный объему хранилища, не тарифицируется. Хранение резервных копий сверх этого объема оплачивается по тарифам.
Количество часов работы хоста БД. Неполные часы округляются до целого значения. Стоимость часа работы для каждого класса хостов приведена в разделе Правила тарификации для Managed Service for ClickHouse.

Как изменить вычислительные ресурсы и объем хранилища для кластера БД?

Вы можете изменять вычислительные ресурсы и объем хранилища в консоли управления — просто выберите другой класс хостов для нужного кластера.

Характеристики кластера изменяются в течение 30 минут. В этот период также могут быть включены другие сервисные работы по кластеру, например, установка обновлений.

Включено ли резервное копирование хостов БД по умолчанию?

Да, по умолчанию резервное копирование включено. Для ClickHouse полное резервное копирование выполняется один раз в сутки с возможностью восстановления до любой сохраненной резервной копии.

По умолчанию резервные копии хранятся 7 дней.

Когда выполняется резервное копирование? Доступен ли кластер БД во время резервного копирования?

Окно резервного копирования — это интервал времени, в течение которого выполняется ежедневное полное резервное копирование кластера БД. Окно резервного копирования — 01:00−05:00 по московскому времени.

Во время окна резервного копирования кластеры остаются полностью доступными.

За какими метриками и процессами можно следить с помощью мониторинга?

Для всех типов СУБД можно отслеживать:

загрузку процессора, памяти, сети, дисков в абсолютных величинах;
загрузку памяти, сети, дисков в процентах от установленных лимитов для класса хостов соответствующего кластера;
объем данных кластера БД и остаток свободного места в хранилище данных.

Для всех хостов БД можно отслеживать метрики, специфические для типа соответствующей СУБД. Например для PostgreSQL можно отслеживать:

среднее время выполнения запроса;
количество запросов в секунду;
количество ошибок в журналах и т. д.

Мониторинг можно осуществлять с минимальной гранулярностью в 5 секунд.

Соответствует ли сервис требованиям Федерального закона Российской Федерации № 152-ФЗ О персональных данных?

Да, вы можете ознакомиться с полным заключением по результатам аудита системы защиты.

Я могу получить логи моей работы в сервисах?

Да, вы можете запросить записи о том, что происходило с вашими ресурсами, из логов сервисов Yandex.Cloud. Подробнее читайте в разделе Запросы данных.