Шардирование

Статья создана

Преимущества шардирования
Использование шардирования
Особенности управления шардированием в Managed Service for MongoDB

Шардирование — стратегия горизонтального масштабирования данных, при которой части коллекций MongoDB размещаются на разных хостах кластера. Шард (набор хостов) связывается с набором данных с помощью ключа шардирования. MongoDB поддерживает шардирование для работы с большими объемами данных и для увеличения пропускной способности СУБД. Шардирование особенно полезно, когда вертикальное масштабирование (увеличение мощности сервера) нерентабельно или невозможно.

Managed Service for MongoDB поддерживает основные стратегии шардирования данных:

по хэшу (ключ шардирования на базе хэша);
по диапазону значений (ranged sharding).

Более подробно шардирование баз MongoDB рассмотрено в документации MongoDB.

Преимущества шардирования

Шардирование помогает распределить нагрузку по хостам базы данных и обычно используется в следующих случаях:

Ожидаются высокая частота запросов к базе данных и быстрый рост количества данных.
Приложение требует все больше и больше ресурсов, но решение с кластером реплик больше не может быть отмасштабировано с использованием вертикальной стратегии (путем наращивания вычислительной мощности хостов кластера: дисков, памяти и процессоров).

Горизонтальное масштабирование подразумевает распределение набора данных и нагрузки по нескольким узлам, также сервера могут добавляться для увеличения дисковой емкости. Емкость одной машины или ее скорость могут быть невысокими, но в горизонтально масштабируемом кластере каждая машина обрабатывает лишь часть общей нагрузки и хранит лишь часть общих данных. Это делает систему потенциально эффективнее, чем единственный сервер с большой емкостью и быстрыми дисками.

Шардирование может помочь:

Преодолеть технические ограничения.

Потребность работать с большими наборами данных может привести к тому, что инфраструктура хранения данных упрется в предел возможностей оборудования, доступного на рынке (например, IOPS дисковой подсистемы).

Если приложения работают близко к лимитам производительности, имеет смысл разбить информацию на шарды и распределить операции чтения.
Создавать геораспределенные системы.

Распределение шардов кластера по различным регионам может помочь:
- улучшить доступность для региональных пользователей;
- соблюсти местные законы, например, требование о хранении данных на территории определенной страны или региона.
Повысить отказоустойчивость.

Шардирование позволяет изолировать отказы отдельных хостов или наборов реплик. Без шардирования потеря отдельного хоста приводит к потере доступа ко всему набору данных, которые он содержит. А отказ, например, одного шарда из пяти оставляет доступными 80% данных коллекции.

Чтобы уменьшить риск отключения целого шарда, шарды рекомендуется настраивать как наборы трех реплик. Распределение хостов одного шарда по различным зонам доступности Yandex.Cloud позволяет увеличить доступность данных.
Повысить скорость выполнения запросов.

Скорость запросов может снижаться из-за того, что они конкурируют за ресурсы, обычно при росте количества операций чтения или затрат процессорного времени на их обработку.

В шардированном кластере, где шарды исполняют запросы к одной и той же коллекции параллельно, устраняется конкуренция за общие ресурсы (процессор, дисковая подсистема), что позволяет сократить время обработки запроса.

Использование шардирования

Чтобы распределить данные по шардам:

Включите шардирование на уровне кластера Managed Service for MongoDB.
Добавьте нужное количество шардов.
Включите шардирование для нужных коллекций.

См. также пример шардирования.

Особенности управления шардированием в Managed Service for MongoDB

Managed Service for MongoDB управляет шардами следующим образом:

Из-за ограниченных ресурсов кластер с хостами классов b1.nano, b1.micro, b1.medium, b2.nano, b2.micro и b2.medium не шардируется.
Кластер создается нешардированным.
За управление шардированием в Managed Service for MongoDB отвечают хосты c ролями MONGOS (маршрутизация запросов пользователей) и MONGOCFG (хранение конфигурации шардов).
В Managed Service for MongoDB можно включить шардирование двух типов:
- Стандартное — экономичный тип шардирования для кластеров, в которых нет особых требований к хостам, управляющим шардированием.
  
  В кластер будут добавлены хосты MONGOINFRA, сочетающие в себе роли MONGOS и MONGOCFG. Минимальное количество таких хостов — три.
- Расширенное — гибкий тип шардирования для кластеров, в которых требуется определенное количество хостов каждой роли.
  
  В кластер будут добавлены выделенные сервера MONGOS и MONGOCFG. Минимальное количество хостов MONGOS — два, хостов MONGOCFG — три.
В кластере с включенным шардированием:
- Все запросы к Managed Service for MongoDB должны направляться к хостам MONGOS или MONGOINFRA вместо MONGOD.
- Нельзя отключить шардирование или полностью удалить хосты, которые поддерживают работу шардирования: в кластере всегда будет поддерживаться минимальное количество хостов MONGOS и MONGOCFG или MONGOINFRA.