Шардирование

Шардирование — стратегия горизонтального масштабирования данных, при которой части коллекций MongoDB размещаются на разных хостах кластера. Шард (набор хостов) связывается с набором данных с помощью ключа шардирования. MongoDB поддерживает шардирование для работы с большими объемами данных и для увеличения пропускной способности СУБД. Шардирование особенно полезно, когда вертикальное масштабирование (увеличение мощности сервера) нерентабельно или невозможно.

Managed Service for MongoDB поддерживает основные стратегии шардирования данных:

• по хэшу (ключ шардирования на базе хэша);
• по диапазону значений (ranged sharding).

Более подробно шардирование баз MongoDB рассмотрено в документации MongoDB.

Преимущества шардирования

Шардирование помогает распределить нагрузку по хостам базы данных и обычно используется в следующих случаях:

• Ожидаются высокая частота запросов к базе данных и быстрый рост количества данных.
• Приложение требует все больше и больше ресурсов, но решение с кластером реплик больше не может быть отмасштабировано с использованием вертикальной стратегии (путем наращивания вычислительной мощности хостов кластера: дисков, памяти и процессоров).

Горизонтальное масштабирование подразумевает распределение набора данных и нагрузки по нескольким узлам, также сервера могут добавляться для увеличения дисковой емкости. Емкость одной машины или ее скорость могут быть невысокими, но в горизонтально масштабируемом кластере каждая машина обрабатывает лишь часть общей нагрузки и хранит лишь часть общих данных. Это делает систему потенциально эффективнее, чем единственный сервер с большой емкостью и быстрыми дисками.

Шардирование может помочь:

• Преодолеть технические ограничения.

  Потребность работать с большими наборами данных может привести к тому, что инфраструктура хранения данных упрется в предел возможностей оборудования, доступного на рынке (например, IOPS дисковой подсистемы).

  Если приложения работают близко к лимитам производительности, имеет смысл разбить информацию на шарды и распределить операции чтения.

• Создавать геораспределенные системы.

  Распределение шардов кластера по различным регионам может помочь:

  • улучшить доступность для региональных пользователей;
  • соблюсти местные законы, например, требование о хранении данных на территории определенной страны или региона.

• Повысить отказоустойчивость.

  Шардирование позволяет изолировать отказы отдельных хостов или наборов реплик. Без шардирования потеря отдельного хоста приводит к потере доступа ко всему набору данных, которые он содержит. А отказ, например, одного шарда из пяти оставляет доступными 80% данных коллекции.

  Чтобы уменьшить риск отключения целого шарда, шарды рекомендуется настраивать как наборы трех реплик. Распределение хостов одного шарда по различным зонам доступности Yandex.Cloud позволяет увеличить доступность данных.

• Повысить скорость выполнения запросов.

  Скорость запросов может снижаться из-за того, что они конкурируют за ресурсы, обычно при росте количества операций чтения или затрат процессорного времени на их обработку.

  В шардированном кластере, где шарды исполняют запросы к одной и той же коллекции параллельно, устраняется конкуренция за общие ресурсы (процессор, дисковая подсистема), что позволяет сократить время обработки запроса.

Использование шардирования

Чтобы распределить данные по шардам:

1. Включите шардирование на уровне кластера Managed Service for MongoDB.
2. Добавьте нужное количество шардов.
3. Включите шардирование для нужных коллекций.

См. также пример шардирования.

Особенности управления шардированием в Managed Service for MongoDB

Managed Service for MongoDB управляет шардами следующим образом:

• Из-за ограниченных ресурсов кластер с хостами классов b1.nano, b1.micro, b1.medium, b2.nano, b2.micro и b2.medium не шардируется.

• Кластер создается нешардированным.

• За управление шардированием в Managed Service for MongoDB отвечают хосты c ролями MONGOS (маршрутизация запросов пользователей) и MONGOCFG (хранение конфигурации шардов).

• В Managed Service for MongoDB можно включить шардирование двух типов:

  • Стандартное — экономичный тип шардирования для кластеров, в которых нет особых требований к хостам, управляющим шардированием.

    В кластер будут добавлены хосты MONGOINFRA, сочетающие в себе роли MONGOS и MONGOCFG. Минимальное количество таких хостов — три.

  • Расширенное — гибкий тип шардирования для кластеров, в которых требуется определенное количество хостов каждой роли.

    В кластер будут добавлены выделенные сервера MONGOS и MONGOCFG. Минимальное количество хостов MONGOS — два, хостов MONGOCFG — три.

• В кластере с включенным шардированием:

  • Все запросы к Managed Service for MongoDB должны направляться к хостам MONGOS или MONGOINFRA вместо MONGOD.
  • Нельзя отключить шардирование или полностью удалить хосты, которые поддерживают работу шардирования: в кластере всегда будет поддерживаться минимальное количество хостов MONGOS и MONGOCFG или MONGOINFRA.