Вторичные индексы

В YDB автоматически создается индекс по первичному ключу, поэтому выборки с условием по первичному ключу всегда выполняются эффективно, затрагивая только требуемые строки. Выборка с условием, наложенным на одну или несколько неключевых колонок, как правило, приводит к полному сканированию таблицы. Для того чтобы такие выборки были эффективными, нужно использовать вторичные индексы.

В текущей версии YDB реализован глобальный вторичный индекс. Каждый индекс представляет собой скрытую таблицу, которая обновляется транзакционно при изменении основной таблицы. Когда пользователь присылает SQL-запрос на вставку, изменение или удаление данных, БД прозрачно для пользователя формирует команды на изменение индексной таблицы на стадии компиляции запроса. У таблицы может быть несколько вторичных индексов. Индекс может включать несколько колонок, при этом важен порядок указания колонок в индексе. Одна колонка может состоять в нескольких индексах, а также быть одновременно частью первичного ключа и вторичного индекса.

Онлайн-создание вторичного индекса

В YDB доступно создание вторичного индекса, а так же удаление существующего вторичного индекса без остановки обслуживания. Для одной таблицы можно создать только один индекс за раз.

Операция онлайн-создания индекса состоит из следующих шагов:

1. Взятие снапшота таблицы с данными, создание таблицы индекса с пометкой доступности для записи.

   После этого шага пишущие транзакции становятся распределенными, происходит запись в основную таблицу и индекс. Для пользователя индекс пока не доступен.

2. Чтение снапшота основной таблицы и запись в индекс.

   Реализуется «запись в прошлое»: разрешаются ситуации, когда обновления данных на шаге 1 меняют данные, записанные на шаге 2.

3. Публикация результата, удаление снапшота.

   Индекс готов к использованию.

Возможные влияния на пользовательские транзакции:

• Может наблюдаться увеличение задержек из-за того, что транзакции становятся распределенными.
• Возможен повышенный фон ошибок OVERLOADED из-за того, что во время записи данных активно работает автоматическое разделение шардов индексной таблицы.

Скорость записи данных выбрана таким образом, чтобы минимизировать влияние процесса записи на пользовательские транзакции. Для быстрого завершения операции рекомендуется запускать онлайн-создание вторичного индекса во время минимальной пользовательской нагрузки.

Создание индекса — асинхронная операция. Если после запуска операции произойдет разрыв клиент-серверной связности, то построение индекса будет продолжено. Управлять асинхронной операцией можно через YDB CLI.

Особенности и ограничения

Для одношардовой таблицы без индекса можно выполнить транзакции чтения и слепой записи без стадии планирования, и за счет этого существенно сократить задержки. Для записи в таблицу с индексом такая оптимизация невозможна, так как необходимо обеспечивать согласованность данных. Это ограничение позволяет производить быстрое чтение без полного сканирования. Подробнее читайте в разделе Транзакции и запросы к YDB.

При использовании вторичных индексов UPSERT в таблицу со вторичным индексом перестает быть слепым. Из-за этого возникает ограничение на один UPSERT в транзакции над таблицей.

Примеры работы с вторичным индексом

Создать вторичный индекс

ydb \
  --endpoint ydb.serverless.yandexcloud.net:2135 \
  --database /ru-central1/b1g4ej5ju4rf5kelpk4b/etn01lrprvnlnhv8v5kj \
  table index add global \
  --index-name title_index \
  --columns title \
  series

┌────────────────────────────────────────┬───────┬────────┐
| id                                     | ready | status |
├────────────────────────────────────────┼───────┼────────┤
| ydb://buildindex/7?id=1407375091598308 | false |        |
└────────────────────────────────────────┴───────┴────────┘

ALTER TABLE `series` ADD INDEX `title_index` GLOBAL ON (`title`);

Посмотреть прогресс построения индекса

ydb \
  --endpoint ydb.serverless.yandexcloud.net:2135 \
  --database /ru-central1/b1g4ej5ju4rf5kelpk4b/etn01lrprvnlnhv8v5kj \
  operation get ydb://buildindex/7?id=1407375091598308

┌────────────────────────────────────────┬───────┬─────────┬───────┬──────────┬───────────────────────────────────────────────────────────────┬─────────────┐
| id                                     | ready | status  | state | progress | table                                                         | index       |
├────────────────────────────────────────┼───────┼─────────┼───────┼──────────┼───────────────────────────────────────────────────────────────┼─────────────┤
| ydb://buildindex/7?id=1407375091598308 | true  | SUCCESS | Done  | 100.00%  | /ru-central1/b1g4ej5ju4rf5kelpk4b/etn01lrprvnlnhv8v5kj/series | title_index |
└────────────────────────────────────────┴───────┴─────────┴───────┴──────────┴───────────────────────────────────────────────────────────────┴─────────────┘

Отменить операцию построения индекса

ydb \
  --endpoint ydb.serverless.yandexcloud.net:2135 \
  --database /ru-central1/b1g4ej5ju4rf5kelpk4b/etn01lrprvnlnhv8v5kj \
  operation cancel ydb://buildindex/7?id=1407375091598308

Удалить завершенную или отмененную операцию из базы

ydb \
  --endpoint ydb.serverless.yandexcloud.net:2135 \
  --database /ru-central1/b1g4ej5ju4rf5kelpk4b/etn01lrprvnlnhv8v5kj \
  operation forget ydb://buildindex/7?id=1407375091598308

Удалить индекс

  --endpoint ydb.serverless.yandexcloud.net:2135 \
  --database /ru-central1/b1g4ej5ju4rf5kelpk4b/etn01lrprvnlnhv8v5kj \
  table index drop \
  --index-name title_index \
  series

ALTER TABLE `series` DROP INDEX `title_index`;

Что дальше

Другие примеры работы с вторичными индексами смотрите в документации.