Эксплуатация моделей

С помощью DataSphere вы можете развернуть в качестве микросервисов свои обученные модели и предоставить к ним доступ для сторонних ресурсов.

Модели развертываются на инстансах — виртуальных машинах, на которых будет зафиксировано состояние интерпретатора и код модели.

Для балансировки нагрузки инстансы объединяются в ноды — изолированные в собственном контуре группы виртуальных машин. Для доступа к ноде используется API.

Обновление опубликованных сервисов происходит с помощью алиасов — ресурсов специального типа, которые позволяют заменять ноды незаметно для пользователей развернутого сервиса и балансировать нагрузку между ними.

Ноды из ячеек с кодом на Python

Для создания ноды из ячейки с кодом на Python необходимо сохранить контрольную точку с нужным состоянием интерпретатора. API будет сгенерирован автоматически на основе переменных, отмеченных при создании ноды.

Запросы API могут менять состояние интерпретатора ноды. Вернуть первоначальное состояние невозможно без пересоздания всей ноды.

Запросы и ответы API ноды не могут быть больше 16 МБ.

Подробнее о создании ноды из ячейки с кодом на Python читайте на странице Создать ноду.

По умолчанию инстансы используют стандартные системные Docker-образы и не копируют установленные пользователем библиотеки. Если для работы вашего микросервиса необходимы пакеты, которые не входят в список предустановленного ПО, настройте Docker-образ для развертывания окружения ноды.

Статусы ноды и ее инстансов

Инстансы ноды могут иметь один из следующих статусов:

• Healthy – инстанс здоров и доступен для балансировки;
• Unhealthy – с инстансом возникли проблемы, он исключён из балансировки;
• Created – для инстанса создана ВМ;
• Started – с ВМ инстанса установлена связь;
• Preparing – инстанс подготавливается к обслуживанию запросов;
• Deleting – инстанс находится в процессе удаления;
• Undefinied – начальное состояние инстанса, ВМ ещё не создана.

Нода DataSphere может находиться в одном из статусов:

• Healthy — количество ВМ со статусом Healthy в ноде равно минимальному числу требующихся ВМ;
• Unhealthy — количество ВМ со статусом Healthy в ноде меньше минимально допустимого;
• Created — нода только что создана;
• Deleting — нода в процессе удаления.