Развертывание эксплуатации моделей
С помощью DataSphere вы можете развернуть в качестве микросервисов свои обученные модели и предоставить к ним доступ для сторонних ресурсов.
Модели развертываются на инстансах — виртуальных машинах, на которых будет зафиксировано состояние интерпретатора и код модели.
Для балансировки нагрузки инстансы объединяются в ноды — изолированные в собственном контуре группы виртуальных машин. Для доступа к ноде используется API.
Ноды из ячеек с кодом на Python
Для создания ноды из ячейки с кодом на Python необходимо сохранить контрольную точку с нужным состоянием интерпретатора. API будет сгенерирован автоматически на основе переменных, отмеченных при создании ноды.
Запросы API могут менять состояние интерпретатора ноды. Вернуть первоначальное состояние невозможно без пересоздания всей ноды.
Подробнее о создании ноды из ячейки с кодом на Python читайте на странице Создание ноды из ячейки с кодом на Python.
По умолчанию инстансы используют стандартные системные Docker-образы и не копируют установленные пользователем библиотеки. Если для работы вашего микросервиса необходимы пакеты, которые не входят в список предустановленного ПО, настройте Docker-образ для развертывания окружения ноды.
Статусы ноды и ее инстансов
Инстансы ноды могут иметь один из следующих статусов:
HEALTHY– инстанс здоров и доступен для балансировки;UNHEALTHY– с инстансом возникли проблемы, он исключён из балансировки;CREATED– для инстанса создана ВМ;STARTED– с ВМ инстанса установлена связь;PREPARING– инстанс подготавливается к обслуживанию запросов;DELETING– инстанс находится в процессе удаления;UNDEFINED– начальное состояние инстанса, ВМ ещё не создана.
Нода DataSphere может находиться в одном из статусов:
HEALTHY— количество ВМ со статусомHEALTHYв ноде равно минимальному числу требующихся ВМ;UNHEALTHY— количество ВМ со статусомHEALTHYв ноде меньше минимально допустимого;CREATED— нода только что создана;DELETING— нода в процессе удаления.