Развертывание эксплуатации моделей
С помощью DataSphere вы можете развернуть в качестве микросервисов свои обученные модели и предоставить к ним доступ для сторонних ресурсов.
Модели развертываются на инстансах — виртуальных машинах, на которых будет зафиксировано состояние интерпретатора и код модели.
Для балансировки нагрузки инстансы объединяются в ноды — изолированные в собственном контуре группы виртуальных машин. Для доступа к ноде используется API.
Ноды из ячеек с кодом на Python
Для создания ноды из ячейки с кодом на Python необходимо сохранить контрольную точку с нужным состоянием интерпретатора. API будет сгенерирован автоматически на основе переменных, отмеченных при создании ноды.
Запросы API могут менять состояние интерпретатора ноды. Вернуть первоначальное состояние невозможно без пересоздания всей ноды.
Подробнее о создании ноды из ячейки с кодом на Python читайте на странице Создание ноды из ячейки с кодом на Python.
По умолчанию инстансы используют стандартные системные Docker-образы и не копируют установленные пользователем библиотеки. Если для работы вашего микросервиса необходимы пакеты, которые не входят в список предустановленного ПО, настройте Docker-образ для развертывания окружения ноды.
Статусы ноды и ее инстансов
Инстансы ноды могут иметь один из следующих статусов:
HEALTHY
– инстанс здоров и доступен для балансировки;UNHEALTHY
– с инстансом возникли проблемы, он исключён из балансировки;CREATED
– для инстанса создана ВМ;STARTED
– с ВМ инстанса установлена связь;PREPARING
– инстанс подготавливается к обслуживанию запросов;DELETING
– инстанс находится в процессе удаления;UNDEFINED
– начальное состояние инстанса, ВМ ещё не создана.
Нода DataSphere может находиться в одном из статусов:
HEALTHY
— количество ВМ со статусомHEALTHY
в ноде равно минимальному числу требующихся ВМ;UNHEALTHY
— количество ВМ со статусомHEALTHY
в ноде меньше минимально допустимого;CREATED
— нода только что создана;DELETING
— нода в процессе удаления.