Эксплуатация моделей

DataSphere предоставляет инструменты для релиза сервисов, доступных для сторонних ресурсов. Вы можете развернуть для эксплуатации не только модель, обученную в DataSphere, но и создать при помощи тех же инструментов полноценный работающий сервис на базе Docker-образа.

Для публикации сервиса DataSphere предоставляет специальные ресурсы — ноды и алиасы.

Ноды

Нода — это изолированная в собственном контуре группа специально созданных виртуальных машин (инстансов), между которыми распределяется вычислительная нагрузка. Инстансы ноды создаются с заранее определенным окружением и зафиксированным состоянием интерпретатора. В зависимости от потребностей вы можете выбрать различные конфигурации инстансов.

Обращение к нодам происходит по API. Запросы API могут менять состояние интерпретатора ноды. Для возврата первоначального состояния потребуется пересоздать всю ноду.

Для создания ноды укажите каталог облака вашей организации, в котором нода будет разворачивать инстансы и хранить логи. В каталоге необходимо настроить подсеть с доступом в интернет с помощью NAT-шлюза и создать сервисный аккаунт с ролью vpc.user. Укажите этот сервисный аккаунт в настройках проекта DataSphere.

Нода из контрольной точки

Ноды из контрольной точки подойдут для тестирования и проверки гипотез. Чтобы создать ноду, необходимо закрепить контрольную точку ячейки, в которой определены входные и выходные параметры вашего будущего микросервиса: на основе этой информации DataSphere автоматически сгенерирует gRPC и REST API.

По умолчанию инстансы ноды используют стандартные системные Docker-образы и не копируют установленные пользователем библиотеки. Если для работы вашего микросервиса необходимы пакеты, которые не входят в список предустановленного ПО, настройте Docker-образ для развертывания окружения ноды.

Нода из произвольного Docker-образа

Ноды, развернутые из Docker-образа, размещенного в реестре контейнеров, будут полноценным рабочим сервисом. Docker-образ не обязательно должен содержать модель, обученную в DataSphere — вы можете создать любой образ и разместить его в удобном для вас реестре. О том, как загрузить Docker-образ в реестр Yandex Container Registry, см. Загрузить Docker-образ в реестр.

При создании ноды из Docker-образа вы сами определяете API создаваемой ноды, порт, который ваш сервис будет использовать, время соединения, формат собираемых метрик и другие параметры. После создания ноды DataSphere будет следить за ее состоянием, поддерживать работу инстансов и, при необходимости, масштабировать ноду в пределах заданного диапазона инстансов.

Статусы ноды

Нода DataSphere может находиться в одном из статусов:

• Healthy — количество инстансов со статусом Healthy в ноде равно минимальному числу требующихся инстансов;
• Unhealthy — количество инстансов со статусом Healthy в ноде меньше минимально допустимого;
• Created — нода только что создана;
• Deleting — нода в процессе удаления.

Статусы инстанса

Инстансы ноды могут иметь один из следующих статусов:

• Healthy – инстанс здоров и доступен для балансировки;
• Unhealthy – с инстансом возникли проблемы, он исключен из балансировки;
• Created – для инстанса создана ВМ;
• Started – с ВМ инстанса установлена связь;
• Preparing – инстанс подготавливается к обслуживанию запросов;
• Deleting – инстанс находится в процессе удаления;
• Undefinied – начальное состояние инстанса, ВМ еще не создана.

Алиас

Алиас — специальный ресурс для публикации и обновления сервиса, который позволяет незаметно для пользователей заменять ноды и обновлять развернутый сервис во время работы.

Создайте алиас и используйте его в качестве эндпоинта сервиса. Вы можете изменять связанные с ним ноды, балансировать нагрузку между ними и убирать устаревшие версии Docker-образа незаметно для пользователя.

См. также

• Создать ноду.
• Создать алиас.