О сервисе DataSphere
Yandex DataSphere — среда для ML-разработки полного цикла, которая сочетает в себе привычные IDE, технологию бессерверных вычислений и возможность бесшовного использования разных конфигураций вычислительных ресурсов Yandex Cloud. Yandex DataSphere является частью платформы данных и предоставляет широкие возможности для простого взаимодействия с сервисами Yandex Cloud.
DataSphere помогает значительно сократить стоимость машинного обучения по сравнению с выполнением вычислений на собственном оборудовании или на других облачных платформах за счет автоматического обслуживания вычислительных ресурсов.
В DataSphere вы можете не только проводить вычисления и обучать модели, но и запускать обученные модели в эксплуатацию.
Преимущества сервиса
Среда разработки, готовая к использованию
Вам не нужно тратить время на создание и обслуживание виртуальных машин — при создании нового проекта автоматически выделяются вычислительные ресурсы для решения ваших задач.
На виртуальной машине уже установлена среда разработки JupyterLab и пакеты для анализа данных и машинного обучения (TensorFlow, Keras, NumPy и другие) — вы можете сразу начать их использовать. Полный список предустановленных пакетов.
Если какого-то пакета вам не хватает, вы можете установить его прямо из ноутбука.
Автоматическое обслуживание вычислительных ресурсов
Сервис автоматически управляет выделением ресурсов. Если вы не будете производить вычисления, сервис не будет выделять ресурсы.
Сохранение состояния при завершении работы
Вам не нужно все время держать открытой вкладку с ноутбуком: запущенные вычисления продолжатся, даже если вы закроете проект, а состояние интерпретатора, все переменные и результаты вычислений сохранятся. Вы сможете продолжить работу, когда снова откроете проект.
Гибкий выбор вычислительных ресурсов
Выбирайте необходимые вычислительные ресурсы под конкретные части кода. При изменении конфигурации все переменные и состояние интерпретатора будут перенесены на новую виртуальную машину.
Что нового в новом интерфейсе DataSphere
Организации и иерархия ресурсов
DataSphere больше не ограничивается одним облаком, а позволяет работать в едином пространстве всем участникам организации под управлением сервиса Yandex Cloud Organization. Создаваемые ресурсы зависят от проектов, но не ограничены только ими. Подробнее о взаимосвязи ресурсов DataSphere см. в разделе Взаимосвязь ресурсов в DataSphere.
Совместная работа и управление расходами
Для совместной работы над проектами и гибким управлением расходами в DataSphere появились сообщества. К каждому сообществу можно привязать отдельный платежный аккаунт Yandex Cloud, чтобы разделить финансы команд. При этом сообщества не изолируют команды друг от друга и позволяют делиться проектами и созданными ресурсами.
Управление доступами и видимостью ресурсов осуществляется с помощью новых ролей. Подробнее о ролях см. Управление доступом в DataSphere.
Новые типы ресурсов
Данные для подключения к любому объектному хранилищу больше не нужно каждый раз вводить заново. Для хранения всех сведений появился ресурс Коннектор S3, который позволяет подключать и отключать бакет прямо в интерфейсе DataSphere.
Контрольные точки, хранящие состояние интерпретатора и значения переменных, также стали новым типом ресурсов. Вы можете использовать их для создания нод и делиться ими в сообществах и по прямой ссылке.
Бесшовная эксплуатация работающих сервисов
Новые ресурсы значительно расширили инструменты для развертывания и эксплуатации сервисов.
Алиасы позволяют балансировать нагрузку между несколькими работающими нодами, и публиковать новые версии без необходимости останавливать работающий сервис. Создать алиас можно в интерфейсе DataSphere.
Ноды теперь можно создавать не только из ячеек с кодом на Python, но и из готовых Docker-образов, собранных вне DataSphere. На странице нод в интерфейсе DataSphere можно следить за графиками мониторингов и логами работы развернутых инстансов. Там же можно изменить конфигурацию вычислительных ресурсов и отправить тестовые запросы к API развернутого сервиса.
Список инструкции для работы с нодами и алисами.