Как начать работать с DataSphere
DataSphere — сервис, который упрощает использование среды разработки JupyterLab на вычислительных мощностях Yandex Cloud. Это позволит вам производить сложные вычисления, например обучение нейронных сетей или анализ больших данных, используя привычный интерфейс Jupyter Notebook.
В этом разделе вы научитесь:
- Создавать проекты, в которых вы будете работать в среде JupyterLab.
- Устанавливать пакеты, которые нужны для работы.
- Управлять вычислительными ресурсами, изменяя конфигурацию вычислительных ресурсов.
Перед началом работы
- Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.
- На странице биллинга убедитесь, что у вас подключен платежный аккаунт и он находится в статусе
ACTIVE
илиTRIAL_ACTIVE
. Если платежного аккаунта нет, создайте его.
Назначьте роли для работы с DataSphere
В консоли управления на странице Управление доступом убедитесь, что у вас есть необходимые роли:
-
Чтобы работать с уже существующими проектами, вам нужна роль
datasphere.user
или выше. -
Чтобы создавать, редактировать и удалять проекты, необходима роль
datasphere.admin
или выше.
Подробнее об управлении доступом.
Создайте проект
Чтобы создать проект:
- В консоли управления откройте раздел DataSphere в каталоге, в котором вы хотите создать проект.
- Перейдите во вкладку Проекты.
- Нажмите кнопку Создать проект.
- Введите Имя проекта.
- (опционально) Введите Описание проекта.
- (опционально) Задайте Дополнительные настройки:
-
Выберите Сервисный аккаунт или создайте новый.
-
Выберите Подсеть.
Чтобы ваш проект мог использовать ресурсы в интернете, включите NAT для выбранной подсети.Примечание
Если вы указали подсеть в настройках проекта, время выделения вычислительных ресурсов может быть увеличено.
-
Выберите Кластер Data Proc.
Кластер должен находиться в той же сети, что и ваш проект.
-
- Нажмите Создать.
Чтобы начать работать в JupyterLab, откройте созданный проект:
- Нажмите на строку необходимого проекта.
Или:
-
Нажмите значок напротив проекта.
-
Выберите Открыть.
Примечание
Запуск проекта занимает от 1 до 3 минут.
Установите зависимости
Популярные пакеты для анализа данных и машинного обучения уже предустановлены и готовы к использованию, см. список.
Вы можете установить недостающие пакеты с помощью пакетного менеджера pip.
Чтобы установить пакет:
-
Напишите в ячейке ноутбука команду:
%pip install <Имя пакета>
Например, установите пакет seaborn для визуализации статистических данных:
%pip install seaborn
Вы можете использовать различные опции, которые поддерживает команда pip install. См. примеры использования этой команды.
-
Выполните ячейку. Для этого нажмите значок .
Результат установки пакета отобразится под ячейкой.
Увеличьте вычислительные ресурсы для ячейки
По умолчанию проект запускается с минимальной конфигурацией c1.4
(32 ГБ RAM и 4 vCPU). Вы можете изменить конфигурацию. При этом сохранится состояние интерпретатора, все переменные и результаты вычислений.
Примечание
Некоторые переменные не сериализуются и поэтому не могут сохраниться. Например, переменная с файлом, открытым на запись: f = open("file.txt", "w")
.
Для таких переменных в момент выполнения присваивания будет показано предупреждение: The following variables cannot be serialized:
.
Измените конфигурацию с помощью префикса
Увеличьте вычислительные ресурсы для ячейки до конфигурации c1.8:
- Выберите ячейку, для которой необходимо изменить конфигурацию.
- На первой строке ячейки допишите префикс конфигурации
#!c1.8
(8 vCPU, 0 GPU).
Если вы хотите вернуть конфигурацию по умолчанию, удалите префикс или измените его на #!c1.4
.
Измените конфигурацию через интерфейс
Увеличьте вычислительные ресурсы для ячейки через интерфейс:
- Нажмите кнопку с названием конфигурации в меню на вкладке ноутбука.
- Выберите необходимую конфигурацию.
- Дождитесь, когда на панели ноутбука появится статус <Префикс конфигурации> instance is ready.
Обратитесь в поддержку из сервиса
Чтобы обратиться в службу технической поддержки из сервиса:
-
Нажмите значок
в правом нижнем углу окна ноутбука или в меню Help выберите пункт Report a bug.
-
В открывшемся окне подробно опишите проблему, заполнив поля Bug и Give us more detail.
-
Нажмите кнопку Report a bug.
На ваш почтовый ящик придет письмо с номером обращения.
Следить за состоянием запроса можно через мобильное приложение Yandex Cloud для iOS или Android, а также в разделе Поддержка в консоли управления.