Как начать работать с DataSphere

DataSphere — сервис, который упрощает использование среды разработки JupyterLab на вычислительных мощностях Yandex.Cloud. Это позволит вам производить сложные вычисления, например обучение нейронных сетей или анализ больших данных, используя привычный интерфейс Jupyter Notebook.

В этом разделе вы научитесь:

1. Создавать проекты, в которых вы будете работать в среде JupyterLab.
2. Устанавливать пакеты, которые нужны для работы.
3. Управлять вычислительными ресурсами, изменяя конфигурацию вычислительных ресурсов.

Перед началом работы

1. Перейдите в консоль управления, затем войдите в Yandex.Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.
2. На странице биллинга убедитесь, что у вас подключен платежный аккаунт и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его.

Назначьте роли для работы с DataSphere

В консоли управления на странице Управление доступом убедитесь, что у вас есть необходимые роли:

• Чтобы работать с уже существующими проектами, вам нужна роль datasphere.user или выше.

• Чтобы создавать, редактировать и удалять проекты, необходима роль datasphere.admin или выше.

Подробнее об управлении доступом.

Создайте проект

Чтобы создать проект:

1. В консоли управления откройте раздел DataSphere в каталоге, в котором вы хотите создать проект.
2. Перейдите во вкладку Проекты.
3. Нажмите кнопку Создать проект.
4. Введите Имя проекта.
5. (опционально) Введите Описание проекта.
6. (опционально) Задайте Дополнительные настройки:

   • Выберите Сервисный аккаунт или создайте новый.

   • Выберите Подсеть.
     Чтобы ваш проект мог использовать ресурсы в интернете, включите NAT для выбранной подсети.

     Примечание

     Если вы указали подсеть в настройках проекта, время выделения вычислительных ресурсов может быть увеличено.

   • Выберите Кластер Data Proc.
     Кластер должен находиться в той же сети, что и ваш проект.

7. Нажмите Создать.

Чтобы начать работать в JupyterLab, откройте созданный проект:

1. Нажмите на строку необходимого проекта.

Или:

1. Нажмите значок напротив проекта.

2. Выберите Открыть.

   Примечание

   Запуск проекта занимает от 1 до 3 минут.

Установите зависимости

Популярные пакеты для анализа данных и машинного обучения уже предустановлены и готовы к использованию, см. список.

Вы можете установить недостающие пакеты с помощью пакетного менеджера pip.

Чтобы установить пакет:

1. Напишите в ячейке ноутбука команду:

   %pip install <Имя пакета>
   

   Например, установите пакет seaborn для визуализации статистических данных:

   %pip install seaborn
   

   Вы можете использовать различные опции, которые поддерживает команда pip install. См. примеры использования этой команды.

2. Выполните ячейку. Для этого нажмите значок .

   Результат установки пакета отобразится под ячейкой.

Увеличьте вычислительные ресурсы для ячейки

По умолчанию проект запускается с минимальной конфигурацией c1.4 (32 ГБ RAM и 4 vCPU). Вы можете изменить конфигурацию. При этом сохранится состояние интерпретатора, все переменные и результаты вычислений.

Измените конфигурацию с помощью префикса

Увеличьте вычислительные ресурсы для ячейки до конфигурации g1.1 с помощью префикса:

1. Выберите ячейку, для которой необходимо изменить конфигурацию.
2. На первой строке ячейки допишите префикс конфигурации #!g1.1 (8 vCPU, 1 GPU).

Если вы хотите вернуть конфигурацию по умолчанию, удалите префикс или измените его на #!c1.4.

Измените конфигурацию через интерфейс

Увеличьте вычислительные ресурсы для ячейки через интерфейс:

1. Нажмите кнопку с названием конфигурации в меню на вкладке ноутбука.
2. Выберите необходимую конфигурацию.
3. Дождитесь, когда на панели ноутбука появится статус <Префикс конфигурации> instance is ready.

Обратитесь в поддержку из сервиса

Чтобы обратиться в службу технической поддержки из сервиса:

1. Нажмите значок в правом нижнем углу окна ноутбука или в меню Help выберите пункт Report a bug.

2. В открывшемся окне подробно опишите проблему, заполнив поля Bug и Give us more detail.

3. Нажмите кнопку Report a bug.
   На ваш почтовый ящик придет письмо с номером обращения.

Следить за состоянием запроса можно через мобильное приложение Yandex.Cloud для iOS или Android, а также в разделе Поддержка в консоли управления.

Что дальше

• Узнайте об особенностях сервиса.
• Поделитесь ссылкой на ноутбук со всеми результатами.
• Посмотрите другие инструкции по работе с сервисом.