Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex DataSphere
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Управление проектом
      • Создание проекта
      • Выбор версии Python
      • Установка зависимостей
      • Управление вычислительными ресурсами
      • Настроить ограничения вычислений для проекта
      • Настроить ограничения вычислений для каталога
      • Изменение размера хранилища проекта
      • Изменение имени или описания
      • Удаление ноутбука или проекта
    • Поделиться ноутбуком
      • Публикация ноутбука
      • Экспорт проекта
    • Работа с ноутбуком
      • Запуск примеров кода в ноутбуке
      • Версионирование. Работа с контрольными точками
      • Очистка состояния интерпретатора
      • Работа с Git
    • Управление Docker‑образами
      • Docker-образ для проекта
      • Docker-образ в ячейке
    • Подключение к источникам данных
      • Подключение к базе данных ClickHouse
      • Подключение к базе данных PostgreSQL
      • Подключение к хранилищу S3
      • Подключение к Яндекс Диску
      • Подключение к Google Drive
    • Настройка интеграции с Data Proc
    • Работа с приватными данными
      • Создание секрета
      • Вызов секрета
      • Изменение секрета
      • Копирование секрета
      • Удаление секрета
    • Запуск распределенного обучения
    • Развертывание эксплуатации моделей
      • Создание ноды из ячейки с кодом на Python
      • Настройка окружения ноды
      • Запросы в ноды
      • Удаление ноды
  • Концепции
    • Обзор
    • Проект
    • Список предустановленного ПО
    • Доступные команды
    • Служебные команды #pragma
    • Конфигурации вычислительных ресурсов
    • Интеграция с системами контроля версий и данных
    • Сохранение состояния
    • Интеграция с Data Proc
    • Фоновые операции
    • Датасеты
    • Хранение приватных данных
    • Развертывание эксплуатации моделей
    • Использование TensorBoard в DataSphere
    • Распределенное обучение
    • Управление расходами
    • Квоты и лимиты
  • Ранний доступ
    • Обзор
    • Специальные фоновые операции
  • Практические руководства
    • Все руководства
    • Знакомство с DataSphere
    • Голосовая биометрия
    • Оценка качества STT моделей
    • Разметка аудио
    • Классификация изображений на видеокадрах
    • Веб-аналитика с расчетом воронок и когорт на данных Яндекс Метрики
  • Справочник API
    • Обзор
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • AppTokenService
      • FolderBudgetService
      • NodeService
      • ProjectDataService
      • ProjectService
      • OperationService
    • REST (англ.)
      • Overview
      • AppToken
        • Overview
        • validate
      • FolderBudget
        • Overview
        • get
        • set
      • Node
        • Overview
        • execute
      • Project
        • Overview
        • create
        • delete
        • execute
        • get
        • getCellOutputs
        • getNotebookMetadata
        • getStateVariables
        • getUnitBalance
        • list
        • open
        • setUnitBalance
        • update
  • Управление доступом
  • Правила тарификации
  • Публичные материалы
  • Релизы
  • Вопросы и ответы
  1. Начало работы

Как начать работать с DataSphere

Статья создана
Yandex Cloud
,
улучшена
amatol
  • Перед началом работы
  • Назначьте роли для работы с DataSphere
  • Создайте проект
  • Установите зависимости
  • Увеличьте вычислительные ресурсы для ячейки
    • Измените конфигурацию с помощью префикса
    • Измените конфигурацию через интерфейс
  • Обратитесь в поддержку из сервиса
  • Что дальше

DataSphere — сервис, который упрощает использование среды разработки JupyterLab на вычислительных мощностях Yandex Cloud. Это позволит вам производить сложные вычисления, например обучение нейронных сетей или анализ больших данных, используя привычный интерфейс Jupyter Notebook.

В этом разделе вы научитесь:

  1. Создавать проекты, в которых вы будете работать в среде JupyterLab.
  2. Устанавливать пакеты, которые нужны для работы.
  3. Управлять вычислительными ресурсами, изменяя конфигурацию вычислительных ресурсов.

Перед началом работы

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.
  2. На странице биллинга убедитесь, что у вас подключен платежный аккаунт и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его.

Назначьте роли для работы с DataSphere

В консоли управления на странице Управление доступом убедитесь, что у вас есть необходимые роли:

  • Чтобы работать с уже существующими проектами, вам нужна роль datasphere.user или выше.

  • Чтобы создавать, редактировать и удалять проекты, необходима роль datasphere.admin или выше.

Подробнее об управлении доступом.

Создайте проект

Чтобы создать проект:

  1. В консоли управления откройте раздел DataSphere в каталоге, в котором вы хотите создать проект.
  2. Перейдите во вкладку Проекты.
  3. Нажмите кнопку Создать проект.
  4. Введите Имя проекта.
  5. (опционально) Введите Описание проекта.
  6. (опционально) Задайте Дополнительные настройки:
    • Выберите Сервисный аккаунт или создайте новый.

    • Выберите Подсеть.
      Чтобы ваш проект мог использовать ресурсы в интернете, включите NAT для выбранной подсети.

      Примечание

      Если вы указали подсеть в настройках проекта, время выделения вычислительных ресурсов может быть увеличено.

    • Выберите Кластер Data Proc.
      Кластер должен находиться в той же сети, что и ваш проект.

  7. Нажмите Создать.

Чтобы начать работать в JupyterLab, откройте созданный проект:

  1. Нажмите на строку необходимого проекта.

Или:

  1. Нажмите значок напротив проекта.

  2. Выберите Открыть.

    Примечание

    Запуск проекта занимает от 1 до 3 минут.

Установите зависимости

Популярные пакеты для анализа данных и машинного обучения уже предустановлены и готовы к использованию, см. список.

Вы можете установить недостающие пакеты с помощью пакетного менеджера pip.

Чтобы установить пакет:

  1. Напишите в ячейке ноутбука команду:

    %pip install <Имя пакета>
    

    Например, установите пакет seaborn для визуализации статистических данных:

    %pip install seaborn
    

    Вы можете использовать различные опции, которые поддерживает команда pip install. См. примеры использования этой команды.

  2. Выполните ячейку. Для этого нажмите значок .

    Результат установки пакета отобразится под ячейкой.

Увеличьте вычислительные ресурсы для ячейки

По умолчанию проект запускается с минимальной конфигурацией c1.4 (32 ГБ RAM и 4 vCPU). Вы можете изменить конфигурацию. При этом сохранится состояние интерпретатора, все переменные и результаты вычислений.

Примечание

Некоторые переменные не сериализуются и поэтому не могут сохраниться. Например, переменная с файлом, открытым на запись: f = open("file.txt", "w").

Для таких переменных в момент выполнения присваивания будет показано предупреждение: The following variables cannot be serialized:.

Измените конфигурацию с помощью префикса

Увеличьте вычислительные ресурсы для ячейки до конфигурации c1.8:

  1. Выберите ячейку, для которой необходимо изменить конфигурацию.
  2. На первой строке ячейки допишите префикс конфигурации #!c1.8 (8 vCPU, 0 GPU).

Если вы хотите вернуть конфигурацию по умолчанию, удалите префикс или измените его на #!c1.4.

Измените конфигурацию через интерфейс

Увеличьте вычислительные ресурсы для ячейки через интерфейс:

  1. Нажмите кнопку с названием конфигурации в меню на вкладке ноутбука.
  2. Выберите необходимую конфигурацию.
  3. Дождитесь, когда на панели ноутбука появится статус <Префикс конфигурации> instance is ready.

Обратитесь в поддержку из сервиса

Чтобы обратиться в службу технической поддержки из сервиса:

  1. Нажмите значок image в правом нижнем углу окна ноутбука или в меню Help выберите пункт Report a bug.

  2. В открывшемся окне подробно опишите проблему, заполнив поля Bug и Give us more detail.

  3. Нажмите кнопку Report a bug.
    На ваш почтовый ящик придет письмо с номером обращения.

Следить за состоянием запроса можно через мобильное приложение Yandex Cloud для iOS или Android, а также в разделе Поддержка в консоли управления.

Что дальше

  • Узнайте об особенностях сервиса.
  • Поделитесь ссылкой на ноутбук со всеми результатами.
  • Посмотрите другие инструкции по работе с сервисом.

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье:
  • Перед началом работы
  • Назначьте роли для работы с DataSphere
  • Создайте проект
  • Установите зависимости
  • Увеличьте вычислительные ресурсы для ячейки
  • Измените конфигурацию с помощью префикса
  • Измените конфигурацию через интерфейс
  • Обратитесь в поддержку из сервиса
  • Что дальше