Yandex Cloud
  • Сервисы
  • Решения
  • Почему Yandex Cloud
  • Сообщество
  • Тарифы
  • Документация
  • Связаться с нами
Подключиться
Language / Region
© 2022 ООО «Яндекс.Облако»
Yandex DataSphere
  • Начало работы
  • Пошаговые инструкции
    • Все инструкции
    • Управление проектом
      • Создание проекта
      • Выбор версии Python
      • Установка зависимостей
      • Управление вычислительными ресурсами
      • Настроить ограничения вычислений для проекта
      • Настроить ограничения вычислений для каталога
      • Изменение размера хранилища проекта
      • Изменение имени или описания
      • Удаление ноутбука или проекта
    • Поделиться ноутбуком
      • Публикация ноутбука
      • Экспорт проекта
    • Работа с ноутбуком
      • Запуск примеров кода в ноутбуке
      • Версионирование. Работа с контрольными точками
      • Очистка состояния интерпретатора
      • Работа с Git
    • Управление Docker‑образами
      • Docker-образ для проекта
      • Docker-образ в ячейке
    • Подключение к источникам данных
      • Подключение к базе данных ClickHouse
      • Подключение к базе данных PostgreSQL
      • Подключение к хранилищу S3
      • Подключение к Яндекс Диску
      • Подключение к Google Drive
    • Настройка интеграции с Data Proc
    • Работа с приватными данными
      • Создание секрета
      • Вызов секрета
      • Изменение секрета
      • Копирование секрета
      • Удаление секрета
    • Запуск распределенного обучения
    • Развертывание эксплуатации моделей
      • Создание ноды из ячейки с кодом на Python
      • Настройка окружения ноды
      • Запросы в ноды
  • Концепции
    • Обзор
    • Проект
    • Список предустановленного ПО
    • Доступные команды
    • Служебные команды #pragma
    • Конфигурации вычислительных ресурсов
    • Интеграция с системами контроля версий и данных
    • Сохранение состояния
    • Интеграция с Data Proc
    • Фоновые операции
    • Датасеты
    • Хранение приватных данных
    • Развертывание эксплуатации моделей
    • Использование TensorBoard в DataSphere
    • Распределенное обучение
    • Управление расходами
    • Квоты и лимиты
  • Ранний доступ
    • Обзор
    • Специальные фоновые операции
  • Практические руководства
    • Все руководства
    • Знакомство с DataSphere
    • Голосовая биометрия
    • Оценка качества STT моделей
    • Разметка аудио
    • Классификация изображений на видеокадрах
  • Справочник API
    • Обзор
    • Аутентификация в API
    • gRPC (англ.)
      • Overview
      • AppTokenService
      • FolderBudgetService
      • NodeService
      • ProjectDataService
      • ProjectService
      • OperationService
    • REST (англ.)
      • Overview
      • AppToken
        • Overview
        • validate
      • FolderBudget
        • Overview
        • get
        • set
      • Node
        • Overview
        • execute
      • Project
        • Overview
        • create
        • delete
        • execute
        • get
        • getCellOutputs
        • getNotebookMetadata
        • getStateVariables
        • getUnitBalance
        • list
        • open
        • setUnitBalance
        • update
  • Управление доступом
  • Правила тарификации
  • Публичные материалы
  • Релизы
  • Вопросы и ответы
  1. Концепции
  2. Интеграция с системами контроля версий и данных

Интеграция с системами контроля версий и данных

Статья создана
Yandex Cloud
  • Интеграция с системой контроля данных DVC
  • Интеграция с системой контроля версий Git

DataSphere интегрирован с системой контроля данных DVC и системой контроля версий Git.

Интеграция с системой контроля данных DVC

Чтобы воспользоваться системой контроля данных, используйте следующие команды:

  • %dvc_init — инициализировать DVC-проект в текущем каталоге.

    Описание параметров команды
    • -f, --force — удаляет существующий внутренний DVC-каталог. Будет очищен весь локальный кэш.
    • --subdir — инициализирует DVC-проект в рабочем каталоге, даже если это не корень Git-репозитория. При запуске в корневом каталоге DVC-проекта этот параметр игнорируется.
    • --no-scm — инициализирует DVC-проект отдельно от Git. Это означает, что DVC не пытается найти или использовать Git в целевом каталоге. Некоторые функции DVC недоступны в этом режиме.
    • -h, --help — показывает справку.
    • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если проблем не возникло, иначе — 1.
    • -v, --verbose — вывод подробной информации отслеживания.
  • %dvc_add — добавить файлы или каталоги для отслеживания в DVC.

    Описание параметров команды
    • -R, --recursive — определяет файлы для добавления путем поиска файлов данных в каждом целевом каталоге и его подкаталогах. Если среди целевых объектов нет каталогов, этот параметр игнорируется.
    • --no-commit — не записывает файлы в кэш. При этом DVC-файл создается и запись об этом добавляется в .dvc/state.
    • --file <filename> — указывает имя генерируемого DVC-файла. По умолчанию используется имя <target>.dvc, где <target> — имя добавляемого файла.
    • --external — разрешает добавлять файлы и папки, находящиеся за пределами DVC-репозитория.
    • -h, --help — показывает справку.
    • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если проблем не возникло, иначе — 1.
  • %dvc_remove — останавливает отслеживания файлов или каталогов в DVC.

    Описание параметров команды
    • --outs — удаляет также данные всех этапов работы целевого объекта. По умолчанию всегда используется для DVC-файлов.
    • -h, --help — показывает справку.
    • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если проблем не возникло, иначе — 1.
    • -v, --verbose — вывод подробной информации отслеживания.
  • %dvc_status — показать изменения в сценарии сборки проекта, а также несоответствия файлов между кэшем и рабочей областью или между кэшем и удаленным репозиторием.

    Описание параметров команды
    • -c, --cloud — включает сравнение с удаленным репозиторием.
    • -a, --all-branches — сравнивает содержимое кэша со всеми ветвями Git, а не только с рабочей областью. Применяется, только если указан параметр --cloud или -r.
    • -T, --all-tags — то же, что и -a, но применяется к тегам Git и рабочей области. Можно объединить с параметром -a, например, с помощью флага -aT.
    • -R, --recursive — определяет файлы для проверки статуса в каждом целевом каталоге и его подкаталогах. Поиск происходит в dvc.yaml и DVC-файлах.
    • --show-json — выводит результат в JSON-формате вместо таблицы.
    • --all-commits — то же, что и -a или -T, только применяется ко всем коммитам в Git и рабочей области. Используется для сравнения содержимого кэша за всю историю существования проекта.
    • -d, --with-deps — определяет файлы для проверки, отслеживая зависимости от целевых объектов. Если ничего не указано, этот параметр игнорируется.
    • -r <name>, --remote <name> — указывает, с каким удаленным репозиторием следует сравнивать.
    • -j <number>, --jobs <number> — указывает количество потоков, которые DVC может использовать для получения информации с удаленных серверов. Применимо только при использовании параметра --cloud или при предоставлении удаленного доступа.
    • -h, --help — показывает справку.
    • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если данные актуальны, иначе — 1.
    • -v, --verbose — вывод подробной информации отслеживания.
  • %dvc_checkout — обновить файлы и каталоги в рабочей области на основе текущих DVC-файлов.

    Описание параметров команды
    • --summary — отображает краткую сводку изменений, выполненных этой командой в рабочей области.
    • -R, --recursive — определяет файлы для обновления путем поиска в каждом целевом каталоге и его подкаталогах DVC-файлов для проверки. Если среди целевых объектов нет каталогов, параметр игнорируется.
    • -d, --with-deps — определяет файлы для обновления, отслеживая зависимости от целевых DVC-файлов. Если целевые объекты не указаны, параметр игнорируется.
    • -f, --force — удаляет несохраненные изменения в рабочей области.
    • --relink — гарантирует, что стратегия связывания файлов (reflink, hardlink, symlink или copy) для всех данных в рабочей области согласуется с кэшем проекта.
    • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если проблем не возникло, иначе — 1.
    • -v, --verbose — вывод подробной информации отслеживания при выполнении команды dvc pull.
  • %dvc_pull — скачать отслеживаемые файлы или каталоги из удаленного репозитория в кэш и рабочую область.

    Описание параметров команды
    • -a, --all-branches — определяет файлы для скачивания, проверяя файлы dvc.yaml и .dvc во всех ветвях Git, а не только те, которые присутствуют в текущей рабочей области.
    • -T, --all-tags — то же, что и -a, но применяется к тегам Git и рабочей области. Можно объединить с параметром -a, например, с помощью флага -aT.
    • --all-commits — то же, что и -a или -T, только применяется ко всем коммитам в Git и рабочей области. Используется для загрузки данных за всю историю существования проекта.
    • -d, --with-deps — определяет файлы для скачивания, отслеживая зависимости от целевых объектов. Если целевые объекты не указаны, параметр игнорируется.
    • -R, --recursive — определяет файлы для скачивания путем поиска в каждом целевом каталоге и его подкаталогах файлов dvc.yaml и .dvc для проверки. Если среди целевых объектов нет каталогов, параметр игнорируется.
    • -f, --force — не выводит запрос при удалении файлов рабочей области, не соответствующих текущим этапам или файлам DVC.
    • -r <name>, --remote <name> — задает имя удаленного репозитория для скачивания.
    • --run-cache — загружает всю доступную историю изменений из удаленного репозитория в локальный кэш.
    • -j <number>, --jobs <number> — указывает количество потоков, запускаемых одновременно для скачивания файлов с удаленного репозитория.
    • -h, --help — показывает справку.
    • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если данные актуальны, иначе — 1.
    • -v, --verbose — вывод подробной информации отслеживания.
  • %dvc_push — загрузить отслеживаемые файлы или каталоги в удаленное репозиторий.

    Описание параметров команды
    • -a, --all-branches — определяет файлы для загрузки, проверяя файлы dvc.yaml и .dvc во всех ветвях Git, а не только те, которые присутствуют в текущей рабочей области.
    • -T, --all-tags — то же, что и -a, но применяется к тегам Git и рабочей области. Можно объединить с параметром -a, например, с помощью флага -aT.
    • --all-commits — то же, что и -a или -T, только применяется ко всем коммитам в Git и рабочей области. Используется для загрузки данных за всю историю существования проекта.
    • -d, --with-deps — определяет файлы для загрузки, отслеживая зависимости от целевых объектов. Если целевые объекты не указаны, параметр игнорируется.
    • -R, --recursive — определяет файлы для загрузки путем поиска в каждом целевом каталоге и его подкаталогах файлов dvc.yaml и .dvc для проверки. Если среди целевых объектов нет каталогов, параметр игнорируется.
    • -r <name>, --remote <name> — задает имя удаленного репозитория для загрузки.
    • --run-cache — загружает всю доступную историю изменений в удаленный репозиторий.
    • -j <number>, --jobs <number> — указывает количество потоков, запускаемых одновременно для обработки загрузки файлов в удаленный репозиторий.
    • -h, --help — показывает справку.
    • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если данные актуальны, иначе — 1.
    • -v, --verbose — вывод подробной информации отслеживания.

Интеграция с системой контроля версий Git

Чтобы воспользоваться системой контроля версий, нажмите кнопку Git в окне проекта. Для работы вы можете клонировать существующий репозиторий или инициировать новый, а также использовать все привычные методы работы с Git. Подробнее читайте в разделе Работа с Git.

Была ли статья полезна?

Language / Region
© 2022 ООО «Яндекс.Облако»
В этой статье:
  • Интеграция с системой контроля данных DVC
  • Интеграция с системой контроля версий Git