Интеграция с системами контроля версий и данных

DataSphere интегрирован с системой контроля версий Git и системой контроля данных DVC.

Интеграция с системой контроля данных DVC

Чтобы воспользоваться системой контроля данных, используйте следующие команды:

• %dvc_init — инициализировать DVC-проект в текущем каталоге.

  Описание параметров команды.

  • -f, --force — удаляет существующий внутренний DVC-каталог. Будет очищен весь локальный кэш.
  • --subdir — инициализирует DVC-проект в рабочем каталоге, даже если это не корень Git-репозитория. При запуске в корневом каталоге DVC-проекта этот параметр игнорируется.
  • --no-scm — инициализирует DVC-проект отдельно от Git. Это означает, что DVC не пытается найти или использовать Git в целевом каталоге. Некоторые функции DVC недоступны в этом режиме.
  • -h, --help — показывает справку.
  • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если проблем не возникло, иначе — 1.
  • -v, --verbose — вывод подробной информации отслеживания.

• %dvc_add — добавить файлы или каталоги для отслеживания в DVC.

  Описание параметров команды.

  • -R, --recursive — определяет файлы для добавления путем поиска файлов данных в каждом целевом каталоге и его подкаталогах. Если среди целевых объектов нет каталогов, этот параметр игнорируется.
  • --no-commit — не записывает файлы в кэш. При этом DVC-файл создается и запись об этом добавляется в .dvc/state.
  • --file <filename> — указывает имя генерируемого DVC-файла. По умолчанию используется имя <target>.dvc, где <target> — имя добавляемого файла.
  • --external — разрешает добавлять файлы и папки, находящиеся за пределами DVC-репозитория.
  • -h, --help — показывает справку.
  • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если проблем не возникло, иначе — 1.

• %dvc_remove — останавливает отслеживания файлов или каталогов в DVC.

  Описание параметров команды.

  • --outs — удаляет также данные всех этапов работы целевого объекта. По умолчанию всегда используется для DVC-файлов.
  • -h, --help — показывает справку.
  • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если проблем не возникло, иначе — 1.
  • -v, --verbose — вывод подробной информации отслеживания.

• %dvc_status — показать изменения в сценарии сборки проекта, а также несоответствия файлов между кэшем и рабочей областью или между кэшем и удаленным репозиторием.

  Описание параметров команды.

  • -c, --cloud — включает сравнение с удаленным репозиторием.
  • -a, --all-branches — сравнивает содержимое кэша со всеми ветвями Git, а не только с рабочей областью. Применяется, только если указан параметр --cloud или -r.
  • -T, --all-tags — то же, что и -a, но применяется к тегам Git и рабочей области. Можно объединить с параметром -a, например, с помощью флага -aT.
  • -R, --recursive — определяет файлы для проверки статуса в каждом целевом каталоге и его подкаталогах. Поиск происходит в dvc.yaml и DVC-файлах.
  • --show-json — выводит результат в JSON-формате вместо таблицы.
  • --all-commits — то же, что и -a или -T, только применяется ко всем коммитам в Git и рабочей области. Используется для сравнения содержимого кэша за всю историю существования проекта.
  • -d, --with-deps — определяет файлы для проверки, отслеживая зависимости от целевых объектов. Если ничего не указано, этот параметр игнорируется.
  • -r <name>, --remote <name> — указывает, с каким удаленным репозиторием следует сравнивать.
  • -j <number>, --jobs <number> — указывает количество потоков, которые DVC может использовать для получения информации с удаленных серверов. Применимо только при использовании параметра --cloud или при предоставлении удаленного доступа.
  • -h, --help — показывает справку.
  • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если данные актуальны, иначе — 1.
  • -v, --verbose — вывод подробной информации отслеживания.

• %dvc_checkout — обновить файлы и каталоги в рабочей области на основе текущих DVC-файлов.

  Описание параметров команды.

  • --summary — отображает краткую сводку изменений, выполненных этой командой в рабочей области.
  • -R, --recursive — определяет файлы для обновления путем поиска в каждом целевом каталоге и его подкаталогах DVC-файлов для проверки. Если среди целевых объектов нет каталогов, параметр игнорируется.
  • -d, --with-deps — определяет файлы для обновления, отслеживая зависимости от целевых DVC-файлов. Если целевые объекты не указаны, параметр игнорируется.
  • -f, --force — удаляет несохраненные изменения в рабочей области.
  • --relink — гарантирует, что стратегия связывания файлов (reflink, hardlink, symlink или copy) для всех данных в рабочей области согласуется с кэшем проекта.
  • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если проблем не возникло, иначе — 1.
  • -v, --verbose — вывод подробной информации отслеживания при выполнении команды dvc pull.

• %dvc_pull — скачать отслеживаемые файлы или каталоги из удаленного репозитория в кэш и рабочую область.

  Описание параметров команды.

  • -a, --all-branches — определяет файлы для скачивания, проверяя файлы dvc.yaml и .dvc во всех ветвях Git, а не только те, которые присутствуют в текущей рабочей области.
  • -T, --all-tags — то же, что и -a, но применяется к тегам Git и рабочей области. Можно объединить с параметром -a, например, с помощью флага -aT.
  • --all-commits — то же, что и -a или -T, только применяется ко всем коммитам в Git и рабочей области. Используется для загрузки данных за всю историю существования проекта.
  • -d, --with-deps — определяет файлы для скачивания, отслеживая зависимости от целевых объектов. Если целевые объекты не указаны, параметр игнорируется.
  • -R, --recursive — определяет файлы для скачивания путем поиска в каждом целевом каталоге и его подкаталогах файлов dvc.yaml и .dvc для проверки. Если среди целевых объектов нет каталогов, параметр игнорируется.
  • -f, --force — не выводит запрос при удалении файлов рабочей области, не соответствующих текущим этапам или файлам DVC.
  • -r <name>, --remote <name> — задает имя удаленного репозитория для скачивания.
  • --run-cache — загружает всю доступную историю изменений из удаленного репозитория в локальный кэш.
  • -j <number>, --jobs <number> — указывает количество потоков, запускаемых одновременно для скачивания файлов с удаленного репозитория.
  • -h, --help — показывает справку.
  • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если данные актуальны, иначе — 1.
  • -v, --verbose — вывод подробной информации отслеживания.

• %dvc_push — загрузить отслеживаемые файлы или каталоги в удаленное репозиторий.

  Описание параметров команды.

  • -a, --all-branches — определяет файлы для загрузки, проверяя файлы dvc.yaml и .dvc во всех ветвях Git, а не только те, которые присутствуют в текущей рабочей области.
  • -T, --all-tags — то же, что и -a, но применяется к тегам Git и рабочей области. Можно объединить с параметром -a, например, с помощью флага -aT.
  • --all-commits — то же, что и -a или -T, только применяется ко всем коммитам в Git и рабочей области. Используется для загрузки данных за всю историю существования проекта.
  • -d, --with-deps — определяет файлы для загрузки, отслеживая зависимости от целевых объектов. Если целевые объекты не указаны, параметр игнорируется.
  • -R, --recursive — определяет файлы для загрузки путем поиска в каждом целевом каталоге и его подкаталогах файлов dvc.yaml и .dvc для проверки. Если среди целевых объектов нет каталогов, параметр игнорируется.
  • -r <name>, --remote <name> — задает имя удаленного репозитория для загрузки.
  • --run-cache — загружает всю доступную историю изменений в удаленный репозиторий.
  • -j <number>, --jobs <number> — указывает количество потоков, запускаемых одновременно для обработки загрузки файлов в удаленный репозиторий.
  • -h, --help — показывает справку.
  • -q, --quiet — прекращает запись в стандартный вывод. Выводится 0, если данные актуальны, иначе — 1.
  • -v, --verbose — вывод подробной информации отслеживания.

Интеграция с системой контроля версий Git

Чтобы воспользоваться системой контроля версий, нажмите кнопку Git в окне проекта. Для работы вы можете клонировать существующий репозиторий или инициировать новый, а также использовать все привычные методы работы с Git. Подробнее читайте в разделе Работа с Git.