Интеграция с системами контроля версий и данных
DataSphere интегрирован с системой контроля данных DVC и системой контроля версий Git.
Интеграция с системой контроля данных DVC
Чтобы воспользоваться системой контроля данных, используйте следующие команды:
-
%dvc_init — инициализировать DVC-проект в текущем каталоге.
Описание параметров команды-f
,--force
— удаляет существующий внутренний DVC-каталог. Будет очищен весь локальный кэш.--subdir
— инициализирует DVC-проект в рабочем каталоге, даже если это не корень Git-репозитория. При запуске в корневом каталоге DVC-проекта этот параметр игнорируется.--no-scm
— инициализирует DVC-проект отдельно от Git. Это означает, что DVC не пытается найти или использовать Git в целевом каталоге. Некоторые функции DVC недоступны в этом режиме.-h
,--help
— показывает справку.-q
,--quiet
— прекращает запись в стандартный вывод. Выводится 0, если проблем не возникло, иначе — 1.-v
,--verbose
— вывод подробной информации отслеживания.
-
%dvc_add — добавить файлы или каталоги для отслеживания в DVC.
Описание параметров команды-R
,--recursive
— определяет файлы для добавления путем поиска файлов данных в каждом целевом каталоге и его подкаталогах. Если среди целевых объектов нет каталогов, этот параметр игнорируется.--no-commit
— не записывает файлы в кэш. При этом DVC-файл создается и запись об этом добавляется в .dvc/state.--file <filename>
— указывает имя генерируемого DVC-файла. По умолчанию используется имя<target>.dvc
, где<target>
— имя добавляемого файла.--external
— разрешает добавлять файлы и папки, находящиеся за пределами DVC-репозитория.-h
,--help
— показывает справку.-q
,--quiet
— прекращает запись в стандартный вывод. Выводится 0, если проблем не возникло, иначе — 1.
-
%dvc_remove — останавливает отслеживания файлов или каталогов в DVC.
Описание параметров команды--outs
— удаляет также данные всех этапов работы целевого объекта. По умолчанию всегда используется для DVC-файлов.-h
,--help
— показывает справку.-q
,--quiet
— прекращает запись в стандартный вывод. Выводится 0, если проблем не возникло, иначе — 1.-v
,--verbose
— вывод подробной информации отслеживания.
-
%dvc_status — показать изменения в сценарии сборки проекта, а также несоответствия файлов между кэшем и рабочей областью или между кэшем и удаленным репозиторием.
Описание параметров команды-c
,--cloud
— включает сравнение с удаленным репозиторием.-a
,--all-branches
— сравнивает содержимое кэша со всеми ветвями Git, а не только с рабочей областью. Применяется, только если указан параметр--cloud
или-r
.-T
,--all-tags
— то же, что и-a
, но применяется к тегам Git и рабочей области. Можно объединить с параметром-a
, например, с помощью флага-aT
.-R
,--recursive
— определяет файлы для проверки статуса в каждом целевом каталоге и его подкаталогах. Поиск происходит в dvc.yaml и DVC-файлах.--show-json
— выводит результат в JSON-формате вместо таблицы.--all-commits
— то же, что и-a
или-T
, только применяется ко всем коммитам в Git и рабочей области. Используется для сравнения содержимого кэша за всю историю существования проекта.-d, --with-deps
— определяет файлы для проверки, отслеживая зависимости от целевых объектов. Если ничего не указано, этот параметр игнорируется.-r <name>
,--remote <name>
— указывает, с каким удаленным репозиторием следует сравнивать.-j <number>
,--jobs <number>
— указывает количество потоков, которые DVC может использовать для получения информации с удаленных серверов. Применимо только при использовании параметра--cloud
или при предоставлении удаленного доступа.-h
,--help
— показывает справку.-q
,--quiet
— прекращает запись в стандартный вывод. Выводится 0, если данные актуальны, иначе — 1.-v
,--verbose
— вывод подробной информации отслеживания.
-
%dvc_checkout — обновить файлы и каталоги в рабочей области на основе текущих DVC-файлов.
Описание параметров команды--summary
— отображает краткую сводку изменений, выполненных этой командой в рабочей области.-R
,--recursive
— определяет файлы для обновления путем поиска в каждом целевом каталоге и его подкаталогах DVC-файлов для проверки. Если среди целевых объектов нет каталогов, параметр игнорируется.-d
,--with-deps
— определяет файлы для обновления, отслеживая зависимости от целевых DVC-файлов. Если целевые объекты не указаны, параметр игнорируется.-f
,--force
— удаляет несохраненные изменения в рабочей области.--relink
— гарантирует, что стратегия связывания файлов (reflink
,hardlink
,symlink
илиcopy
) для всех данных в рабочей области согласуется с кэшем проекта.-q
,--quiet
— прекращает запись в стандартный вывод. Выводится 0, если проблем не возникло, иначе — 1.-v
,--verbose
— вывод подробной информации отслеживания при выполнении командыdvc pull
.
-
%dvc_pull — скачать отслеживаемые файлы или каталоги из удаленного репозитория в кэш и рабочую область.
Описание параметров команды-a
,--all-branches
— определяет файлы для скачивания, проверяя файлы dvc.yaml и .dvc во всех ветвях Git, а не только те, которые присутствуют в текущей рабочей области.-T
,--all-tags
— то же, что и-a
, но применяется к тегам Git и рабочей области. Можно объединить с параметром-a
, например, с помощью флага-aT
.--all-commits
— то же, что и-a
или-T
, только применяется ко всем коммитам в Git и рабочей области. Используется для загрузки данных за всю историю существования проекта.-d
,--with-deps
— определяет файлы для скачивания, отслеживая зависимости от целевых объектов. Если целевые объекты не указаны, параметр игнорируется.-R
,--recursive
— определяет файлы для скачивания путем поиска в каждом целевом каталоге и его подкаталогах файлов dvc.yaml и .dvc для проверки. Если среди целевых объектов нет каталогов, параметр игнорируется.-f
,--force
— не выводит запрос при удалении файлов рабочей области, не соответствующих текущим этапам или файлам DVC.-r <name>
,--remote <name>
— задает имя удаленного репозитория для скачивания.--run-cache
— загружает всю доступную историю изменений из удаленного репозитория в локальный кэш.-j <number>
,--jobs <number>
— указывает количество потоков, запускаемых одновременно для скачивания файлов с удаленного репозитория.-h
,--help
— показывает справку.-q
,--quiet
— прекращает запись в стандартный вывод. Выводится 0, если данные актуальны, иначе — 1.-v
,--verbose
— вывод подробной информации отслеживания.
-
%dvc_push — загрузить отслеживаемые файлы или каталоги в удаленное репозиторий.
Описание параметров команды-a
,--all-branches
— определяет файлы для загрузки, проверяя файлы dvc.yaml и .dvc во всех ветвях Git, а не только те, которые присутствуют в текущей рабочей области.-T
,--all-tags
— то же, что и-a
, но применяется к тегам Git и рабочей области. Можно объединить с параметром-a
, например, с помощью флага-aT
.--all-commits
— то же, что и-a
или-T
, только применяется ко всем коммитам в Git и рабочей области. Используется для загрузки данных за всю историю существования проекта.-d
,--with-deps
— определяет файлы для загрузки, отслеживая зависимости от целевых объектов. Если целевые объекты не указаны, параметр игнорируется.-R
,--recursive
— определяет файлы для загрузки путем поиска в каждом целевом каталоге и его подкаталогах файлов dvc.yaml и .dvc для проверки. Если среди целевых объектов нет каталогов, параметр игнорируется.-r <name>
,--remote <name>
— задает имя удаленного репозитория для загрузки.--run-cache
— загружает всю доступную историю изменений в удаленный репозиторий.-j <number>
,--jobs <number>
— указывает количество потоков, запускаемых одновременно для обработки загрузки файлов в удаленный репозиторий.-h
,--help
— показывает справку.-q
,--quiet
— прекращает запись в стандартный вывод. Выводится 0, если данные актуальны, иначе — 1.-v
,--verbose
— вывод подробной информации отслеживания.
Интеграция с системой контроля версий Git
Чтобы воспользоваться системой контроля версий, нажмите кнопку Git в окне проекта. Для работы вы можете клонировать существующий репозиторий или инициировать новый, а также использовать все привычные методы работы с Git. Подробнее читайте в разделе Работа с Git.