Added a comment: checkout borg remote

report on fresh test fails

merged fix from kyle

avoid using wildcard near bug kyle fixed

adjustTree: Consider submodule deletions

In addition to regular file deletions, the removefiles argument passed
to adjustTree may contain removed submodules.  When making the new
tree, filter these out in the same way that is done for regular files
so that the deletion is propagated.

Merge branch 'master' of ssh://git-annex.branchable.com

Behavior change: --trust-glacier option no longer overrides trust

Since that can lead to data loss, which should never be enabled by an
option other than --force.

This commit was sponsored by Jake Vosloo on Patreon.

Behavior change: --trust option no longer overrides trust

Since that can lead to data loss, which should never be enabled by an
option other than --force.

I suppose that using --trust was in some situation, safer than --force,
because it doesn't entirely disable checking for data loss, but only
disables checking involving data that is on the specified repository.
But it seems better to be able to say that data loss only happens with
--force.

This commit was sponsored by Graham Spencer on Patreon.

Behavior change: git-annex trust now needs --force

Since unconsidered use of trusted repositories can lead to data loss.

Trusted has always been this way, but it used to be acceptable for
git-annex to be set up so that data could be lost without using --force,
and most or all other ways that can happen have already been eliminated.

This commit was sponsored by Mark Reidenbach on Patreon.

Merge branch 'master' of ssh://git-annex.branchable.com

wording

improve wording

Merge branch 'master' into requirednumcopies

mincopies

This is conceptually very simple, just making a 1 that was hard coded be
exposed as a config option. The hard part was plumbing all that, and
dealing with complexities like reading it from git attributes at the
same time that numcopies is read.

Behavior change: When numcopies is set to 0, git-annex used to drop
content without requiring any copies. Now to get that (highly unsafe)
behavior, mincopies also needs to be set to 0. It seemed better to
remove that edge case, than complicate mincopies by ignoring it when
numcopies is 0.

This commit was sponsored by Denis Dzyubenko on Patreon.

Added a comment

Added a comment

branch

docs for requirednumcopies

Not implemented yet.

the author of this forum post deleted it, so remove comments

Merge branch 'master' of ssh://git-annex.branchable.com

update

removed

Added a comment

promote forum post to bug report

comment

wrong, wrong, wrong

fix --time-limit

It got broken in several ways by the streaming seeking optimisations
around version 8.20201007.

Moved time limit checking out of the matcher, which was a hack in the
first place. So everywhere that uses Limit.getMatcher needs to check
time limit. Well, almost everywhere. Command.Info uses it, but it does
not make sense to time limit getting info. And Command.MultiCast uses it
just to build up a list of files that then get passed to a command, so
it would never have hit the timeout in a useful way.

This implementation is a little more expensive when at time limit than
necessary, since it continues seeking only to discard everything after the
time limit. I did try making it close the file handles to force a faster
shutdown, but that didn't work and hung. Could certianly be improved
somehow, but seeking is probably not the expensive bit when a time limit
is hit, so this seems acceptable for now.

comment

close

comment

add pointer to annex.largefiles config docs

comment

add: Significantly speed up adding lots of non-large files to git

* add: Significantly speed up adding lots of non-large files to git,
  by disabling the annex smudge filter when running git add.
* add --force-small: Run git add rather than updating the index itself,
  so any other smudge filters than the annex one that may be enabled will
  be used.

fix bad annex.largefiles example syntax

Git.Queue: allow providing git common options like -c

update year

avoid combining queued commands with different params

I don't think this affected git-annex currently, but if the same command
was queued twice with different params, one set of params was thrown
away, and the files going with those were run with the other set of
params.

comment and todo

comment

comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

Added a comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment: Difference to import/add?

Added a comment: rename or move files

Added a comment: Adding external files

Added a comment: annex.largefiles

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

removed

Added a comment

Added a comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

close import_tree todo

Split out two todos for things that were mentioned as still open items
in there. Most of the others were already dealt with. I didn't open a
new todo for the import from readonly S3 bucket because I guess if
someone needs that, they can ask for it.

document what importKey returning Nothing does

That was added for thirdpartypopulated remotes, but for others it also
has the effect of skipping including the file in the imported tree.

Added a comment

add news item for git-annex 8.20201129

releasing package git-annex version 8.20201129

update to lts-16.27

update

close

improve tip

Merge branch 'master' of ssh://git-annex.branchable.com

update

tip for probably best use case for borg with git-annex

don't support dropping from thirdPartyPopulated for now

This code I'm reverting works. But it has a problem: The export db and
log and the ContentIdentifier db and log still list the content as being
stored in the remote. So when I ran borg create again and stored the
content in borg again in a new archive, git-annex sync noticed that, but
since it didn't update the tree for the old archives, it then thought
the content that had been removed from them was still in them, and so
git-annex get failed in an ugly way:

Include pattern 'tmp/x/.git/annex/objects/pX/ZJ/SHA256E-s0--e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855/SHA256E-s0--e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855' never matched.
[2020-12-28 16:40:44.878952393] process [933616] done ExitFailure 1

  user error (borg ["extract","/tmp/b::abs4","tmp/x/.git/annex/objects/pX/ZJ/SHA256E-s0--e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855/SHA256E-s0--e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855"] exited 1)

It does not seem worth it to update the git tree for the export when dropping
content, that would make drop of many files very expensive in git tree objects
created. So, let's not support this I suppose..

support removing objects from borg

support removal from thirdPartyPopulated

also some other fixes to thirdPartyPopulated

borg appendonly config

revert recent lockContent change

lockContent should only be done when it's versioned

Bug report: annex.adjustedbranchrefresh ignored

move untrust forcing from Logs.Trust into Remote

No behavior changes here, but this is groundwork for letting remotes
such as borg vary untrust forcing depending on configuration.

simplify

adjustExportImport' is never called with both isexport and isimport False.

split off versionedExport from appendonly

S3 uses versionedExport, while GitLFS uses appendonly.

This is groundwork for later changes.