add: Significantly speed up adding lots of non-large files to git

* add: Significantly speed up adding lots of non-large files to git,
  by disabling the annex smudge filter when running git add.
* add --force-small: Run git add rather than updating the index itself,
  so any other smudge filters than the annex one that may be enabled will
  be used.

fix bad annex.largefiles example syntax

Git.Queue: allow providing git common options like -c

update year

avoid combining queued commands with different params

I don't think this affected git-annex currently, but if the same command
was queued twice with different params, one set of params was thrown
away, and the files going with those were run with the other set of
params.

comment and todo

comment

comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

Added a comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment: Difference to import/add?

Added a comment: rename or move files

Added a comment: Adding external files

Added a comment: annex.largefiles

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

removed

Added a comment

Added a comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

close import_tree todo

Split out two todos for things that were mentioned as still open items
in there. Most of the others were already dealt with. I didn't open a
new todo for the import from readonly S3 bucket because I guess if
someone needs that, they can ask for it.

document what importKey returning Nothing does

That was added for thirdpartypopulated remotes, but for others it also
has the effect of skipping including the file in the imported tree.

Added a comment

add news item for git-annex 8.20201129

releasing package git-annex version 8.20201129

update to lts-16.27

update

close

improve tip

Merge branch 'master' of ssh://git-annex.branchable.com

update

tip for probably best use case for borg with git-annex

don't support dropping from thirdPartyPopulated for now

This code I'm reverting works. But it has a problem: The export db and
log and the ContentIdentifier db and log still list the content as being
stored in the remote. So when I ran borg create again and stored the
content in borg again in a new archive, git-annex sync noticed that, but
since it didn't update the tree for the old archives, it then thought
the content that had been removed from them was still in them, and so
git-annex get failed in an ugly way:

Include pattern 'tmp/x/.git/annex/objects/pX/ZJ/SHA256E-s0--e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855/SHA256E-s0--e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855' never matched.
[2020-12-28 16:40:44.878952393] process [933616] done ExitFailure 1

  user error (borg ["extract","/tmp/b::abs4","tmp/x/.git/annex/objects/pX/ZJ/SHA256E-s0--e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855/SHA256E-s0--e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855"] exited 1)

It does not seem worth it to update the git tree for the export when dropping
content, that would make drop of many files very expensive in git tree objects
created. So, let's not support this I suppose..

support removing objects from borg

support removal from thirdPartyPopulated

also some other fixes to thirdPartyPopulated

borg appendonly config

revert recent lockContent change

lockContent should only be done when it's versioned

Bug report: annex.adjustedbranchrefresh ignored

move untrust forcing from Logs.Trust into Remote

No behavior changes here, but this is groundwork for letting remotes
such as borg vary untrust forcing depending on configuration.

simplify

adjustExportImport' is never called with both isexport and isimport False.

split off versionedExport from appendonly

S3 uses versionedExport, while GitLFS uses appendonly.

This is groundwork for later changes.

switch to createrepo_c

createrepo used python2 and got removed from debian

removed

generate more compact git-annex branch for imports

Especially from borg, where the content identifier logs
all end up being the same identical file!

But also, for other imports, the location tracking logs can,
in some cases, be identical files.

Bonus optimisation: Avoid looking up (and parsing when set)
GIT_ANNEX_VECTOR_CLOCK env var every time a log is written to.
Although the lookup does happen at startup even when no
log will be written now.

avoid grafting in an imported tree when it's not changed

This just avoids some churn in the git-annex branch.

graft in imported tree to avoid gc

Fix a bug that could prevent getting files from an importtree=yes remote,
because the imported tree was allowed to be garbage collected.

remove ContentIndentifiersCidRemoteIndex uniqueness constraint

For reasons explained in the bug report.

Implemented using a persistent migration, which works fine. It may add a
little startup overhead when a remote is enabled that uses this, but
probably un-noticable.

On the next major version, it would be fine to delete this database,
and regenerate it from the git-annex branch information. Then this
change could be reverted.

Did nothing about adding back the data that got dropped from the db
due to the bug. Only the borg special remote was probably affected,
and it's not been released yet. rm -rf .git/annex/cidsdb does work.

bug

avoid using export method when the remote only supports import

borg: add subdir= config

Note that, after changing it with enableremote, syncing won't rescan
known archives in the borg repo using the changed config. Probably not a
problem?

Also used File in some places where filenames that could theoretically
start with - are passed to borg, to avoid it confusing them with
options.

make sync --content get from third-party populated remotes like borg

Merge branch 'master' of ssh://git-annex.branchable.com

devblog

todo

move unimplemented option to todo

merged borg

Still a couple related todos, but it's basically usable now.

Merge branch 'borg'

todo

implement retrieveExportWithContentIdentifier

Moved out an XXX to a todo

This seems about ready to merge..

borg can prompt

notice when an archive that was seen before gets deleted

implemented checkPresentExportWithContentIdentifier

todo

todo

optimisation for borg

Skip needing to list importable contents when unchanged since last time.

convert listImportableContents to throwing exceptions

avoid borg list of archives that have been listed before

This makes sync a lot faster in the common case where there's no new
backup.

There's still room for it to be faster. Currently the old imported tree
has to be traversed, to generate the ImportableContents. Which then
gets turned around to generate the new imported tree, which is
identical. So, it would be possible to just return a "no new imports",
or an ImportableContents that has a way to graft in a tree. The latter
is probably too far to go to optimise this, unless other things need it.
The former might be worth it, but it's already pretty fast, since git
ls-tree is pretty fast.

improve storage of redundant ContentIdentifiers

When a ContentIdentifier is already recorded, don't add it to the log
again, and avoid updating the log.

include borg archive name in tree, use empty ContentIdentifier

It's unusual to use a ContentIdentifier that is not semi-unique
for different contents. Note that in importKeys, it checks if a content
identifier is one that's known before, to avoid downloading the same
content twice. But that's done in a code path not used for borg repos,
because they are thirdpartypopulated.

notes on ImportableContents history not being used for retrieval