implement annex.privateremote and remote.name.private configs

The slightly unusual parsing in Types.GitConfig avoids the need to look
at the remote list to get configs of remotes. annexPrivateRepos combines
all the configs, and will only be calculated once, so it's nice and
fast.

privateUUIDsKnown and regardingPrivateUUID now need to read from the
annex mvar, so are not entirely free. But that overhead can be optimised
away, as seen in getJournalFileStale. The other call sites didn't seem
worth optimising to save a single MVar access. The feature should have
impreceptable speed overhead when not being used.

make remoteKeyToRemoteName safer

If it's passed a ConfigKey such as annex.version, avoid returning
an empty remote name and return Nothing instead. Also, foo.bar.baz is
not treated as a remote named "bar".

fix build after merge

Merge branch 'master' into hiddenannex

Merge branch 'master' of ssh://git-annex.branchable.com

importfeed: fix bug while also speeding up 12x!

* Fix bug that could make git-annex importfeed not see recently recorded
  state when configured with annex.alwayscommit=false.
* importfeed: Made "checking known urls" phase run 12 times faster.

The massive speedup is because it no longer queries for metadata
accompanying each url. Instead it processes the whole git-annex branch and
checks all metadata files for feed item ids, and uses any it finds.

This could result in a behavior change, in an unlikely situation: If a feed
id is recorded in a key's metadata, but the url gets removed, the old code
would not see that item id and would re-download it if it finds an url for
it in a feed, while the new code will see the item id. I don't think
the old behavior was intentional, and it may be that the new behavior is
better. Not gonna worry about this.

refactoring

removed

convert withKnownUrls to use overBranchFileContents

This only partly fixes importfeed to see journalled files, since it
separately cats metadata directly from the branch. Held off on a
changelog for a bug fix until that's dealt with.

Revert "reorder another test"

This reverts commit 3e63f00f636eac897d58264733ec34d400598b19.

windows needs to die

close old bug

rename forum post that breaks windows checkout

at least sometimes, not on the autobuilder. I think git treats the ...
as a possible path traveral or something

update

reorder another test

continuing to try to narrow down cause of failure on windows

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

update

Added a comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

alternative

docs

got private repos really working

This new TODO will need private indexes to resolve; until then the
private journal has to be checked when private UUIDs are known.

optimisation

Avoid trying to read private journal files when no private uuids are
known.

adapt recent bug fixes to support private journal

At this point, private repos should mostly work, except for a few
commands that directly read from the git-annex branch and will not see
the private journal.

Private index not yet implemented.

Merge branch 'master' into hiddenannex

fix --all to include not yet committed files from the journal

Fix bug caused by recent optimisations that could make git-annex not see
recently recorded status information when configured with
annex.alwayscommit=false.

This does mean that --all can end up processing the same key more than once,
but before the optimisations that introduced this bug, it used to also behave
that way. So I didn't try to fix that; it's an edge case and anyway git-annex
behaves well when run on the same key repeatedly.

I am not too happy with the use of a MVar to buffer the list of files in the
journal. I guess it doesn't defeat lazy streaming of the list, if that
list is actually generated lazily, and anyway the size of the journal is
normally capped and small, so if configs are changed to make it huge and
this code path fire, git-annex using enough memory to buffer it all is not a
large problem.

refactoring

fix branch precacheing bug by checking journal

Fix bug caused by recent optimisations that could make git-annex not see
recently recorded status information when configured with
annex.alwayscommit=false.

When not using --all, precaching only gets triggered when the
command actually needs location logs, and so there's no speed hit there.

This is a minor speed hit for --all, because it precaches even when the
location log is not actually going to be used, and so checking the journal
is not necessary. It would have been possible to defer checking the journal
until the cache gets used. But that would complicate the usual Branch.get
code path with two different kinds of caches, and the speed hit is really
minimal. A better way to speed up --all, later, would be to avoid
precaching at all when the location log is not going to be used.

wip

bug report

Merge branch 'master' into hiddenannex

Merge branch 'master' of ssh://git-annex.branchable.com

reorder tests debugging windows failure

This order will work just as well, so no need to revert this change
later.

doc/git-annex.mdwn: Fix quoting of annex.supportunlocked

Added a comment: re: clarifying unlocked files

Added a comment: re: Are my unlocked, annexed files still safe?

update

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment: clarifying unlocked files

Added a comment: Are my unlocked, annexed files still safe?

Added a comment: auto-expire temp repos

Merge branch 'master' of ssh://git-annex.branchable.com

update

start implementing hidden git-annex repositories

This adds a separate journal, which does not currently get committed to
an index, but is planned to be committed to .git/annex/index-private.

Changes that are regarding a UUID that is private will get written to
this journal, and so will not be published into the git-annex branch.

All log writing should have been made to indicate the UUID it's
regarding, though I've not verified this yet.

Currently, no UUIDs are treated as private yet, a way to configure that
is needed.

The implementation is careful to not add any additional IO work when
privateUUIDsKnown is False. It will skip looking at the private journal
at all. So this should be free, or nearly so, unless the feature is
used. When it is used, all branch reads will be about twice as expensive.

It is very lucky -- or very prudent design -- that Annex.Branch.change
and maybeChange are the only ways to change a file on the branch,
and Annex.Branch.set is only internal use. That let Annex.Branch.get
always yield any private information that has been recorded, without
the risk that Annex.Branch.set might be called, with a non-private UUID,
and end up leaking the private information into the git-annex branch.

And, this relies on the way git-annex union merges the git-annex branch.
When reading a file, there can be a public and a private version, and
they are just concacenated together. That will be handled the same as if
there were two diverged git-annex branches that got union merged.

Added a comment

Added a comment

optimisation

Avoid unnecessary conversion to/from String.

remove now redundant function

comment

fix reversion in recent CoW changes

File handle accidentially left open is both a FD leak and causes the
haskell RTS to reject opening it again with "file is locked".

Merge branch 'master' of ssh://git-annex.branchable.com

thoughts

yoh asked me to tag this datalad

Added a comment

initial report for test fails on windows

Added a comment

removed

Added a comment: semantics of preferred content expressions

comment

Added a comment

Added a comment

Added a comment: reply

Added a comment: migration warning still present after migration

Added a comment

removed

rename forum/Drop_doesn__39__t_respect_mincopies.mdwn to bugs/Drop_doesn__39__t_respect_mincopies.mdwn

removed

Added a comment

Added a comment

Added a comment: drop --not-used-elsewhere

Added a comment: updating the keys database incrementally

Added a comment

added suggestion: let git-annex-matching-options query .gitattributes

removed

Added a comment

Added a comment

Added a comment: re: Sync from one remote to another

comment

Merge branch 'master' of ssh://git-annex.branchable.com

thoughts

Added a comment

comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

idea

Added a comment: Hardlinks

Added a comment: lockContent for special remotes

reporting fresh  test fails