Merge branch 'master' into hiddenannex

fix --all to include not yet committed files from the journal

Fix bug caused by recent optimisations that could make git-annex not see
recently recorded status information when configured with
annex.alwayscommit=false.

This does mean that --all can end up processing the same key more than once,
but before the optimisations that introduced this bug, it used to also behave
that way. So I didn't try to fix that; it's an edge case and anyway git-annex
behaves well when run on the same key repeatedly.

I am not too happy with the use of a MVar to buffer the list of files in the
journal. I guess it doesn't defeat lazy streaming of the list, if that
list is actually generated lazily, and anyway the size of the journal is
normally capped and small, so if configs are changed to make it huge and
this code path fire, git-annex using enough memory to buffer it all is not a
large problem.

refactoring

fix branch precacheing bug by checking journal

Fix bug caused by recent optimisations that could make git-annex not see
recently recorded status information when configured with
annex.alwayscommit=false.

When not using --all, precaching only gets triggered when the
command actually needs location logs, and so there's no speed hit there.

This is a minor speed hit for --all, because it precaches even when the
location log is not actually going to be used, and so checking the journal
is not necessary. It would have been possible to defer checking the journal
until the cache gets used. But that would complicate the usual Branch.get
code path with two different kinds of caches, and the speed hit is really
minimal. A better way to speed up --all, later, would be to avoid
precaching at all when the location log is not going to be used.

wip

bug report

Merge branch 'master' into hiddenannex

Merge branch 'master' of ssh://git-annex.branchable.com

reorder tests debugging windows failure

This order will work just as well, so no need to revert this change
later.

doc/git-annex.mdwn: Fix quoting of annex.supportunlocked

Added a comment: re: clarifying unlocked files

Added a comment: re: Are my unlocked, annexed files still safe?

update

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment: clarifying unlocked files

Added a comment: Are my unlocked, annexed files still safe?

Added a comment: auto-expire temp repos

Merge branch 'master' of ssh://git-annex.branchable.com

update

start implementing hidden git-annex repositories

This adds a separate journal, which does not currently get committed to
an index, but is planned to be committed to .git/annex/index-private.

Changes that are regarding a UUID that is private will get written to
this journal, and so will not be published into the git-annex branch.

All log writing should have been made to indicate the UUID it's
regarding, though I've not verified this yet.

Currently, no UUIDs are treated as private yet, a way to configure that
is needed.

The implementation is careful to not add any additional IO work when
privateUUIDsKnown is False. It will skip looking at the private journal
at all. So this should be free, or nearly so, unless the feature is
used. When it is used, all branch reads will be about twice as expensive.

It is very lucky -- or very prudent design -- that Annex.Branch.change
and maybeChange are the only ways to change a file on the branch,
and Annex.Branch.set is only internal use. That let Annex.Branch.get
always yield any private information that has been recorded, without
the risk that Annex.Branch.set might be called, with a non-private UUID,
and end up leaking the private information into the git-annex branch.

And, this relies on the way git-annex union merges the git-annex branch.
When reading a file, there can be a public and a private version, and
they are just concacenated together. That will be handled the same as if
there were two diverged git-annex branches that got union merged.

Added a comment

Added a comment

optimisation

Avoid unnecessary conversion to/from String.

remove now redundant function

comment

fix reversion in recent CoW changes

File handle accidentially left open is both a FD leak and causes the
haskell RTS to reject opening it again with "file is locked".

Merge branch 'master' of ssh://git-annex.branchable.com

thoughts

yoh asked me to tag this datalad

Added a comment

initial report for test fails on windows

Added a comment

removed

Added a comment: semantics of preferred content expressions

comment

Added a comment

Added a comment

Added a comment: reply

Added a comment: migration warning still present after migration

Added a comment

removed

rename forum/Drop_doesn__39__t_respect_mincopies.mdwn to bugs/Drop_doesn__39__t_respect_mincopies.mdwn

removed

Added a comment

Added a comment

Added a comment: drop --not-used-elsewhere

Added a comment: updating the keys database incrementally

Added a comment

added suggestion: let git-annex-matching-options query .gitattributes

removed

Added a comment

Added a comment

Added a comment: re: Sync from one remote to another

comment

Merge branch 'master' of ssh://git-annex.branchable.com

thoughts

Added a comment

comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

idea

Added a comment: Hardlinks

Added a comment: lockContent for special remotes

reporting fresh  test fails

initial todo/report on drop dropping a key "for all paths"

fix hardcoded origin name in checkAdjustedClone

init: Fix a crash when the repo's was cloned from a repo that had an
adjusted branch checked out, and the origin remote is not named "origin".

The only other hardcoding of the name of origin is in:

- Upgrade.V2, which can be ignored probably
- Annex.Branch, which doesn't fail if it has some other name, but just
  doesn't set up the git-annex branch with quite as linear a history in
  that case.

Merge branch 'master' of ssh://git-annex.branchable.com

remove part of comment that is no longer relevant

crippledfilesystem override not needed

Added a comment

bug: init crash with remote name other than "origin"

Merge branch 'master' of ssh://git-annex.branchable.com

directory CoW on export

Completing Cow support for directory.

directory CoW on import

Added a comment

directory CoW on store

Not for exports to directory yet though.

directory CoW on retrieve

directory: When cp supports reflinks, use it when getting content from a
directory special remote.

Not yet for imports from directory though, and not for store.

Note that, when it's chunked, using cp --reflink would not speed it up, and
when reflink was not supported, would unnecessarily write the chunk to a
file before reading it back in. So, only using a fileRetriever in the
NoChunks case is necessary to keep chunking fast.

fileCopier is told not to verify, because the special remote interface
does not yet support verification in passing. AFAICS, fileCopies can
never return False when not verifying so the added giveup should never
actually happen.

Added a comment: thanks

comment

split out Annex.CopyFile

Goal is to use it in Remote.Directory, but also it's nice to shrink Remote.Git.

Added a comment: comment to joey response on cp --reflink workaround

tag confirmed

note

correction

comment

update

comment

fsck: avoid redundant checksum when transfer is Verified

When downloading content from a remote, if the content is able to be
verified during the transfer, skip checksumming it a second time.

Note that in this case, the fsck output does not include "(checksum)"
which it does when the checksumming is done separately from the download.

This commit was sponsored by Brock Spratlen on Patreon.

Merge branch 'master' of ssh://git-annex.branchable.com

is importtree CoW from directory?