Merge branch 'master' of ssh://git-annex.branchable.com

Changed drop ordering when using git annex sync --content or the assistant, to drop from remotes first and from the local repo last. This works better with the behavior changes to drop in many cases.

timing info

fix various build warnings, mostly on Windows

And some when S3 is disabled

Added a comment

put Win32-extras in extra-deps as it's not yet in lts

more notes

workarounds

clarification

Added a comment

new bug

doc/devblog/day_322-326__concurrent_drop_safety.mdwn: Wording

comment typo

fix windows build

Merge branch 'master' of ssh://git-annex.branchable.com

fix export list to work on windows

response

Avoid unncessary write to the location log when a file is unlocked and then added back with unchanged content.

Implemented with no additional overhead of compares etc.

This is safe to do for presence logs because of their locality of change;
a given repo's presence logs are only ever changed in that repo, or in a
repo that has just been actively changing the content of that repo.

So, we don't need to worry about a split-brain situation where there'd
be disagreement about the location of a key in a repo. And so, it's ok to
not update the timestamp when that's the only change that would be made
due to logging presence info.

Added a comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

response

response

response

close

avoid ugly error about MVar if the sqlite worker thread crashes

use action, not sideAction

sideAction is for things not generally related to the current action being
performed. And, it adds a newline after the side action. This was not the
right thing to use for stuff like "checksum", where doing a checksum is
part of the git annex get process, and indeed we want it to display
"(checksum...) ok"

Added a comment

Added a comment

Added a comment

Added a comment

fix close tag

Merge branch 'master' of ssh://git-annex.branchable.com

Merge branch 'dropproof'

massive devblog

add inAnnex check to local lockKey

close bug

improve display when lockcontent fails

/dev/null stderr; ssh is still able to display a password prompt
despite this

Show some messages so the user knows it's locking a remote, and
knows if that locking failed.

implement lockContent for ssh remotes

cleanup changelog

also generate a drop safety proof for move --from remote

tests and verified that the bug is fixed, in all the cases I identified

fix local dropping to not require extra locking of copies, but only that the local copy be locked for removal

improve message when drop failed due to no locked copy

rename constructor

verify local copy of content with locking

display drop safety proofs in debug mode

Added a comment: post-receive hook

fix lockKey to run callback in original Annex monad, not local remote's

content locking during drop working for local git remotes

Only ssh remotes lack locking now

finish and use lockContent interface

improve drop proof code

refactor

removed

Added a comment

Added a comment

Added a comment

Added a comment: Sharing S3 bucket between repos

TrustedCopy is good enough to allow dropping

By definition, a trusted repository is trusted to always have its location
tracking log accurate. Thus, it should never be in a position where content
is being dropped from it concurrently, as that would result in the location
tracking log not being accurate.

try harder to verify until at least one VerifiedCopyLock is obtained

This avoids a failure where eg, we start with RecentlyVerifiedCopies
for all remotes, and so didn't do any active verification, which is
required.

Also, dedup the list of VerifiedCopies when checking if we have enough,
in case 2 copies of a UUID slip in.

require 1 locked copy while dropping from local or a remote

See doc/bugs/concurrent_drop--from_presence_checking_failures.mdwn for
discussion about why 1 locked copy is all we can require, and how this
fixes concurrent dropping bugs.

Note that, since nothing yet generates a VerifiedCopyLock yet, this commit
breaks dropping temporarily.

support invalidating existing VerifiedCopys

add VerifiedCopy data type

There should be no behavior changes in this commit, it just adds a more
expressive data type and adjusts code that had been passing around a [UUID]
or sometimes a Maybe Remote to instead use [VerifiedCopy].

Although, since some functions were taking two different [UUID] lists,
there's some potential for me to have gotten it horribly wrong.

add removeKey action to Remote

Not implemented for any remotes yet; probably the git remote is the only
one that will ever implement it.

unused import

I think this comment is stale/confusing; remove

git-annex-shell: Added lockcontent command, to prevent dropping of key's content.

add lockContentShared

Also, rename lockContent to lockContentExclusive

inAnnexSafe should perhaps be eliminated, and instead use
`lockContentShared inAnnex`. However, I'm waiting on that, as there are
only 2 call sites for inAnnexSafe and it's fiddly.

export FileMode type

Added a comment: ah -- the 32bit build I guess

add tryLockShared

open lock file ReadOnly when taking shared lock

It's only necessary to open a file for write when taking an exclusive lock.

Added a comment: standalone builds

Added a comment: Git Version

Added a comment

Added a comment

getting proof-y

Debian: Remove dependency on transformers library, as it is now included in ghc.

Backporters will need to revert this.

titles

indents

alternative solution

analysis of some topologies, and idea to generate moves

Debian: Add torrent library to build-depends as it's packaged now, and stop recommending bittornado | bittorrent.

be verbose to debug problem with aws

add test cases for copy --auto

(Only --from for now, should add --to sometime but I'm on low sleep so this
is the mininal test to catch the reversion just fixed, bad me for doing it
backwards and incompletely.)

copy --auto was checking the wrong repo's preferred content. (--from was checking what --to should, and vice-versa.) Fixed this bug, which was introduced in version 5.20150727.

oops, didn't mean to commit this debug

analysis

comment

force installing older warp; current fails to build

sed out the filename from sha1sum output

hopefuly fix sha1sum calling; also refactor and check downloaded program's sha before using it

confirmed

Merge branch 'master' of ssh://git-annex.branchable.com