Pass annex.web-options to wget and curl after other options, so that eg --no-show-progress can be set by the user to disable the default --show-progress.

Merge branch 'master' of ssh://git-annex.branchable.com

metadata --batch: Fix bug when conflicting metadata changes were made in the same batch run.

1 microsecond delay is ugly.. but, maintaining an queue of a list of timestamps
and taking a new one from the queue each time around, or maintaining a timestamp
counter, would probably be slower.

analysis

analysis

analysis

Added a comment

todo

comment

Merge branch 'master' of ssh://git-annex.branchable.com

finish fixing android build after tor merge

Debian: Build webapp on armel.

linux standalone builds should have "unable to decommit memory" bug fixed

Added a comment: Nope a Fluke

Added a comment: Verification

Added a comment

fix some more

add news item for git-annex 6.20161210

releasing package git-annex version 6.20161210

better fix

improve hask to work with TH for Free monads

warning about old kernels

fix build warning

fix build with old stm

Old stm lacks isFullTMQueue.

To avoid needing to update stm on the Android autobuilder, I switched to
a TBMQueue. It never needs to be closed, but the overhead is minimal.

followup

fix build with old ghc

fix typo

fixed

Remove http-conduit (<2.2.0) constraint

Since https://github.com/aristidb/aws/issues/206 is resolved, this
constraint is no longer necessary. However, http-conduit (>=2.2.0)
requires http-client (>=0.5.0) which introduces some breaking changes.
This commit also implements those changes depending on the version.
Fixes: https://git-annex.branchable.com/bugs/Build_with_aws_head_fails/
Signed-off-by: Alper Nebi Yasak <alpernebiyasak@gmail.com>

Added a comment: Patch to fix aws head build issue

Added a comment: Corrupt Links Produced, Significant Data Loss

Added a comment

hang up connection after relaying

Seems that git upload-pack outputs a "ONCDN " that is not read by the
remote git receive-pack. This fixes:

[2016-12-09 17:08:32.77159731] P2P > ERROR protocol parse error: "ONCDN "

update

fix uuid comparison

avoid exposing auth tokens in debug

devblog

debug dump P2P messages

make tor hidden service work when directory watching is not available

Avoid crashing when built w/o inotify..

cleanup

bump maxConnections to 100

10 seemed too low because more than 10 friends could be linked to a repo
over tor, and if all were running the remotedaemon, which makes a
persistent connection for change notification, then the 11th friend
would not be able to access that repo.

100 might be too low, but it's a much larger group of people. And at
that size group, it probably makes sense to structure the network so
that 100 peers are not all trying to access one central node.

remotedaemon: git change detection over tor hidden service

only start ref change watcher thread once per P2P connection

This is more efficient. Note that the peer will get CHANGED messages for
all refs changed since the connection opened, even if those changes
happened before it sent NOTIFYCHANGE.

refactor ref change watching

Added to change notification to P2P protocol.

Switched to a TBChan so that a single long-running thread can be
started, and serve perhaps intermittent requests for change
notifications, without buffering all changes in memory.

The P2P runner currently starts up a new thread each times it waits
for a change, but that should allow later reusing a thread. Although
each connection from a peer will still need a new watcher thread to run.

The dependency on stm-chans is more or less free; some stuff in yesod
uses it, so it was already indirectly pulled in when building with the
webapp.

This commit was sponsored by Francois Marier on Patreon.

update

git-annex-shell, remotedaemon, git remote: Fix some memory DOS attacks.

The attacker could just send a very lot of data, with no \n and it would
all be buffered in memory until the kernel killed git-annex or perhaps OOM
killed some other more valuable process.

This is a low impact security hole, only affecting communication between
local git-annex and git-annex-shell on the remote system. (With either
able to be the attacker). Only those with the right ssh key can do it. And,
there are probably lots of ways to construct git repositories that make git
use a lot of memory in various ways, which would have similar impact as
this attack.

The fix in P2P/IO.hs would have been higher impact, if it had made it to a
released version, since it would have allowed DOSing the tor hidden
service without needing to authenticate.

(The LockContent and NotifyChanges instances may not be really
exploitable; since the line is read and ignored, it probably gets read
lazily and does not end up staying buffered in memory.)

debug on error serving peer

fix

make clear that log is only updated after successful removal

This does not change behavior, because an exception is thrown on
unsuccessful removal. But is clearer.

typo

content removal is supposed to succed if the content was already not present

improve warning on connection loss

todo

more todo

update progress logs in remotedaemon send/receive

avoid remotedaemon outputting misc Messages when running

It's a daemon or is communictaing with the assistant over stdio, so
should not display checksum messages etc while serving the P2P protocol
etc.

fix memory leak

I'm unsure why this fixed it, but it did. Seems to suggest that the
memory leak is not due to a bug in my code, but that ghc didn't manage
to take full advantage of laziness, or was failing to gc something it
could have.

correction

analysis

profiling

consistent caps

comment

didn't mean to commit this change yet

comment

update instructions to work better

we have a memory leak

move byteable to main dep list

Only the webapp had pulled it in, but the authtoken code uses it now.

force sofar calculation

This could avoid a memory leak. It would only happen when
the meter didn't look at sofar.

better format error

update

move to debug

convert P2P runners from Maybe to Either String

So we get some useful error messages when things fail.

This commit was sponsored by Peter Hogg on Patreon.

fix laziness problem in git relaying

The switch to hGetMetered subtly changed the laziness of how DATA was
read, and broke git protocol relaying. Fix by sending received data to
the git process's stdin immediately, which ensures that the lazy
bytestring is all read from the peer before going on to process the next
message from the peer.

include error message when unable to connect to peer

update

fix build with old ghc

fix links

link to git-annex-metadata-gui

add git-annex-adaptor

git-annex-metadata-gui yay!

devblog

todo

add page for tor special remote

update

fix math error that caused resumes to always fail

ReadWriteMode not AppendMode

AppendMode does not allow seeking..

add section on tor speed

open file for append, not write, so resuming works

WriteMode zeros any existing content, so the seek filled with zeros, and
verification failed after download.

offset meters when resuming

todo

Merge branch 'master' into tor

more p2p progress meters

Display progress meter on send and receive from remote.

Added a new hGetMetered that can read an exact number of bytes (or
less), updating a meter as it goes.

This commit was sponsored by Andreas on Patreon.

add section on security

update progress meter when sending to p2p remote

This commit was sponsored by Thom May on Patreon.

update

validate peer uuid each time we talk to it

In case the repo on the peer changes uuid (eg by a new repo being moved
into place).

Also, added some warning messages when unable to communicate with a
peer.

This commit was sponsored by Anthony DeRobertis on Patreon.

remote uuid discovery in p2p --link

This also tests that we can connect to the peer.

This commit was sponsored by Jeff Goeke-Smith on Patreon.

add todo list for remaining tor stuff