bump maxConnections to 100

10 seemed too low because more than 10 friends could be linked to a repo
over tor, and if all were running the remotedaemon, which makes a
persistent connection for change notification, then the 11th friend
would not be able to access that repo.

100 might be too low, but it's a much larger group of people. And at
that size group, it probably makes sense to structure the network so
that 100 peers are not all trying to access one central node.

remotedaemon: git change detection over tor hidden service

only start ref change watcher thread once per P2P connection

This is more efficient. Note that the peer will get CHANGED messages for
all refs changed since the connection opened, even if those changes
happened before it sent NOTIFYCHANGE.

refactor ref change watching

Added to change notification to P2P protocol.

Switched to a TBChan so that a single long-running thread can be
started, and serve perhaps intermittent requests for change
notifications, without buffering all changes in memory.

The P2P runner currently starts up a new thread each times it waits
for a change, but that should allow later reusing a thread. Although
each connection from a peer will still need a new watcher thread to run.

The dependency on stm-chans is more or less free; some stuff in yesod
uses it, so it was already indirectly pulled in when building with the
webapp.

This commit was sponsored by Francois Marier on Patreon.

update

git-annex-shell, remotedaemon, git remote: Fix some memory DOS attacks.

The attacker could just send a very lot of data, with no \n and it would
all be buffered in memory until the kernel killed git-annex or perhaps OOM
killed some other more valuable process.

This is a low impact security hole, only affecting communication between
local git-annex and git-annex-shell on the remote system. (With either
able to be the attacker). Only those with the right ssh key can do it. And,
there are probably lots of ways to construct git repositories that make git
use a lot of memory in various ways, which would have similar impact as
this attack.

The fix in P2P/IO.hs would have been higher impact, if it had made it to a
released version, since it would have allowed DOSing the tor hidden
service without needing to authenticate.

(The LockContent and NotifyChanges instances may not be really
exploitable; since the line is read and ignored, it probably gets read
lazily and does not end up staying buffered in memory.)

debug on error serving peer

fix

make clear that log is only updated after successful removal

This does not change behavior, because an exception is thrown on
unsuccessful removal. But is clearer.

typo

content removal is supposed to succed if the content was already not present

improve warning on connection loss

todo

more todo

update progress logs in remotedaemon send/receive

avoid remotedaemon outputting misc Messages when running

It's a daemon or is communictaing with the assistant over stdio, so
should not display checksum messages etc while serving the P2P protocol
etc.

fix memory leak

I'm unsure why this fixed it, but it did. Seems to suggest that the
memory leak is not due to a bug in my code, but that ghc didn't manage
to take full advantage of laziness, or was failing to gc something it
could have.

correction

analysis

profiling

consistent caps

comment

didn't mean to commit this change yet

comment

update instructions to work better

we have a memory leak

move byteable to main dep list

Only the webapp had pulled it in, but the authtoken code uses it now.

force sofar calculation

This could avoid a memory leak. It would only happen when
the meter didn't look at sofar.

better format error

update

move to debug

convert P2P runners from Maybe to Either String

So we get some useful error messages when things fail.

This commit was sponsored by Peter Hogg on Patreon.

fix laziness problem in git relaying

The switch to hGetMetered subtly changed the laziness of how DATA was
read, and broke git protocol relaying. Fix by sending received data to
the git process's stdin immediately, which ensures that the lazy
bytestring is all read from the peer before going on to process the next
message from the peer.

include error message when unable to connect to peer

update

fix build with old ghc

fix links

link to git-annex-metadata-gui

add git-annex-adaptor

git-annex-metadata-gui yay!

devblog

todo

add page for tor special remote

update

fix math error that caused resumes to always fail

ReadWriteMode not AppendMode

AppendMode does not allow seeking..

add section on tor speed

open file for append, not write, so resuming works

WriteMode zeros any existing content, so the seek filled with zeros, and
verification failed after download.

offset meters when resuming

todo

Merge branch 'master' into tor

more p2p progress meters

Display progress meter on send and receive from remote.

Added a new hGetMetered that can read an exact number of bytes (or
less), updating a meter as it goes.

This commit was sponsored by Andreas on Patreon.

add section on security

update progress meter when sending to p2p remote

This commit was sponsored by Thom May on Patreon.

update

validate peer uuid each time we talk to it

In case the repo on the peer changes uuid (eg by a new repo being moved
into place).

Also, added some warning messages when unable to communicate with a
peer.

This commit was sponsored by Anthony DeRobertis on Patreon.

remote uuid discovery in p2p --link

This also tests that we can connect to the peer.

This commit was sponsored by Jeff Goeke-Smith on Patreon.

add todo list for remaining tor stuff

fix up some commands

devbog

PAKE

need to auth with the peer

refactor

finish implementation of Remote.P2P (untested)

Not tested at all, but it just might work.
Only known problem is that progress is not updated when storing to a P2P
remote.

This commit was sponsored by Nick Daly on Patreon.

added StoreContentTo

This is needed in addition to StoreContent, because retrieveKeyFile can
be used to retrieve to different destination files, not only the tmp
file for a key.

This commit was sponsored by Ole-Morten Duesund on Patreon.

stub Remote.P2P

Similar to GCrypt remotes, P2P remotes have an url, so Remote.Git has to
separate them out and handle them, passing off to Remote.P2P.

This commit was sponsored by Ignacio on Patreon.

Added a comment: UTF-8 problems in some other commands

add: Stage modified non-large files when running in indirect mode.

(This was already done in v6 mode and direct mode.)

fix formatting

mdwn2man gets confused as `command` spanning multiple lines..

rekey: Added --batch mode.

Would have liked to make the Parser parse the file and key pairs, but it
seems that optparse-applicative is unable to handle eg:

many ((,) <$> argument <*> argument)

This commit was sponsored by Thomas Hochstein on Patreon.

changelog

minor style

Merge kite:tmp/git-annex

cleanup

rmurl: --batch

* rmurl: Multiple pairs of files and urls can be provided on the
  command line.
* rmurl: Added --batch mode.

This commit was sponsored by Trenton Cronholm on Patreon.

git-annex fromkey now takes multiple pairs of keys and filenames

It also still reads from stdin when none are specified.

"fixed" by reading --help

added forgotten author tag

initial report

Added a comment

use list

update

Merge branch 'master' of ssh://git-annex.branchable.com

break out curent list of names into its own file so I can auto-add from patreon

and some misc updates

plumb assicated files through P2P protocol for updating transfer logs

ReadContent can't update the log, since it reads lazily. This part of
the P2P monad will need to be rethought.

Associated files are heavily sanitized when received from a peer;
they could be an exploit vector.

This commit was sponsored by Jochen Bartl on Patreon.

plumb peer uuid through to runLocal

This will allow updating transfer logs with the uuid.

initial implementation of P2P.Annex runner

Untested, and it does not yet update transfer logs.

Verifying transferred content is modeled on git-annex-shell recvkey.
In a direct mode or annex.thin repository, content can change while it's
being transferred. So, verification is always done, even if annex.verify
would normally prevent it.

Note that a WORM or URL key could change in a way the verification
doesn't catch. That can happen in git-annex-shell recvkey too. We don't
worry about it, because those key backends don't guarantee preservation
of data. (Which is to say, I worried about it, and then convinced myself
again it was ok.)

catch non-IO exceptions too

make remote-daemon able to send and receive objects over tor

Each worker thread needs to run in the Annex monad, but the
remote-daemon's liftAnnex can only run 1 action at a time. Used
Annex.Concurrent to deal with that.

P2P.Annex is incomplete as of yet.

improve Local monad

make sure that the specified number of bytes of DATA are always sent

It's possible, in direct or thin mode, that an object file gets
truncated or appended to as it's being sent. This would break the
protocol badly, so make sure never to send too many bytes, and to
close the protocol connection if too few bytes are available.