update progress logs in remotedaemon send/receive

avoid remotedaemon outputting misc Messages when running

It's a daemon or is communictaing with the assistant over stdio, so
should not display checksum messages etc while serving the P2P protocol
etc.

fix memory leak

I'm unsure why this fixed it, but it did. Seems to suggest that the
memory leak is not due to a bug in my code, but that ghc didn't manage
to take full advantage of laziness, or was failing to gc something it
could have.

correction

analysis

profiling

consistent caps

comment

didn't mean to commit this change yet

comment

update instructions to work better

we have a memory leak

move byteable to main dep list

Only the webapp had pulled it in, but the authtoken code uses it now.

force sofar calculation

This could avoid a memory leak. It would only happen when
the meter didn't look at sofar.

better format error

update

move to debug

convert P2P runners from Maybe to Either String

So we get some useful error messages when things fail.

This commit was sponsored by Peter Hogg on Patreon.

fix laziness problem in git relaying

The switch to hGetMetered subtly changed the laziness of how DATA was
read, and broke git protocol relaying. Fix by sending received data to
the git process's stdin immediately, which ensures that the lazy
bytestring is all read from the peer before going on to process the next
message from the peer.

include error message when unable to connect to peer

update

fix build with old ghc

fix links

link to git-annex-metadata-gui

add git-annex-adaptor

git-annex-metadata-gui yay!

devblog

todo

add page for tor special remote

update

fix math error that caused resumes to always fail

ReadWriteMode not AppendMode

AppendMode does not allow seeking..

add section on tor speed

open file for append, not write, so resuming works

WriteMode zeros any existing content, so the seek filled with zeros, and
verification failed after download.

offset meters when resuming

todo

Merge branch 'master' into tor

more p2p progress meters

Display progress meter on send and receive from remote.

Added a new hGetMetered that can read an exact number of bytes (or
less), updating a meter as it goes.

This commit was sponsored by Andreas on Patreon.

add section on security

update progress meter when sending to p2p remote

This commit was sponsored by Thom May on Patreon.

update

validate peer uuid each time we talk to it

In case the repo on the peer changes uuid (eg by a new repo being moved
into place).

Also, added some warning messages when unable to communicate with a
peer.

This commit was sponsored by Anthony DeRobertis on Patreon.

remote uuid discovery in p2p --link

This also tests that we can connect to the peer.

This commit was sponsored by Jeff Goeke-Smith on Patreon.

add todo list for remaining tor stuff

fix up some commands

devbog

PAKE

need to auth with the peer

refactor

finish implementation of Remote.P2P (untested)

Not tested at all, but it just might work.
Only known problem is that progress is not updated when storing to a P2P
remote.

This commit was sponsored by Nick Daly on Patreon.

added StoreContentTo

This is needed in addition to StoreContent, because retrieveKeyFile can
be used to retrieve to different destination files, not only the tmp
file for a key.

This commit was sponsored by Ole-Morten Duesund on Patreon.

stub Remote.P2P

Similar to GCrypt remotes, P2P remotes have an url, so Remote.Git has to
separate them out and handle them, passing off to Remote.P2P.

This commit was sponsored by Ignacio on Patreon.

Added a comment: UTF-8 problems in some other commands

add: Stage modified non-large files when running in indirect mode.

(This was already done in v6 mode and direct mode.)

fix formatting

mdwn2man gets confused as `command` spanning multiple lines..

rekey: Added --batch mode.

Would have liked to make the Parser parse the file and key pairs, but it
seems that optparse-applicative is unable to handle eg:

many ((,) <$> argument <*> argument)

This commit was sponsored by Thomas Hochstein on Patreon.

changelog

minor style

Merge kite:tmp/git-annex

cleanup

rmurl: --batch

* rmurl: Multiple pairs of files and urls can be provided on the
  command line.
* rmurl: Added --batch mode.

This commit was sponsored by Trenton Cronholm on Patreon.

git-annex fromkey now takes multiple pairs of keys and filenames

It also still reads from stdin when none are specified.

"fixed" by reading --help

added forgotten author tag

initial report

Added a comment

use list

update

Merge branch 'master' of ssh://git-annex.branchable.com

break out curent list of names into its own file so I can auto-add from patreon

and some misc updates

plumb assicated files through P2P protocol for updating transfer logs

ReadContent can't update the log, since it reads lazily. This part of
the P2P monad will need to be rethought.

Associated files are heavily sanitized when received from a peer;
they could be an exploit vector.

This commit was sponsored by Jochen Bartl on Patreon.

plumb peer uuid through to runLocal

This will allow updating transfer logs with the uuid.

initial implementation of P2P.Annex runner

Untested, and it does not yet update transfer logs.

Verifying transferred content is modeled on git-annex-shell recvkey.
In a direct mode or annex.thin repository, content can change while it's
being transferred. So, verification is always done, even if annex.verify
would normally prevent it.

Note that a WORM or URL key could change in a way the verification
doesn't catch. That can happen in git-annex-shell recvkey too. We don't
worry about it, because those key backends don't guarantee preservation
of data. (Which is to say, I worried about it, and then convinced myself
again it was ok.)

catch non-IO exceptions too

make remote-daemon able to send and receive objects over tor

Each worker thread needs to run in the Annex monad, but the
remote-daemon's liftAnnex can only run 1 action at a time. Used
Annex.Concurrent to deal with that.

P2P.Annex is incomplete as of yet.

improve Local monad

make sure that the specified number of bytes of DATA are always sent

It's possible, in direct or thin mode, that an object file gets
truncated or appended to as it's being sent. This would break the
protocol badly, so make sure never to send too many bytes, and to
close the protocol connection if too few bytes are available.

urk

test failures were being ignored for complex reasons, new autobuilder broke that; bring it back

Merge branch 'master' of ssh://git-annex.branchable.com

change link to windows autobuild page

Remove obsolete link to Windows build logs

Add initial Jenkins pipeline script

Signed-off-by: Yury V. Zaytsev <yury.zaytsev@moneymeets.com>

cleanups

more flexible types for Proto runners

This will allow a runner in the Annex monad.

better comments

Added a comment: magic wormhole

Merge branch 'master' of ssh://git-annex.branchable.com

devblog

actually check p2p authtokens for tor connections

This commit was sponsored by Ethan Aubin.