add todo list for remaining tor stuff

fix up some commands

PAKE

need to auth with the peer

refactor

finish implementation of Remote.P2P (untested)

Not tested at all, but it just might work.
Only known problem is that progress is not updated when storing to a P2P
remote.

This commit was sponsored by Nick Daly on Patreon.

added StoreContentTo

This is needed in addition to StoreContent, because retrieveKeyFile can
be used to retrieve to different destination files, not only the tmp
file for a key.

This commit was sponsored by Ole-Morten Duesund on Patreon.

stub Remote.P2P

Similar to GCrypt remotes, P2P remotes have an url, so Remote.Git has to
separate them out and handle them, passing off to Remote.P2P.

This commit was sponsored by Ignacio on Patreon.

plumb assicated files through P2P protocol for updating transfer logs

ReadContent can't update the log, since it reads lazily. This part of
the P2P monad will need to be rethought.

Associated files are heavily sanitized when received from a peer;
they could be an exploit vector.

This commit was sponsored by Jochen Bartl on Patreon.

plumb peer uuid through to runLocal

This will allow updating transfer logs with the uuid.

initial implementation of P2P.Annex runner

Untested, and it does not yet update transfer logs.

Verifying transferred content is modeled on git-annex-shell recvkey.
In a direct mode or annex.thin repository, content can change while it's
being transferred. So, verification is always done, even if annex.verify
would normally prevent it.

Note that a WORM or URL key could change in a way the verification
doesn't catch. That can happen in git-annex-shell recvkey too. We don't
worry about it, because those key backends don't guarantee preservation
of data. (Which is to say, I worried about it, and then convinced myself
again it was ok.)

catch non-IO exceptions too

make remote-daemon able to send and receive objects over tor

Each worker thread needs to run in the Annex monad, but the
remote-daemon's liftAnnex can only run 1 action at a time. Used
Annex.Concurrent to deal with that.

P2P.Annex is incomplete as of yet.

improve Local monad

make sure that the specified number of bytes of DATA are always sent

It's possible, in direct or thin mode, that an object file gets
truncated or appended to as it's being sent. This would break the
protocol badly, so make sure never to send too many bytes, and to
close the protocol connection if too few bytes are available.

cleanups

more flexible types for Proto runners

This will allow a runner in the Annex monad.

better comments

actually check p2p authtokens for tor connections

This commit was sponsored by Ethan Aubin.

use P2P auth for git-remote-tor-annex

This changes the environment variable name to the more generic
GIT_ANNEX_P2P_AUTHTOKEN.

This commit was sponsored by andrea rota.

implement p2p --link

This commit was sponsored by Riku Voipio.

implement p2p command

max authtoken length is 128

It was stopping at 128, so the 512 was only incorrect, it didn't change
behavior.

avoid too-long command synopsis

It was making git-annex usage output columns far too wide

Merge branch 'master' into tor

prefer xdot over dot

* map: Run xdot if it's available in PATH. On OSX, the dot command
  does not support graphical display, while xdot does.
* Debian: xdot is a better interactive viewer than dot, so Suggest
  xdot, rather than graphviz.

supposedly unused import was used

Merge branch 'master' into tor

remove unused import

cleanup

devblog

comments

update docs for git-annex p2p command

It is not yet implemented.

finish git-annex enable-tor

Make it stash the address away for git-annex p2p to use later, rather
than outputting it. And, look up the UUID itself.

Merge branch 'master' into tor

fix

enable remotedaemon when assistant is not enabled

Needed to serve tor hidden services.

move tor hidden service socket to /etc, temporarily violating the FHS

On Debian, apparmor prevents tor from reading from most locations. And,
it silently fails if it is prevented from reading the hidden service
socket. I filed #846275 about this; violating the FHS is the least bad of a
bad set of choices until that bug is fixed.

tighten added language

Removed part about neeing to install git-annex and git in the same
location. The installer checks if the location given exists, and if not,
tells the user that git is not installed there. And the default should
work if the user just picks it in both installers.

Revert "Added link to Windows installation instructions. The page was not easy to find."

This reverts commit c68d4305eb016e026d655dff7c7cb96cbb8296ea.

With all due respect, the link to the instructions for each OS is in the
"detailed instructions" column. Adding a second link to the same thing
is unlikely to help.

Merge branch 'master' of ssh://git-annex.branchable.com

Windows autobuilder is going to be hosted at Dartmouth now

Added more explanations of my experience with the Windows install process.

Added link to Windows installation instructions. The page was not easy to find.

Added a comment: Temporary workaround until the brew formula is updated

Added a comment

removed

Added a comment

Added a comment

Added a comment

fix build

Added a comment: Sharing rsync special remote between repository

Fixed typo in Schedule.hs.

Added a comment: Walkthrough of a prudent retroactive annex.

Added a comment: IgnoreUnknown Include considered harmful?

Added a comment: Known bug, fixed.

docs for stuff not fully implemented yet

add P2P.Auth

reorg

unified AuthToken type between webapp and tor

fix regression

The file matcher needs to be run on the destination file not the tmp
file, in order for filename matches to work properly. However, it also
needs to be able to probe the file for size and mime type.

This is a quick fix to a regression. The double rename is not pretty.
It would be good to either have a way to run the largeFileMatcher
such that it is matching on the final filename but looks at the temp
file, or to make addAnnexedFile not need the temp file in a different
location.

avoid backtrace when rekey cntent verification fails

cleanup

Relicense 5 source files that are not part of the webapp from AGPL to GPL.

Building w/o the webapp is not supposed to pull in any AGPLed files.

I appear to have written all the code in these files;
the only commit by anyone else is 64e844e1fefca513d143e3f74a54dfc6d526a2ff
and is a spelling fix that is not copyrightable.

devblog

remove debug

avoid serving more than 10 tor connections at a time

Another 10 clients can be accepted and waiting their turn. After that,
start dropping connections.

This is to avoid DOS attacks..

detect EOF on socket and cleanly shutdown the service process

stop cleanly when there's a IO error accessing the Handle

All other exceptions are let through, but IO errors accessing the handle
are to be expected, so quietly ignore.

try to gather scattered writes

git upload-pack makes some uncessary writes in sequence, this tries to
gather them together to avoid needing to send multiple DATA packets when
just one will do.

In a small pull, this reduces the average number of DATA packets from
4.5 to 2.5.

fix parse of CONNECTDONE

pull/push over tor working now

Still a couple bugs:

* Closing the connection to the server leaves git upload-pack /
  receive-pack running, which could be used to DOS.

* Sometimes the data is transferred, but it fails at the end, sometimes
  with:

  git-remote-tor-annex: <socket: 10>: commitBuffer: resource vanished (Broken pipe)

  Must be a race condition around shutdown.

Added a comment

Added git-remote-tor-annex, which allows git pull and push to the tor hidden service.

Almost working, but there's a bug in the relaying.

Also, made tor hidden service setup pick a random port, to make it harder
to port scan.

This commit was sponsored by Boyd Stephen Smith Jr. on Patreon.

added meta field for myself

todo

addurl: Fix bug in checking annex.largefiles expressions using largerthan, mimetype, and smallerthan; the first two always failed to match, and the latter always matched.

Added a comment: Coldline

improve p2p protocol implementation

Tested it in ghci a little now.

remotedaemon: serve tor hidden service

remotedaemon: Fork to background by default. Added --foreground switch to enable old behavior.

Groundwork for tor hidden services, which the remotedaemon will serve.

implement p2p protocol for Handle

This is most of the way to having the p2p protocol working over tor
hidden services, at least enough to do git push/pull.

The free monad was split into two, one for network operations and the
other for local (Annex) operations. This will allow git-remote-tor-annex
to run only an IO action, not needing the Annex monad.

This commit was sponsored by Remy van Elst on Patreon.

initial whining

Added a comment

extend p2p protocol to support gitremote-helpers connect

A bit tricky since Proto doesn't support threads. Rather than adding
threading support to it, ended up using a callback that waits for both
data on a Handle, and incoming messages at the same time.

This commit was sponsored by Denis Dzyubenko on Patreon.

Added a comment

Merge branch 'master' into tor

add news item for git-annex 6.20161118

releasing package git-annex version 6.20161118

comment

Added a comment