progress meter for p2phttp storeKey

Remote.Git storeKey works with annex+http urls

Does not yet update progress meter.

update

more generic clientGet

fix slowloris timeout in hashing resume of download of large file

Hash the data that is already present in the file before connecting to
the http server.

fix meter display on resume

It still needs to be offset, otherwise on resume from 80% it will
display 1%..20%.

Seems that this bug must have affected P2P.Annex as well where it runs
this code, but apparently it didn't affect it in a very user-visible
way. Maybe the transfer log file was updated incorrectly?

Remote.Git retrieveKeyFile works with annex+http urls

This includes a bugfix to serveGet, it hung at the end.

factor out resumeVerifyFromOffset

avoid needing ifdefs when using P2P.Http.Client

Merge branch 'master' into httpproto

Propagate --force to git-annex transferrer

And other child processes.

bug

cache credentials for p2phttp in memory

remove uuid from url when calling git credential

The user doesn't want to see a uuid in the prompt.

Also, when a http server is proxying, multiple remotes will have the
same base url, and the same password will work for them all.

use git credential when p2phttp needs auth

p2phttp support https

add --bind option and listen to both ipv4 and ipv6 by default

protocol version fallback on 404

and prettified errors

Remote.Git checkpresent works with annex+http urls.

factor out http server and client into own modules

To avoid a cycle when Remote.Git uses the client.

started wiring p2phttp into Remote.Git

but we have a cycle, ugh

require a valid uuid at the end of an annex+http url

add remoteAnnexP2PHttpUrl to RemoveGitConfig

This is always parsed, when building without servant, a Baseurl is not
generated, and users of it will need to fail.

starting support for remote.name.annexUrl set to annex+http

In this case, Remote.Git should not use that url for all access to
the repository. It will only be used for annex operations, which isn't
done yet.

update servant build flag

make it work when building w/o assistant

update

annex+http urls

refactor

fix build

update

change default port to 9417

Port 80 would need root, not a good idea, so pick something that might
work by default.

9418 is git protocol's port. 9419 is used by something, but nothing
known uses 9417, so it's as good a default as any.

exit cleanly on eg, failure to bind socket

P2P protocol is finalized

make keeplocked client UUID optional

It's not used, but it makes the protocol simpler if this parameter can
always be sent.

locking over http basically working

make serveKeepLocked check auth just to be safe

implement clientLockContent

implemented serveLockContent (untested)

improve clientKeepLocked

variable name

refactor

finished clientGet validity checking

improve clientGet types

fix TMVar left full crash affecting servePutOffset

Problem is that whatever is reading from the TMVar may not have read
from it yet before the client writes the next thing to it.

implemented servePutOffset and clientPutOffset

But, it's buggy: the server hangs without processing the VALIDITY,
and I can't seem to work out why. As far as I can see, storefile
is getting as far as running the validitycheck, which is supposed to
read that, but never does.

This is especially strange because what seems like the same protocol
doesn't hang when servePut runs it. This made me think that it needed
to use inAnnexWorker to be more like servePut, but that didn't help.

Another small problem with this is that it does create an empty
.git/annex/tmp/ file for the key. Since this will usually be used in
combination with servePut, that doesn't seem worth worrying about much.

fix crash in servePut when client sends from too high offset

Have to consume all the content from the client, but force an Invalid
result, so it will just get discarded.

clientPut seeking to offset

avoid padding in servePut

This means that when the client sends a truncated data to indicate
invalidity, DATA is not passed the full expected data. That leaves the
P2P connection in a state where it cannot be reused. While so far, they
are not reused, they will be later when proxies are supported. So, have
to close the P2P connection in this situation.

avoid padding in clientPut

Instead truncate when necessary to indicate invalid content was sent.
Very similar to how serveGet handles it.

fix releasing of p2p connection

avoid padding content in serveGet

Always truncate instead. The padding risked something not noticing the
content was bad and getting a file that was corrupted in a novel way
with the padding "X" at the end. A truncated file is better.

servePut and clientPut implementation

Made the data-length header required even for v0. This simplifies the
implementation, and doesn't preclude extra verification being done for
v0.

The connectionWaitVar is an ugly hack. In servePut, nothing waits
on the waitvar, and I could not find a good way to make anything wait on
it.

Added a comment: git-annex for managing music

Added a comment

Added a comment: `git annex sync --ff-only`

Added a comment: Also Serveo.net

Added a comment

Added a comment

Added a comment

reporting FTBFS on windows

Added a comment

Added a comment

Added a comment

Added a comment

only base64 non-utf8

update deps

use worker pool in withLocalP2PConnections

This allows multiple clients to be handled at the same time.

switch HTTP P2P protocol to base64url

Base64 can include '/', and with UUIDs and keys both used in routes,
the encoding needs to avoid that. Use base64url everywhere in the HTTP
protocol for consistency.

roughed in servePut

oops, 2 datalength headers for put route

use DataLength

simplify

serveGet invalidation

implement generic get server

move serveruuid into routes

In particular the generic get route needs it, so that when a single http
server is serving multiple repositories, it knows what repository to
use.

fix serveGet early handle close

Needed that waitv after all..

fix annexworker shutdown on early client disconnect

cleanup

fix serveGet hang

This came down to SendBytes waiting on the waitv. Nothing ever filled
it.

Only Annex.Proxy needs the waitv, and it handles filling it. So make it
optional.

a little progress on serveGet hang

Now it gets to the validity checker, but it seems it never runs it.

update

implemented serveGet and clientGet

Both are only at bare proof of concept stage. Still need to deal with
signaling validity and invalidity, and checking it.

And there's a bad bug: After -JN*2 requests, another request hangs!

So, I think it's failing to free up the Annex worker and end of request
lifetime.

Perhaps I need to use this:

https://docs.servant.dev/en/stable/cookbook/managed-resource/ManagedResource.html

add Annex worker pool to P2PHttp

This will be needed for get and store, since those need to run Annex
actions.

withLocalP2PConnections will also probably use it.

implement gettimestamp

implement remove-before

The reason to use removeBeforeRemoteEndTime is twofold.

First, removeBefore sends two protocol commands. Currently, the HTTP
protocol runner only supports sending a single command per invocation.

Secondly, the http server gets a monotonic timestamp from the client. So
translating back to a POSIXTime would be annoying.

The timestamp flow with a proxy will be:

- client gets timestamp, which gets the monotonic timestamp from the
  proxied remote via the proxy. The timestamp is currently not
  proxied when there is a single proxy.
- client calls remove-before
- http server calls removeBeforeRemoteEndTime which sends REMOVE-BEFORE
  to the proxied remote.