Merge branch 'checkbucketversioning'

S3: Send git-annex or other configured User-Agent.

--user-agent is the only way to configure it currently

(Needs aws-0.24.3)

fix

response

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

add: When adding a dotfile as a non-large file, mention that it's a dotfile

This is to reduce user confusion when their annex.largefiles matches it,
or is not set.

Note that, when annex.dotfiles is set, but a dotfile is not matched by
annex.largefiles, the "non-large file" message will be displayed. That
makes sense because whether the file is a dotfile does not matter with that
configuration.

Also, this slightly optimised the annex.dotfiles path in passing,
by avoiding the slight slowdown caused by the check added in commit
876d5b6c6fed7d540767783eb3d14469f41bd1c2 in that case.

Added a comment

Added a comment

add: Consistently treat files in a dotdir as dotfiles, even when ran inside that dotdir

Assistant and smudge also updated.

This does add a small amount of extra work, getting the TopFilePath.
Not enough to be concerned by.

Also improve documentation to make clear that files inside dotdirs are
treated as dotfiles.

Sponsored-by: Eve on Patreon

fix link

dotfile

Added a comment

removed

removed

Added a comment

Added a comment

initial report on annex import  slowing to crawl on dandiarchive/dandisets/

Merge branch 'master' of ssh://git-annex.branchable.com

implemented

S3: Support versioning=yes with a readonly bucket.

Needs aws-0.24.3.

comments

Added a comment

Added a comment

comment

response

response

vpop: Only update state after successful checkout

If checkout fails for some reason, they're still in a view, and should be
able to vpop again.

close

test git-remote-annex

The added test case catches the reversion fixed in 700be6c38f29328812c17048c077c9bec7d8d8ad

git-remote-annex: Fix a reversion

Introduced in version 10.20241031 that broke cloning from a special remote

retrieveKeyFile changed to use createAnnexDirectory, which means that the
path passed to it needs to be under .git

git-remote-annex is probably the only thing in git-annex where that was not
the case. And there's no real reason it cannot be the case with it either.
Just use withOtherTmp.

analysis

break out new bug report

correct name of createDirectoryUnder in error message

Added a comment: Follow-up

add empty line so ``` is formatted correctly

initial remote on need to check if versioning already enabled and thus avoid PUT

removed

Added a comment: Examples

Added a comment: cannot "unregister" fully

Added a comment: Re: corruption using git-annex-remote-rclone

initial report on keeping adding to git

Added a comment

Added a comment: possible fix

Added a comment

removed

Added a comment: using fuse and nextcloud

Added a comment: using fuse and nextcloud

Added a comment

scaling

update

add news item for git-annex 10.20241031

releasing package git-annex version 10.20241031

oops, add the new todos meant to be in prev commit

split up remaining items from todo/git-annex_proxies and close it!

prepare for release tomorrow

link

fix link

Merge branch 'master' of ssh://git-annex.branchable.com

DATA-PRESENT working for exporttree=yes remotes

Since the annex-tracking-branch is pushed first, git-annex has already
updated the export database when the DATA-PRESENT arrives. Which means
that just using checkPresent is enough to verify that there is some file
on the special remote in the export location for the key.

So, the simplest possible implementation of this happened to work!

(I also tested it with chunked specialremotes, which also works, as long
as the chunk size used is the same as the configured chunk size. In that
case, the lack of a chunk log is not a problem. Doubtful this will ever
make sense to use with a chunked special remote though, that gets pretty
deep into re-implementing git-annex.)

Updated the client side upload tip with a missing step, and reorged for clarity.

fix recording present on the proxy when proxying DATA-PRESENT

Apparently the protoerrhandler parameter never runs. Also the const
typo prevented the type checker from complaining that relayPUTRecord was
being called with 1 less parameter than needed.

So move the relayPUTRecord out of it.

Fix hang when receiving a large file into a proxied special remote

Only indicate that we're done with the bytestring once it all gets written.
Otherwise, the end of it may get garbage collected before we can process
it, leading to a hang.

This seems to have been introduced in commit
cdc4bd7443a4921dd0573a0babedc51c1d62f918. Which oddly was trying to fix a
very similar problem, but specific to a cluster node. In that commit,
things got out of order, with it signaling it was done with the bytestring
before it has written all of it to the file.

My test case for this bug is a directory special remote
with a file being sent to it via a proxy accessed via ssh or http.
The file was 10 mb, and it hung on the last few kb of it not being
received.

I've also tested this fix in the case of proxying to a cluster node
directory special remote over http, which was the case
cdc4bd7443a4921dd0573a0babedc51c1d62f918 was dealing with.

Merge branch 'master' into p2pv4

break out todo item

add tip for DATA-PRESENT feature

document DATA-PRESENT in CHANGELOG

I wonder where else this could be documented? It's kind of a niche
feature, since it needs at least a partial custom implementation of the p2p
protocol or the p2phttp protocol. But it can save a lot of bandwidth and
avoid the proxy needing disk space to buffer files uploaded to a special
remote.

support DATA-PRESENT when proxtying for special remotes

There is a TODO left in the code for exporttree special remotes. If
possible, it should check if one of the export locations contains the
content of the key.

support DATA-PRESENT in the p2p protocol proxy

But not yet when proxying to special remotes.

When proxying for a cluster, the client can store the object on any node
or nodes of the cluster, and send DATA-PRESENT. That gets proxied to each
node, and if any of them agree that they have the data, the proxy will
respond with SUCCESS or SUCCESS-PLUS.

I think it's ok to not check for the proxied remotes supporting protocol
version 4. When there are multiple remotes in a cluster, it behaves as
described above, and if they all respond with ERROR, the result will be
FAILURE. And when not proxying for a cluster, the proxy negotiates the
p2p protocol to be the same version or lower than the proxied remote,
which will prevent sending DATA-PRESENT when it's too old.

implement put data-present parameter in http servant

Changed the protocol docs because servant parses "true" and "false" for
booleans in query parameters, not "1" and "0".

clientPut with datapresent=True is not used by git-annex, and I don't
anticipate it being used in git-annex, except for testing.

I've tested this by making clientPut be called with datapresent=True and
git-annex copy to a remote succeeds once the object file is first
manually copied to the remote. That would be a good test for the test
suite, but running the http client means exposing it to at least
localhost, and would fail if a real http client was already running on
that port.

implement DATA-PRESENT in p2p protocol

Not yet implemented for the http server or the proxy.

update http servant for p2p protocol version 4

This is all just adding the v4 routes and boilerplate. At this point v4
is implemented the same as v3.

p2p protocol version 4 for DATA-PRESENT

formatting

update

simplified design for indirect uploads

fix reversion in getting from unchunked encrypted special remotes

Have to use the object file for the encrypted key, not the unencrypted
key.

Bug introduced in 835283b86240ef4b68c44f4332ac1b644e08e49f

bisected

reproduced

initial report on fresh FTBFS on debian

comment

comment

remove warnings about tuning being experimental

followup and close

close old xmpp bug

Merge branch 'master' of ssh://git-annex.branchable.com

pondering

add missing space

planning

Added a comment

Added a comment: Re: rclone remote config in special remote

Merge branch 'master' into streamproxy