Merge branch 'master' of ssh://git-annex.branchable.com

Spoke with mih and he said this could be useful in the project context

Added a comment

Added a comment: you're cool

update to nightly-2025-04-04

Added a comment

improve changelog

That was a fix for git remotes that use an url with a user name that is URL encoded

For example, "ssh://%6Aoey@localhost/path"

Of course, this is more likely to occur if the username is not all ASCII
like mine is.

And it could also happen when a scp-style url's username contains a non-ASCII
character, which gets URL encoded when git-annex internally converts that
to a ssh:// url.

URL decoding for username and path

* Support git remotes that use an url with a user name that is URL encoded.
* Fix git-lfs special remote ssh endpoint discovery when the repository
  path is URL encoded.

In the previous commit, Git.Url.host was made to do URL decoding. That made
me wonder, what about URL encoded username and path? And so to these two
additional fixes. Note that Git.Url.authority remains URL encoded. That
seems ok given how it's used.

Support git remotes that use a IPV6 link-local address with a zone ID

Fixed 3 problems, and it seems to work now for both forms:

ssh://[fe80::7697:xxx:xxxx:xxxx%wlp3s0]/foo
fe80::7697:xxx:xxxx:xxxx%wlp3s0:foo

comment

migrate: Fix --remove-size to work when a file is not present

5f74a45861357be2a3233ddbbdbe7f7b0cf1814e added this bug

comment

Added remote.name.annex-web-options config

Which is a per-remote version of the annex.web-options config.

Had to plumb RemoteGitConfig through to getUrlOptions. In cases where a
special remote does not use curl, there was no need to do that and I used
Nothing instead.

In the case of the addurl and importfeed commands, it seemed best to say
that running these commands is not using the web special remote per se,
so the config is not used for those commands.

response

fix name of config

Added a comment

Added a comment

migrate --remove-size does not work

issue about annexing while under git-annex branch

Added a comment

removed

Added a comment: Ignore .crdownload?

Propose skipping checksums in git-annex get --fast

removed

Added a comment: thanks

Added a comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

httpalso: Windows url fix

tag as datalad

this is a datalad user

Added a comment

drop: Avoid redundant object directory thawing.

Sponsored-by: Dartmouth College's DANDI project

typo

comment

fsck: Avoid complaining about required content of dead repositories

requiredContentMap does not exclude dead repos. Usually this is not a
problem because it is used when we are operating on a repository, and in
that case, the repository is not dead (or if it is, the required content
configurations should still be used). But in the case of fsck, this made a
old required content config for a dead repository be warned about in a
situation where it is not a problem.

comment

Fix build without the assistant.

interlink 2 related bugs

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

10.20250320 build error when assistant is disabled

Added a comment: only for unlocked files?

removed

Added a comment: failing with `Operation not petmitted`

Added a comment: failing with `Operation not petmitted`

Added a comment

todo

deal with NoUUID in checkCanProxy

updatecluster, updateproxy: When a remote that has no annex-uuid is
configured as annex-cluster-node, warn and avoid writing bad data to the
git-annex branch.

The proxy.log and cluster.log end up unparseable when a NoUUID gets written
to them.

add news item for git-annex 10.20250320

releasing package git-annex version 10.20250320

findcompute --inputs

Useful for eg, generating dependency graphs.

preparing for release tomorrow

avoid shadowing warning

avoid reloading trust log

checkPresent of compute remote checks inputs are available

If an input file has been lost from all repositories, it is no longer
possible to compute the output. This will avoid dropping content that
was computed in such a situation, as well as making git-annex fsck --from
the compute remote do its usual thing when content has gone missing.

This implementation avoids recursing forever if there is a cycle,
which should not be possible anyway.

Note the use of RemoteStateHandle as a constructor here suggests that
this may not handle sameas remotes right, since usually a
RemoteStateHandle is constructed using the sameas uuid for a sameas
remote. That assumes a compute remote can even have or be a sameas remote.
Which doesn't seem to make sense, so I have not thought through what might
happen here in detail.

update

findcomputed: New command, displays information about computed files.

update

--json for addcomputed and recompute

Not very useful, but it does work.

record fscked files in fsck db by default

Remember the files that are checked, so a later run with --more will
skip them, without needing to use --incremental.

Merge branch 'master' of ssh://git-annex.branchable.com

decided to leave message as-is

"getting input <file> from <remote>"  is talking about the original
input filename. I think that's ok.

decided addcomputed will not support annex.smallfiles

If it did, recompute would need to somehow support recomputing
non-annexed files.

And, annex.smallfiles is typically used for configuration files or
source code kind of things, where the user doesn't want it to be an
annexed file. Computed artifacts are not likely that kind of thing.

Also, git-annex importfeed is an example of something that does support
annex.addunlocked, but does not support annex.smallfiles.

annex.addunlocked support for git-annex compute

And for git-annex recompute, add the file unlocked when the original is
unlocked.

support building with old version of bytestring

fix comment typo

Added a comment

add compute tip

recompute: stage new version of file in git

When writing doc/tips/computing_annexed_files.mdwn, I noticed
that a recompute --reproducible followed by a drop and a re-get did not
actually test if the file could be reproducible computed again.

Turns out that get and drop both operate on staged files. If there is an
unstaged modification in the work tree, that's ignored. Somewhat
surprisingly, other commands like info do operate on staged files. So
behavior is inconsistent, and fairly surprising really, when there are
unstaged modifications to files.

Probably this is rarely noticed because `git-annex add` is used to add a
new version of a file, and then it's staged. Or `git mv` is used to move
a file, rather than `mv` of a file over top of an existing file. So it's
uncommon to have an unstaged annexed file in a worktree.

It might be worth making things more consistent, but that's out of scope
for what I'm working on currently.

Also, I anticipate that supporting unlocked files with recompute will
require it to stage changes anyway.

So, make recompute stage the new version of the file.

I considered having recompute refuse to overwrite an existing staged
file. After all, whatever version was staged before will get lost when
the new version is staged over top of it. But, that's no different than
`git-annex addcomputed` being run with the name of an existing staged
file. Or `git-annex add` being run with a new file content when there is
an existing staged file. Or, for that matter, `git add` being ran with a
new content when there is an existing staged file.

todo

fix recompute --reproducible run on a VURL key

This avoids "Cannot generate a key for backend VURL", and makes it use
the usual hashing backend.

improve

comment

Merge branch 'master' of ssh://git-annex.branchable.com

buffer responses to compute programs in a TQueue

This avoids a potential problem where the program sends several INPUT
before reading responses, so flushing the respose to the pipe could
block. It's unlikely, but seemed worth making sure it can't happen.

close off newline injection attacks against compute special remote protocol

update

avoid error on missing compute state in checkKey

This improves eg `git-annex move --to` a compute remote that does not
contain the key. Rather than erroring with "Missing compute state" when
it checks if the key is in the remote, it proceeds to trying to store to
it, which has a nice error message.

add INPUT-REQUIRED

Used by git-annex-compute-singularity to make addcomputed --fast work.

Also, simplified git-annex-compute-singularity; there is no need to hard
link the container into place. singularity does not care about the
extension of the container, so can just pass it the annex object file.

Added a comment: just thinking out loud

Merge branch 'master' of ssh://git-annex.branchable.com

reorg and expand security section

Added a comment

expand

response

Merge branch 'master' of ssh://git-annex.branchable.com

added git-annex-compute-singularity

And implemented SANDBOX, which it needs.

compute protocol debugging

document output files must be regular files

make usage an error

compute: disallow output files that are not regular files

Use case where this came up is a compute program using singularity,
where the process inside the container will be allowed to write to the temp
directory, so could make eg a /etc/shadow symlink, which could then be
used to exfiltrate that from the system to wherever the annex object
might be pushed to.

It seemed better to fix this once in git-annex rather than in any such
compute program.

Added a comment