initial TODO for making it possible to use find/findref without penalty

Added a comment

Added a comment: why othertmp to be on the same file system?

fixing formatting

initial report on annex upgrade too curious about submodules

initial report on nfs test keeps failing

--metadata lexicographical comparisons

Change --metadata comparisons < > <= and >= to fall back to lexicographical
comparisons when one or both values being compared are not numbers.

Sponsored-by: Erik Bjäreholt on Patreon

add news item for git-annex 10.20221212

releasing package git-annex version 10.20221212

comment

Added a comment: xxHash as the backend

Added a comment: blake3 enhancement

Added a comment: installing custom backend scripts

Merge branch 'master' of ssh://git-annex.branchable.com

fix confirmed finally

comment

Added a comment: How to use git-annex-backend-XFOO

fix deadlock in restagePointerFiles

Fix a hang that occasionally occurred during commands such as move.
(A bug introduced in 10.20220927, in
commit 6a3bd283b8af53f810982e002e435c0d7c040c59)

The restage.log was kept locked while running a complex index refresh
action. In an unusual situation, that action could need to write to the
restage log, which caused a deadlock.

The solution is a two-stage process. First the restage.log is moved to a
work file, which is done with the lock held. Then the content of the work
file is read and processed, which happens without the lock being held.
This is all done in a crash-safe manner.

Note that streamRestageLog may not be fully safe to run concurrently
with itself. That's ok, because restagePointerFiles uses it with the
index lock held, so only one can be run at a time.

streamRestageLog does delete the restage.old file at the end without
locking. If a calcRestageLog is run concurrently, it will either see the
file content before it was deleted, or will see it's missing. Either is
ok, because at most this will cause calcRestageLog to report more
work remains to be done than there is.

Sponsored-by: Dartmouth College's Datalad project

analysis

comment

speed up --pattern

The splitting of the tests into parts for parallelism made --pattern
do extra work, because init tests have to be run for each part, but
many of the parts are empty.

For example, git-annex test --pattern '/move (ssh remote)/'
took 12 seconds to run before. This improves the runtime to 4 seconds.

Sponsored-by: Dartmouth College's Datalad project

comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

line breaks

introduce myself

Added a comment: keep me posted by email please

update

Added a comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment

bugs/blake3_hash_support: *not* familiar enough, oops

submit BLAKE3 patch

Added a comment

Added a comment

add removal of metadata fields

Added a comment

comment

Added a comment

Added a comment: found related bug

comment

explanss and close

Added a comment: Found unlock

test: Add --test-debug option

This work is supported by the NIH-funded NICEMAN (ReproNim TR&D3) project.

comment

initial report on stalled test

close dup with comment

Merge branch 'master' of ssh://git-annex.branchable.com

Support parsing yt-dpl output to display download progress

Before this fix, no progress was displayed when yt-dpl was used.

Sponsored-by: Graham Spencer on Patreon

When youtube-dl is not available in PATH, use yt-dlp instead

Debian is going to drop youtube-dl which is not active upstream, and yt-dlp
is the replacement. This will make it be used if youtube-dl gets removed.

If an old version of youtube-dl remains installed, git-annex will still use
it. That might not be desirable, but changing git-annex to use yt-dlp in
preference to youtube-dl when both are installed risks breaking when
the user has annex.youtube-dl-options set to something that is supported
by youtube-dl, but not by yt-dlp.

Sponsored-by: Boyd Stephen Smith Jr. on Patreon

Add my name for better comunication

Add another reflink support request

update

more benchmarking work

don't frontload reconcileStaged in git-annex init

init: Avoid scanning for annexed files, which can be lengthy in a
large repository. Instead that scan is done on demand. This lets git-annex
init be run and some query commands be used in a repository without
waiting.

Note that autoinit already behaved this way, so while this will mean some
commands like git-annex get/unlock/add will do the scan the first time run,
that is not really a significant behavior change.

And, it's really better to have a consistent behavior. The reason for
the inconsistency was a strange bug discussed in
b3c4579c7907147a496bdf2c73b42238d8b239d6. Avoiding reconcileStaged in
init will keep avoiding whatever that was.

Sponsored-by: Dartmouth College's DANDI project

queue more changes to keys db

Increasing the size of the queue 10x makes git-annex init 7% faster in a
repository with 86000 annexed files.

The memory use goes up, from 70876 kb to 85376 kb.

Sped up the initial scanning for annexed files by 15%

Avoids database querying overhead when the database is newly created.

In the large repository where git-annex init took 24 seconds, this sped it
up to 20.47 seconds, a speedup of around 15%.

Sponsored-by: Dartmouth College's DANDI project

update changelog

new metric prefixes give us quettabyte and yottabyte

There does not yet seem to be an update to IEC 80000-13, so no
robibyte or quebibyte yet.

Sponsored-by: k0ld on Patreon

profiling and performance

close as git-annex already makes reflinks when supported

comment

comment

document that sync --cleanup only deletes branches

comment

Merge branch 'master' of ssh://git-annex.branchable.com

revert change to use lts-19.32

This reverts commit 15dd7fe84b2aa13531c80adb00efa82469724845.

aws 0.23 is not used any longer, so read-only S3 import won't be
supported yet when building with stack.

That commit broke the build on windows, because the new version of Win32 that
was included (because the old one does not work with this lts version)
needs a version of filepath that is newer than the one bundled with the
ghc in that lts version. It is not possible to override that to a newer
filepath.

Seems that the only solution to get aws 0.23 will be to wait for a ghc that
contains filepath 1.4.100.0. No ghc yet contains it. (Backporting the Win32
fix to a point release version that does not include this bleeding edge
filepath would also resolve it, but seems unlikely to happen.)

Sponsored-by: Jarkko Kniivilä on Patreon

add macos reflink to comment

Added a comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

export: fix multi-file delete bug

export: Fix a bug that left a file on a special remote when two files with
the same content were both deleted in the exported tree.

Case of the wrong data structure leading to the wrong result.
The DiffMap now contains all the old filenames, and all the new filenames.

Note that, when 2 files with the same content are both renamed,
it only renames the first, but deletes and re-exports the second.
Improving that is possible, but it would need to use a different temporary
filename. Anyway, that is an unusual case, and there are known to be other
unusual cases where export does not rename with maximum efficiency, IIRC.
(Or maybe this is the case that I remember?)

Sponsored-by: Dartmouth College's OpenNeuro project

Added a comment

analysis

fix build warning

comment and retitle

comment

close

stack.yaml: Updated to lts-19.32

This allows building with aws-0.23

Win32-2.13.4.0 contains a function that is not in lts-19.32 yet. Adding
it to stack.yaml does not seem to cause problems when building on linux.

revert change to use aws 0.23 in stack.yaml files

broke the build