Added a comment: the WSL1 use case

rename WSL1 section to highlight date, add wording about being experimental, reword some awkwardness, add further directions

Add steps for WSL1

Added a comment

branch

progress in my head

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

remove unused imports

minor optimisation

Merge branch 'master' of ssh://git-annex.branchable.com

remove old and uncessary sanity check

All backends use genKeyName, which uses preSanitizeKeyName, which will
escape newlines.

I suspect this newline prevention was added back when git-annex was
reading the output of sha1sum..

Sponsored-by: Kevin Mueller on Patreon

convert Key to ShortByteString

This adds the overhead of a copy when serializing and deserializing keys.
I have not benchmarked much, but runtimes seem barely changed at all by that.

When a lot of keys are in memory, it improves memory use.

And, it prevents keys sometimes getting PINNED in memory and failing to GC,
which is a problem ByteString has sometimes. In particular, git-annex sync
from a borg special remote had that problem and this improved its memory
use by a large amount.

Sponsored-by: Shae Erisson on Patreon

comment and correct incorrect info in previous comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment: Thanks!

Added a comment

update

Merge branch 'master' of ssh://git-annex.branchable.com

comment

use bytestring filepaths more

This should be more efficient, and allocate less.

Sponsored-by: Graham Spencer on Patreon

Added a comment

convert ExportLocation to ShortByteString to avoid PINNED memory fragmentation

This adds the overhead of a copy whenever converting to/from ExportLocation and
ImportLocation.

borg: Some improvements to memory use when importing a lot of archives.
(It's still pretty bad.)

Sponsored-by: Mark Reidenbach on Patreon

update

comment

response

promote comment to bug

Merge branch 'master' of ssh://git-annex.branchable.com

update

comment

Added a comment: Memory issues

Merge branch 'master' of ssh://git-annex.branchable.com

remove errant print debug

Added a comment

Added a comment

remove information about old version of debian

Added a comment: Resuming an interrupted download

removed

Added a comment: Resuming an interrupted download

reinject: Fix crash when reinjecting a file from outside the repository

Commit 4bf7940d6b912fbf692b268f621ebd41ed871125 introduced this
problem, but was otherwise doing a good thing. Problem being
that fileRef "/foo" used to return ":./foo", which was actually wrong,
but as long as there was no foo in the local repository, catKey
could operate on it without crashing. After that fix though, fileRef
would return eg "../../foo", resulting in fileRef returning
":./../../foo", which will make git cat-file crash since that's
not a valid path in the repo.

Fix is simply to make fileRef detect paths outside the repo and return
Nothing. Then catKey can be skipped. This needed several bugfixes to
dirContains as well, in previous commits.

In Command.Smudge, this led to needing to check for Nothing. That case
should actually never happen, because the fileoutsiderepo check will
detect it earlier.

Sponsored-by: Brock Spratlen on Patreon

fix bug in dirContains

dirContains "." ".." was incorrectly true
because normalize ("." </> "..") = ".."

Sponsored-by: Jochen Bartl on Patreon

fix bug in dirContains

dirContains ".." "../.." was incorrectly True.

This does not seem to be an exploitable security hole, at least
as dirContains is used in git-annex.

Sponsored-by: Jochen Bartl on Patreon

Merge branch 'master' of ssh://git-annex.branchable.com

avoid uncessary call to inAnnex

sync --content: Avoid a redundant checksum of a file that was
incrementally verified, when used on NTFS and perhaps other filesystems.

When sync has just gotten the content, it does not need to check inAnnex a
second time. On NTFS, for some reason the write of the inode cache after
it gets the content is not immediately able to be read, and with an
empty/non-matching inode cache due to that stale data, inAnnex falls back
to hashing the whole object to determine if it's present.

Sponsored-by: Brock Spratlen on Patreon

analysis

add sign off

post bug

Merge branch 'master' of ssh://git-annex.branchable.com

started analysis

Added a comment: Email resent from my personal domain jibun.eu

note about coreutils 9.0 supporting CoW by default

comment

Added a comment

Added a comment

comment

comment

Added a comment

comment

response

Merge branch 'master' of ssh://git-annex.branchable.com

followup

Added a comment

resume properly when copying a file to/from a local git remote is interrupted (take 2)

This method avoids breaking test_readonly. Just check if the dest file
exists, and avoid CoW probing when it does, so when CoW probing fails,
it can resume where the previous non-CoW copy left off.

If CoW has been probed already to work, delete the dest file
since a CoW copy will presumably work. It seems like it would be almost
as good to just skip CoW copying in this case too, but consider that the
dest file might have started to be copied from some other remote, not
using CoW, but CoW has been probed to work to copy from the current
place.

Sponsored-by: Dartmouth College's Datalad project

revert change that broke test_readonly

commit 63d508e8855b2e61a725c906ea17d1c7f4a2e125 broke test_readonly.
When a local git remote is readonly, tryCopyCoW run to copy a file
from it failed at withOtherTmp.

Sponsored-by: Dartmouth College's Datalad project

comment

comment

comment

improve function name

onAddUnlocked suggested that it had to add the file locked, but it
doesn't, it only queues the add of the file, and it's up to the
committer what to do -- which is currently indeed to always add the file
locked.

comment

comment

response

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

Added a comment

comment

Added a comment: comment 2

formatting

respond and close as not a bug

Merge branch 'master' of ssh://git-annex.branchable.com

sped up git-annex smudge --clean by 25%

Disabling git-annex branch update for this command is
ok, because it does not use any information from the branch,
but only logs the location when it adds a key.

Sponsored-by: Dartmouth College's Datalad project

separate handles for cat-file and cat-file --batch-check

This avoids starting one process when only the other one is needed.
Eg in git-annex smudge --clean, this reduces the total number of
cat-file processes that are started from 4 to 2.

The only performance penalty is that when both are needed, it has to do
twice as much work to maintain the two Maps. But both are very small,
consisting of 1 or 2 items, so that work is negligible.

Sponsored-by: Dartmouth College's Datalad project

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment: v7 v v8 comparison

Merge branch 'master' of ssh://git-annex.branchable.com

avoid potentially very long bwlimit delay at start

I first saw this getting with -J2 over ssh, but later saw it also
without the -J2. It was resuming, and the calulated unboundDelay was
many minutes. The first update of the meter jumped to some large value,
because of the resuming, and so it thought the BW was super fast.

Avoid by waiting until the second meter update.

Might be a good idea to also guard for the delay being many seconds
and avoid waiting. But how many? If BW is legitimately super fast, and a
remote happens to read more than a 32kb or so chunk at a time, it could
in theory download megabytes or gigabytes of data before the first meter
update. It would actually be appropriate then to delay for a long time,
if the desired BW was low. Could make up some numbers that are sane now,
but tech may improve.

(BTW, pleased to see bwlimit does work with -J. I had worried that
it might not, if the meter update happened in a different thread than
the downloading, but it's done in the same thread.)

Sponsored-by: Brett Eisenberg on Patreon

Added a comment

comment

followup

Merge branch 'master' of ssh://git-annex.branchable.com

mention tiny wart

Merge branch 'bwlimit'

improved bwrate limiting implementation

New method is much better. Avoids unrestrained transfer at the beginning
(except for the first block. Keeps right at or a few kb/s below the
configured limit, with very little varation in the actual reported bandwidth.

Removed the /s part of the config as it's not needed.

Ready to merge.

Sponsored-by: Luke Shumaker on Patreon