comment

Added a comment

removed

Added a comment

Added a comment

Added a comment

Added a comment: Confirmed your suspiction

Added a comment

close git bug that I reported to git mailing list

reproduced

comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

force fully strict read of journal file again

I was thinking that discardIncompleteAppend would make it strict, since
it looks at the end of the bytestring. But, it's applied lazily..

This probably fixes windows, which was failing:

      git-annex.exe: .git\annex\journal\trust.log: DeleteFile "\\\\?\\C:\\Users\\runneradmin\\.t\\5\\tmprepo22\\.git\\annex\\journal\\trust.log": permission denied (The process cannot access the file because it is being used by another process.)

Added a comment

Added a comment

Added a comment: Happens only when core.untrackedCache=true

comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

fixed

Merge branch 'append'

prevent appends except when annex.alwayscompact=false

I would like for a new repo version to enable appends, but to do so
safely would need a v11 followed by a 1 year delay followed by a v12
that does it. Since a similar v9 and v10 transition is currently
happening, and is less than 6 months along in most repos, it does not
feel wise to stack up another year-long transition behind that. What if
I need to hurry up a new repo version for some other change?

Added todo so I remember to make this change at some time when a v11
and probably v12 repo version do make sense.

Sponsored-by: Dartmouth College's DANDI project

handling of interrupted appends

An append that is interrupted and writes part of a line is now dealt
with by subsequent reads and appends. This also handles a read that
happens at the same time as an append to the file.

Old versions of git-annex will still see a partially written line,
and could get confused. Since appends are currently done for url logs
and location logs, the confusion is limited to a substring of the actual
url or UUID of the remote being read. This will not affect writes, since
the journal file is locked when reading in preparation for writing.
However, the bad data can be output by git-annex and used by other
things, or could cause surprising behavior by git-annex. Including eg,
downloading the content of the wrong url.

So, something needs to be done to prevent old versions of git-annex from
running in a repository where this appending is being done..

Sponsored-by: Dartmouth College's DANDI project

no locking of journal on read after all

Finally have a final design, and it turns out not to need locking on read.

comment

Added a comment

thoughts

Added a comment: cannot reproduce

comment

comment

Merge branch 'master' into append

fix build

After 28b0aaea54e9515c16e440f9f22688dc2e7dc642

re-add lock journal before reading journal files

This reverts commit 2e6e9876e3fc420a22eee82eedec54ac3f678878.

This is gonna be needed after all.. The append will only be atomic if
the journal is locked, because the file being appended will have to be
moved out of the way to avoid an old version of git-annex seeing an
incomplete write to it. When git-annex finds that the file is not in the
journal, and checks the append location, locking will be needed to avoid
a race causing it to miss it in the append location too due to it being
moved back to the journal.

add annex.alwayscompact

Added annex.alwayscompact setting which can be unset to speed up writes to
the git-annex branch in some cases.

Sponsored-by: Dartmouth College's DANDI project

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

comments

Merge branch 'master' into append

efficient but unsafe journal file append

This is only for checking performance, it's not safe.

Sponsored-by: Dartmouth College's DANDI project

minor optimisation

Avoid re-writing the file when the journal directory did not
exist.

Revert "lock journal before reading journal files"

This reverts commit 47358a6f956681346a198cdf27c60bcf9498cc45.

This added overhead, and will not be needed, because appends are going
to have to be made atomic for other reasons than avoiding incomplete
reads of data being appended.

In particular, when git-annex is interrupted in the middle of an append,
it must not leave the file with a partially written line. So appending
has to somehow be made fully atomic.

split out appending to journal from writing, high level only

Currently this is not an improvement, but it allows for optimising
appendJournalFile later. With an optimised appendJournalFile, this will
greatly speed up access patterns like git-annex addurl of a lot of urls
to the same key, where the log file can grow rather large. Appending
rather than re-writing the journal file for each line can save a lot of
disk writes.

It still has to read the current journal or branch file, to check
if it can append to it, and so when the journal file does not exist yet,
it can write the old content from the branch to it. Probably the re-reads
are better cached by the filesystem than repeated writes. (If the
re-reads turn out to keep performance bad, they could be eliminated, at
the cost of not being able to compact the log when replacing old
information in it. That could be enabled by a switch.)

While the immediate need is to affect addurl writes, it was implemented
at the level of presence logs, so will also perhaps speed up location logs.
The only added overhead is the call to isNewInfo, which only needs to
compare ByteStrings. Helping to balance that out, it avoids compactLog
when it's able to append.

Sponsored-by: Dartmouth College's DANDI project

added suggestion to record ETags in URL- keys

removed duplicated content

Merge branch 'master' into append

Add new bug "creating failure getting/copying on git-lfs remote (gcrypt)"

Add new bug "creating failure getting/copying on git-lfs remote (gcrypt)"

Added a comment: checksums and addurl --fast

Added a comment

Added a comment

Added a comment

Added a comment: Hashes for files added via addurl

increase cabal-version to work with recent cabal

It started complaining about custom setup needing too old a version of
cabal, a very confusing error message.

1.12 is the version of Cabal on the i386ancient builder.

Sponsored-by: Jack Hill on Patreon

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

design work

lock journal before reading journal files

This is not currently necessary; journal files are updated atomically.

However, for faster appends to large journal files, locking on read will
be needed, because appends are not atomic.

Sponsored-by: Dartmouth College's DANDI project

disable journalIgnorable in enableInteractiveBranchAccess

Fix a reversion that prevented --batch commands (and the assistant)
from noticing data written to the journal by other commands.

I have not identified which commit broke this for sure,
but probably it was aeca7c2207a652c8a72f044204a5c0edb4782aac

--batch commands that wrote to the journal avoided the problem since
journalIgnorable sets unset on write. It's a little bit surprising that
nobody noticed that query --batch commands did not see data written by
other commands.

Sponsored-by: Dartmouth College's DANDI project

complete a comment

Added a comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment

comment

Added a comment

comments

S3: Avoid writing or checking the uuid file in the S3 bucket when importtree=yes or exporttree=yes

It does not make sense for either; importing from an existing bucket should
not write to it. And the user may not have write access at all. And exporting to
a bucket should not write other files.

Also this prevents the uuid file being imported after being written.

Sponsored-by: Dartmouth College's DANDI project

comment

close

comment

Added a comment

Added a comment

optimise journal writes to not mkdir journal directory when it already exists

Sponsored-by: Dartmouth College's DANDI project

comment with a question

initial request for more efficient registerurl

Added a comment

adb: Added configuration setting oldandroid=true

To avoid using find -printf, which was first supported in Android around
2019-2020.

Probing seems too fragile, and execing stat once per file is too slow to do
when there's a faster way available, which brought me to an option...

Sponsored-by: Brett Eisenberg on Patreon

comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

filter-process: Fix protocol for empty files

This caused git to complain that filter-process failed and kill it with
signal 15. Because it wrote an extra flushPkt for an empty file, which
git did not expect, and so git saw an unexpected response to the next
request.

Luckily, filter-process is only used by default in v9 and up, and v8 is
still the default. Also, git had to be updating an empty file, followed
by another file, which is a fairly unlikely situation. And git restarts
filter-process after this happens and uses it to filter the rest of the
files. So this isn't a crippling bug.

Sponsored-by: Luke Shumaker on Patreon

Added a comment

Added a comment

revert accidental change

Added a comment

response to misplaced bug report

followup

comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment