use MatchingKey when a Key is known

This fixes a bug where a file that was not preferred content could be
transferred to a remote. This happened when the file got deleted after
the sync started running.

The only time checkMatcher is run without a Key is in calls to
checkFileMatcher, which are only done by add, addurl, import, and
smudge --clean. Those won't be affected by this kind of race. Anything
else that might be precaching and have a similar race as sync will also
be fixed, but I don't know if it actually affected anything other than
sync.

As well as fixing a bug, this also probably makes sync and --auto faster
by avoiding the redundant key lookup.

This commit was sponsored by Graham Spencer on Patreon.

reproduced

close

update link

comment

update after RawFilePath transition

Added a comment

Make change log entry readable on the wiki (previous copy-paste from (debian?) changelog garbled itemization)

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

enable extensions needed by new version of persistent

Needed in order to use mkPersist in
persistent version 2.11.0.1
persistent-template version 2.9.1.0

bug

FTBFS

avoid providing filename with NUL to quickcheck properties

instance Arbitrary [Char] allows that, and it's not a legal part of a
filename so can break processing them.

Noticed when prop_view_roundtrips failed.

The instance Arbitrary AssociatedFile avoids this problem.

This commit was sponsored by Mark Reidenbach on Patreon.

finished this stage of the RawFilePath conversion

This commit was sponsored by Denis Dzyubenko on Patreon.

Added a comment

Added a comment

more RawFilePath conversion

Converted file mode setting to it, and follow-on changes.

Compiles up through 369/646.

This commit was sponsored by Ethan Aubin.

Added a comment

convert getFileSize to RawFilePath

Lots of nice wins from this in avoiding unncessary work, and I think
nothing got slower.

This commit was sponsored by Boyd Stephen Smith Jr. on Patreon.

Added a comment: Re: Moving S3 special remote

Merge branch 'master' of ssh://git-annex.branchable.com

Merge branch 'master' into rawfilepath

finished this stage of the RawFilePath conversion

Finally compiles again, and test suite passes.

This commit was sponsored by Brock Spratlen on Patreon.

more RawFilePath conversion

580/645

This commit was sponsored by Jack Hill on Patreon.

Merge branch 'master' of ssh://git-annex.branchable.com

add news item for git-annex 8.20201103

releasing package git-annex version 8.20201103

clean build warning

more RawFilePath conversion

535/645

This commit was sponsored by Brett Eisenberg on Patreon.

comment

Added a comment

initial formal report on drop

Added a comment

Added a comment

more RawFilePath conversion

This commit was sponsored by Luke Shumaker on Patreon.

remove unused imports

rename 2 bug report titles that are too long due to pasting enormous error messages into title entry

So the repo can be cloned on windows.

add maxlength=50 to ikiwiki template used for page title entry

test case for view

For reversion fixed in 9252f86b2e9a3ee218867e1ef4572766eb44418c

This commit was sponsored by Ethan Aubin

comment

Merge branch 'master' of ssh://git-annex.branchable.com

view: Fix a reversion in 8.20200522 that broke entering or changing views.

Commit 2dc7b5186a586acb768744242083ad48d658a538 messed up indentation.

This commit was sponsored by Noam Kremen on Patreon.

Merge branch 'master' into rawfilepath

a plea for more --debug output

comment

already fixed

not a bug

Merge branch 'master' of ssh://git-annex.branchable.com

Improve shutdown process for external special remotes and external backends

Make sure to relay any remaining stderr from the process after it has
shut down, rather than closing stderr just before shutdown. This avoids
a situation where the process is still running and tries to write to
stderr, getting a SIGPIPE. And, it ensures that no stderr output is
lost.

This may fix a problem encountered by datalad on windows, where it hangs
during the external special remote shutdown.

Before commit a49d300545b4b7e7bd1e2719e3042d14f6e32e9c, it closed stdin
and stdout, but left stderr open, and never killed the stderr waiter
thread, which presumably exited on its own. For async exception
safety, do need to at make sure that thread gets waited on, as that
commit does, but it introduced this problem.

Note that, the process's stdout is closed before waiting on it. It's too
late for anything it writes to stdout to be processed, and since we're
not going to consume any such writes, this avoids the process getting
blocked writing to stdout due to us not reading what it's buffered. This
does mean that if the process writes to stdout too late, it will get a
SIGPIPE. (This was already the case before the above-mentioned commit.)
In practice, I think only the protocol's ERROR is allowed to be
sent at a point where this could happen.

updated URL of Homebrew formula for git-annex.

Added a comment: build a CI/CD chain for git-annex

Added a comment: where and how to submit Windows autobuild related issues?

more RawFilePath conversion

451/645

more RawFilePath conversion

412/645

more RawFilePath conversion

removeFile changed to removeLink, because AFAICS it should be fine to
remove non-file things here. In particular, it's fine to remove a
symlink, since we're about to write a symlink. (removeLink does not
remove directories, so file, symlink, and unix socket are the only
possibilities.)

more RawFilePath conversion

Better to use Git.repoPath to get a filepath, Git.repoLocation does not
always return one.

This commit was sponsored by Ethan Aubin.

more RawFilePath conversion

At this point I'll be done by new year's.

This commit was sponsored by Ethan Aubin.

git-annex-view fails because of "another git process running"

git-annex-view fails

more RawFilePath conversion

at 377/645

This commit was sponsored by Svenne Krap on Patreon.

more RawFilePath conversion

At 318/645 after 4k lines of changes

This commit was sponsored by Jake Vosloo on Patreon.

fix name of lock file

It was the stringification of a UUID, so "UUID \"foo\""

more RawFilePath conversion

nukeFile replaced with removeWhenExistsWith removeLink, which allows
using RawFilePath. Utility.Directory cannot use RawFilePath since setup
does not depend on posix.

This commit was sponsored by Graham Spencer on Patreon.

Added a comment: This bug has alreay been raised

more RawFilePath conversion

Added a RawFilePath createDirectory and kept making stuff build.

Up to 296/645

This commit was sponsored by Mark Reidenbach on Patreon.

more RawFilePath conversion

Notable wins in Annex.Locations which was sometimes doing 6 conversions
in a single function call.

This commit was sponsored by Denis Dzyubenko on Patreon.

RawFilePath version of getCurrentDirectory

This commit was sponsored by Jochen Bartl on Patreon

more RawFilePath conversion

Most of Git/ builds now.

Notable win is toTopFilePath no longer double converts

This commit was sponsored by Boyd Stephen Smith Jr. on Patreon.

got configure working after Utility.Path ByteString conversion

Had to split out some modules because getWorkingDirectory needs unix,
which is not a build-dep of configure.

This commit was sponsored by Brock Spratlen on Patreon.

convert to RawByteString

This will break a lot of stuff that uses it, but once fixed should lead
to better performance.

Mostly mechanical.
Changes of note:

* upFrom now uses isPathSeparator, which is better on Windows where
  there is not just one
* splitShortExtensions used to take the length of a string,
  which would count wide unicode characters as a single character.
  Changing to B.length changes that. Note that, git-annex's
  annexMaxExtensionLength already changed to the length in bytes
  before this change. This function is only used in generating views,
  and the small behavior change should not be a problem.
* relHome still uses FilePath because it didn't seem worth changing(?)

This commit was sponsored by Jack Hill on Patreon.

note windows versions the builds will work with

Added a comment

Added a comment

report on possibly PATH related issue on windows

comment

Merge branch 'master' of ssh://git-annex.branchable.com

test if magic library works

(When built with it.)

I saw John Thorvald Wodder II doing this in
https://github.com/datalad/datalad-extensions/blob/master/.github/workflows/build-git-annex-windows.yaml
and it seemed like a good idea.

John used an empty file for the binary file, but I think it's
slightly suprising file picks that mime type for it, so opted to instead
use something less ambiguous.

Added a comment: Documentation of demand

Added a comment

view: Avoid using ':' from metadata when generating a view

Because it's a special character on Windows ("c:").

Use same technique already used for '/' and '\'.

I didn't record how I generated their encoded forms before, so am sure
there was a better way, but the way I did it now is to look at

ghci> encodeFilePath "∕"
"\226\136\149"

And then the difference from that to "\56546\56456\56469"
is adding 56320 to each, to get up to the escaped code plane.

See comment for why I think handling ':' is ok, but that other illegal
windows filenames won't. Note that, this should be enough to make the
test suite always work. Other windows illegal filenames will fail at
checkout time when it tries to put the illegal filename on the
filesystem.

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

fix build and add build example

changelog

make windows installer builder include libmagic files when present, but skip otherwise

allow magicmime on windows

John Thorvald Wodder II got it working using
https://github.com/datalad/file-windows so don't hard-disable it.

The stack.yaml still disables this build flag, because it needs an extra
C library to be installed, which stack cannot automate.

include libmagic in windows installer

This is from https://raw.githubusercontent.com/datalad/datalad-extensions/master/resources/git-annex-magicBundle.patch
which was written by John Thorvald Wodder II.

I have converted line endings from windows, and fixed indentation to use
tabs.

Windows build changed to one done by the datalad-extensions project using Github actions

This is a cleaner build than on Jenkins because the whole environment setup
is handled by the CI config, at least up to the point of "get a random bag
of Windows bytes".

Also, the Jenkins autobuilder has been intermittently failing for a long
time, not due to any problem with git-annex but just a failure to clean up
directories.

Also, this build runs the test suite, and it is (mostly) passing. Test
suite always failed in the jenkins environment.

Also, this build includes libmagic.

Here is the build workflow used by github actions:
https://github.com/datalad/datalad-extensions/blob/master/.github/workflows/build-git-annex-windows.yaml
The libmagic build has its own workflow:
https://github.com/datalad/file-windows/blob/master/.github/workflows/build.yml

(Also cleaned up some windows build cruft I don't use anymore.)

There is no build-version file to link to. I've opened a todo requesting
one: https://github.com/datalad/datalad-extensions/issues/55

comment

close

Added a comment: thanks