test: Stop gpg-agent daemons that are started for the test framework's gpg key

They normally shutdown when the GNUPGHOME directory is deleted, but on
NFS they keep the directory from being deleted. And also, this avoids
a number of them piling up while the test suite is running.

need lts-13.11 after all

the newer one fails at the end of build with an unavailable libc symbol.

further changes to get back to last working build state on OSX

Seems 13.11 was not being used for a while, but 14.27 works.

For some reason, stack was getting confused when I set the magicmime
flag on the command line, but setting it in stack.yaml didn't confuse
it. Ugh.

close

close

close

fix build

Merge branch 'master' of ssh://git-annex.branchable.com into master

add stack.yaml for OSX autobuilder

Unfortunately, the autobuilder is using an old version of OSX, and
cannot use ghc newer than the one in lts-13.11. Newer ghc versions use a
libc symbol that is not available.

Since the main stack.yaml has been updated to a newer lts, and just
substituting in lts-13.11 no longer works due to other dependency
issues, it's simplest to use a separate one for the OSX build.

Hopefully this is temporary, and the autobuilder gets updated.

remove build warning about old process version

The timeout features never materialized.

remove unused imports

Added a comment

Added a comment

Added a comment: understanding why standalone conda package gets preferred

comment

Merge branch 'master' of ssh://git-annex.branchable.com into master

Display a message when git-annex has to wait for a pid lock file held by another process

refactor out Annex.PidLock

Added a comment: dreaming of everyone using CoW FSs

comment

add gitAnnexChildProcess and use instead of incorrect use of runsGitAnnexChildProcess

Fixes reversion in 8.20200617 that made annex.pidlock being enabled result
in some commands stalling, particularly those needing to autoinit.

Renamed runsGitAnnexChildProcess to make clearer where it should be
used.

Arguably, it would be better to have a way to make any process git-annex
runs have the env var set. But then it would need to take the pid lock
when running any and all processes, and that would be a problem when
git-annex runs two processes concurrently. So, I'm left doing it ad-hoc
in places where git-annex really does run a child process, directly
or indirectly via a particular git command.

wording

Merge branch 'master' of ssh://git-annex.branchable.com into master

analysis

Added a comment

fix comment format

document that annex.thin beats annex.hardlink

Merge branch 'master' of ssh://git-annex.branchable.com into master

addurl --file youtube-dl reversion fix

addurl: Fix reversion in 7.20190322 that made --file not be honored when
youtube-dl was used to download media.

8758f9c561 was on the right track, but missed that | otherwise prevented
the code it added from being used.

Also, refactored out a common function.

This commit was sponsored by Graham Spencer on Patreon.

Added a comment: pidlock to blame!

Added a comment

initial report on hardlink in thin mode

Added a comment: comment: works on my end

Added a comment

initial report on get being stuck

initial report on gpgtmp .nfs busy files

stack.yaml: Updated to lts-16.10

Needs stack version 2.3 to build, which has only recently made it into
debian unstable.

This commit was sponsored by Jake Vosloo on Patreon.

Added a comment

Added a comment

Added a comment: Rationale behind deleting and readding the symlinks on a move or rename

Added a comment: thanks

fix hang if external program is not available

startExternal' throws an exception, which left the externalAsync TMVar
empty, so the next try to use it would hang.

Merge branch 'master' of ssh://git-annex.branchable.com

avoid using MonadFail in ParseDuration

There's no instance for Either String, so that makes it not as useful as
it could be, so instead just return an Either String.

fix some warnings

Merge branch 'master' of ssh://git-annex.branchable.com

Merge branch 'asyncexternal'

Display warning when external special remote does not start up properly, or is not usable

I'm sure this used to work, but somewhere along the line something or
things (getCost and getAvailability I think, probably others)
started catching the exception and not displaying it. So, show warnings.

async extension done

Added a comment: Having cutting edge packages with conda is not that straighforward.

switch to TMVars for thread safety when using the async extension

TVars were not updated atomically, which was ok when each thread got its
own External that was the only thing using these TVars. But, with the
async extension, several External instances can share the same var, so
it needs to be a TMVar to avoid read/write conflicts.

In particular, this makes PREPARE only be sent once.

one jobid per thread

And, relay ERROR on to all listening threads.

Added a comment

rethought the async protocol some more

Moving jobid generation to the git-annex side lets it be simplified a
lot.

Note that it will also be possible to generate one jobid per connection,
rather than a new job per request. That will make overflow not an issue,
and will avoid some work, and will simplify some of the code.

Added a comment: Ugly message when installing git-annex through conda

async proto fully tested and working

Including with a concurrent capable remote program.

However, this is not quite ready to merge, there's a TODO in the code.

async proto basically working

Simplified the protocol by removing END-ASYNC.

There's a STM crash when a non-async protocol message is sent, which
needs to be fixed.

Merge branch 'master' of ssh://git-annex.branchable.com

branch

further work on external async relay

relayer receive loop is done

Receive loop looks right. Still need the send loop.

And, a complication is that some messages git-annex
sends need to be wrapped in REPLY_ASYNC, while others
do not. So will probably need to split externalSend
into two.

wip external remote async protocol extension

rethought this protocol again

Now that I've started implementation, I see it's really necessary that
every message the special remote sends use the protocol, otherwise
nasty edge cases abound.

generalized ExternalState to not be limited to a ExternalAddonProcess

Idea is for ASYNC extension, it will instead contain methods that communicate
with the thread that handles all communication with the external process.

types for async protocol extension

renamed AsyncMessage to ExceptionalMessage to make way for this new
extension.

Bug: addurl --file not working as expected with youtube-dl

removed

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

draft async extension

Added a comment: strange conda install behavior

Added a comment

close

added note on installing the standalone git-annex distribution with conda

Added a comment: checking the conda-forge recipe

Added a comment: Great tip about conda.

Added a comment: please keep the hackage tarballs

add news item for git-annex 8.20200810

comment

Merge branch 'master' of ssh://git-annex.branchable.com

fix osxapp build issue

need to build git-annex 1st, otherwise otool can't run

Added a comment

Added a comment

Added a comment: full source tarballs for specific releases?

fix build failure on i386-ancient

Standalone: tmp/git-annex.linux/usr/lib/i386-linux-gnu/i686: renameFile: inappropriate type (is a directory)

improve slightly

This probably avoids the situation that caused the exception to be
thrown. It also makes sure that both threads end up canceled in the end,
while before the exception from wait outt could have caused errt to
never be waited on.

discard any exception thrown while trying to kill worker threads

Since there's a race here, and since Kyle saw an exception leak out,
which I have not been able to reproduce that. See my comment for what
I think might be going on.

Note that, I used tryNonAsync, because it seems a later tryNonAsync
caught the exception. I don't actually understand how it did, as I
understand exception classification, it's the data type, not the way it
was thrown. One possibility is that the async exception may have been wrapped
in some other, non-async exception, and Show displayed it the same way.

reorder

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment

fix order

Merge branch 'master' of ssh://git-annex.branchable.com