when downloading same content from multiple urls, only display error if all fail

httpalso: support exporttree=yes

Also tested what happens if the other special remote has importtree=yes
and exporttree=yes, and in that case, download via httpalso works too,
without needing to implement any importtree methods here.

It might be possible to make it automatically set exporttree=yes if the
--sameas does. Didn't try, will probably be layering issues.

Or perhaps it should be inherited by sameas like some
other configs? But then, wouldn't it also make sense to inherit
importree=yes? But as shown here, it's not needed by this kind of
remote.

rename http special remote to httpalso

"http" was too generic and easy to confuse with web. The new name makes
clear it's used in addition to some other remote. And other protocols
can use the same naming scheme.

remove Show Cipher

committed by accident, and could have been a security hole, but since
this compiles, it was not

thought

link

todo

comment

Merge branch 'master' of ssh://git-annex.branchable.com into master

comment

noise about 500s

Merge branch 'master' of ssh://git-annex.branchable.com into master

Added http special remote, which is useful for accessing other remotes that publish content stored in them via http/https.

With automatic layout learning!

note common need of these two todos

close as dup

Update name of attribute in haskellPackages.

move stack file used by i386ancient autobuilder

Support git remotes where .git is a file, not a directory

Eg when --separate-git-dir was used, and core.symlinks=false.

This commit was sponsored by Brock Spratlen on Patreon.

test: Stop gpg-agent daemons that are started for the test framework's gpg key

They normally shutdown when the GNUPGHOME directory is deleted, but on
NFS they keep the directory from being deleted. And also, this avoids
a number of them piling up while the test suite is running.

need lts-13.11 after all

the newer one fails at the end of build with an unavailable libc symbol.

further changes to get back to last working build state on OSX

Seems 13.11 was not being used for a while, but 14.27 works.

For some reason, stack was getting confused when I set the magicmime
flag on the command line, but setting it in stack.yaml didn't confuse
it. Ugh.

close

close

close

fix build

Merge branch 'master' of ssh://git-annex.branchable.com into master

add stack.yaml for OSX autobuilder

Unfortunately, the autobuilder is using an old version of OSX, and
cannot use ghc newer than the one in lts-13.11. Newer ghc versions use a
libc symbol that is not available.

Since the main stack.yaml has been updated to a newer lts, and just
substituting in lts-13.11 no longer works due to other dependency
issues, it's simplest to use a separate one for the OSX build.

Hopefully this is temporary, and the autobuilder gets updated.

remove build warning about old process version

The timeout features never materialized.

remove unused imports

Added a comment

Added a comment

Added a comment: understanding why standalone conda package gets preferred

comment

Merge branch 'master' of ssh://git-annex.branchable.com into master

Display a message when git-annex has to wait for a pid lock file held by another process

refactor out Annex.PidLock

Added a comment: dreaming of everyone using CoW FSs

comment

add gitAnnexChildProcess and use instead of incorrect use of runsGitAnnexChildProcess

Fixes reversion in 8.20200617 that made annex.pidlock being enabled result
in some commands stalling, particularly those needing to autoinit.

Renamed runsGitAnnexChildProcess to make clearer where it should be
used.

Arguably, it would be better to have a way to make any process git-annex
runs have the env var set. But then it would need to take the pid lock
when running any and all processes, and that would be a problem when
git-annex runs two processes concurrently. So, I'm left doing it ad-hoc
in places where git-annex really does run a child process, directly
or indirectly via a particular git command.

wording

Merge branch 'master' of ssh://git-annex.branchable.com into master

analysis

Added a comment

fix comment format

document that annex.thin beats annex.hardlink

Merge branch 'master' of ssh://git-annex.branchable.com into master

addurl --file youtube-dl reversion fix

addurl: Fix reversion in 7.20190322 that made --file not be honored when
youtube-dl was used to download media.

8758f9c561 was on the right track, but missed that | otherwise prevented
the code it added from being used.

Also, refactored out a common function.

This commit was sponsored by Graham Spencer on Patreon.

Added a comment: pidlock to blame!

Added a comment

initial report on hardlink in thin mode

Added a comment: comment: works on my end

Added a comment

initial report on get being stuck

initial report on gpgtmp .nfs busy files

stack.yaml: Updated to lts-16.10

Needs stack version 2.3 to build, which has only recently made it into
debian unstable.

This commit was sponsored by Jake Vosloo on Patreon.

Added a comment

Added a comment

Added a comment: Rationale behind deleting and readding the symlinks on a move or rename

Added a comment: thanks

fix hang if external program is not available

startExternal' throws an exception, which left the externalAsync TMVar
empty, so the next try to use it would hang.

Merge branch 'master' of ssh://git-annex.branchable.com

avoid using MonadFail in ParseDuration

There's no instance for Either String, so that makes it not as useful as
it could be, so instead just return an Either String.

fix some warnings

Merge branch 'master' of ssh://git-annex.branchable.com

Merge branch 'asyncexternal'

Display warning when external special remote does not start up properly, or is not usable

I'm sure this used to work, but somewhere along the line something or
things (getCost and getAvailability I think, probably others)
started catching the exception and not displaying it. So, show warnings.

async extension done

Added a comment: Having cutting edge packages with conda is not that straighforward.

switch to TMVars for thread safety when using the async extension

TVars were not updated atomically, which was ok when each thread got its
own External that was the only thing using these TVars. But, with the
async extension, several External instances can share the same var, so
it needs to be a TMVar to avoid read/write conflicts.

In particular, this makes PREPARE only be sent once.

one jobid per thread

And, relay ERROR on to all listening threads.

Added a comment

rethought the async protocol some more

Moving jobid generation to the git-annex side lets it be simplified a
lot.

Note that it will also be possible to generate one jobid per connection,
rather than a new job per request. That will make overflow not an issue,
and will avoid some work, and will simplify some of the code.

Added a comment: Ugly message when installing git-annex through conda

async proto fully tested and working

Including with a concurrent capable remote program.

However, this is not quite ready to merge, there's a TODO in the code.

async proto basically working

Simplified the protocol by removing END-ASYNC.

There's a STM crash when a non-async protocol message is sent, which
needs to be fixed.

Merge branch 'master' of ssh://git-annex.branchable.com

branch

further work on external async relay

relayer receive loop is done

Receive loop looks right. Still need the send loop.

And, a complication is that some messages git-annex
sends need to be wrapped in REPLY_ASYNC, while others
do not. So will probably need to split externalSend
into two.

wip external remote async protocol extension

rethought this protocol again

Now that I've started implementation, I see it's really necessary that
every message the special remote sends use the protocol, otherwise
nasty edge cases abound.

generalized ExternalState to not be limited to a ExternalAddonProcess

Idea is for ASYNC extension, it will instead contain methods that communicate
with the thread that handles all communication with the external process.

types for async protocol extension

renamed AsyncMessage to ExceptionalMessage to make way for this new
extension.

Bug: addurl --file not working as expected with youtube-dl

removed

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

draft async extension

Added a comment: strange conda install behavior

Added a comment

close