Removed the S3 and WebDAV build flags

So these special remotes are always supported.

IIRC these build flags were added because the dep chains were a bit too
long, or perhaps because the libraries were not available in Debian stable,
or something like that. That was long ago, those reasons no longer apply,
and users get confused when builtin special remotes are not available, so
it seems best to remove the build flags now.

If this does cause a problem it can be reverted of course..

This commit was sponsored by Jochen Bartl on Patreon.

comment

Merge branch 'master' of ssh://git-annex.branchable.com into master

avoid failure when gpgconf is not in path

followup

Added a comment: Unknown remote type webdav

resolvemerge: Improve cleanup of cruft left in the working tree  by a conflicted merge

This commit was sponsored by Jake Vosloo on Patreon.

clean up old code

withworktree is no longer doing anything useful so remove it

revert change that broke test suite

Opened a new bug about it.

This commit was sponsored by Ethan Aubin.

improve comment

devblog

avoid build warning

sync, assistant: When merge.directoryRenames is not set, default it it to "false"

Works better with automatic merge conflict resolution than git's ususual
default of "conflict".

This is not done when automatic merge conflict resolution is disabled.

This commit was sponsored by Mark Reidenbach on Patreon.

refactor

Make all calls to git merge go through autoMergeFrom, in preparation
for fine-tuning git merge's config for automatic merge conflict
resolution.

This commit was sponsored by Ryan Newton on Patreon.

update comments

resolvemerge: Improve cleanup of files that were deleted by one side of a conflicted merge, and modified by the other side

This case was handled by cleanConflictCruft, but only when the annexed
file's object was present. When not present, it left the annexed file
with the original name, not checked into git, while adding the variant
file. So, add an explicit deletion of the deleted file in this case.

My specific case where this happened actually involves
merge.directoryRenames=conflict. After a merge involving that,
the situation was the file appears as "added by them", because that
caused the file that they added to be moved into a directory we renamed.

That case is the same as them adding a modified version of the file,
while we deleted it. (Except for the history of the file, since it's a
new file, but this doesn't look at history.)

This commit was sponsored by Boyd Stephen Smith Jr. on Patreon.

make automerge behavior when one side deleted explict

This does not actually change how the merge conflict is resolved when
one side deleted the file, but it was not documented before, and I think
it only worked by accident.

This commit was sponsored by Brett Eisenberg on Patreon.

more

bug

update

Exposed annex.forward-retry git config

One reason is, 5 is an arbitrary number so ought to be configurable.

The real reason though, is I wanted to make the man page explain when
forward retry can override annex.retry, and having a config made the
man page easier to write.

import: Retry downloads that fail

Also, using the transfer machinery for this makes eg, git-annex info show
in-progress imports, and makes --notify-start/finish work.

Retry transfers to exporttree=yes remotes same as for other remotes

The comment about noRetry is not well-justified, because transfers to many
remotes cannot be resumed, but retries are still allowed for those.

combine retry deciders in better way

This fixes the problem that, if forwardRetry was checked for the first 5
and decided to retry, the 6th would go to configuredRetry which would
see the counter was 6 and so wait retry-delay*2^5 seconds (default 32).

Now, it waits for retry-delay before each retry, even when forwardRetry
initiated the retry.

Limit retrying of failed transfers when forward progress is being made to 5

To avoid some unusual edge cases where too much retrying could result in
far more data transfer than makes sense.

remove unused isSymLink

That made Utility.FileMode depend on unix, but Utility.Tmp now depends
on it, and is used by Setup, which does not. So it was easiest to remove
this, especially since it's not used.

fix build

better dummy value

no need for empty string when it's going to be thrown away..

make viaTmp honor umask

Fixed several cases where files were created without file mode bits that
the umask would usually set. This included exports to the directory special
remote, torrent files used by the bittorrent special remote, hooks written
by git-annex init, and some log files in .git/annex/

Audited all calls, looking for ones that didn't want the umask bits to be
set. All such turned out to already set the specific restrictive file mode
they wanted.

make removeAuthorizedKeys robust if the file DNE

Noticed this could potentially crash, although the only thing using it
would normally create the file first, if something then deleted it..

fix some file modes in calls to withTmpFileIn to honor umask

Also audited for other calls to openTempFile, and all are ok,
except for viaTmp which will need further work.

Remote.Directory fixed to set umask mode when writing to an export,
although it has another one using viaTmp that's not fixed.
Will make exports that are published via a http server running as
another user work, for example.

Remote.BitTorrent fixed to set umask mode when downloading the torrent
file. Normally this does not matter as that file does not hang around
after the download, but if a bittorrent download were started by one user,
got interrupted and then another user ran it, this will let them access
the torrent file created by the first user.

Merge branch 'master' of ssh://git-annex.branchable.com into master

bug report

display actual download errors

Eg, when config prohibits accessing localhost, need to show that
message, not a generic "download failed".

avoid multiple download failed messages when learning

Also only display one progress meter for all download attempts, to avoid
a bunch of blank lines.

fix example: meant to prune --force and include rest of output

Added a comment: verifying source contents

when downloading same content from multiple urls, only display error if all fail

httpalso: support exporttree=yes

Also tested what happens if the other special remote has importtree=yes
and exporttree=yes, and in that case, download via httpalso works too,
without needing to implement any importtree methods here.

It might be possible to make it automatically set exporttree=yes if the
--sameas does. Didn't try, will probably be layering issues.

Or perhaps it should be inherited by sameas like some
other configs? But then, wouldn't it also make sense to inherit
importree=yes? But as shown here, it's not needed by this kind of
remote.

rename http special remote to httpalso

"http" was too generic and easy to confuse with web. The new name makes
clear it's used in addition to some other remote. And other protocols
can use the same naming scheme.

content verification before transfer to special remote

Added a comment

remove Show Cipher

committed by accident, and could have been a security hole, but since
this compiles, it was not

Added a comment

thought

link

todo

comment

Merge branch 'master' of ssh://git-annex.branchable.com into master

comment

noise about 500s

Merge branch 'master' of ssh://git-annex.branchable.com into master

Added http special remote, which is useful for accessing other remotes that publish content stored in them via http/https.

With automatic layout learning!

note common need of these two todos

close as dup

Update name of attribute in haskellPackages.

move stack file used by i386ancient autobuilder

Support git remotes where .git is a file, not a directory

Eg when --separate-git-dir was used, and core.symlinks=false.

This commit was sponsored by Brock Spratlen on Patreon.

test: Stop gpg-agent daemons that are started for the test framework's gpg key

They normally shutdown when the GNUPGHOME directory is deleted, but on
NFS they keep the directory from being deleted. And also, this avoids
a number of them piling up while the test suite is running.

need lts-13.11 after all

the newer one fails at the end of build with an unavailable libc symbol.

further changes to get back to last working build state on OSX

Seems 13.11 was not being used for a while, but 14.27 works.

For some reason, stack was getting confused when I set the magicmime
flag on the command line, but setting it in stack.yaml didn't confuse
it. Ugh.

close

close

close

fix build

Merge branch 'master' of ssh://git-annex.branchable.com into master

add stack.yaml for OSX autobuilder

Unfortunately, the autobuilder is using an old version of OSX, and
cannot use ghc newer than the one in lts-13.11. Newer ghc versions use a
libc symbol that is not available.

Since the main stack.yaml has been updated to a newer lts, and just
substituting in lts-13.11 no longer works due to other dependency
issues, it's simplest to use a separate one for the OSX build.

Hopefully this is temporary, and the autobuilder gets updated.

remove build warning about old process version

The timeout features never materialized.

remove unused imports

Added a comment

Added a comment

Added a comment: understanding why standalone conda package gets preferred

comment

Merge branch 'master' of ssh://git-annex.branchable.com into master

Display a message when git-annex has to wait for a pid lock file held by another process

refactor out Annex.PidLock

Added a comment: dreaming of everyone using CoW FSs

comment

add gitAnnexChildProcess and use instead of incorrect use of runsGitAnnexChildProcess

Fixes reversion in 8.20200617 that made annex.pidlock being enabled result
in some commands stalling, particularly those needing to autoinit.

Renamed runsGitAnnexChildProcess to make clearer where it should be
used.

Arguably, it would be better to have a way to make any process git-annex
runs have the env var set. But then it would need to take the pid lock
when running any and all processes, and that would be a problem when
git-annex runs two processes concurrently. So, I'm left doing it ad-hoc
in places where git-annex really does run a child process, directly
or indirectly via a particular git command.

wording

Merge branch 'master' of ssh://git-annex.branchable.com into master

analysis

Added a comment

fix comment format

document that annex.thin beats annex.hardlink

Merge branch 'master' of ssh://git-annex.branchable.com into master

addurl --file youtube-dl reversion fix

addurl: Fix reversion in 7.20190322 that made --file not be honored when
youtube-dl was used to download media.

8758f9c561 was on the right track, but missed that | otherwise prevented
the code it added from being used.

Also, refactored out a common function.

This commit was sponsored by Graham Spencer on Patreon.

Added a comment: pidlock to blame!

Added a comment

initial report on hardlink in thin mode

Added a comment: comment: works on my end

Added a comment

initial report on get being stuck