add "input" field to json output

The use case of this field is mostly to support -J combined with --json.
When that is implemented, a user will be able to look at the field to
determine which of the requests they have sent it corresponds to.

The field typically has a single value in its list, but in some cases
mutliple values (eg 2 command-line params) are combined together and the
list will have more.

Note that json parsing was already non-strict, so old git-annex metadata
--json --batch can be fed json produced by the new git-annex and will
not stumble over the new field.

use Branch.name instead of hard coding the branch name

Makes much more clear why ActionItemOther is being passed "git-annex".

add SeekInput (not yet used)

No behavior changes (hopefully), just adding SeekInput and plumbing it
through to the JSON display code for later use.

Over the course of 2 grueling days.

withFilesNotInGit reimplemented in terms of seekHelper
should be the only possible behavior change. It seems to test as
behaving the same.

Note that seekHelper dummies up the SeekInput in the case where
segmentPaths' gives up on sorting the expanded paths because there are
too many input paths. When SeekInput later gets exposed as a json field,
that will result in it being a little bit wrong in the case where
100 or more paths are passed to a git-annex command. I think this is a
subtle enough problem to not matter. If it does turn out to be a
problem, fixing it would require splitting up the input
parameters into groups of < 100, which would make git ls-files run
perhaps more than is necessary. May want to revisit this, because that
fix seems fairly low-impact.

Merge branch 'master' of ssh://git-annex.branchable.com into master

fix dist in latest NEWS entry

Signed-off-by: Sean Whitton <spwhitton@spwhitton.name>

Added a comment: standalone build version oddity

clarify first fsck call gave no output

removed

Added a comment

Added a comment

Added a comment: updating the standalone distribution to 8.20200908

removed

removed

Added a comment

Added a comment: Can I actually add a requirement like "at least two copies stored offsite" without specifying a particular repo?

initial report on the stuck test on osx

Merge branch 'master' of ssh://git-annex.branchable.com into master

thoughts

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com into master

todo

Added a comment

Added a comment: Re: Unknown remote type webdav

Added a comment: Re: Unknown remote type webdav

add news item for git-annex 8.20200908

releasing package git-annex version 8.20200908

reorder

Removed the S3 and WebDAV build flags

So these special remotes are always supported.

IIRC these build flags were added because the dep chains were a bit too
long, or perhaps because the libraries were not available in Debian stable,
or something like that. That was long ago, those reasons no longer apply,
and users get confused when builtin special remotes are not available, so
it seems best to remove the build flags now.

If this does cause a problem it can be reverted of course..

This commit was sponsored by Jochen Bartl on Patreon.

comment

Merge branch 'master' of ssh://git-annex.branchable.com into master

avoid failure when gpgconf is not in path

followup

Added a comment: Unknown remote type webdav

resolvemerge: Improve cleanup of cruft left in the working tree  by a conflicted merge

This commit was sponsored by Jake Vosloo on Patreon.

clean up old code

withworktree is no longer doing anything useful so remove it

revert change that broke test suite

Opened a new bug about it.

This commit was sponsored by Ethan Aubin.

improve comment

devblog

avoid build warning

sync, assistant: When merge.directoryRenames is not set, default it it to "false"

Works better with automatic merge conflict resolution than git's ususual
default of "conflict".

This is not done when automatic merge conflict resolution is disabled.

This commit was sponsored by Mark Reidenbach on Patreon.

refactor

Make all calls to git merge go through autoMergeFrom, in preparation
for fine-tuning git merge's config for automatic merge conflict
resolution.

This commit was sponsored by Ryan Newton on Patreon.

update comments

resolvemerge: Improve cleanup of files that were deleted by one side of a conflicted merge, and modified by the other side

This case was handled by cleanConflictCruft, but only when the annexed
file's object was present. When not present, it left the annexed file
with the original name, not checked into git, while adding the variant
file. So, add an explicit deletion of the deleted file in this case.

My specific case where this happened actually involves
merge.directoryRenames=conflict. After a merge involving that,
the situation was the file appears as "added by them", because that
caused the file that they added to be moved into a directory we renamed.

That case is the same as them adding a modified version of the file,
while we deleted it. (Except for the history of the file, since it's a
new file, but this doesn't look at history.)

This commit was sponsored by Boyd Stephen Smith Jr. on Patreon.

make automerge behavior when one side deleted explict

This does not actually change how the merge conflict is resolved when
one side deleted the file, but it was not documented before, and I think
it only worked by accident.

This commit was sponsored by Brett Eisenberg on Patreon.

more

bug

update

Exposed annex.forward-retry git config

One reason is, 5 is an arbitrary number so ought to be configurable.

The real reason though, is I wanted to make the man page explain when
forward retry can override annex.retry, and having a config made the
man page easier to write.

import: Retry downloads that fail

Also, using the transfer machinery for this makes eg, git-annex info show
in-progress imports, and makes --notify-start/finish work.

Retry transfers to exporttree=yes remotes same as for other remotes

The comment about noRetry is not well-justified, because transfers to many
remotes cannot be resumed, but retries are still allowed for those.

combine retry deciders in better way

This fixes the problem that, if forwardRetry was checked for the first 5
and decided to retry, the 6th would go to configuredRetry which would
see the counter was 6 and so wait retry-delay*2^5 seconds (default 32).

Now, it waits for retry-delay before each retry, even when forwardRetry
initiated the retry.

Limit retrying of failed transfers when forward progress is being made to 5

To avoid some unusual edge cases where too much retrying could result in
far more data transfer than makes sense.

remove unused isSymLink

That made Utility.FileMode depend on unix, but Utility.Tmp now depends
on it, and is used by Setup, which does not. So it was easiest to remove
this, especially since it's not used.

fix build

better dummy value

no need for empty string when it's going to be thrown away..

make viaTmp honor umask

Fixed several cases where files were created without file mode bits that
the umask would usually set. This included exports to the directory special
remote, torrent files used by the bittorrent special remote, hooks written
by git-annex init, and some log files in .git/annex/

Audited all calls, looking for ones that didn't want the umask bits to be
set. All such turned out to already set the specific restrictive file mode
they wanted.

make removeAuthorizedKeys robust if the file DNE

Noticed this could potentially crash, although the only thing using it
would normally create the file first, if something then deleted it..

fix some file modes in calls to withTmpFileIn to honor umask

Also audited for other calls to openTempFile, and all are ok,
except for viaTmp which will need further work.

Remote.Directory fixed to set umask mode when writing to an export,
although it has another one using viaTmp that's not fixed.
Will make exports that are published via a http server running as
another user work, for example.

Remote.BitTorrent fixed to set umask mode when downloading the torrent
file. Normally this does not matter as that file does not hang around
after the download, but if a bittorrent download were started by one user,
got interrupted and then another user ran it, this will let them access
the torrent file created by the first user.

Merge branch 'master' of ssh://git-annex.branchable.com into master

bug report

display actual download errors

Eg, when config prohibits accessing localhost, need to show that
message, not a generic "download failed".

avoid multiple download failed messages when learning

Also only display one progress meter for all download attempts, to avoid
a bunch of blank lines.

fix example: meant to prune --force and include rest of output

Added a comment: verifying source contents

when downloading same content from multiple urls, only display error if all fail

httpalso: support exporttree=yes

Also tested what happens if the other special remote has importtree=yes
and exporttree=yes, and in that case, download via httpalso works too,
without needing to implement any importtree methods here.

It might be possible to make it automatically set exporttree=yes if the
--sameas does. Didn't try, will probably be layering issues.

Or perhaps it should be inherited by sameas like some
other configs? But then, wouldn't it also make sense to inherit
importree=yes? But as shown here, it's not needed by this kind of
remote.

rename http special remote to httpalso

"http" was too generic and easy to confuse with web. The new name makes
clear it's used in addition to some other remote. And other protocols
can use the same naming scheme.

content verification before transfer to special remote

Added a comment

remove Show Cipher

committed by accident, and could have been a security hole, but since
this compiles, it was not

Added a comment

thought

link

todo

comment

Merge branch 'master' of ssh://git-annex.branchable.com into master

comment

noise about 500s

Merge branch 'master' of ssh://git-annex.branchable.com into master

Added http special remote, which is useful for accessing other remotes that publish content stored in them via http/https.

With automatic layout learning!

note common need of these two todos

close as dup

Update name of attribute in haskellPackages.

move stack file used by i386ancient autobuilder

Support git remotes where .git is a file, not a directory

Eg when --separate-git-dir was used, and core.symlinks=false.

This commit was sponsored by Brock Spratlen on Patreon.

test: Stop gpg-agent daemons that are started for the test framework's gpg key

They normally shutdown when the GNUPGHOME directory is deleted, but on
NFS they keep the directory from being deleted. And also, this avoids
a number of them piling up while the test suite is running.

need lts-13.11 after all

the newer one fails at the end of build with an unavailable libc symbol.

further changes to get back to last working build state on OSX

Seems 13.11 was not being used for a while, but 14.27 works.

For some reason, stack was getting confused when I set the magicmime
flag on the command line, but setting it in stack.yaml didn't confuse
it. Ugh.

close

close

close

fix build