runshell LD_HWCAP_MASK=0 optimisation

move standalone building code out of Makefile and into Build.Standalone

This includes making Build.Standalone run LinuxMkLibs or OSXMkLibs
rather than doing that separately. Which is groundwork for a later
optimisation.

Also it simplified the code some.

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

comment

fix bug caught by test suite

comment

Merge branch 'master' of ssh://git-annex.branchable.com

Slightly sped up the linux standalone bundle

Reduce the number of directories listed in libdirs, which makes the linker
check a lot less dead ends looking for directories.

Eliminated some directories that didn't really contain shared libraries,
or only contained the linker.

That left only 2, one in lib and one in usr/lib, so consolidate those two.

Doing it this way, rather than just consolidating all libs that might exist
into a single directory means that, if there are optimised versions of some
libs, eg in lib/subarch/foo.so, and lib/subarch2/foo.so, they don't get
moved around in a way that would make the linker pick the wrong one.

comment

prop_isomorphic_key_encode test failure

Added a comment: streaming data and external backends

Added a comment: thanks

Added a comment: key length

Merge branch 'master' of ssh://git-annex.branchable.com

devblog

external backends implemented

E variant of external backend keys

external backends genKey and verifyKeyContent implemented

Only key translation for HasExt remains..

external backends wip

It's able to start them up, the only thing not implemented is generating
and verifying keys. And, the key translation for HasExt.

note external backend names cannot end with E

also markdown improvements

refactoring in preparation for external backends

Added a comment: version correspondence of standalone builds and official releases

Added a comment

Added a comment

Added a comment

Added a comment: Thank you

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

'beyond symlink' error for upstream link

comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

followup and close

add DEBUG

Added a comment

add back inAnnex check for drop here

Needed again after last commit removed it from startLocal again.

Merge branch 'master' of ssh://git-annex.branchable.com

avoid failure to lock content of removed file causing drop etc to fail

This was already prevented in other ways, but as seen in commit
c30fd24d91d1217b7b764953dd3ded6b54d78b2e, those were a bit fragile.
And I'm not sure races were avoided in every case before. At least a
race between two separate git-annex processes, dropping the same
content, seemed possible.

This way, if locking fails, and the content is not present, it will
always do the right thing. Also, it avoids the overhead of an unncessary
inAnnex check for every file.

This commit was sponsored by Denis Dzyubenko on Patreon.

add back inAnnex check after seeking

The test suite noticed this case, where two files with the same key are
dropped, and the seek stage sees both have content due to the way files
stream through it. But then locking the content to drop fails on the
second file, because the first file has already been dropped.

So, add back otherwise redundant inAnnex check.

Added a comment: updating the standalone distribution

Deal with unusual IFS settings in the shell scripts for linux standalone and OSX app.

Thanks, Yaroslav Halchenko

comment

Revert "Unset IFS in shell scripts in the linux standalone build and OSX app."

This reverts commit 24125e8dc40ce68091e33473d39c6968d2de6365.

yoh has a better patch I see

Unset IFS in shell scripts in the linux standalone build and OSX app.

Merge branch 'master' of ssh://git-annex.branchable.com

devblog

add

Added a comment: It is really a pitty that the Windows port / version is unmaintained

better benchmark for move/copy speedup

drop performance improvements

Sped up seeking files to drop by 2x, and also some performance
improvements to checking numcopies.

Interestingly, the seek speedup is not due to precaching, but I think is
due to calling getParsed earlier.

Annex.Drop had to be changed to check inAnnex there, since it was removed
from Command.Drop. All other users of Command.Drop already checked inAnnex
themselves.

This commit was sponsored by Ryan Newton on Patreon.

enable location log precaching for mirror

It will be some perf increase, but the command is not much used so I
have not bothered to benchmark it.

move, copy: Sped up seeking for annexed files to operate on by a factor of nearly 2x.

Fix a bug in find --branch in the previous version

inAnnex check was lost for that code path. To avoid more such mistakes,
made withKeyOptions check it when the AnnexedFileSeeker specifies.

Added a comment

add back inAnnex check for keys options

Lost in recent commit.

Added a comment

report on intolerance of IFS

Added a comment

small git-annex get speedup

Remove an redundant inAnnex check. The checkContentPresent handles that,
and after the last commit also does in batch mode.

unify batch mode with non-batch by using AnnexedFileSeeker

Added a comment

Added a comment: Autobuild permissions

Added a comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

Fix a hang when using git-annex with an old openssh 7.2p2

This does mean a 2 second delay after transfers when using that ssh, but
it's an old and apparently quite weirdly broken version of ssh.

comment

Fix a hang when using git-annex with an old openssh 7.2p2

Which had some weird inheriting of ssh FDs by sshd.

Bug was introduced in git-annex version 7.20200202.7.

Merge branch 'master' of ssh://git-annex.branchable.com

Fix a lock file descriptor leak that could occur when running commands like git-annex add with -J

Bug was introduced as part of a different FD leak fix in version 6.20160318.

update

Added a comment: external backend protocol

Merge branch 'master' of ssh://git-annex.branchable.com

fix build with dlist-1.0

That removed the list function. This new implementation appears to
actually be more efficient anyway, since it avoids toList.

posted build questions

analysis

dup

add news item for git-annex 8.20200720.1

guidance on size and mtime fields

Fix a bug in find --batch in the previous version.

cleanup

add news item for git-annex 8.20200720

releasing package git-annex version 8.20200720