Added a comment: related work

devblog

sync: Fix bug in adjusted branch merging that could cause recently added files to be lost when updating the adjusted branch.

The modification flag was not being set when making modifications deep
in a tree, so parent trees were not updated to contain the modified tree.

Seems to have exposed another bug where the wrong filename gets grafted in.

This commit was sponsored by Brock Spratlen on Patreon.

more analysis

reproduce recipe

Added a comment: Build on Debian 7.11 AMD64

Move the env description to the right place

Added a comment: Workflow Summary

Added a comment

Reporting missing file in locally installed doc causing reduced reading comfort.

Added a comment: Compression level

Added a comment

rename forum/bittorrent__58___support_offline_operation_and_verification.mdwn to todo/bittorrent__58___support_offline_operation_and_verification.mdwn

suggest bittorrent enhancements

Added a comment

Added a comment: Re: attaching a torrent file to a downloaded and annexed directory

Added a comment: 780 source files....

Added a comment

Added a comment

devblog

response

comment

Support using v3 repositories without upgrading them to v5.

An easy change now that supportedVersions is a list. Since v3 and v5 are
identical other than version number, just add v3 to the list.

This commit was sponsored by andrea rota.

When auto-upgrading a v3 remote, avoid upgrading to version 6, instead keep it at version 5.

Fixes a bug introduced with v6 mode that I didn't notice until now.
Probably not many v3 repos left out there, and upgrading them to v6 mode
is not disastrous, only a little premature.

This commit was sponsored by Riku Voipio

verified fix on OSX

comment

moreinfo

response

Avoid using a lot of memory when large objects are present in the git repository

.. and have to be checked to see if they are a pointed to an annexed file.

Cases where such memory use could occur included, but were not limited to:
  - git commit -a of a large unlocked file (in v5 mode)
  - git-annex adjust when a large file was checked into git directly
Generally, any use of catKey was a potential problem.

Fix by using git cat-file --batch-check to check size before catting.
This adds another git batch process, which is included in the CatFileHandle
for simplicity.

There could be performance impact, anywhere catKey is used. Particularly
likely to affect adjusted branch generation speed, and operations on
unlocked files in v6 mode. Hopefully since the --batch-check and
--batch read the same data, disk buffering will avoid most overhead.
Leaving only the overhead of talking to the process over the pipe and
whatever computation --batch-check needs to do.

This commit was sponsored by Bruno BEAUFILS on Patreon.

add missing case for unknown size with normal output

This was lost in previous change, causing a crash in that case.

comment

moreinfo

comments

Merge branch 'master' of ssh://git-annex.branchable.com

remove localedir file, fix build

Added a comment: bittorrent

Added a comment

Linux standalone: Include locale files in the bundle, and generate locale definition files for the locales in use when starting runshell.

Currently only done for utf-8 locales because the charset can easily be
told for those. Other locales don't include the charset in their name.

The locale definition is generated under git-annex.linux/locales.
So, this only works if the user can write there.

If locale generation fails for any reason, it's silently skipped.

The git-annex-standalone.deb installs the bundle under /usr, so this locale
generation won't work for non-root users.

add LOCPATH to GIT_ANNEX_STANDLONE_ENV

Linux standalone: Add back the LOCPATH=/dev/null hack to avoid the system locale-archive being read.

Version mismatches between the system locale-archive and the glibc in the
bundle have been observed to cause git crashes.

Unfortunately, this causes locales to not be used in the linux standalone
bundle, as was the case until version 6.20160419.

glibc hardcodes the path to /usr/lib/locale/locale-archive and does not
let an environment variable cause a different locale-archive file to be used.

The only other option to include locales in the bundle would be to include
exploded locale definition directories in the bundle for a number of
locales, generated by localedef. But these take at least 300 kb per locale,
and there are a great many locales; it would be hundreds of megabytes to
include them all.

(Hmm, we could include localdef in the bundle, and check LANG in runshell
and compile the locale directories on the fly. This would need
/usr/share/i18n/ and /usr/lib/locale-archive to be included in the bundle.
It's.. doable.)

I know this is going to once again cause users of the bundle to complain
that eg, ls doesn't show their unicode filenames right. Better than strange
crashes though.

comment

response

poll vote (OpenStack SWIFT)

Added a comment: Question

Added a comment: Sketch of implementation, request for comment

How to deal with files that change status from "precious, please keep n copies" to "junk, please delete it from everywhere you find it, now and forever".

Merge branch 'master' of ssh://git-annex.branchable.com

convert TMVars that are never left empty into TVars

This is probably more efficient, and it avoids mistakenly leaving them
empty.

Added a comment: inodes....

Added a comment: Bash on Windows

devblog

include external special remote process number in debug

Not actual pid, because System.Process does not expose that.

allow multiple concurrent external special remote processes

Multiple external special remote processes for the same remote will be
started as needed when using -J.

This should not beak any existing external special remotes, because running
multiple git-annex commands at the same time could already start multiple
processes for the same external special remotes.

move externalConfig into ExternalState

Groundwork to having multiple processes running at once for an external
special remote; each needs its own externalConfig.

remove unnecessary mvar

devblog

Make --json-progress output be shown even when the size of a object is not known.

Merge branch 'master' of ssh://git-annex.branchable.com

summary of progress

Added a comment

Add "total-size" field to --json-progress output.

Optimised git-annex branch log file timestamp parsing. 10% speedup

This sped up git annex find --not --in web from 6.64s to 5.69s.
The optimised parser is probably more like 50% faster than the general one
it replaced.

Merge branch 'master' of ssh://git-annex.branchable.com

Optimisations to git-annex branch query and setting, avoiding repeated copies of the environment.

Speeds up commands like  "git-annex find --in remote" by over 50%.

Profiling showed that adjustGitEnv was 21% of the time and 37% of the
allocations of that command. It copied the environment each time with
getEnvironment.

The only repeated use of adjustGitEnv is in withIndexFile, which tends to
be run at least once per file. So, it was optimised by keeping a cache of
the environment, which can be reused.

There could be other better ways to optimise this. Maybe get the while
environment once at startup. But, then it would have to be serialized back
out each time running a child process, so I doubt that would be a net win.

It might be better to cache a version of the environment that is
pre-modified to use .git-annex/index. But, profiling doesn't show that
modifying the enviroment is taking any significant time.

followup

Added a comment: Using gitolite 3.6.6 mirror not working with annex

remove incorrect bit about multiple concurrent transfers, and improve description of protocol flow

todo

devblog

comment

Merge branch 'master' of ssh://git-annex.branchable.com

Optimisations to time it takes git-annex to walk working tree and find files to work on. Sped up by around 18%.

key2file and file2key were top cost centers according to profiling.
The repeated use of replace was not efficient. This new approach is quite a
lot more efficient.

This commit was sponsored by Denis Dzyubenko on Patreon.

more profiling

profiling

Added a comment

Added a comment

Added a comment

Added a comment: +may be "byte-target" field? ;)

remove cabal.config

fixes cabal sdist

cleanup

add news item for git-annex 6.20160923

prep release

Merge branch 'master' of ssh://git-annex.branchable.com

use System.Directory not Utility.Directory

This module does not use isSymbolicLink so avoid depending on extra
Utility.* stuff, to make it more easily reused elsewhere.

avoid needing PartialPrelude

use takeDirectory instead of parentDir

No need for a trailing slash in the directory here, so avoid pulling in an
extra module.