remove unnecessary liftIO

comment

fix link

Merge branch 'master' of ssh://git-annex.branchable.com

correctly update keys db in merge conflict

This is quite a subtle edge case, see the bug report for full details.

The second git diff is needed only when there's a merge conflict.
It would be possible to speed it up marginally by using
--diff-filter=Unmerged, but probably not enough to bother with.

Sponsored-by: Graham Spencer on Patreon

Added a comment: deferring the keys-to-files scan

comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

added suggestion to match keys by file extension in the key

Added a comment: keeping connected files together

removed

Added a comment: specifying preferred content by metadata

Added a comment: specifying preferred content by metadata

Added a comment

Added a comment

rename bugs/delayadd_doesn__39__t_work.mdwn to bugs/delayadd_doesn__39__t_work_with_smallfiles.mdwn

Added a comment: using import tree and export tree

Add bug report

Added a comment

Initial report on performance regression

Added a comment

Added a comment

Added a comment: "why all these wild ideas are being thrown out there"

Merge branch 'master' of ssh://git-annex.branchable.com

--size-limit exit 101

Sponsored-by: Mark Reidenbach on Patreon

add --size-limit option

When this option is not used, there should be effectively no added
overhead, thanks to the optimisation in
b3cd0cc6ba4e5b9e2ae0abd9c8b2ec32475e09d2.

When an action fails on a file, the size of the file still counts toward
the size limit. This was necessary to support concurrency, but also
generally seems like the right choice.

Most commands that operate on annexed files support the option.
export and import do not, and I don't know if it would make sense for
export to.. Why would you want an incomplete export? sync doesn't, and
while it would be easy to make it support it for transferring files,
it's not clear if dropping files should also take the size limit into
account. Commands like add that don't operate on annexed files don't
support the option either.

Exiting 101 not yet implemented.

Sponsored-by: Denis Dzyubenko on Patreon

minor optimisation

Avoid a second mvar access.

Sponsored-by: Jochen Bartl on Patreon

comment

comment

comment

avoid displaying the scanning annexed files message when repo is not large

Avoids users thinking this scan is a big deal, when it's not in the
majority of repos.

showSideActionAfter has some ugly caveats, since it has to display in
the background of another action. I could not see a better way to do it
and it works fine in this particular case. It also doesn't really belong
in Annex.Concurrent, but cannot go in Messages due to an import loop.

Sponsored-by: Dartmouth College's Datalad project

comment

about "scanning for annexed" while in git-annex branch

Added a comment

Added a comment: matching include/exclude based on file extension in the key

Added a comment: keys db optimization

Merge branch 'master' of ssh://git-annex.branchable.com

avoid removing old associated file when there is a merge conflict

It makes sense to keep the key used by the old version of an
associated file, until the merge conflict is resolved.

Note that, since in this case git diff is being run with --index, it's
not possible to use -1 or -3, which would let the keys
associated with the new versions of the file also be added. That would
be better, because it's possible that the local modification to the file
that caused the merge conflict has not yet gotten its new key recorded
in the db.

Opened a bug about a case this is thus not able to address.

Sponsored-by: Boyd Stephen Smith Jr. on Patreon

todo

Added a comment: keys-to-paths db

comments

Added a comment: startup scan for files

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment

comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

speed up keys database writes

There seems to be no reason to check the time here. I think it was
inherited from code in Database.Fsck, which does have a reason to commit
every few minutes. Removing that syscall speeds up a git-annex init
in a repo with 100000 annexed files by about 3 seconds.

Sponsored-by: Dartmouth College's Datalad project

speed up initial scanning for annexed files

Streaming through git this way speeds it up by around 25%. This is
similar to the optimisations of seeking annexed files.

Sponsored-by: Dartmouth College's Datalad project

annex.supportunlocked should not prevent scan for annexed files

That scan used to be only for unlocked files, but no longer..

todo

Merge branch 'master' of ssh://git-annex.branchable.com

comment

ikiwiki server slowdown

Added a comment: clarifying preferred content expressions

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment: Using the --content flag

devblog

Added annex.adviceNoSshCaching config.

Sponsored-by: Brock Spratlen on Patreon

comment

comment and reject todo

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment

comments

Merge branch 'master' of ssh://git-annex.branchable.com

New matching options --excludesamecontent and --includesamecontent

The normalisation of filenames turns out to be the tricky part here,
because the associated files coming out of the keys db may look like
"./foo/bar" or "../bar". For the former to match a glob like "foo/*",
it needs to be normalised.

Note that, on windows, normalise "./foo/bar" = "foo\\bar"
which a glob like "foo/*" won't match. So the glob is matched a second
time, on the toInternalGitPath, so allowing the user to provide a glob
with the slashes in either direction. However, this still won't support
some wacky edge cases like the user providing a glob of "foo/bar\\*"

Sponsored-by: Dartmouth College's Datalad project

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

Merge branch 'trackassociated'

comments

prevent dropping required content of other file using same content

When two files have the same content, and a required content expression
matches one but not the other, dropping the latter file will fail as it
would also remove the content of the required file.

This will slow down drop (w/o --auto), dropunused, mirror, and move, by one
keys db lookup per file. But I did include an optimisation to avoid a
double db lookup in the drop --auto / sync --content case. I suspect that
dropunused could also use PreferredContentChecked True, but haven't
entirely thought it through and it's rarely used with enough files for the
optimisation to matter.

Sponsored-by: Dartmouth College's Datalad project

improve changelog

required content update

update

Added a comment: is there some way to remove a file I've commited?

Added a comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

update

Merge branch 'master' into trackassociated

update

Merge branch 'master' into trackassociated