devblog

todo for bs branch

Added a comment: even git mv -f seems to work correctly

Added a comment: moving unlocked file onto locked file isn't possible

explict export lists

A small amount of dead code removed.

All of Utility/ done now.

This commit was sponsored by Brock Spratlen on Patreon.

typo

todo

updated profiling

minor optimisation

avoid repeated scan of the same bytestring

Merge /home/joey/tmp/git-annex

cache the serialization of a Key

This will speed up the common case where a Key is deserialized from
disk, but is then serialized to build eg, the path to the annex object.

Previously attempted in 4536c93bb2ecf114ab711beac33fa358facd6985
and reverted in 96aba8eff7597898f53bfbab5865ff30a927d355.
The problems mentioned in the latter commit are addressed now:

Read/Show of KeyData is backwards-compatible with Read/Show of Key from before
this change, so Types.Distribution will keep working.

The Eq instance is fixed.

Also, Key has smart constructors, avoiding needing to remember to update
the cached serialization.

Used git-annex benchmark:
  find is 7% faster
  whereis is 3% faster
  get when all files are already present is 5% faster
Generally, the benchmarks are running 0.1 seconds faster per 2000 files,
on a ram disk in my laptop.

improve hints about squelching output

(Build-)depend on git >= 2.22 to avoid memory leaked git being bundled or used

Note from Joey:
  git-annex still supports git 2.1, but operates in a degraded fashion.
  It would be better for backports of the debian package to also
  backport a newer git. This dependency is mostly expressing that,
  also that any users who might upgrade git-annex should also upgrade
  git.

  Also worth noting that the i386ancient autobuilder has git 2.1 on it
  (best I have been able to manage there), but luckily the epoch is
  bumped to 2, so the dependencies will still be satisfied.

squelch tab warnings

missed an export

close as dup

close not viable

simplify the name of the test cases

Windows: Fix handling of changes to time zone.

Used to work but was broken in version 7.20181031, specifically commit
5ab0f48ffbd69029feb8cd101776c46ec86d6209.

That this was not noticed over at least 1 daylight savings time zone
changes makes me wonder if the TSDelta stuff is still needed.
Perhaps the mtime on Windows no longer changes when the time zone is changed?

(cherry picked from commit 09ee6b0ccb10059d44fd9a89f07646b35b718563)

improve benchmark --databases

* benchmark: Changed --databases to take a parameter specifiying the size
  of the database to benchmark.
* benchmark --databases: Display size of the populated database.
* benchmark --databases: Improve the "addAssociatedFile to (new)"
  benchmark to really add new values, not overwriting old values.

explict export lists

Eliminated some dead code. In other cases, exported a currently unused
function, since it was a logical part of the API.

Of course this improves the API documentation. It may also sometimes
let ghc optimize code better, since it can know a function is internal
to a module.

364 modules still to go, according to
git grep -E 'module [A-Za-z.]+ where'

avoid running scanUnlockedFiles in bare repo

It's not necessary. And if the bare repo somehow has a pointer
file in it with the same name as a file in HEAD, that file would be
populated, which would be surprising since the file is not really under
git's control.

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

Fix bug that made bare repos be treated as non-bare when --git-dir was used.

Eg:

git clone url --bare r
git --git-dir r annex init

This resulted in worktree = Just "." and so several things that check
worktree to determine when the repo is bare ran code paths intended for
non-bare. One such code path[1] ran git checkout with --worktree=. which
actually makes it ignore core.bare config, and so the current directory
got populated with a checkout of the master branch in this example. There
was probably also other breakage.

The fix is a bit complicated because whether the repo is bare is not
known until after Git.Config reads the config, but Git.Config handles
setting the RepoLocations's worktree when core.worktree is set. So have
to assume the worktree is the cwd, let core.worktree override that,
and then if the repo turns out to be bare, it's set back to Nothing.
(And then GIT_WORK_TREE can still override all of that.)

[1] switchHEADBack, which runs even when the clone is not from a bare repo.

removed

Added a comment: git add or git commit does not trigger assistant, but git rm does

Added a comment: git add or git commit does not trigger assistant, but git rm does

Merge branch 'master' of ssh://git-annex.branchable.com

todo

Added a comment: using hardlinks

Added a comment: import/export

encourage use of import from directory special remote rather than legacy interface

Merge branch 'master' of ssh://git-annex.branchable.com

comments

Added a comment

comment

comments

Revert malicious removal of index page

This reverts commit 748a228ee7c22f17ebae3387bbd1d3528672fc46.

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment: Re: using hardlinks

Merge branch 'master' of ssh://git-annex.branchable.com

devblog

sync, assistant: Pull and push from git-lfs remotes.

Oversight, forgot to add it to gitSyncableRemote

git-lfs: remember urls, and autoenable remotes using known urls

* git-lfs: The url provided to initremote/enableremote will now be
  stored in the git-annex branch, allowing enableremote to be used without
  an url. initremote --sameas can be used to add additional urls.
* git-lfs: When there's a git remote with an url that's known to be
  used for git-lfs, automatically enable the special remote.

Added a comment: using hardlinks

todo

update docs

http basic auth has been supported for some time, these docs predate
that support

removed

added todo "change git-annex-import not to delete original files by default"

stop displaying rsync progress, and use git-annex's own progress display for local-to-local repo transfers

Reasons to do this include:

1. I've gotten pretty used to git-annex's own progress display, which is
   used for all transfers over ssh (except to old git-annex-shell),
   and for most special remote transfers. It's getting to seem weird to see
   the rsync progress display instead.
2. When -J was used, the rsync output could not be shown, and so there was
   no progress display. Now there will be.

Progress will also be displayed now when cp CoW is used. But I'd expect a CoW
copy to typically run so fast that the progress display will barely be
noticable.

This commit was sponsored by Peter on Patreon.

fix build after Utility.Url changes

add news item for git-annex 7.20191114

releasing package git-annex version 7.20191114

fix GIT_EXEC_PATH to point to bundle/git-core

This makes it be the same as in the linux runshell.

It may be that bundle/ used to have all the necessary binaries in it,
but that seems unlikely. I think that the breakage fixed by my previous
commit masked this other breakage, and anything git execs from git-core
(as opposed to being buitin) has never worked in the OSX dmg.

OSX link libs into git-core directory

So that binaries in that directory can find the library next to them,
where they get modified to look.

This is a hack; it would be better for OSXMkLibs to build a list of what
libraries are needed where.

Unsure if this is needed due to a recent reversion, or is an older
problem, so updated changelog accordingly.

oops I the filename

OSX git-annex.app: Fix a regression that broke git-remote-https, git-remote-http, and git-shell

Putting the binaries in bundle/git-core/bin didn't work on OSX,
linker can't find the libraries next to those binaries where it expects to.
So instead put the binaries in the progDir.

remove thing I never meant to commit

linuxstandalone: Fix a regression that broke git-remote-https.

Merge branch 'master' of ssh://git-annex.branchable.com

add regression test

Fix a crash (STM deadlock) when -J is used with multiple files that point to the same key

See the comment for a trace of the deadlock.

Added a new StartStage. New worker threads begin in the StartStage.
Once a thread is ready to do work, it moves away from the StartStage,
and no thread will ever transition back to it.

A thread that blocks waiting on another thread that is processing
the same key will block while in the StartStage. That other thread
will never switch back to the StartStage, and so the deadlock is avoided.

removed

Added a comment: Sometimes it sorta works

Added a comment: Sometimes it sorta works

provide a Show instance that works for all WorkerPools

forgotten /details

initial report of standalone build regression

Added a comment

Added a comment: catch-all deadlock breaker

clues

response

Merge branch 'master' of ssh://git-annex.branchable.com

followup

accidental dup

This reverts commit ece9429f4441345d6568ba1284054068d1c52ec1

much flailing

Added a comment

initial bug report on parallel get of the same key

comment

Merge branch 'master' of ssh://git-annex.branchable.com

make --json-error-messages capture url download errors

Convert Utility.Url to return Either String so the error message can be
displated in the annex monad and so captured.

(When curl is used, its errors are still not caught.)

Added a comment: Another use case -- http_proxy

remove one more warningIO

Had to generalize Git.Queue so it can run an Annex action, yipes.

Only remaining warningIO are in the legacy chunk code.

use fromRepo

remove some unncessary uses of warningIO

warningIO is not concurrent output safe, and it doesn't go to
--json-error-messages

There are a few more that would be too hard to remove, and there are also
several dozen direct prints to stderr still.

refactor

Better to not have a single function module, and better to have a more
specific type than Bool.

This commit was sponsored by Jack Hill on Patreon

Added annex.allowsign option.

This commit was sponsored by Ilya Shlyakhter on Patreon.

mention special remotes

Merge branch 'master' of ssh://git-annex.branchable.com

some improvements to docs

typo

fix language

typo