reorder database shutdown to be concurrency safe

If a DbHandle is in use by another thread, it could be queueing changes
while shutdown is running. So, wait for the worker to finish before
flushing the queue, so that any last-minute writes are included. Before
this fix, they would be silently dropped.

Of course, if the other thread continues to try to use a DbHandle once it's
closed, it will block forever as the worker is no longer reading from the
jobs MVar. So, that would crash with
"thread blocked indefinitely in an MVar operation".

comment

pass --version to init when needed

Merge branch 'master' into smudge

Merge branch 'master' of ssh://git-annex.branchable.com

bring back some deleted functions that git-repair uses

improve temp dir security

http://bugs.debian.org/807341

* Fix insecure temporary permissions when git-annex repair is used in
  in a corrupted git repository.

  Other calls to withTmpDir didn't leak any potentially private data,
  but repair clones the git repository to a temp directory which is made
  using the user's umask. Thus, it might expose a git repo that is
  otherwise locked down.

* Fix potential denial of service attack when creating temp dirs.

  Since withTmpDir used easily predictable temporary directory names,
  an attacker could create foo.0, foo.1, etc and as long as it managed to
  keep ahead of it, could prevent it from ever returning.

  I'd rate this as a low utility DOS attack. Most attackers in a position
  to do this could just fill up the disk /tmp is on to prevent anything
  from writing temp files. And few parts of git-annex use withTmpDir
  anyway, so DOS potential is quite low.

Examined all callers of withTmpDir and satisfied myself that
switching to mkdtmp and so getting a mode 700 temp dir wouldn't break any
of them.

Note that withTmpDirIn continues to not force temp dir to 700.
But it's only used for temp directories inside .git/annex/wherever/
so that is not a problem.

Also re-audited all other uses of temp files and dirs in git-annex.

starting to work on test suite for v6

Use git-annex init --version=6 to get v6 for now

Not ready to make it default because of the direct mode upgrade needing to
all happen at once.

in v6 mode, unannex does not interact badly with pre-commit hook

So can be used in a tree with staged changes, no problems. Much nicer.

recent fsck changes caused ugly message when object was not present

update todo list

implemented upgrade of direct mode repo to v6

reorg

changes for v6 broke fsck in direct mode

clarify

doc update

add: In v6 mode, acts on modified files.

Same as was done in direct mode, except in v6 mode add always adds files
locked, so

fix incorrect doc change

avoid pre-commit check having to do with v5 unlocked files when in v6 mode

rename stuff for v5 unlocked files to indicate it's old

update doc for v6

add: no need to make pass for old unlocked files in v6

have clean filter check if the filename was already in use by an old key

The annex object for it may have been modified due to hard link, and
that should be cleaned up when the new version is added. If another
associated file has the old key's content, that's linked into the annex
object. Otherwise, update location log to reflect that content has been
lost.

add getAssociatedKey

I guess this is just as efficient as the getAssociatedFiles query, but I
have not tried to optimise the database yet.

update inode cache to cover file even when nothing needs to be done to linkAnnex

This covers the case where multiple files have the same content and are
added with git add. Previously only the one that was linked to the annex
got its inode cached; now both are.

todo

Merge branch 'master' into smudge

removed

Added a comment

Added a comment

Added a comment: It worked

Added a comment: I'm also having this issue

Added a comment

Added a comment: Indeed

Added a comment

Added a comment: Repairing ignores disk space issues too

create page

Debian: Build depend on concurrent-output.

In unstable now.

Added a comment

Added a comment

Added a comment

avoid smudge filter returning invalid content

1. git add file
2. git commit
3. modify file
4. git commit
5. git reset HEAD^

Before this fix, that resulted in git saying the file was modified. And
indeed, it didn't have the content it should in the just checked out ref,
because step 3 modified the object file for the old key.

2 more data -> 2 more days

devblog

update

checked getKeysPresent; it's ok for v6 unlocked files

When a v6 unlocked files is removed from the work tree,
unused doesn't show it. When it gets removed from the index,
unused does show it. This is the same as a locked file.

fsck for v6 unlocked files

This only adds 1 stat to each file fscked for locked files, so
added overhead is minimal.

For unlocked files it has to access the database to see if a file
is modified.

finish v6 git-annex lock

This was a doozy!

only make 1 hardlink max between pointer file and annex object

If multiple files point to the same annex object, the user may want to
modify them independently, so don't use a hard link.

Also, check diskreserve when copying.

Merge branch 'master' into smudge

fsck: Failed to honor annex.diskreserve when checking a remote.

Merge branch 'master' of ssh://git-annex.branchable.com

webdav: When testing the WebDAV server, send a file with content. The empty file it was sending tickled bugs in some php WebDAV server.

comment

comment

comment

add Blackblaze B2 extranal special remote to the list

comment

clean up

wip

Added a comment

v6 git-annex unlock

Note that the implementation uses replaceFile, so that the actual
replacement of the work tree file is atomic. This seems a good property to
have!

It would be possible for unlock in v6 mode to be run on files that do not
have their content present. However, that would be a behavior change from
before, and I don't see any immediate need to support it, so I didn't
implement it.

add generalized linkAnnex'

always format pointer file with a trailing newline

Before the smudge filter added a trailing newline, but other things that
wrote formatPointer to a file did not.

also some new pointer staging code to use later

Added a comment

todo

check InodeCache in inAnnex et al

This avoids querying the database when the content file doen't exist
(or otherwise fails the provided check). However, it does add overhead of
querying the database, and will certianly impact performance.

check inode cache in prepSendAnnex

This does mean one query of the database every time an object is sent.
May impact performance.

move

Merge branch 'master' into smudge

comment

Added a comment: Complete removal

Add S3 features to git-annex version output.

comment

response

response

Added a comment: The downside

make clear when code is using deprecated direct mode files

reorder

Merge branch 'master' of ssh://git-annex.branchable.com

devblog

Merge branch 'master' into smudge

use InodeCache when dropping a key to see if a pointer file can be safely reset

The Keys database can hold multiple inode caches for a given key. One for
the annex object, and one for each pointer file, which may not be hard
linked to it.

Inode caches for a key are recorded when its content is added to the annex,
but only if it has known pointer files. This is to avoid the overhead of
maintaining the database when not needed.

When the smudge filter outputs a file's content, the inode cache is not
updated, because git's smudge interface doesn't let us write the file. So,
dropping will fall back to doing an expensive verification then. Ideally,
git's interface would be improved, and then the inode cache could be
updated then too.

add inode cache to the db

Renamed the db to keys, since it is various info about a Keys.

Dropping a key will update its pointer files, as long as their content can
be verified to be unmodified. This falls back to checksum verification, but
I want it to use an InodeCache of the key, for speed. But, I have not made
anything populate that cache yet.

Added a comment

move InodeSentinal from direct mode code to its own module

Will be used outside of direct mode for v6 unlocked files, and is already
used outside of direct mode when adding files to annex.

link/copy pointer files to object content when it's added

avoid clean filter trying to annex a pointer file

avoid pre-commit hook messing up new-style unlocked files in v6 repo

stash DbHandle in Annex state

refactor and improve pointer file handling code

Added a comment: anyone saw/worked on backend for watchdox service? (not free one but needed :-/)

todo

add news item for git-annex 5.20151208

prep release

response

Added a comment: Problems initializing glacier remote