clean up side lock files when we're done with them

There's a potential race, but it's detected and just results in the other
process failing to take the side lock, so possibly retrying one second
later on. The race window is quite narrow so the extra delay is minor.

Left the side lock files mode 666 because an interruption can leave a side
lock file created by another user for a shared repository. When this
happens, the non-owning user can't delete it (+t) but can still lock it,
and so the code falls back to acting as it did before this commit.

fix typo

devblog

close

starting to get a handle on how to detect that mad gleam in lustre's eye

comment

more warnings about networked filesystems

one more try to get sane behavior our of lustre

fixed a fd double-close

also compare lock file contents to double-check link worked

And it closes the tmp file before this. I don't know if this will help
avoid lustre's craziness, but it can't hurt..

use /tmp for sidelock file when no /dev/shm

require the side lock be held to take pidlock

This is less portable, since currently sidelocks rely on /dev/shm.
But, I've seen crazy lustre inconsistencies that make me not trust the
link() method at all, so what can you do.

avoid over-long filenames for side lock files

comment

update

Merge branch 'master' of ssh://git-annex.branchable.com

init: Automatically enable annex.pidlock when necessary.

add stat check

I have a strace taken on a lustre filesystem on which link() returned 0,
but didn't actually succeed, since the file already existed.

One of the linux man pages recommended using link followed by checking like
this. I was reading it yesterday, but cannot find it now.

clean up temp file

better lock dropping order

Added a comment: PLEASE!!! PLEASE BUILD IT!!!

Workflow question

Merge branch 'master' of ssh://git-annex.branchable.com

devblog

convert from Utility.LockPool to Annex.LockPool everywhere

generalize to MonadIO

pid locking configuration and abstraction layer for git-annex

(not actually used anywhere yet)

add timeout for pid lock waiting

refactor

module for PidLocks in LockPool

make LockPool's LockHandle be able to support multiple different types of file locks

module for pid lock files with atomic stale lock file takeover when possible

initial complaint

create ipfs bug.

Added a comment: obnam

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

design

Added a comment

Added a comment

Added a comment

Added a comment: why use rsync at all?

devblog

I'm feeling.. typoish

fix

use author()

add userpage for yoh

Merge branch 'master' of ssh://git-annex.branchable.com

assistant: Pass ssh-options through 3 more git pull/push calls that were missed before.

It was used for regular pull, but not for regular push, tagged push, or the
fallback fetching.

removed

Added a comment

Added a comment

response

Merge branch 'master' of ssh://git-annex.branchable.com

comment

added [[!meta author=yoh]]

response

added [[!meta author=yoh]]

Added a comment

response

hmm

response

response

clarify

display a message in the unlikely scenario of fsking a dead repository

add back missing newline to showRaw

fsck: When fscking a dead repo, avoid incorrect "fixing location log" message.

keyLocations doesn't return locations in dead repos, but if we're fscking a
dead repo, we want to look at what locations are actually logged for it.

comment

Merge branch 'master' of ssh://git-annex.branchable.com

fix build warning when built w/o concurrent-output

Added a comment

Make git-annex-standalone.deb include the git-annex html documentation, desktop file, and base completion file, same as the regular git-annex.deb.

It already had a doc-base file relating to the html documentation, and
there's no reason not to include the other stuff.

Revert deleton of direct mode page

This reverts commit 46134e04f8c57da6b02892fb6a9fab05cef5568a.

This may have been an accident, but if it happens again, MARCAO8 will be
banned.

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Make the git-annex-standalone.deb prevent runshell from installing wrappers into $HOME/.ssh

runshell: Avoid failing when $HOME/.ssh does not exist and cannot be created.

response

close

quvi may output utf-8 encoded data when the conifigured locale doesn't support that; avoid crashing on such invalid encoding.

close

Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment: More details

remove badly named bug report, which was later posted under good name

Added a comment: could / will this help with global status?

Added a comment

devblog

work around git check-ignore --batch bad exit status bug, and bring back import -J

add: Fix error recovery rollback to not move the injested file content out of the annex back to the file, because other files may point to that same content. Instead, copy the injected file content out to recover.

That was not a data loss, but it came close!

enable ConcurrentOutput flag for stack

fix replaceFile makeAnnexLink race

replaceFile created a temp file, which was guaranteed to not overlap with
another temp file. However, makeAnnexLink then deleted that file, in
preparation for making the symlink in its place. This caused a race, since
some other replaceFile could create a temp file, using the same name!

I was able to reproduce the race easily running git-annex add -J10 in a
directory with 100 files (all with different contents). Some files would
get ingested into the annex, but their annex links would fail to be added.

There could be other situations where this same problem could occur.
Perhaps when the assistant is adding a file, if the user manually also ran
git-annex add. Perhaps in cases not involving adding a file.

The new replaceFile makes a temprary directory, which is guaranteed to be
unique, and doesn't make a temp file in there. makeAnnexLink can thus
create the symlink without problem and the race is avoided.

Audited all calls to replaceFile to make sure that the old behavior of
providing an empty temp file was not relied on.

The general problem of asking for a temp file and deleting it as part of
the process of using it could reach beyond replaceFile. Did some quick
audits and didn't find other cases of it. Probably only symlink creation
stuff would tend to make that mistake, mostly.

close

Merge branch 'master' of ssh://git-annex.branchable.com

Concurrent progress bars are now displayed when using -J with a command that moves file contents around.