Added a comment

add: Detect when xattrs or perhaps ACLs prevent locking down a file's content

And fail with an informative message.

I don't think ACLs can prevent removing the write bit, but I'm not sure,
so kept it mentioning them as a possibility.

Should git-annex lock also check if the write bits are able to be removed?
Maybe, but the case I know about with xattrs involves cp -a copying NFS
xattrs, and it's the copy of the file that is the problem. So when locking
a file, I guess it will not be the copy.

Sponsored-by: Dartmouth College's Datalad project

Run cp -a with --no-preserve=xattr, to avoid problems with copied xattrs

Including them breaking permissions setting on some NFS servers.

Sponsored-by: Dartmouth College's Datalad project

Merge branch 'master' of ssh://git-annex.branchable.com

Added annex.youtube-dl-command config

This can be used to run some forks of youtube-dl.

Sponsored-by: Brett Eisenberg on Patreon

thought

Added a comment

Added a comment: it turns out I had to file this as a bug

Added a comment

sometimes `sync --content` really does take longer to get a file than `get`

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

removed

Added a comment: i would like to have this feature revisted, collaberative wiki editing

Added a comment: i would like to have this feature revisted, collaberative wiki editing

Added a comment

initial report on inability to get data of others via ssh

Merge branch 'master' of ssh://git-annex.branchable.com

--batch-keys

New --batch-keys option added to these commands:  get, drop, move, copy, whereis

git-annex-matching-options had to be reworded since some of its options
can be used to match on keys, not only files.

Sponsored-by: Luke Shumaker on Patreon

Added a comment: will do

comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

Fix test suite failure on Windows

It would be better if the Arbitrary instance avoided generating impossible
filenames like "foo/c:bar", but proably this is the only place that splits
the file from the directory and then uses the file without the directory..
At least on the quickcheck properties.

Sponsored-by: Svenne Krap on Patreon

unused: Skip the refs/annex/last-index ref that git-annex recently started creating

This was unlikely to cause any problem, but it is unsightly to mention
normally hidden refs, and it might have done a bit of unnecessary work to
check that ref.

Sponsored-by: Noam Kremen on Patreon

comment

comment, improve docs

comment

Added a comment: more info

comment

Merge branch 'master' of ssh://git-annex.branchable.com

retitle

comment

poll vote (OpenStack SWIFT)

comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Add a tip explaining how to enable-tor on NixOS

This is a little bare bones but hopefully useful, some things that could
be improved:

1. Follow steps in order and replicate (I reconstructed off of my
   success, so there may be inaccuracies or things I forgot)

2. Clarify correct ownership for directories & sockets
   - enable-tor's sudo child will obtain the hostname so no access is
     needed after that
   - does it also create the tor sockety directory?

3. Remove unnecessary boilerplate
   - can the hidden service dir be left with the NixOS default?

Added a comment: `git annex sync --no-commit --content` takes double the time of `git annex get .`

close

Merge branch 'master' of ssh://git-annex.branchable.com

fix test suite failure when run with LANG=C

Added a comment: commit 492036622a6326852c29e23608f3959f63e55685 fixes this

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

fix OSX build

Added a comment: So where are the file stored?

Merge branch 'master' of ssh://git-annex.branchable.com

incremental verification for gitlfs and httpalso

And that should be all the special remotes supporting it on linux now,
except for in the odd edge case here and there.

Sponsored-by: Dartmouth College's DANDI project

incremental verification for S3

Sponsored-by: Dartmouth College's DANDI project

incremental verification for web special remote

Except when configuration makes curl be used. It did not seem worth
trying to tail the file when curl is downloading.

But when an interrupted download is resumed, it does not read the whole
existing file to hash it. Same reason discussed in
commit 7eb3742e4b76d1d7a487c2c53bf25cda4ee5df43; that could take a long
time with no progress being displayed. And also there's an open http
request, which needs to be consumed; taking a long time to hash the file
might cause it to time out.

Also in passing implemented it for git and external special remotes when
downloading from the web. Several others like S3 are within striking
distance now as well.

Sponsored-by: Dartmouth College's DANDI project

distinguish between incremental verification failing and not being done

Sponsored-by: Dartmouth College's DANDI project

refactor

refactor

IncrementalVerifier moved to Utility.Hash, which will let Utility.Url
use it later.

It's perhaps not really specific to hashing, but making a separate
module just for the data type seemed unncessary.

Sponsored-by: Dartmouth College's DANDI project

remove comment

This comment used to be in Crypto, where it made sense, but it does not
really make any sense in Utility.Hash

status update

idea

Added a comment

commit f0754a61f doesn't compile on Windows without a small patch

plumb VerifyConfig into retrieveKeyFile

This fixes the recent reversion that annex.verify is not honored,
because retrieveChunks was passed RemoteVerify baser, but baser
did not have export/import set up.

Sponsored-by: Dartmouth College's DANDI project

comment

initial report about needing newer gpg to get tests pass

Added a comment: note on `sec=` on the mount

Merge branch 'master' of ssh://git-annex.branchable.com

status update

incremental verify for webdav special remote

Sponsored-by: Dartmouth College's DANDI project

incremental verify for directory special remote

Added fileRetriever', which will let the remaining special remotes
eventually also support incremental verify.

Sponsored-by: Dartmouth College's DANDI project

refactor fileCopier

Sponsored-by: Dartmouth College's DANDI project

move comment

status update

I was wrong about S3 supporting tailVerify.

handle AlreadyInUseError

As happens when using the directory special remote, gitlfs, webdav, and
S3. But not external, adb, gcrypt, hook, or rsync.

Sponsored-by: Dartmouth College's DANDI project

better handling of finishing up incomplete incremental verify

Now it's run in VerifyStage.

I thought about keeping the file handle open, and resuming reading where
tailVerify left off. But that risks leaking open file handles, until the
GC closes them, if the deferred verification does not get resumed. Since
that could perhaps happen if there's an exception somewhere, I decided
that was too unsafe.

Instead, re-open the file, seek, and resume.

Sponsored-by: Dartmouth College's DANDI project

improve tailVerify

Wait for the file to get modified, not only opened. This way, if a
remote does not support resuming, and opens a new file over top of the
existing file, it will wait until that remote starts writing, and open
the file it's writing to, not the old file.

Sponsored-by: Dartmouth College's DANDI project

update description that it is isilon under

Added a comment: type=git special remote cannot be enabled, no uuid is generated

migrate script: Get full list of remotes that have a file; doc updates; progress output; corner case fixes

Added a comment: Another example

migrate script: Do whereis work before to speed up processing

Added a comment: annex-to-annex

migrate script: Fix accidentally commented-out fsck run

migrate script: Don't try on all remotes, look where it is and drop from there (faster)

Added a comment: annex-to-annex

Convert previously missing attachment

Tool to drop migrated files for good

fix windows build

Merge branch 'master' of ssh://git-annex.branchable.com

status update

catch more exceptions

I saw this:

  .git/annex/tmp/SHA256E-s1234376--5ba8e06e0163b217663907482bbed57684d7188024155ddc81da0710dfd2687d: openBinaryFile: resource busy (file is locked)

 guess catching IO exceptions did not catch that one.

incremental hashing for fileRetriever

It uses tailVerify to hash the file while it's being written.

This is able to sometimes avoid a separate checksum step. Although
if the file gets written quickly enough, tailVerify may not see it
get created before the write finishes, and the checksum still happens.

Testing with the directory special remote, incremental checksumming did
not happen. But then I disabled the copy CoW probing, and it did work.
What's going on with that is the CoW probe creates an empty file on
failure, then deletes it, and then the file is created again. tailVerify
will open the first, empty file, and so fails to read the content that
gets written to the file that replaces it.

The directory special remote really ought to be able to avoid needing to
use tailVerify, and while other special remotes could do things that
cause similar problems, they probably don't. And if they do, it just
means the checksum doesn't get done incrementally.

Sponsored-by: Dartmouth College's DANDI project

INotify.removeWatch can crash

Unsure why, possibly if the file has been replaced by another file.