fix test suite failure on windows

This was maybe a real bug too, although I don't know what circumstances
it would be a problem. See comment for analysis of this windows drive
letter wackyness issue.

Sponsored-by: Brock Spratlen on Patreon

close

skip test_readonly on windows

       drop vs readonly repo failed (transcript follows)
      drop foo
      failed
      git-annex: .git\annex\objects\6cd\e82\SHA256E-s20--e394a389d787383843decc5d3d99b6d184ffa5fddeec23b911f9ee7fc8b9ea77\SHA256E-s20--e394a389d787383843decc5d3d99b6d184ffa5fddeec23b911f9ee7fc8b9ea77: DeleteFile "\\\\?\\C:\\Users\\runneradmin\\.t\\tmprepo3\\.git\\annex\\objects\\6cd\\e82\\SHA256E-s20--e394a389d787383843decc5d3d99b6d184ffa5fddeec23b911f9ee7fc8b9ea77\\SHA256E-s20--e394a389d787383843decc5d3d99b6d184ffa5fddeec23b911f9ee7fc8b9ea77": permission denied (Access is denied.)

This is a bit surprising, it seems that chmod -R -w on windows actually
had some effect. But also, on Windows lockContentShared
has to write to a lock file, so it cannot work in a readonly repo.
So git-annex cannot support readonly repos on Windows.

Sponsored-by: Dartmouth College's Datalad project

init: check for filesystem where write bit cannot be removed

This fixes a reversion caused by a99a84f3420a1d93e4ecd4b8cf30638b48e2758e,
when git-annex init is run as root on a FAT filesystem mounted with
hdiutil on OSX. Such a mount point has file mode 777 for everything and
it cannot be changed. The existing crippled filesystem test tried to
write to a file after removing write bit, but that test does not run as
root (since root can write to unwritable files). So added a check of the
write permissions of the file, after attempting to remove them.

Sponsored-by: Dartmouth College's Datalad project

prop_relPathDirToFileAbs_basics fails on occasion

Added a comment

initial TODO on improving 'get' errors reporting

report on 2 tests fail on crippled FS on mac

initial report

Added a comment: just an update on my testing

add test case for readonly remote

Tests for the reversion fixed in 837116ef1e253f82726b023bfe6ca46777060e27
and similar problems.

Sponsored-by: Dartmouth College's Datalad project

comment

Merge branch 'master' of ssh://git-annex.branchable.com

update

idea for making more special remotes support importtree

Sponsored-by: Jack Hill on Patreon

Added a comment: reproducer

Added a comment

decorate openTempFile errors with the template name

This is to track down what file in .git/annex/ is being written to via a
temp file when the repository is read-only.

Sponsored-by: Dartmouth College's Datalad project

Fix support for readonly git remotes

Boolean blindness oops.

(Reversion in version 8.20210621)

Sponsored-by: Dartmouth College's Datalad project

comment

comment

comment

Added a comment

add: Detect when xattrs or perhaps ACLs prevent locking down a file's content

And fail with an informative message.

I don't think ACLs can prevent removing the write bit, but I'm not sure,
so kept it mentioning them as a possibility.

Should git-annex lock also check if the write bits are able to be removed?
Maybe, but the case I know about with xattrs involves cp -a copying NFS
xattrs, and it's the copy of the file that is the problem. So when locking
a file, I guess it will not be the copy.

Sponsored-by: Dartmouth College's Datalad project

Run cp -a with --no-preserve=xattr, to avoid problems with copied xattrs

Including them breaking permissions setting on some NFS servers.

Sponsored-by: Dartmouth College's Datalad project

Merge branch 'master' of ssh://git-annex.branchable.com

Added annex.youtube-dl-command config

This can be used to run some forks of youtube-dl.

Sponsored-by: Brett Eisenberg on Patreon

thought

Added a comment

Added a comment: it turns out I had to file this as a bug

Added a comment

sometimes `sync --content` really does take longer to get a file than `get`

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

removed

Added a comment: i would like to have this feature revisted, collaberative wiki editing

Added a comment: i would like to have this feature revisted, collaberative wiki editing

Added a comment

initial report on inability to get data of others via ssh

Merge branch 'master' of ssh://git-annex.branchable.com

--batch-keys

New --batch-keys option added to these commands:  get, drop, move, copy, whereis

git-annex-matching-options had to be reworded since some of its options
can be used to match on keys, not only files.

Sponsored-by: Luke Shumaker on Patreon

Added a comment: will do

comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

Fix test suite failure on Windows

It would be better if the Arbitrary instance avoided generating impossible
filenames like "foo/c:bar", but proably this is the only place that splits
the file from the directory and then uses the file without the directory..
At least on the quickcheck properties.

Sponsored-by: Svenne Krap on Patreon

unused: Skip the refs/annex/last-index ref that git-annex recently started creating

This was unlikely to cause any problem, but it is unsightly to mention
normally hidden refs, and it might have done a bit of unnecessary work to
check that ref.

Sponsored-by: Noam Kremen on Patreon

comment

comment, improve docs

comment

Added a comment: more info

comment

Merge branch 'master' of ssh://git-annex.branchable.com

retitle

comment

poll vote (OpenStack SWIFT)

comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Add a tip explaining how to enable-tor on NixOS

This is a little bare bones but hopefully useful, some things that could
be improved:

1. Follow steps in order and replicate (I reconstructed off of my
   success, so there may be inaccuracies or things I forgot)

2. Clarify correct ownership for directories & sockets
   - enable-tor's sudo child will obtain the hostname so no access is
     needed after that
   - does it also create the tor sockety directory?

3. Remove unnecessary boilerplate
   - can the hidden service dir be left with the NixOS default?

Added a comment: `git annex sync --no-commit --content` takes double the time of `git annex get .`

close

Merge branch 'master' of ssh://git-annex.branchable.com

fix test suite failure when run with LANG=C

Added a comment: commit 492036622a6326852c29e23608f3959f63e55685 fixes this

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

fix OSX build

Added a comment: So where are the file stored?

Merge branch 'master' of ssh://git-annex.branchable.com

incremental verification for gitlfs and httpalso

And that should be all the special remotes supporting it on linux now,
except for in the odd edge case here and there.

Sponsored-by: Dartmouth College's DANDI project

incremental verification for S3

Sponsored-by: Dartmouth College's DANDI project

incremental verification for web special remote

Except when configuration makes curl be used. It did not seem worth
trying to tail the file when curl is downloading.

But when an interrupted download is resumed, it does not read the whole
existing file to hash it. Same reason discussed in
commit 7eb3742e4b76d1d7a487c2c53bf25cda4ee5df43; that could take a long
time with no progress being displayed. And also there's an open http
request, which needs to be consumed; taking a long time to hash the file
might cause it to time out.

Also in passing implemented it for git and external special remotes when
downloading from the web. Several others like S3 are within striking
distance now as well.

Sponsored-by: Dartmouth College's DANDI project

distinguish between incremental verification failing and not being done

Sponsored-by: Dartmouth College's DANDI project

refactor

refactor

IncrementalVerifier moved to Utility.Hash, which will let Utility.Url
use it later.

It's perhaps not really specific to hashing, but making a separate
module just for the data type seemed unncessary.

Sponsored-by: Dartmouth College's DANDI project

remove comment

This comment used to be in Crypto, where it made sense, but it does not
really make any sense in Utility.Hash

status update

idea

Added a comment

commit f0754a61f doesn't compile on Windows without a small patch

plumb VerifyConfig into retrieveKeyFile

This fixes the recent reversion that annex.verify is not honored,
because retrieveChunks was passed RemoteVerify baser, but baser
did not have export/import set up.

Sponsored-by: Dartmouth College's DANDI project

comment

initial report about needing newer gpg to get tests pass

Added a comment: note on `sec=` on the mount

Merge branch 'master' of ssh://git-annex.branchable.com

status update

incremental verify for webdav special remote

Sponsored-by: Dartmouth College's DANDI project

incremental verify for directory special remote

Added fileRetriever', which will let the remaining special remotes
eventually also support incremental verify.

Sponsored-by: Dartmouth College's DANDI project

refactor fileCopier

Sponsored-by: Dartmouth College's DANDI project