close dup

defer write permissions checking in import until after copy to repo

This should complete the fix started in
6329997ac44691937f1d7fe6a71da3184237b13b, fixing the actual cause of the
test suite failure this time.

Sponsored-by: Dartmouth College's Datalad project

comment

reopen

fix windows build

Added a comment

Added a comment

add author meta

commit 9595a247a doesn't compile on Windows without reverting a small previous change

Merge branch 'master' of ssh://git-annex.branchable.com

improve url download failure display

* When downloading urls fail, explain which urls failed for which
  reasons.
* web: Avoid displaying a warning when downloading one url failed
  but another url later succeeded.

Some other uses of downloadUrl use urls that are effectively internal use,
and should not all be displayed to the user on failure. Eg, Remote.Git
tries different urls where content could be located depending on how the
remote repo is set up. Exposing those urls to the user would lead to wild
goose chases. So had to parameterize it to control whether it displays urls
or not.

A side effect of this change is that when there are some youtube urls
and some regular urls, it will try regular urls first, even if the
youtube urls are listed first. This seems like an improvement if
anything, but in any case there's no defined order of urls that it's
supposed to use.

Sponsored-by: Dartmouth College's Datalad project

Added a comment

Added a comment

comment

Added a comment: clarification

fix test suite failure on windows

This was maybe a real bug too, although I don't know what circumstances
it would be a problem. See comment for analysis of this windows drive
letter wackyness issue.

Sponsored-by: Brock Spratlen on Patreon

close

skip test_readonly on windows

       drop vs readonly repo failed (transcript follows)
      drop foo
      failed
      git-annex: .git\annex\objects\6cd\e82\SHA256E-s20--e394a389d787383843decc5d3d99b6d184ffa5fddeec23b911f9ee7fc8b9ea77\SHA256E-s20--e394a389d787383843decc5d3d99b6d184ffa5fddeec23b911f9ee7fc8b9ea77: DeleteFile "\\\\?\\C:\\Users\\runneradmin\\.t\\tmprepo3\\.git\\annex\\objects\\6cd\\e82\\SHA256E-s20--e394a389d787383843decc5d3d99b6d184ffa5fddeec23b911f9ee7fc8b9ea77\\SHA256E-s20--e394a389d787383843decc5d3d99b6d184ffa5fddeec23b911f9ee7fc8b9ea77": permission denied (Access is denied.)

This is a bit surprising, it seems that chmod -R -w on windows actually
had some effect. But also, on Windows lockContentShared
has to write to a lock file, so it cannot work in a readonly repo.
So git-annex cannot support readonly repos on Windows.

Sponsored-by: Dartmouth College's Datalad project

init: check for filesystem where write bit cannot be removed

This fixes a reversion caused by a99a84f3420a1d93e4ecd4b8cf30638b48e2758e,
when git-annex init is run as root on a FAT filesystem mounted with
hdiutil on OSX. Such a mount point has file mode 777 for everything and
it cannot be changed. The existing crippled filesystem test tried to
write to a file after removing write bit, but that test does not run as
root (since root can write to unwritable files). So added a check of the
write permissions of the file, after attempting to remove them.

Sponsored-by: Dartmouth College's Datalad project

prop_relPathDirToFileAbs_basics fails on occasion

Added a comment

initial TODO on improving 'get' errors reporting

report on 2 tests fail on crippled FS on mac

initial report

Added a comment: just an update on my testing

add test case for readonly remote

Tests for the reversion fixed in 837116ef1e253f82726b023bfe6ca46777060e27
and similar problems.

Sponsored-by: Dartmouth College's Datalad project

comment

Merge branch 'master' of ssh://git-annex.branchable.com

update

idea for making more special remotes support importtree

Sponsored-by: Jack Hill on Patreon

Added a comment: reproducer

Added a comment

decorate openTempFile errors with the template name

This is to track down what file in .git/annex/ is being written to via a
temp file when the repository is read-only.

Sponsored-by: Dartmouth College's Datalad project

Fix support for readonly git remotes

Boolean blindness oops.

(Reversion in version 8.20210621)

Sponsored-by: Dartmouth College's Datalad project

comment

comment

comment

Added a comment

add: Detect when xattrs or perhaps ACLs prevent locking down a file's content

And fail with an informative message.

I don't think ACLs can prevent removing the write bit, but I'm not sure,
so kept it mentioning them as a possibility.

Should git-annex lock also check if the write bits are able to be removed?
Maybe, but the case I know about with xattrs involves cp -a copying NFS
xattrs, and it's the copy of the file that is the problem. So when locking
a file, I guess it will not be the copy.

Sponsored-by: Dartmouth College's Datalad project

Run cp -a with --no-preserve=xattr, to avoid problems with copied xattrs

Including them breaking permissions setting on some NFS servers.

Sponsored-by: Dartmouth College's Datalad project

Merge branch 'master' of ssh://git-annex.branchable.com

Added annex.youtube-dl-command config

This can be used to run some forks of youtube-dl.

Sponsored-by: Brett Eisenberg on Patreon

thought

Added a comment

Added a comment: it turns out I had to file this as a bug

Added a comment

sometimes `sync --content` really does take longer to get a file than `get`

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

removed

Added a comment: i would like to have this feature revisted, collaberative wiki editing

Added a comment: i would like to have this feature revisted, collaberative wiki editing

Added a comment

initial report on inability to get data of others via ssh

Merge branch 'master' of ssh://git-annex.branchable.com

--batch-keys

New --batch-keys option added to these commands:  get, drop, move, copy, whereis

git-annex-matching-options had to be reworded since some of its options
can be used to match on keys, not only files.

Sponsored-by: Luke Shumaker on Patreon

Added a comment: will do

comment

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

Fix test suite failure on Windows

It would be better if the Arbitrary instance avoided generating impossible
filenames like "foo/c:bar", but proably this is the only place that splits
the file from the directory and then uses the file without the directory..
At least on the quickcheck properties.

Sponsored-by: Svenne Krap on Patreon

unused: Skip the refs/annex/last-index ref that git-annex recently started creating

This was unlikely to cause any problem, but it is unsightly to mention
normally hidden refs, and it might have done a bit of unnecessary work to
check that ref.

Sponsored-by: Noam Kremen on Patreon

comment

comment, improve docs

comment

Added a comment: more info

comment

Merge branch 'master' of ssh://git-annex.branchable.com

retitle

comment

poll vote (OpenStack SWIFT)

comment

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Add a tip explaining how to enable-tor on NixOS

This is a little bare bones but hopefully useful, some things that could
be improved:

1. Follow steps in order and replicate (I reconstructed off of my
   success, so there may be inaccuracies or things I forgot)

2. Clarify correct ownership for directories & sockets
   - enable-tor's sudo child will obtain the hostname so no access is
     needed after that
   - does it also create the tor sockety directory?

3. Remove unnecessary boilerplate
   - can the hidden service dir be left with the NixOS default?

Added a comment: `git annex sync --no-commit --content` takes double the time of `git annex get .`

close

Merge branch 'master' of ssh://git-annex.branchable.com

fix test suite failure when run with LANG=C

Added a comment: commit 492036622a6326852c29e23608f3959f63e55685 fixes this

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

fix OSX build

Added a comment: So where are the file stored?

Merge branch 'master' of ssh://git-annex.branchable.com

incremental verification for gitlfs and httpalso

And that should be all the special remotes supporting it on linux now,
except for in the odd edge case here and there.

Sponsored-by: Dartmouth College's DANDI project

incremental verification for S3

Sponsored-by: Dartmouth College's DANDI project

incremental verification for web special remote

Except when configuration makes curl be used. It did not seem worth
trying to tail the file when curl is downloading.

But when an interrupted download is resumed, it does not read the whole
existing file to hash it. Same reason discussed in
commit 7eb3742e4b76d1d7a487c2c53bf25cda4ee5df43; that could take a long
time with no progress being displayed. And also there's an open http
request, which needs to be consumed; taking a long time to hash the file
might cause it to time out.

Also in passing implemented it for git and external special remotes when
downloading from the web. Several others like S3 are within striking
distance now as well.

Sponsored-by: Dartmouth College's DANDI project

distinguish between incremental verification failing and not being done

Sponsored-by: Dartmouth College's DANDI project

refactor