update

close

Merge branch 'master' of ssh://git-annex.branchable.com

move commitStaged out of Command.Sync which no longer uses it

It's trivial enough that it it's not worth factoring it out to somewhere
in common with Command.Undo and the assistant.

Sponsored-by: the NIH-funded NICEMAN (ReproNim TR&D3) project

assistant, undo: When committing, let the usual git commit hooks run

Was doing a Git.Branch.commit for historical reasons to do with direct
mode, which no longer apply.

Note that the preCommitAnnexHook is no longer called in commitStaged
because git-annex installs a pre-commit hook that runs the pre-commit-annex
hook. And git commit will run the pre-commit hook.

Sponsored-by: the NIH-funded NICEMAN (ReproNim TR&D3) project

Added a comment

Added a comment

Added a comment

Added a comment

Added a comment

Revert "try aws-0.23 again with i386ancient"

This reverts commit 43d182a9554c3cd4e2d2433ba0216d2254aeda17.

In the dependencies for aws-0.23:
    aeson-1.3.1.1 from stack configuration does not match >=2.0.0.0  (latest matching version
                  is 2.1.2.1)

So this will never be able to be updated to aws-0.23 probably.

try aws-0.23 again with i386ancient

stack.yaml: Update to lts-22.9 and use crypton.

remove support for directory < 1.2.7

The build depends already require 1.2.7, so these old ifdefs must be
unnecessary.

Added a comment: centralized repository workflow

wording

forgot to add this comment earlier

improve special remote docs

Sponsored-by: Dartmouth College's DANDI project

really close

addurl, importfeed: Added --raw-except option

--raw-except=web allows using yt-dlp but not any other special remotes.

Currently this option can only be used once, trying to use it repeatedly
will make option parsing fail. Perhaps it ought to support being used more
than once, but it seemed like an unlikely use case to need that.

Note that getParsed is called repeatedly when the option is used with
several urls. While implementing DeferredParseClass would avoid that
innefficiency, it didn't seem worth the added boilerplate since
getParsed only calls byNameWithUUID which does minimal work.

Sponsored-by: Dartmouth College's DANDI project

comment and close

comment

comment

comment

Added a comment: Same issue after kernel oops

update for rename of forum/assistant.mdwn to forum/__96__git_annex_assistant__96___command_replace_all_files_with_pointer_file..mdwn

update for rename of forum/assistant.mdwn to forum/__96__git_annex_assistant__96___command_replace_all_files_with_pointer_file..mdwn

rename forum/assistant.mdwn to forum/__96__git_annex_assistant__96___command_replace_all_files_with_pointer_file..mdwn

Added a comment

fix importfeed --force skip behavior reversion

importfeed --force: Don't treat it as a failure when an already downloaded
file exists. (Fixes a behavior change introduced in 10.20230626.)

04ee6c4c6b2 caused the reversion. Inside a CommandPerform, stop causes it
to fail. Before that commit, it was inside a CommandStart, where stop
causes it to skip.

compare urls irrespective of downloader

importfeed --force: Avoid creating duplicates of existing already
downloaded files when yt-dlp or a special remote was used.

Merge branch 'master' of ssh://git-annex.branchable.com

comment

Added a comment

oddly groundhog's day thematic response

followup

the plea to respect prepare-commit-msg hook

todo for support of pushinsteadof

Added a comment

Added a comment: combine worm with partial hash

Added a comment

question about migrating URLs between remotes

Initial desire for `addurl --raw-except`

Added a comment

question about importfeed.

update docs for --scrape

followup and close

Merge branch 'master' of ssh://git-annex.branchable.com

importfeed: Added --scrape option

Which uses yt-dlp to screen scrape the equivilant of an RSS feed.

Note that youtubedlscraped is a speed optimisation. Since yt-dlp found
the urls, we know it can download them. That avoids calling
youtubeDlSupported on each url, which makes --fast a lot faster.

Almost all the same metadata fields and file formatting fields are
populated, when yt-dlp is able to get the data. Note that yt-dlp has some
additional useful metadata that could be exposed. But, much of it is
specific to particular websites, and it would be hard to document on the
git-annex importfeed man page.

Sponsored-by: unqueued on Patreon

move Feed and Item out of ToDownload

This is groundwork for producing ToDownload in other ways, that may not
be entirely isomorphic with feeds. Eg by using yt-dlp.

ask for better documentation.

error out if yt-dlp sees that video is/was there but not available

add news item for git-annex 10.20240129

releasing package git-annex version 10.20240129

improve changelog

comment

webapp: Added --port option, and annex.port config

The getSocket comment that mentioned using ":port"
in the hostname seems to have been incorrect or be out of date.
After all, the bug report came when the user first tried doing that,
and it didn't work.

Sponsored-by: the NIH-funded NICEMAN (ReproNim TR&D3) project

close

confirm this todo

close

update

nack

nack

nack

close

Added --expected-present file matching option

comment

comment

update comment

The segfault seems to be fixed with git 2.43, I'm not sure what the
affected range was.

fix example that combined encryption=shared with keyid=

close since bug submittor is happy with new option

Merge branch 'master' of ssh://git-annex.branchable.com

add directional stalldetection and bwlimit configs

Sponsored-by: Dartmouth College's DANDI project

use watchFileSize in Remote.External.retrieveKeyFile

external: Monitor file size when getting content from external special
remotes and use that to update the progress meter, in case the external
special remote program does not report progress.

This relies on 703a70cafa79eb0cf9f3ae676763e1798cb77292 to prevent ever
running the meter backwards.

Sponsored-by: Dartmouth College's DANDI project

RawFilePath conversion

Sponsored-by: Dartmouth College's DANDI project

avoid watchFileSize running backward

This is groundwork for using watchFileSize for downloads from external
special remotes.

In Annex.Content.downloadUrl, this potentially avoids jitter in the
progress meter. When downloading with conduit, the meter gets updated based
on both the size of the file, and on the data flowing through conduit.
If that has not yet been flushed to the file, it seems possible for the
meter to run backwards when meter is updated with the file size.
It's probably only a few kb of jitter, so may not be visible.

Sponsored-by: Dartmouth College's DANDI project

Added a comment

Merge branch 'master' of ssh://git-annex.branchable.com

tweak stall detection scaling

Refactored to allow offline experimentation, and ended up changing the
allowedvariation (aka fudge factor) to 3. 10 seems too high, and 1.5 too low.

Scale earlier, so even if the first chunk takes less than the configured
time period, allowance is made that later chunks might transfer slower.
Decided to use the same allowedvariation to decide when to start
scaling.

Smoothed the scaling out.

Some examples:

ghci> upscale (BwRate 10 (Duration 60)) 25
BwRate 13 (Duration {durationSeconds = 75})
-- A small scaling upwards after 1/3rd the time. Not noticable.
ghci> upscale (BwRate 10 (Duration 60)) 60
BwRate 30 (Duration {durationSeconds = 180})
-- At the configured time, 3x scaling.
ghci> upscale (BwRate 10 (Duration 60)) 120
BwRate 60 (Duration {durationSeconds = 360})
-- A typical upscaling, here a 1 minute duration became 6 minutes
-- due to the first chunk taking 2 minutes to transfer.
ghci> upscale (BwRate 10 (Duration 60)) 600
BwRate 300 (Duration {durationSeconds = 1800})
-- Here the first chunk took 10 minutes to transfer, so it will
-- take 30 minutes to detect a stall.

Sponsored-by: Dartmouth College's DANDI project

Added a comment

Added a comment

comment

comment

Merge branch 'master' of ssh://git-annex.branchable.com

automatically adjust stall detection period

Improve annex.stalldetection to handle remotes that update progress less
frequently than the configured time period.

In particular, this makes remotes that don't report progress but are
chunked work when transferring a single chunk takes longer than the
specified time period.

Any remotes that just have very low update granulatity would also be
handled by this.

The change to Remote.Helper.Chunked avoids an extra progress update when
resuming an interrupted upload. In that case, the code saw first Nothing
and then Just the already transferred number of bytes, which defeated this
new heuristic. This change will mean that, when resuming an interrupted
upload to a chunked remote that does not do its own progress reporting, the
progress display does not start out displaying the amount sent so far,
until after the first chunk is sent. This behavior change does not seem
like a major problem.

About the scalefudgefactor, it seems reasonable to expect subsequent chunks
to take no more than 1.5 times as long as the first chunk to transfer.
Could set it to 1, but then any chunk taking a little longer would be
treated as a stall. 2 also seems a likely value. Even 10 might be fine?

Sponsored-by: Dartmouth College's DANDI project

Added a comment

improve annex.stalldetection documentation

comment

open todo

comment