Merge branch 'master' of ssh://git-annex.branchable.com

Added a comment: [FR] Remote Settings for All Clones

Added a comment: Support for importtree

Correction: rclonelayout=`lower` is not synonymous with the directory remote, `directory` is.

Added a comment: How to Clone?

tried a blind alley on streaming special remote download via proxy

This didn't work. In case I want to revisit, here's what I tried.

diff --git a/Annex/Proxy.hs b/Annex/Proxy.hs
index 48222872c1..e4e526d3dd 100644
--- a/Annex/Proxy.hs
+++ b/Annex/Proxy.hs
@@ -26,16 +26,21 @@ import Logs.UUID
 import Logs.Location
 import Utility.Tmp.Dir
 import Utility.Metered
+import Utility.ThreadScheduler
+import Utility.OpenFd
 import Git.Types
 import qualified Database.Export as Export

 import Control.Concurrent.STM
 import Control.Concurrent.Async
+import Control.Concurrent.MVar
 import qualified Data.ByteString as B
+import qualified Data.ByteString as BS
 import qualified Data.ByteString.Lazy as L
 import qualified System.FilePath.ByteString as P
 import qualified Data.Map as M
 import qualified Data.Set as S
+import System.IO.Unsafe

 proxyRemoteSide :: ProtocolVersion -> Bypass -> Remote -> Annex RemoteSide
 proxyRemoteSide clientmaxversion bypass r
@@ -240,21 +245,99 @@ proxySpecialRemote protoversion r ihdl ohdl owaitv oclosedv mexportdb = go
  writeVerifyChunk iv h b
  storetofile iv h (n - fromIntegral (B.length b)) bs

- proxyget offset af k = withproxytmpfile k $ \tmpfile -> do
+ proxyget offset af k = withproxytmpfile k $ \tmpfile ->
+ let retrieve = tryNonAsync $ Remote.retrieveKeyFile r k af
+ (fromRawFilePath tmpfile) nullMeterUpdate vc
+ in case fromKey keySize k of
+ Just size | size > 0 -> do
+ cancelv <- liftIO newEmptyMVar
+ donev <- liftIO newEmptyMVar
+ streamer <- liftIO $ async $
+ streamdata offset tmpfile size cancelv donev
+ retrieve >>= \case
+ Right _ -> liftIO $ do
+ putMVar donev ()
+ wait streamer
+ Left err -> liftIO $ do
+ putMVar cancelv ()
+ wait streamer
+ propagateerror err
+ _ -> retrieve >>= \case
+ Right _ -> liftIO $ senddata offset tmpfile
+ Left err -> liftIO $ propagateerror err
+   where
  -- Don't verify the content from the remote,
  -- because the client will do its own verification.
- let vc = Remote.NoVerify
- tryNonAsync (Remote.retrieveKeyFile r k af (fromRawFilePath tmpfile) nullMeterUpdate vc) >>= \case
- Right _ -> liftIO $ senddata offset tmpfile
- Left err -> liftIO $ propagateerror err
+ vc = Remote.NoVerify

+ streamdata (Offset offset) f size cancelv donev = do
+ sendlen offset size
+ waitforfile
+ x <- tryNonAsync $ do
+ fd <- openFdWithMode f ReadOnly Nothing defaultFileFlags
+ h <- fdToHandle fd
+ hSeek h AbsoluteSeek offset
+ senddata' h (getcontents size)
+ case x of
+ Left err -> do
+ throwM err
+ Right res -> return res
+   where
+ -- The file doesn't exist at the start.
+ -- Wait for some data to be written to it as well,
+ -- in case an empty file is first created and then
+ -- overwritten. When there is an offset, wait for
+ -- the file to get that large. Note that this is not used
+ -- when the size is 0.
+ waitforfile = tryNonAsync (fromIntegral <$> getFileSize f) >>= \case
+ Right sz | sz > 0 && sz >= offset -> return ()
+ _ -> ifM (isEmptyMVar cancelv)
+ ( do
+ threadDelaySeconds (Seconds 1)
+ waitforfile
+ , do
+ return ()
+ )
+
+ getcontents n h = unsafeInterleaveIO $ do
+ isdone <- isEmptyMVar donev <||> isEmptyMVar cancelv
+ c <- BS.hGet h defaultChunkSize
+ let n' = n - fromIntegral (BS.length c)
+ let c' = L.fromChunks [BS.take (fromIntegral n) c]
+ if BS.null c
+ then if isdone
+ then return mempty
+ else do
+ -- Wait for more data to be
+ -- written to the file.
+ threadDelaySeconds (Seconds 1)
+ getcontents n h
+ else if n' > 0
+ then do
+ -- unsafeInterleaveIO causes
+ -- this to be deferred until
+ -- data is read from the lazy
+ -- ByteString.
+ cs <- getcontents n' h
+ return $ L.append c' cs
+ else return c'
+
  senddata (Offset offset) f = do
  size <- fromIntegral <$> getFileSize f
- let n = max 0 (size - offset)
- sendmessage $ DATA (Len n)
+ sendlen offset size
  withBinaryFile (fromRawFilePath f) ReadMode $ \h -> do
  hSeek h AbsoluteSeek offset
- sendbs =<< L.hGetContents h
+ senddata' h L.hGetContents
+
+ senddata' h getcontents = do
+ sendbs =<< getcontents h
  -- Important to keep the handle open until
  -- the client responds. The bytestring
  -- could still be lazily streaming out to
@@ -272,6 +355,11 @@ proxySpecialRemote protoversion r ihdl ohdl owaitv oclosedv mexportdb = go
  Just FAILURE -> return ()
  Just _ -> giveup "protocol error"
  Nothing -> return ()
+
+ sendlen offset size = do
+ let n = max 0 (size - offset)
+ sendmessage $ DATA (Len n)
+

 {- Check if this repository can proxy for a specified remote uuid,
  - and if so enable proxying for it. -}

additional question of spaces in URL

Added a comment

update

Added a comment

filing an issue on yt-dlp not used for some reason

add news item for git-annex 10.20240927

releasing package git-annex version 10.20240927

Merge branch 'master' of ssh://git-annex.branchable.com

fix build with old random

getStdGen used to be an IO not a MonadIO action

fix build with random-1.2

getStdGen worked with that version but initStdGen is newer. For our
purposes, they are equivilant.

fix build with old base

i386ancient has a base too old for NE.singleton

Merge branch 'master' of ssh://git-annex.branchable.com

Revert "remove stack-lts-18.13.yaml"

This reverts commit b0546e8bde5a46767a405fbbc7a3907127533de8.

https://github.com/datalad/git-annex/issues/204 is still not fixed yet

update version for release

removed

Added a comment: corruption using git-annex-remote-rclone

Added a comment: corruption using git-annex-remote-rclone

remove stack-lts-18.13.yaml

windows autobuilder should have been fixed by now

(offline so didn't check)

remove read of the heads

and one tail

Removed head from Utility.PartialPrelude in order to avoid the build
warning with recent ghc versions as well.

use NonEmpty for dirHashes

This avoids 4 uses of head.

Git: use NonEmpty in fullconfig

This is a nice win. Avoids partial functions, by encoding at the type
level the fact that fullconfig is never an empty list.

avoid head

While in some sense this is better, the use of NE.fromList is still
partial.

avoid head

Recent ghc has a deprecation warning on it.

This is not an improvement though. I know these cannot fail, but I can't
prove it to ghc.

avoid head

Seems like generate works fine to generate a single arbitrary value, I
dunno why I used sample' originally.

remove slightly unsafe use of head

If git rev-parse somehow didn't output anything, git-annex would crash
here.

sim: document interruption and concurrency issues

Does not seem worth doing a lot of locking and detection of these
problems.

sim: Add metadata command

Only really needed for completeness, preferred content expressions can
match against metadata.

heading

remove example, which didn't format right in mdwn

formatting

formatting

formatting

sim: support "--" as comment

Using this in my sim files that are also mdwn files to avoid comments
being displayed as headers.

preparing for release later this week

Merge branch 'sim'

export only the parts of aeson that are used

Rather than hiding things not wanted. This fixes a build warning with
aeson-2.2.3 which no longer has a json function.

update

fix tab damage that broke examples formatting in man page

When did vim default to expandtabs for mdwn? No.

support simulating clusters

Without actually simulating cluster implementation at all. Instead, only
the essential fact that cluster gateways know what changes they have
made to each node of a cluster. That is enough for sims like
sizebalanced_cluster.

design for simulating clusters w/o simulating cluster gateways

Revert "sim: add commands for cluster management"

This reverts commit 344141da63a9f6c46b63a52a116c9757fcf80110.

Rethinking this

update

sim: add commands for cluster management

Clusters are not actually simulated yet.

Added a comment: Re: default preferred content

sim: quiesce before freezing or ending

Probably a good idea for freezing, but especially I hope this fixes a
problem with git-annex sim run that caused it to sometimes crash in
removeDirectoryRecursive with directory not empty, presumably because a
thread was writing there at the same time.

sim: added run subcommand

And a nice sim of random preferred content expressions.

sim: add stepstable

sim: random preferred content expression generation

prevent action or step from simulating running on a special remote

Without any connections, the step command will not try to do any actions
on a special remote.

But even without any connections, it's still possible for a drop action
explicitly run "on" the special remote to do, when numcopies = 0 or
there is a trusted repo. So guard all actions against running on a
special remote too.

fix state overwrite bug

I have needed to excercise a lot of care in threading st through, and I
got it wrong here. Probably using a state monad would be a good idea.

Added a comment: Settable default preferred content?

update test case for bug

after recent changes broke the test case

the other bug I cannot reproduce though

oops

sim: avoid step looking for new actions every time

Once it has a list of actions, it can perform them all.

A disappointing optimisation at least in my test case, which it sped up
by less than 1 second out of 12. But still it did make it faster.

sped up sim step by about 200%

Noticed that it was quite slow compared with things like action
sendwanted. Guessed that the slowdown is largely due to every step
doing a simulated git pull/push.

So, rather than always doing a pull/push, only do those when no actions
are found without doing a pull/push.

This does mean that step will sometimes experience a split brain
situation, but that seems like a good thing? Because step ought to
explore as many possible scenarios as it reasonably can.

added sim of sizebalanced in a splitbrain situation

allow complex shell commands

fix sizebalanced empty size bug

Fix bug that prevented anything being stored in an empty repository whose
preferred content expression uses sizebalanced.

adds sims collection

sim visit as first-class command

Allows using it in a sim file.

sim: Fix size tracking for balanced preferred content

update

removed

Added a comment: reinject files -- more efficiently

Added a comment: reinject files -- more efficiently

sim: fix state loss bug

puzzling bug

invalidate caches after log changes

This seems like something Annex.Sim would need to happen. And generally
a really good idea.

avoid adding redundant present/notpresent to sim history

bugfixes

sim stabilization works now

sim: better step

On each step, find all the actions that could be done, and pick one of them
to do.

Should detect stability, but that is broken.

set simRootDirectory on restore

It's a relative directory and the cwd may be different. Or the repo
could have been moved.

remove sim log file

update

update

update

sim: implement addtree

comment

sim: tested concurrency over actions

This demonstrates concurrent behavior that looks right. And with a
random seed, the results are deterministic.

init foo
init bar
init backup
connect foo <-> bar
connect foo <-> backup
addmulti 10 testfiles 1mb 1gb foo backup
action foo gitpull backup
wanted foo nothing
wanted bar anything
wanted backup anything
action bar gitpull foo
action foo dropunwanted while action bar getwanted foo

sim: fix get bug

When getting from a remote, have to check that the repo doing the
getting thinks the remote contains the key, but also that the remote
actually does. Before this bug fix, it would get from a repo that used
to have the key, but that had dropped it since the last git pull.

record initial seed in sim log

Unless the log starts with a command that records a seed.

git-annex sim log

sim: implement dropunwantedfrom