use lookupKeyStaged in --batch code paths
authorJoey Hess <joeyh@joeyh.name>
Wed, 26 Oct 2022 18:23:06 +0000 (14:23 -0400)
committerJoey Hess <joeyh@joeyh.name>
Wed, 26 Oct 2022 18:43:06 +0000 (14:43 -0400)
Make --batch mode handle unstaged annexed files consistently whether the
file is unlocked or not. Before this, a unstaged locked file
would have the symlink on disk examined and operated on in --batch mode,
while an unstaged unlocked file would be skipped.

Note that, when not in batch mode, unstaged files are skipped over too.
That is actually somewhat new behavior; as late as 7.20191114 a
command like `git-annex whereis .` would operate on unstaged locked
files and skip over unstaged unlocked files. That changed during
optimisation of CmdLine.Seek with apparently little fanfare or notice.

Turns out that rmurl still behaved that way when given an unstaged file
on the command line. It was changed to use lookupKeyStaged to
handle its --batch mode. That also affected its non-batch mode, but
since that's just catching up to the change earlier made to most
other commands, I have not mentioed that in the changelog.

It may be that other uses of lookupKey should also change to
lookupKeyStaged. But it may also be that would slow down some things,
or lead to unwanted behavior changes, so I've kept the changes minimal
for now.

An example of a place where the use of lookupKey is better than
lookupKeyStaged is in Command.AddUrl, where it looks to see if the file
already exists, and adds the url to the file when so. It does not matter
there whether the file is staged or not (when it's locked). The use of
lookupKey in Command.Unused likewise seems good (and faster).

Sponsored-by: Nicholas Golder-Manning on Patreon
Annex/WorkTree.hs
CHANGELOG
CmdLine/Batch.hs
Command/MetaData.hs
Command/RmUrl.hs
doc/bugs/addurl_+_metadata_on_Windows_doesn__39__t_work.mdwn
doc/bugs/addurl_+_metadata_on_Windows_doesn__39__t_work/comment_2_88b7db5434a56c25c75772caa37bc14a._comment [new file with mode: 0644]

index e065a2185cc6770d5dcffbc05196cd8708dd332b..41abc2471e25934c9cdb107d9f0009007d3de736 100644 (file)
@@ -14,7 +14,7 @@ import Annex.CurrentBranch
 import qualified Database.Keys
 
 {- Looks up the key corresponding to an annexed file in the work tree,
- - by examining what the file links to.
+ - by examining what the symlink points to.
  -
  - An unlocked file will not have a link on disk, so fall back to
  - looking for a pointer to a key in git.
@@ -31,6 +31,16 @@ lookupKey = lookupKey' catkeyfile
                        , catKeyFileHidden file =<< getCurrentBranch
                        )
 
+{- Like lookupKey, but only looks at files staged in git, not at unstaged
+ - changes in the work tree. This means it's slower, but it also has
+ - consistently the same behavior for locked files as for unlocked files.
+ -}
+lookupKeyStaged :: RawFilePath -> Annex (Maybe Key)
+lookupKeyStaged file = catKeyFile file >>= \case
+       Just k -> return (Just k)
+       Nothing -> catKeyFileHidden file =<< getCurrentBranch
+
+{- Like lookupKey, but does not find keys for hidden files. -}
 lookupKeyNotHidden :: RawFilePath -> Annex (Maybe Key)
 lookupKeyNotHidden = lookupKey' catkeyfile
   where
index 58972284e3c38c80d71b40230e1303364487c980..9926f1ff84d626ed1cedd38851ed53fc72657c2c 100644 (file)
--- a/CHANGELOG
+++ b/CHANGELOG
@@ -15,6 +15,8 @@ git-annex (10.20221004) UNRELEASED; urgency=medium
   * More robust handling of ErrorBusy when writing to sqlite databases.
   * Avoid hanging when a suspended git-annex process is keeping a sqlite
     database locked.
+  * Make --batch mode handle unstaged annexed files consistently
+    whether the file is unlocked or not.
 
  -- Joey Hess <id@joeyh.name>  Mon, 03 Oct 2022 13:36:42 -0400
 
index 0c2617230fa98ac075d4a5bf97d4a54c00d9b9e8..3439b3d580dd34bea6f1f99a2a1de9db9818ff7f 100644 (file)
@@ -186,7 +186,7 @@ batchAnnexed fmt seeker keyaction = do
        matcher <- getMatcher
        batchFilesKeys fmt $ \(si, v) ->
                case v of
-                       Right f -> lookupKey f >>= \case
+                       Right f -> lookupKeyStaged f >>= \case
                                Nothing -> return Nothing
                                Just k -> checkpresent k $
                                        startAction seeker si f k
index b33e632c73103ab4816f496b5a6a93a9b445b19b..4568b1f8dfea054c5a85e6089a44cff60410a05a 100644 (file)
@@ -155,7 +155,7 @@ parseJSONInput i = case eitherDecode (BU.fromString i) of
 startBatch :: (SeekInput, (Either RawFilePath Key, MetaData)) -> CommandStart
 startBatch (si, (i, (MetaData m))) = case i of
        Left f -> do
-               mk <- lookupKey f
+               mk <- lookupKeyStaged f
                case mk of
                        Just k -> go k (mkActionItem (k, AssociatedFile (Just f)))
                        Nothing -> return Nothing
index c5107bd0eb92431c8bebaaf6f15ac34acd59bc55..efd6e4059d91284177c330dc83fbc23cdbe363dc 100644 (file)
@@ -47,7 +47,7 @@ batchParser s = case separate (== ' ') (reverse s) of
                        return $ Right (f', reverse ru)
 
 start :: (SeekInput, (FilePath, URLString)) -> CommandStart
-start (si, (file, url)) = lookupKey file' >>= \case
+start (si, (file, url)) = lookupKeyStaged file' >>= \case
        Nothing -> stop
        Just key -> do
                let ai = mkActionItem (key, AssociatedFile (Just file'))
index df111bb55ea22b73e7927900fe6a02b2c9f3edce..944d986dbf195800e80d40dd8c0997b17e30bbf4 100644 (file)
@@ -35,3 +35,5 @@ git-annex 10.20221003, provided by datalad/git-annex, on Microsoft Windows Serve
 This affects a hobby project of mine – "gamdam", implemented in [Python](https://github.com/jwodder/gamdam) and [Rust](https://github.com/jwodder/gamdam-rust) — that interacts with git-annex.
 
 [[!meta author=jwodder]]
+
+> [[fixed|done]], see my comments --[[Joey]]
diff --git a/doc/bugs/addurl_+_metadata_on_Windows_doesn__39__t_work/comment_2_88b7db5434a56c25c75772caa37bc14a._comment b/doc/bugs/addurl_+_metadata_on_Windows_doesn__39__t_work/comment_2_88b7db5434a56c25c75772caa37bc14a._comment
new file mode 100644 (file)
index 0000000..80ac4fc
--- /dev/null
@@ -0,0 +1,8 @@
+[[!comment format=mdwn
+ username="joey"
+ subject="""comment 2"""
+ date="2022-10-26T18:13:42Z"
+ content="""
+I've made --batch handling of unstaged locked files consistent with the
+handling of unstaged unlocked files.
+"""]]