dgit.raspbian.org Git - git-annex.git/blob

   1 [[!comment format=mdwn
   2  username="mih"
   3  avatar="http://cdn.libravatar.org/avatar/f881df265a423e4f24eff27c623148fd"
   4  subject="v7 v v8 comparison"
   5  date="2021-09-23T06:29:30Z"
   6  content="""
   7 > I'm still curious if there's an older version of git-annex that was faster (after it stopped using direct mode in v7). If I've understood correctly, you don't seem to be saying that there is.
   8
   9 Here is some data that seems to support this view.
  10
  11 I dug up another windows box on the higher performance end
  12
  13 - windows 11 (not 10!) build 10.0.22000
  14 - intel 6-core xeon E-2136 @ 3.3ghz
  15 - NVMe drive
  16
  17 All stats done with
  18
  19 - git 2.32.0.windows.2
  20
  21 I am reporting two values each, the first for git annex 8.20210715-g7334893d4 and the second for 7.20191107-g8ea269ef7 (the oldest windows build that I could find). Consequently, the first measurement is for a v8 repo, the second for a v7 repo (but no direct mode).
  22
  23 init
  24
  25 - git init: 0.1s / 0.1s
  26 - git annex init: 3.2s / 3.2s
  27
  28 after creating a 3-byte text file:
  29
  30 - git add file: 1.0s / 0.9s
  31 - git commit file -m msg: 1.8s / 1.8s
  32
  33 after creating two new 3-byte test files:
  34
  35 - git add .: 1.9s / 1.7s
  36 - git commit -m msg: 0.9s / 0.9s
  37
  38 (NB: the `add` increase is caused by unique keys, adding a bunch of identical files is the same as adding one file)
  39
  40 after creating eight more 3-byte text files:
  41
  42 - git add .: 6.5s / 6.8s
  43 - git commit -m msg: 0.9s / 0.9s
  44
  45 now adding a 280 MB binary file
  46
  47 - git add binfiile: 9.8s / 9.9s
  48 - git commit -m msg: 1.2s / 1.2s
  49
  50 no changes
  51
  52 - git commit --amend -m msg: 1.2s / 1.2s
  53
  54
  55
  56
  57 So there is pretty much no change, and in particular no change attributable to the last ~2 years of git-annex evolution.
  58
  59 However, what remains is that a substantially more capable windows workstation (internal NVMe, faster CPU) comes nowhere near the performance of my 6 year old Debian laptop with an external USB3 drive -- despite having to go through the same smudge filter complications.
  60
  61 I would be grateful, if you could have a look at the windows implementation of `smudge --clean`. Please let me know what kind of contribution could help to push such an effort. Thanks!
  62 """]]