dgit.raspbian.org Git - git-annex.git/blob

   1 [[!comment format=mdwn
   2  username="joey"
   3  subject="""comment 9"""
   4  date="2021-02-10T16:42:46Z"
   5  content="""
   6 Incremental hashing implemented for transfers over ssh and tor.
   7
   8 A good next step would be transfers to/from local git remotes.
   9 Currently those use rsync, or cp for CoW. It does not make sense to trust
  10 rsync's checksum verification here, because garbage in, garbage out --
  11 rsync doesn't know what the hash should be and will happily transfer a
  12 corrupted file. So instead, this would need to stop using rsync, and
  13 instead implement our own file to file copying with resuming and incremental
  14 hashing. Which would not be hard, and gets rid of the dependency on
  15 rsync besides (except for talking with really old git-annex-ssh).
  16
  17 As for cp, CoW also suffers from GIGO, so I think the file will still
  18 need to be read, after its copied, to make sure it has the expected
  19 checksum.
  20
  21 Urk: Using rsync currently protects against
  22 [[bugs/URL_key_potential_data_loss]], so the replacement would also need to
  23 deal with that. Probably by refusing to resume a partial transfer of an
  24 affected key. (Or it could just fall back to rsync for such keys.)
  25 """]]