avoid storing same filename repeatedly in versioned import from S3
authorJoey Hess <joeyh@joeyh.name>
Fri, 15 Nov 2024 19:11:56 +0000 (15:11 -0400)
committerJoey Hess <joeyh@joeyh.name>
Fri, 15 Nov 2024 19:27:42 +0000 (15:27 -0400)
commit51b2d6d8c5c6494bdb8d72d227e95ec351a010ac
tree8b80cd4895814ca9fdaf500a07236077a9270066
parentdc5bf24823d78c59d06a9e855d157f04b80bb0a8
avoid storing same filename repeatedly in versioned import from S3

Logically, this should make it need a lot less memory when files have
been changed many times. In my tests, it didn't seem to change memory
use at all. Unsure why, it is working. It's possible the Response is not
getting garbage collected due to pinning. But as far as I can see, all
parts of it that are retained get copied in a way that won't keep the
whole thing pinned in memory.
Remote/S3.hs