sim: support "--" as comment

Using this in my sim files that are also mdwn files to avoid comments
being displayed as headers.

preparing for release later this week

Merge branch 'sim'

export only the parts of aeson that are used

Rather than hiding things not wanted. This fixes a build warning with
aeson-2.2.3 which no longer has a json function.

update

fix tab damage that broke examples formatting in man page

When did vim default to expandtabs for mdwn? No.

support simulating clusters

Without actually simulating cluster implementation at all. Instead, only
the essential fact that cluster gateways know what changes they have
made to each node of a cluster. That is enough for sims like
sizebalanced_cluster.

design for simulating clusters w/o simulating cluster gateways

Revert "sim: add commands for cluster management"

This reverts commit 344141da63a9f6c46b63a52a116c9757fcf80110.

Rethinking this

update

sim: add commands for cluster management

Clusters are not actually simulated yet.

Added a comment: Re: default preferred content

sim: quiesce before freezing or ending

Probably a good idea for freezing, but especially I hope this fixes a
problem with git-annex sim run that caused it to sometimes crash in
removeDirectoryRecursive with directory not empty, presumably because a
thread was writing there at the same time.

sim: added run subcommand

And a nice sim of random preferred content expressions.

sim: add stepstable

sim: random preferred content expression generation

prevent action or step from simulating running on a special remote

Without any connections, the step command will not try to do any actions
on a special remote.

But even without any connections, it's still possible for a drop action
explicitly run "on" the special remote to do, when numcopies = 0 or
there is a trusted repo. So guard all actions against running on a
special remote too.

fix state overwrite bug

I have needed to excercise a lot of care in threading st through, and I
got it wrong here. Probably using a state monad would be a good idea.

Added a comment: Settable default preferred content?

update test case for bug

after recent changes broke the test case

the other bug I cannot reproduce though

oops

sim: avoid step looking for new actions every time

Once it has a list of actions, it can perform them all.

A disappointing optimisation at least in my test case, which it sped up
by less than 1 second out of 12. But still it did make it faster.

sped up sim step by about 200%

Noticed that it was quite slow compared with things like action
sendwanted. Guessed that the slowdown is largely due to every step
doing a simulated git pull/push.

So, rather than always doing a pull/push, only do those when no actions
are found without doing a pull/push.

This does mean that step will sometimes experience a split brain
situation, but that seems like a good thing? Because step ought to
explore as many possible scenarios as it reasonably can.

added sim of sizebalanced in a splitbrain situation

allow complex shell commands

fix sizebalanced empty size bug

Fix bug that prevented anything being stored in an empty repository whose
preferred content expression uses sizebalanced.

adds sims collection

sim visit as first-class command

Allows using it in a sim file.

sim: Fix size tracking for balanced preferred content

update

removed

Added a comment: reinject files -- more efficiently

Added a comment: reinject files -- more efficiently

sim: fix state loss bug

puzzling bug

invalidate caches after log changes

This seems like something Annex.Sim would need to happen. And generally
a really good idea.

avoid adding redundant present/notpresent to sim history

bugfixes

sim stabilization works now

sim: better step

On each step, find all the actions that could be done, and pick one of them
to do.

Should detect stability, but that is broken.

set simRootDirectory on restore

It's a relative directory and the cwd may be different. Or the repo
could have been moved.

remove sim log file

update

update

update

sim: implement addtree

comment

sim: tested concurrency over actions

This demonstrates concurrent behavior that looks right. And with a
random seed, the results are deterministic.

init foo
init bar
init backup
connect foo <-> bar
connect foo <-> backup
addmulti 10 testfiles 1mb 1gb foo backup
action foo gitpull backup
wanted foo nothing
wanted bar anything
wanted backup anything
action bar gitpull foo
action foo dropunwanted while action bar getwanted foo

sim: fix get bug

When getting from a remote, have to check that the repo doing the
getting thinks the remote contains the key, but also that the remote
actually does. Before this bug fix, it would get from a repo that used
to have the key, but that had dropped it since the last git pull.

record initial seed in sim log

Unless the log starts with a command that records a seed.

git-annex sim log

sim: implement dropunwantedfrom

fix ActionDropUnwanted

Now tested working

sim: add missing parser for action sendwanted

sim: fix changing settings bug

addmulti

move pull/push/sync into getSimActionComponents

As well as being a more pleasing implementation than I managed
yesterday, this allows for those actions to be run concurrently in the
sim.

sim concurrency

add

implement ActionPull/Pull/Sync

Somewhat unsatisfying implementation, but all the alternatives were
worse.

sim: add action repo sync command

sim command fixes

git-annex sim command is working

Had to add Read instances to Key and NumCopies and some other similar
types. I only expect to use those in serializing a sim. Of course, this
risks that implementation changes break reading old data. For a sim,
that would not be a big problem.

Added a comment

Added a comment: 👍 +1 for encrypting the annex on regular git remotes

implemented ActionDropUnwanted

Not tested yet. This emulates the same checking that is done when
dropping. Note that when dropping from a special remote it is not able
to make a locked copy.

convert simRepoState to use UUID as key

Added a comment

fully preserve input format of connect and disconnect commands

Just lifted the sim file as a DSL into the type level for that.

initial report on that addunlocked is not respected during import

sim file parser and generator

The generator doesn't emit the best possible connect commands,
but it does output something valid. Eg, an input like:

connect A <-> B <-> C <-> D

becomes:

connect A <-> B <-> C
connect C <-> D

Also:

connect A -> B <- C

becomes:

connect A -> B
connect C -> B

Which could be improved.

Also disconnect commands are not prettified at all, but probably there's
no reason to.

started on sim file parser

implemented ActionSendWanted

The simulation is nearly finished. Only CommandAddTree and dropping
remain to do.

ActionGetWanted working

The sim is now basically working!

sim: implement ActionGitPush and ActionGitPull

These don't actually need to do any git actions, instead they just merge
the simLocations.

Had to make simLocations use a vector clock, because it is possible for
two simulated repositories to end up with different opinions about the
location of a key. Just like with real git-annex, whichever location
change was made most recently wins out.

The vector clock is simply advanced each time the simulation is run for
a step. Since there is no real parallelism in the sim, that's
sufficient.

implement randomAction

implement CommandStep

and record each SimCommand in simHistory, except for CommandStep where
instead the actions that are generated are recorded.

add action command to git-annex sim

step just picks a random action, and this allows finer control over what
happens in the sim

set location logs in simulated repos

fix removing simulated file

create simulated files

set descriptions for all simulated repos

simulated repository construction working

finish updateSimRepoState

Converted maps to use UUID as key.

Also added mincopies to the sim.

maxsize of 0 to disable

implemented cloneSimRepo

Started on updateSimRepoState

more work on applySimCommand

When using an existing repo, copy over all of its config into the sim.

Added CommandTrustLevel.

Start at creating a git clone for a simulated repo, but it's not done
yet.

rethought sim a bit

initial report on incorrect handling of empty files in adjusted branches mode

prevent overwriting a repo in the simulation

Merge branch 'master' of ssh://git-annex.branchable.com

almost finished with applySimCommand

Added checks that repo names are ones that have been added to the sim.

Implemented preferred content etc setting. It does not need to parse the
expression in applySimCommand, instead that can be done when running the
sim. This keeps it pure.

But, it can't be entirely pure because of CommandAddTree. So made it
return an Annex action when necessary.

Moved makeMatcher into Annex.FileMatcher in preparation for using it,
but it's not used yet. Also moved checkPreferredContentExpression.

Added a comment

implement CommandUse in Annex.Sim

Refactored Remote to keep it pure.

Added a comment: ping on this issue : how to recover?

comment

started Annex.Sim

Have most of the sim command handler, but to keep it pure while implementing
the rest will need some refactoring.

It seems likely that running the simulation itself will not be able to be
entirely pure. Preferred content evaluation runs in Annex after all.

Note that the somewhat awkward randomWords is because the i386ancient
build depends on a version of random too old to support generating a
random ByteString on its own.

documentation for git-annex sim

command not implemented yet

Added a comment: PS