Make fast forward from 2024.2-1

[dgit --quilt=unapplied]

Skip test-admin-deploy-uboot.sh on s390x

It fails on a porterbox. ostree hard-codes zipl to be used on s390x,
so it's reasonable that tests for other bootloaders might not work.

Bug: https://github.com/ostreedev/ostree/issues/3086
Forwarded: no

Gbp-Pq: Topic debian
Gbp-Pq: Name Skip-test-admin-deploy-uboot.sh-on-s390x.patch

test-sysroot: Skip on s390x by default

This test regularly fails on the buildds, but I cannot reproduce the
failure on a porterbox.

Bug: https://github.com/ostreedev/ostree/issues/2527
Bug-Debian: https://bugs.debian.org/1025532
Forwarded: not-needed

Gbp-Pq: Topic debian
Gbp-Pq: Name test-sysroot-Skip-on-s390x-by-default.patch

Skip test-pull-repeated during CI

This test is expected to fail a small proportion of the time. During
the build of ostree 2018.7-1 in Debian, it seems we were unlucky on
s390x. Non-deterministic tests are also problematic for autopkgtest,
where they can gate migration of our dependencies like GLib, so skip
this test unless the caller has opted-in to non-deterministic tests.

It would be appropriate to enable this test in environments where
failures can easily be retried and are not disruptive to other
packages.

Signed-off-by: Simon McVittie <smcv@debian.org>
Gbp-Pq: Topic debian
Gbp-Pq: Name Skip-test-pull-repeated-during-CI.patch

test-admin-deploy-var: Don't rely on OSTREE_FEATURES

This is set during build-time testing, but unset during "as-installed"
tests.

Bug: https://github.com/ostreedev/ostree/issues/3183
Signed-off-by: Simon McVittie <smcv@debian.org>
Forwarded: https://github.com/ostreedev/ostree/pull/3184

Gbp-Pq: Name test-admin-deploy-var-Don-t-rely-on-OSTREE_FEATURES.patch

tests: Use skip_without_ostree_feature to detect libarchive, composefs

This avoids false negatives from `ostree --version | grep -q ...`
exiting with failure under `set -o pipefail` because `grep -q` can exit
as soon as it sees the desired string, leaving `ostree --version` to be
terminated by `SIGPIPE` next time it writes to stdout.

Signed-off-by: Simon McVittie <smcv@collabora.com>
Forwarded: https://github.com/ostreedev/ostree/pull/3184

Gbp-Pq: Name tests-Use-skip_without_ostree_feature-to-detect-libarchiv.patch

tests: Generalize has_gpgme, has_sign_ed25519 into has_ostree_feature

Signed-off-by: Simon McVittie <smcv@collabora.com>
Forwarded: https://github.com/ostreedev/ostree/pull/3184

Gbp-Pq: Name tests-Generalize-has_gpgme-has_sign_ed25519-into-has_ostr.patch

Release to unstable

Update changelog

Add proposed patches to fix an autopkgtest failure

New upstream release

Update upstream source from tag 'upstream/2024.3'

Update to upstream version '2024.3'
with Debian dir bb7dc64231828fe3640e3f96f871592718d6a1c8

New upstream version 2024.3

Release 2024.3

Merge pull request #3173 from cgwalters/transient-root-really-transient

prepare-root: Switch to a tmpfs for transient root

prepare-root: Switch to a tmpfs for transient root

We're debating this over in https://github.com/CentOS/centos-bootc-dev/pull/27
and I have come to the conclusion that having changes to `/`
persist across reboot by default was a bad idea.

- It conflicts with any kind of secure boot scenario
- Having things only go away on upgrades is in some ways even *more* surprising
- The term `transient` implies this

There may be a use case in the future for having something like `root.transient = persistent`,
but this is just a better default.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3171 from ericcurtin/docs-alternate-rollbacks

docs/atomic-rollbacks: Add a section on rollbacks

docs/atomic-rollbacks: Add a section on rollbacks

Describing how different types of rollbacks work.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3170 from cgwalters/prepare-root-fix

 prepare-root: Unify root.transient with composefs

Merge pull request #3168 from cgwalters/drop-tmpfiles-var

Drop tmpfiles var

prepare-root: Unify root.transient with composefs

First, I was totally wrong and composefs handles being passed
an upperdir itself, we don't need to stack overlayfs.

Next, there's really no reason to support `root.transient`
*without* a backing composefs.  The legacy ostree bind mount
and readonly `/usr` is just that - legacy.

Finally, we actually *must* do this to enable both composefs
and transient root, because the prepare-root flow assumes
that it just needs to `MS_MOVE` a *single* mount for the root,
not a stack.

prepare-root: Add missing newline

This is ugly in the output.

Merge pull request #3169 from rborn-tx/support-older-linux-headers

Expose MOUNT_ATTR_IDMAP detection result to C code

docs/var: Update for latest

This reorients things here around the latest `VOLUME /var` approach.

ostree-tmpfiles.conf: Drop `var` entry

We are backing away from this semantic, and moving towards
`/var` only being initialized at initial provisioning.

configure: Expose MOUNT_ATTR_IDMAP detection result to C code

This is to allow compiling composefs on machines having somewhat old
Linux kernel headers.

Signed-off-by: Rogerio Guerra Borin <rogerio.borin@toradex.com>

Merge pull request #3167 from smcv/ostree-repo-config-typo

ostree.repo-config(5): Fix a typo

ostree.repo-config(5): Fix a typo

Signed-off-by: Simon McVittie <smcv@collabora.com>

Release to unstable

Make fast forward from 2024.1-1

[dgit --quilt=unapplied]

Skip test-admin-deploy-uboot.sh on s390x

It fails on a porterbox. ostree hard-codes zipl to be used on s390x,
so it's reasonable that tests for other bootloaders might not work.

Bug: https://github.com/ostreedev/ostree/issues/3086
Forwarded: no

Gbp-Pq: Topic debian
Gbp-Pq: Name Skip-test-admin-deploy-uboot.sh-on-s390x.patch

test-sysroot: Skip on s390x by default

This test regularly fails on the buildds, but I cannot reproduce the
failure on a porterbox.

Bug: https://github.com/ostreedev/ostree/issues/2527
Bug-Debian: https://bugs.debian.org/1025532
Forwarded: not-needed

Gbp-Pq: Topic debian
Gbp-Pq: Name test-sysroot-Skip-on-s390x-by-default.patch

Skip test-pull-repeated during CI

This test is expected to fail a small proportion of the time. During
the build of ostree 2018.7-1 in Debian, it seems we were unlucky on
s390x. Non-deterministic tests are also problematic for autopkgtest,
where they can gate migration of our dependencies like GLib, so skip
this test unless the caller has opted-in to non-deterministic tests.

It would be appropriate to enable this test in environments where
failures can easily be retried and are not disruptive to other
packages.

Signed-off-by: Simon McVittie <smcv@debian.org>
Gbp-Pq: Topic debian
Gbp-Pq: Name Skip-test-pull-repeated-during-CI.patch

Build-depend on dh-sequence-gir instead of using --with

Update Lintian overrides for ostree-boot

d/ostree-boot.lintian-overrides: Stop overriding package-supports-alternative-init-but-no-init.d-script

Update changelog

Update upstream source from tag 'upstream/2024.2'

Update to upstream version '2024.2'
with Debian dir a5ebaca5312ccfdd636dc41588606fbe0771f380

New upstream version 2024.2

Update changelog

Merge pull request #3166 from cgwalters/var-again

sysroot: Rework /var handling to act like Docker `VOLUME /var`

sysroot: Rework /var handling to act like Docker `VOLUME /var`

We've long struggled with semantics for `/var`.  Our stance of
"/var should start out empty and be managed by the OS" is a strict
one, that pushes things closer to the original systemd upstream
ideal of the "OS state is in /usr".

However...well, a few things.  First, we had some legacy bits
here which were always populating the deployment `/var`.  I don't
think we need that if systemd is in use, so detect if the tree
has `usr/lib/tmpfiles.d`, and don't create that stuff at
`ostree admin stateroot-init` time if so.

Building on that then, we have the stateroot `var` starting out
actually empty.

When we do a deployment, if the stateroot `var` is empty,
make a copy (reflink if possible of course) of the commit's `/var`
into it.

This matches the semantics that Docker created with volumes,
and this is sufficiently simple and easy to explain that I think
it's closer to the right thing to do.

Crucially...it's just really handy to have some pre-existing
directories in `/var` in container images, because Docker (and podman/kube/etc)
don't run systemd and hence don't run `tmpfiles.d` on startup.

I really hit on the fact that we need `/var/tmp` in our container
images by default for example.

So there's still some overlap here with e.g. `/usr/lib/tmpfiles.d/var.conf`
as shipped by systemd, but that's fine - they don't actually conflict
per se.

Merge pull request #3165 from cgwalters/drop-ex-integrity

deploy: Honor prepare-root.conf at deploy time for composefs

deploy: Honor prepare-root.conf at deploy time

I want to try to get away from the "repository global" configuration
in the repo config.

A major problem is that there's not an obvious way to configure
it as part of an ostree commit/container build - it needs
to be managed "out of band".

With this change, we parse the `usr/lib/ostree/prepare-root.conf`
in the deployment root, and if composefs is enabled there,
then we honor it.

We do still honor `ex-integrity.composefs` but that I think
we can schedule to remove.

switchroot: Move a define into library too

prepare-root: Fix crash if no keys were found

Handle a NULL pointer.

lib: Move parsing of composefs config into otcore

So it can be shared with the deployment path.  Prep for dropping
`ex-integrity.composefs`.

Merge pull request #3151 from mvo5/selinux-labels-on-non-selinux-hosts

libostree: write selinux xattr when on non-selinux systems

Merge pull request #3160 from cgwalters/release

Release

Release 2024.2

configure: post-release version bump

Merge pull request #3164 from cgwalters/prepare-root-device-inode

Track deployment root/inode from prepare root

Track deployment root/inode from prepare root

When we added composefs, it broke the logic for detecting the booted
deployment which was previously a direct (device, inode) comparison.
So the code there started looking at `etc`.  However, that in
turns breaks with `etc.transient = true` enabled.

Fix all of this by tracking the real deployment directory's
(device,inode) that we found in `ostree-prepare-root`, and inject
it into the extensible metadata we have in `/run/ostree-booted`
which is designed exactly to pass state between the initramfs
and the real root.

Signed-off-by: Colin Walters <walters@verbum.org>

ci: Use `BOOTC_SKIP_SELINUX_HOST_CHECK`, test labeling of /etc

As we work to change ostree to set up the labels
for things even in a selinux-host-disabled case, let's test
it here.

libostree: write selinux xattr when on non-selinux systems

Currently when writing data for selinux systems on a non-selinux
system there will be no labels. This is because
`ostree_sepolicy_setfscreatecon()` just returns TRUE on non-selinux
systems and xattr writing for `security.seliux` is filtered out.

This patches uses the suggestion of Colin Walters (thanks!) from
https://github.com/ostreedev/ostree/issues/2804 and detects if
the host has selinux enabled and if not just skips filtering the
xattrs for selinux.

Merge pull request #3159 from cgwalters/revert-bootprefix

Revert "Enable `sysroot.bootprefix` by default"

Revert "Enable `sysroot.bootprefix` by default"

This reverts commit 8627c8afa15fa0b2dc2dc261a217dd043a991a7d.

See discussion in https://github.com/ostreedev/ostree/pull/3156 ;
we think this breaks s390x in some cases at least, and that warrants
further investigation.

Merge pull request #3156 from cgwalters/enable-bootprefix-default

Enable `sysroot.bootprefix` by default

Enable `sysroot.bootprefix` by default

I've been testing this in various places and not seen any fallout,
so let's finally enable this by default and have the situation where
`/boot` is on the root `/` filesystem work out of the box.

Merge pull request #3158 from jlebon/pr/main

admin/state-overlay: Require root and don't lock sysroot

generator: Restore graceful exit behaviour if `ostree` karg missing

In CoreOS live environments, we do have `/run/ostree` but no `ostree=`
karg; we hackily fool `ostree-prepare-root.service` by bind-mounting
over `/proc/cmdline` so it does the right thing. Presumably, we should
clean this up eventually, but even so we don't want to require PXE users
to add an `ostree=` arg, so we need to tolerate this.

So this assertion would fail there. Restore the behaviour prior to
b9ce0e89 and re-add a more contemporary comment.

Fixes b9ce0e89 ("generator: Exit if there's no `/run/ostree`").

Merge pull request #3157 from cgwalters/syslinux-bootprefix-fix

syslinux: Avoid double `/boot` if bootprefix is enabled

admin/state-overlay: Require root and don't lock sysroot

Not required for anything in particular, but it's good to use the right
flags here anyway.

syslinux: Avoid double `/boot` if bootprefix is enabled

This backend always explicitly emitted a `/boot` - but if
the global `sysroot.bootprefix` is enabled, then we can rely
on the outer code doing it.

Luckily this was caught by the unit tests here failing when
enabling `sysroot.bootprefix` by default.

Merge pull request #3150 from travier/grub2-15_ostree-atomic-desktops

grub2-15_ostree: Graceful exit if /etc/default/grub doesn't exist

Merge pull request #3152 from cgwalters/ci-bootc

ci: Add a bootc/c9s workflow

ci: Add a bootc/c9s workflow

This obsoletes the "just build" on c9s flow, and actually runs
though a bootc install, which exercises more of things.

grub2-15_ostree: Fix whitespace

grub2-15_ostree: Graceful exit if /etc/default/grub doesn't exist

With the new bootupd installation path in Anaconda, the
`/etc/default/grub` config file is not written anymore as we are only
using BLS configs with new enough bootloaders.

We thus don't need to generate (duplicated) legacy boot entries.

We still need to keep this logic in place in Atomic Desktops
(Silverblue, etc.) until we've actually landed bootupd there and forced
a bootloader update for everybody.

See: https://github.com/fedora-silverblue/issue-tracker/issues/530
See: https://github.com/fedora-silverblue/issue-tracker/issues/120
See: https://fedoraproject.org/wiki/Changes/FedoraSilverblueBootupd

Merge pull request #3149 from alexlarsson/new-composefs-format

composefs: Bump composefs max version to 1

composefs: Bump composefs max version to 1

This generates the new format for whiteout markers which was added in
6.8 (and which will be backported to 6.7). Without this whiteouts
will not work anymore.

This is a slight format change, but will only affect ostree commits
that already were broken (i.e that had whiteouts), and since the
composefs code is still marked experimental I think it is fine to
do this without introducing another format version on the ostree
side.

Signed-off-by: Alexander Larsson <alexl@redhat.com>

Update submodule: composefs

This updates composefs to 1.0.3 which has support for the
new overlay nesting format.

Merge pull request #3146 from ericcurtin/ot-admin-builtin-pin-booted-pending-rollback

admin/pin: Add commands to pin booted, pending and rollbacks deployments

admin/pin: Add commands to pin booted, pending and rollback deployments

Add new commands to pin the current, staged and previous deployment for
use in automation and scripting. Right now, it's difficult to pin the
current deployment without needing to look into the output of some other
tooling (like rpm-ostree) to get the index of each deployment. This
index also is not consistent - the current deployment could be 0 when
you first boot the system then 1 shortly after. This change makes it
easy to pin the current or future deployment.

Co-authored-by: Robert Sturla <robertsturla@outlook.com>
Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3147 from cgwalters/generator-check-run-ostree

generator: Exit if there's no `/run/ostree`

generator: Exit if there's no `/run/ostree`

Currently if run in a container image under systemd, we will
incorrectly synthesize a `var.mount` unit even if `ostree-prepare-root`
hasn't run.

The comment here said why we didn't do that before, but that's
for the really legacy embedded-only "ostree-prepare-root-static"
path, and even then I'm pretty sure it was wrong because
the generator here only runs in the *real* root, and we should
have `/run/ostree` at that point.

Merge pull request #3145 from smcv/composefs-xattr

tests: Skip composefs test if /var/tmp does not support user xattrs

Re-enable composefs, this time with a proposed patch to avoid test failures

We can't run its unit tests on a Debian 12 kernel with /var/tmp on tmpfs,
but they do pass on a sid kernel or if /var/tmp is disk-backed.

tests: Skip composefs test if /var/tmp does not support user xattrs

Otherwise, this test fails on Debian 12 (Linux 6.1) kernels if /var/tmp
is a tmpfs. Some autobuilders put the entire build chroot on a tmpfs,
to speed up builds.

Signed-off-by: Simon McVittie <smcv@debian.org>

Release to unstable

Make fast forward from 2023.8-2

[dgit --quilt=unapplied]

Skip test-admin-deploy-uboot.sh on s390x

It fails on a porterbox. ostree hard-codes zipl to be used on s390x,
so it's reasonable that tests for other bootloaders might not work.

Bug: https://github.com/ostreedev/ostree/issues/3086
Forwarded: no

Gbp-Pq: Topic debian
Gbp-Pq: Name Skip-test-admin-deploy-uboot.sh-on-s390x.patch

test-sysroot: Skip on s390x by default

This test regularly fails on the buildds, but I cannot reproduce the
failure on a porterbox.

Bug: https://github.com/ostreedev/ostree/issues/2527
Bug-Debian: https://bugs.debian.org/1025532
Forwarded: not-needed

Gbp-Pq: Topic debian
Gbp-Pq: Name test-sysroot-Skip-on-s390x-by-default.patch

Skip test-pull-repeated during CI

This test is expected to fail a small proportion of the time. During
the build of ostree 2018.7-1 in Debian, it seems we were unlucky on
s390x. Non-deterministic tests are also problematic for autopkgtest,
where they can gate migration of our dependencies like GLib, so skip
this test unless the caller has opted-in to non-deterministic tests.

It would be appropriate to enable this test in environments where
failures can easily be retried and are not disruptive to other
packages.

Signed-off-by: Simon McVittie <smcv@debian.org>
Gbp-Pq: Topic debian
Gbp-Pq: Name Skip-test-pull-repeated-during-CI.patch

Package ostree-state-overlay@.service in ostree-boot

New upstream release

Update upstream source from tag 'upstream/2024.1'

Update to upstream version '2024.1'
with Debian dir f3fbf483a817eb018d71a499e456aef86b3be134

New upstream version 2024.1

Merge pull request #3143 from yummypeng/main

deploy: Ignore sockets, fifos in /etc/<subdir> during merge

deploy: Ignore sockets, fifos in /etc/<subdir> during merge

It's a followup of commit e6a560b40797324aa8b90e7100c6d50bff91f14d.
We should also ignore sockets and fifos in the subdir of /etc.

Signed-off-by: Yuanhong Peng <yummypeng@linux.alibaba.com>

Merge pull request #3141 from cgwalters/release

Release 2024.1

configure: post-release version bump

Release 2024.1

Merge pull request #3135 from ericcurtin/aboot-documentation

doc: Add section about ostree and aboot

Merge pull request #3120 from jlebon/pr/state-overlays

Add concept of state overlays

build(deps): bump libglnx from `aff1eea` to `b415d046`

Bumps libglnx from `aff1eea` to `b415d046`.

For https://gitlab.gnome.org/GNOME/libglnx/-/merge_requests/52.

Update submodule: libglnx

Add concept of state overlays

In the OSTree model, executables go in `/usr`, state in `/var` and
configuration in `/etc`. Software that lives in `/opt` however messes
this up because it often mixes code *and* state, making it harder to
manage.

More generally, it's sometimes useful to have the OSTree commit contain
code under a certain path, but still allow that path to be writable by
software and the sysadmin at runtime (`/usr/local` is another instance).

Add the concept of state overlays. A state overlay is an overlayfs
mount whose upper directory, which contains unmanaged state, is carried
forward on top of a lower directory, containing OSTree-managed files.

In the example of `/usr/local`, OSTree commits can ship content there,
all while allowing users to e.g. add scripts in `/usr/local/bin` when
booted into that commit.

Some reconciliation logic is executed whenever the base is updated so
that newer files in the base are never shadowed by a copied up version
in the upper directory. This matches RPM semantics when upgrading
packages whose files may have been modified.

For ease of integration, this is exposed as a systemd template unit which
any downstream distro/user can enable. The instance name is the mountpath
in escaped systemd path notation (e.g.
`ostree-state-overlay@usr-local.service`).

See discussions in https://github.com/ostreedev/ostree/issues/3113 for
more details.

Merge pull request #3136 from ericcurtin/pr-3134-feedback

status: Rename query-booted to is-default

This is a tool to check if we are booted as default or not, just a
rename before it becomes widely used. We also shortened the '-h' output
for this.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3134 from ericcurtin/query-boot-real

status: Introduce tool to quickly check if we are booted as default