Merge pull request #3158 from jlebon/pr/main

admin/state-overlay: Require root and don't lock sysroot

generator: Restore graceful exit behaviour if `ostree` karg missing

In CoreOS live environments, we do have `/run/ostree` but no `ostree=`
karg; we hackily fool `ostree-prepare-root.service` by bind-mounting
over `/proc/cmdline` so it does the right thing. Presumably, we should
clean this up eventually, but even so we don't want to require PXE users
to add an `ostree=` arg, so we need to tolerate this.

So this assertion would fail there. Restore the behaviour prior to
b9ce0e89 and re-add a more contemporary comment.

Fixes b9ce0e89 ("generator: Exit if there's no `/run/ostree`").

Merge pull request #3157 from cgwalters/syslinux-bootprefix-fix

syslinux: Avoid double `/boot` if bootprefix is enabled

admin/state-overlay: Require root and don't lock sysroot

Not required for anything in particular, but it's good to use the right
flags here anyway.

syslinux: Avoid double `/boot` if bootprefix is enabled

This backend always explicitly emitted a `/boot` - but if
the global `sysroot.bootprefix` is enabled, then we can rely
on the outer code doing it.

Luckily this was caught by the unit tests here failing when
enabling `sysroot.bootprefix` by default.

Merge pull request #3150 from travier/grub2-15_ostree-atomic-desktops

grub2-15_ostree: Graceful exit if /etc/default/grub doesn't exist

Merge pull request #3152 from cgwalters/ci-bootc

ci: Add a bootc/c9s workflow

ci: Add a bootc/c9s workflow

This obsoletes the "just build" on c9s flow, and actually runs
though a bootc install, which exercises more of things.

grub2-15_ostree: Fix whitespace

grub2-15_ostree: Graceful exit if /etc/default/grub doesn't exist

With the new bootupd installation path in Anaconda, the
`/etc/default/grub` config file is not written anymore as we are only
using BLS configs with new enough bootloaders.

We thus don't need to generate (duplicated) legacy boot entries.

We still need to keep this logic in place in Atomic Desktops
(Silverblue, etc.) until we've actually landed bootupd there and forced
a bootloader update for everybody.

See: https://github.com/fedora-silverblue/issue-tracker/issues/530
See: https://github.com/fedora-silverblue/issue-tracker/issues/120
See: https://fedoraproject.org/wiki/Changes/FedoraSilverblueBootupd

Merge pull request #3149 from alexlarsson/new-composefs-format

composefs: Bump composefs max version to 1

composefs: Bump composefs max version to 1

This generates the new format for whiteout markers which was added in
6.8 (and which will be backported to 6.7). Without this whiteouts
will not work anymore.

This is a slight format change, but will only affect ostree commits
that already were broken (i.e that had whiteouts), and since the
composefs code is still marked experimental I think it is fine to
do this without introducing another format version on the ostree
side.

Signed-off-by: Alexander Larsson <alexl@redhat.com>

Update submodule: composefs

This updates composefs to 1.0.3 which has support for the
new overlay nesting format.

Merge pull request #3146 from ericcurtin/ot-admin-builtin-pin-booted-pending-rollback

admin/pin: Add commands to pin booted, pending and rollbacks deployments

admin/pin: Add commands to pin booted, pending and rollback deployments

Add new commands to pin the current, staged and previous deployment for
use in automation and scripting. Right now, it's difficult to pin the
current deployment without needing to look into the output of some other
tooling (like rpm-ostree) to get the index of each deployment. This
index also is not consistent - the current deployment could be 0 when
you first boot the system then 1 shortly after. This change makes it
easy to pin the current or future deployment.

Co-authored-by: Robert Sturla <robertsturla@outlook.com>
Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3147 from cgwalters/generator-check-run-ostree

generator: Exit if there's no `/run/ostree`

generator: Exit if there's no `/run/ostree`

Currently if run in a container image under systemd, we will
incorrectly synthesize a `var.mount` unit even if `ostree-prepare-root`
hasn't run.

The comment here said why we didn't do that before, but that's
for the really legacy embedded-only "ostree-prepare-root-static"
path, and even then I'm pretty sure it was wrong because
the generator here only runs in the *real* root, and we should
have `/run/ostree` at that point.

Merge pull request #3145 from smcv/composefs-xattr

tests: Skip composefs test if /var/tmp does not support user xattrs

tests: Skip composefs test if /var/tmp does not support user xattrs

Otherwise, this test fails on Debian 12 (Linux 6.1) kernels if /var/tmp
is a tmpfs. Some autobuilders put the entire build chroot on a tmpfs,
to speed up builds.

Signed-off-by: Simon McVittie <smcv@debian.org>

Merge pull request #3143 from yummypeng/main

deploy: Ignore sockets, fifos in /etc/<subdir> during merge

deploy: Ignore sockets, fifos in /etc/<subdir> during merge

It's a followup of commit e6a560b40797324aa8b90e7100c6d50bff91f14d.
We should also ignore sockets and fifos in the subdir of /etc.

Signed-off-by: Yuanhong Peng <yummypeng@linux.alibaba.com>

Merge pull request #3141 from cgwalters/release

Release 2024.1

configure: post-release version bump

Release 2024.1

Merge pull request #3135 from ericcurtin/aboot-documentation

doc: Add section about ostree and aboot

Merge pull request #3120 from jlebon/pr/state-overlays

Add concept of state overlays

build(deps): bump libglnx from `aff1eea` to `b415d046`

Bumps libglnx from `aff1eea` to `b415d046`.

For https://gitlab.gnome.org/GNOME/libglnx/-/merge_requests/52.

Update submodule: libglnx

Add concept of state overlays

In the OSTree model, executables go in `/usr`, state in `/var` and
configuration in `/etc`. Software that lives in `/opt` however messes
this up because it often mixes code *and* state, making it harder to
manage.

More generally, it's sometimes useful to have the OSTree commit contain
code under a certain path, but still allow that path to be writable by
software and the sysadmin at runtime (`/usr/local` is another instance).

Add the concept of state overlays. A state overlay is an overlayfs
mount whose upper directory, which contains unmanaged state, is carried
forward on top of a lower directory, containing OSTree-managed files.

In the example of `/usr/local`, OSTree commits can ship content there,
all while allowing users to e.g. add scripts in `/usr/local/bin` when
booted into that commit.

Some reconciliation logic is executed whenever the base is updated so
that newer files in the base are never shadowed by a copied up version
in the upper directory. This matches RPM semantics when upgrading
packages whose files may have been modified.

For ease of integration, this is exposed as a systemd template unit which
any downstream distro/user can enable. The instance name is the mountpath
in escaped systemd path notation (e.g.
`ostree-state-overlay@usr-local.service`).

See discussions in https://github.com/ostreedev/ostree/issues/3113 for
more details.

Merge pull request #3136 from ericcurtin/pr-3134-feedback

status: Rename query-booted to is-default

This is a tool to check if we are booted as default or not, just a
rename before it becomes widely used. We also shortened the '-h' output
for this.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3134 from ericcurtin/query-boot-real

status: Introduce tool to quickly check if we are booted as default

Merge pull request #3133 from cgwalters/boot-complete-rollback

systemd/ostree-boot-complete: Start earlier

status: Fix --skip-signatures description

It was a copy-paste of another description, rather than it's own.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

man: Add ostree admin status man page CLI options.

Document the various CLI options.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

status: Introduce tool to quickly check if we are booted as default

Generally in ostree based systems you would expect to boot into
deployment 0, in rollback conditions triggered by greenboot-related
rollbacks this might not be the case. This is a tool to detect this.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

doc: Add section about ostree and aboot

Android Bootloader is a standard of how Android devices should implement
their bootloaders, we also use it in CentOS Automotive Stream
Distribution for some ARM boards. Here is some documentation on how
ostree works with this.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3132 from ericcurtin/query-boot

status: Fix build without GPGME

systemd/ostree-boot-complete: Start earlier

Prep for changing this service to perform state computations
such as "is this boot the default, or did we get rolled back"
that can be used by higher level tools.

systemd/ostree-boot-complete: Add `ConditionKernelCommandLine=ostree`

In practice we don't enable this unit except via our generator,
but let's do this on general principle.

status: Fix build without GPGME

If OSTREE_DISABLE_GPGME is not built in set remote to NULL.

The ostree_repo_signature_verify_commit_data path is irrelevant in the
no gpg case anyway. Having this set as NULL ensures an error gets
thrown early.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3131 from cgwalters/status-use-remote

status: Pass correct remote name when verifying

Merge pull request #3130 from jlebon/pr/autoprune-aarch64-dtb

lib/deploy: Round to block size in early prune space check

status: Add an option to skip signature verification

Since it's really expensive in some cases.

status: Pass correct remote name when verifying

The default `ostree admin status` tries to do signature
verification, but doesn't error out if that fails.

However, an extremely longstanding bug here is that we passed
the "osname" aka stateroot instead of the remote name.  This
happens to work for e.g. Fedora Silverblue today, where they
are the same.  It doesn't work on FCOS (remote = fedora, stateroot = fedora-coreos).

lib/deploy: Add safety margin in early prune space check

There are a few things the estimator doesn't account for, e.g. writing
the new BLS entries. Rather than trying to perfect it (since I think we
should change approach entirely -- see previous commit message), just
add a 1M margin to the space check.

lib/deploy: Round to block size in early prune space check

When we estimate how much space a new bootcsum dir will use, we
weren't accounting for the space overhead from files not using the
last filesystem block completely. This doesn't matter much if counting
a few files, but e.g. on FCOS aarch64, we include lots of small
devicetree blobs in the bootfs. That loss can add up to enough for the
`fallocate()` check to pass but copying still hitting `ENOSPC` later on.

I think a better fix here is to change approach entirely and instead
refactor `install_deployment_kernel()` so that we can call just the
copying bits of it as part of the early prune logic. We'll get a more
accurate assessment and it's not lost work since we won't need to
recopy later on. Also this would not require having to keep in sync the
estimator and the install bits.

That said, this is blocking FCOS releases, so I went with a more tactical
fix for now.

Fixes: https://github.com/coreos/fedora-coreos-tracker/issues/1637

Merge pull request #3129 from cgwalters/fix-unlock-composefs-compat

prepare-root: Fix composefs + ostree admin unlock --hotfix compat

Merge pull request #3128 from cgwalters/hotfix-composefs

switchroot: use shared constant for unlock --hotfix

switchroot: use shared constant for unlock --hotfix

So it's easier to link the two bits of code.

prepare-root: Fix composefs + ostree admin unlock --hotfix compat

There's a test case for `ostree admin unlock --hotfix` that
runs in FCOS, not here; it breaks when enabling composefs.

The reason is because the composefs is mounted readonly, and
we tried to remount it writable.  Instead of trying to remount
the rootfs writable at this point forcibly, honor the
*real* sysroot readonly state flag from the underlying FS before
we mounted the composefs.

Note that in FCOS derivatives we always have the root mounted
writable via `rw` on the kernel cmdline and this is the default
general expectation now with ostree usage.

Merge pull request #3127 from cgwalters/composefs-doc-toplevel-chattr

docs/composefs: Add note about toplevel dirs

Merge pull request #3119 from cgwalters/zipl-fix-nul-term

zipl: A few fixes

docs/composefs: Add note about toplevel dirs

Just thinking about trying to land this, I think some people
may hit this one.

Merge pull request #3125 from ericcurtin/explicit-sysroot-rw-ro-log

switchroot: Be explicit about what could cause /sysroot to be ro

switchroot: Be explicit about what could cause /sysroot to be ro

If you don't have rw in the kernel cmdline or have ro in it, often you
hit this issue. This is just to be really explicit about that in the
error messages so people can check.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3124 from cgwalters/rust-features

rust: Add missing feature versions

Merge pull request #3123 from cgwalters/deploy-log-space

deploy: Log calculated needed space

deploy: Log calculated needed space

To aid debugging issues like https://github.com/coreos/fedora-coreos-tracker/issues/1637

If we're hitting this path where we think we have enough space,
let's log what we calculated here to aid in diagnosing why we
may later fail with ENOSPC.

rust: Add missing feature versions

- We missed 2022_2, which specifically includes
  https://docs.rs/ostree/latest/ostree/static.PATH_BOOTED.html
  and I was really confused why that was missing
- Add more recent upstream versions too

Merge pull request #3121 from fwilhe/patch-1

Link to gardenlinux/ostree-image-builder in README

Link to gardenlinux/ostree-image-builder in README

This repo is the outcome of a PoC on how an existing
debian-based distro could be adapted to be used with OSTree.

Merge pull request #3116 from jmarrero/bootloader-doc

doc: Add section about ostree and bootloaders

zipl: Convert to a data input stream

This high level reader API avoids all the bugs that were
found in previous patches.

zipl: NUL terminate buffer we're searching

Found by a static analyzer.

zipl: Fix error handling for read

The return value is not errno.

zipl: Use O_CLOEXEC

On general principle.

doc: Add section about ostree and bootloaders

Merge pull request #3117 from cgwalters/doc-root-transient

Doc root transient

docs: Add `var.md`

This one overlaps a bit with some other sections...the docs
need a bigger rework, but this is better than we had before.

man: Document `root.transient`

This one warrants some explanation.

Merge pull request #3114 from cgwalters/root-ovl

prepare-root: Add support for root.transient

prepare-root: Add support for root.transient

Closes: https://github.com/ostreedev/ostree/issues/3113
It'd greatly improve compatibility with things like RPMs that install
in `/opt` if we supported a full "original docker" style model where
`/` is a transient overlayfs.  We'd still keep our semantics for `/etc`
and `/var` by default, but e.g. we'd stop recommending
`/opt` :arrow_right: `/var/opt`, in this model,
so `/opt` would be on the overlayfs.

Note this all aligns with composefs, where we'd actually be making
`/` a *read-only* overlayfs by default; it'd be really nice of course
to *implement* this by just making the composefs overlayfs writable,
but I am not sure we can hard require composefs for this right now.

So this change adds support for `root.transient = true`
in `/usr/lib/ostree/prepare-root.conf`.

The major downside is that people could be surprised if files they
write to e.g. `/opt` don't persist across upgrades.  But, that's
already again how it works since Docker started.

Note as part of the implementation of this, we need to add a whole
new "backing" directory distinct from the deployment directories.

(Tangentially related to this, it's tempting to switch to always
 using a *read-only* overlay mount by default.

prepare-root: Add an autofree

This doesn't matter at all, but I just noticed this while working
on the code.

sysroot: Drop unused prototype

This function doesn't exist anymore.

Merge pull request #3112 from leonheldattoradex/main

Update Torizon information

Update Torizon information

TorizonCore became Torizon OS and Torizon OTA is now Torizon Cloud.

Signed-off-by: Leonardo Held <leonardo.held@toradex.com>

Merge pull request #3111 from cgwalters/release

Release 2023.8

configure: post-release version bump

Release 2023.8

Merge pull request #3106 from cgwalters/commit-reflink

commit: Try reflinks for local commits by default

commit: Try reflinks for local commits by default

I think we originally used to do this, but at some point in a
code refactoring, this optimization got lost.

It's a quite important optimization for the case of writing content
generated by an external system into an ostree repository.

Merge pull request #3105 from cgwalters/sysroot-borrow-fd

sysroot: Add a method to borrow sysroot fd

Merge pull request #3107 from cgwalters/drop-userxattr-test

tests: Drop bare-user on tmpfs negative test

tests: Drop bare-user on tmpfs negative test

As of https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=2daf18a7884dc03d5164ab9c7dc3f2ea70638469
the restriction is lifted, FINALLY.

Merge pull request #3104 from cgwalters/s390x-target

bootloader/zipl: Run in target deployment as container if needed

bootloader/zipl: Run in target deployment as container if needed

xref https://issues.redhat.com/browse/MGMT-16303

Basically the OCP Assisted installer has now grown code
to try to do OS updates offline post-install, and this means
we need to handle the case of running zipl from the target
root.

sysroot: Expose deployment runner outside of selinux

We will use it in e.g. s390x zipl backend.

Merge pull request #3103 from cgwalters/tmpfiles-factory-var

tmpfiles: Copy `/usr/share/factory/var` to `/var`

sysroot: Add a method to borrow sysroot fd

For the same reason we have this method on `Repo`.

sysroot: Support specifying bwrap arguments

Prep for use with zipl.

sysroot: Expose deployment container executor internally

Prep for using this for zipl.

tmpfiles: Copy `/usr/share/factory/var` to `/var`

This is a pattern we want to encourage.  It's honestly just
way simpler than what rpm-ostree is doing today in auto-synthesizing
individual tmpfiles.d snippets.

Merge pull request #3102 from cgwalters/deploy-cleanup-run

sysroot/deploy: Drop unnecessary g_ptr_array_free

We can just reference the pdata, and autoptr the array.

deploy: Use NULL terminated strv

This makes the code simpler and avoids the need
to keep the string array and length in sync.  Prep for
further callers.

Merge pull request #3100 from cgwalters/misc-finalization

tests: Add a dedicated finalization test

This one covers `admin lock-finalization --unlock`.

Merge pull request #3101 from cgwalters/drop-redundant-includes

main: Drop some redundant includes of `ot-main.h`

main: Drop some redundant includes of `ot-main.h`

When backporting a patch recently we hit a non-obvious
dependency on another fix for `ot-main.h` includes.  Clean
this up a bit by dropping the redundant includes.

man: Two finalization fixes

From PR review.