deploy: Log to journal for boot space, not stderr

bootc doesn't run as a systemd unit, and this pollutes stderr.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3281 from cgwalters/fix-readlinkat-payload-link

repo: NUL terminate readlinkat result

repo: NUL terminate readlinkat result

Coverity was correctly complaining about this.

Signed-off-by: Colin Walters <walters@verbum.org>

tests: Add a payload link unit test

Motivated by changing this code.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3280 from cgwalters/release

Release 2024.7

Post-release version bump

Signed-off-by: Colin Walters <walters@verbum.org>

Release 2024.7

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3277 from cgwalters/karg-disable-composefs

prepare-root: Add ostree.prepare-root.composefs

prepare-root: Add `ostree.prepare-root.composefs`

We have a use case for overriding the composefs state via
the kernel commandline; see e.g.
https://gitlab.com/fedora/bootc/tracker/-/issues/27

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3276 from cgwalters/parse-bool

keyfile-utils: Add API to parse tristate strings

prepare-root: Gather kernel cmdline early

Prep for parsing the composefs config from the kernel cmdline.
No functional changes intended.

keyfile-utils: Add API to parse tristate strings

Prep for using this in multiple places. Add unit tests.

keyfile-utils: Add API to parse tristate strings

Prep for using this in multiple places. Add unit tests.

Merge pull request #3275 from ueno/wip/dueno/glib-2.44

libostree: Remove compatibility code with GLib < 2.44

libostree: Remove compatibility code with GLib < 2.44

As the build system has required GLib 2.44 since commit
eb09207e1abd7499bd92866cce1de6148d659a4a, the manual expansion of
G_DECLARE_INTERFACE and G_DECLARE_FINAL_TYPE is no longer necessary.

Signed-off-by: Daiki Ueno <dueno@redhat.com>

Merge pull request #3273 from cgwalters/drop-library-printf

sysroot: Use journal rather than printf()

sysroot: Use journal rather than printf()

Fix the TODO here; this was making some bootc output
ugly.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3265 from lukewarmtemp/2023.8-3-coverity-scan

2023.8-3 coverity scan

prepare: Create global var for tmp_sysroot_etc

Coverity points out that ""/sysroot.tmp/etc"" could be a copy-paste
error. This is mistake from coverity, but to supress the warning,
we create a global var, tmp_sysroot_etc, which replaces all
instances of TMP_SYSROOT "/etc".

repo: Fix `dir_or_file_path` memory leak

Coverity points out that we have a memory leak from
`g_strdup(dir_or_file_path)`. Make the duplication of the string a
temporary variable that is freed using `g_autofree`.

commit: Null terminate `target_buf` var

Coverity points out that we are passing an unterminated string to
sprintf(). Fix by using snprintf() which stores the content as a C
string.

tree: Fix `name` memory leak

Coverity points out that we have a memory leak from `g_strdup(name)`.
`insert_child_mtree()` takes a const char * and duplicates it.
`name` can be passed directly to `insert_child_mtree()`.

Merge pull request #3269 from cgwalters/fix-ordering

remount: Drop `Before=systemd-sysusers.service`

Merge pull request #3270 from cgwalters/bump-runners

ci: Bump bootc e2e to latest ubuntu, drop docker

ci: Bump bootc e2e to latest ubuntu, drop docker

As newer docker refuses to talk to ancient skopeo.
Update this to use podman directly, also add the missing `-v /dev:/dev`.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3268 from ueno/wip/dueno/composefs-doc-fixes

Minor cleanup related to composefs

remount: Drop `Before=systemd-sysusers.service`

This created an ordering cycle, and I merged over red CI
for bad reasons.

repo: Remove leftover OpenSSL includes

This removes OpenSSL includes for PKCS#7, previously used to generate
fs-verity builtin signatures.

Signed-off-by: Daiki Ueno <dueno@redhat.com>

docs/composefs: Fix reference to `ostree sign`

Signed-off-by: Daiki Ueno <dueno@redhat.com>

Merge pull request #3266 from ericcurtin/if-file-missing-on-relabel-continue

remount: ignore ENOENT error during SELinux relabeling

remount: ignore ENOENT error during SELinux relabeling

Ignore ENOENT error in selinux_restorecon to avoid failures when
temporary files created by systemd-sysusers in /etc are missing during
relabeling. This prevents errors such as:

  "Failed to relabel /etc/.#gshadowJzu4Rx: No such file or directory"

and allows the process to continue.

Co-Authored-By: Alexander Larsson <alexl@redhat.com>
Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3261 from cgwalters/validate-xattrs

core: Validate that xattr names aren't empty

core: Validate that xattr names aren't empty

In the ostree-ext codebase the test fixture was generating xattrs
without the trailing NUL byte.  This caused confusing errors
later.  Change the dirmeta validator to catch this.

The way GVariant represents bytestrings, the trailing NUL is there
on wire/disk so it can be there in memory too, but `g_variant_get_bytestring()`
will just return an empty `""` string if actually the value
has a missing NUL.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3259 from cgwalters/c9s-buildroot

ci: Add buildroot to c9s build

ci: Add buildroot to c9s build

Because composefs-devel isn't shipped in RHEL.

Merge pull request #3258 from cgwalters/prepare-comments

docs: Describe `/boot/ostree`

docs: Describe `/boot/ostree`

People get confused by the sha256 here being different
from the ostree commit hash.

Merge pull request #3253 from cgwalters/prepare-comments

prepare-root: Cleanup comments

Merge pull request #3252 from cgwalters/checkout-cfs

checkout: Add API to directly checkout composefs

prepare-root: Cleanup comments

Mainly we can now drop the TODO for mounting `/` readonly - that's
handled by composefs.  Add a few other comments, typo fixes
while we're here.

Signed-off-by: Colin Walters <walters@verbum.org>

checkout: Add API to directly checkout composefs

We were missing the simple, obvious API and CLI to go
from ostree commit -> composefs.

Internally, we had `ostree_repo_checkout_composefs`
with the right "shape" mostly, except it had more code
in the deploy path to turn that into a composefs.

Add a straightforward public API that does what
the deploy code did before, and then the old
API becomes an explicitly internal helper with an `_`
prefix.

Goals:

- Lead towards a composefs-oriented future
- This makes the composefs logic more testable directly

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3249 from ericcurtin/add-webos

docs: add webOS as users of libostree

Merge pull request #3250 from ericcurtin/minor-bootloader-doc-change

docs: make /ostree/root.X clearer as symlinks

docs: make /ostree/root.X clearer as symlinks

Feedback from Alexander Larsson before Linaro Connect talk which used
this diagram.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

docs: add webOS as users of libostree

Updated the README.md to include information about webOS, an OS for
smart devices such as smart TVs, which from version 2.0.0 supports
Firmware-Over-the-Air (FOTA) based on libostree. Added relevant links
for further details on webOS and FOTA setup.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3246 from jmarrero/release-2024.6

Release 2024.6

configure: post-release version bump

Release 2024.6

Merge pull request #3245 from cgwalters/doc-offline-deltas

docs: Describe offline updates with static deltas

docs: Describe offline updates with static deltas

This one isn't immediately obvious that it's possible.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3244 from alexlarsson/fix-fsverity-supported

Fix _ostree_ensure_fsverity reporting of supports in early exit

Merge pull request #3243 from cgwalters/loaded_ts_fix

sysroot: Handle `/ostree/deploy` having epoch 0

Fix _ostree_ensure_fsverity reporting of supports in early exit

If supported_out is passed to _ostree_ensure_fsverity and we
successfully exit early, for example because the file is a symlink, then
*supported_out is not initialized.

This is problematic in the case of ostree_sysroot_update_post_copy(),
because it passes in an uninitialized supported, and on successfull
return of _ostree_ensure_fsverity() it assumes that it is iniialized.

In case supported happened to be initialized to non-zero it will take
this branch:

      if (!supported)
        break; /* If not supported, skip rest */

Which means *all* further objects will not get fs-verity enabled.

sysroot: Handle `/ostree/deploy` having epoch 0

Ironically we break if the timestamp there is zero.

Closes: https://github.com/ostreedev/ostree/issues/3022
Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3234 from jmarrero/state-root

ostree-sysroot-deploy: check if deployments are in the same stateroot.

ostree-sysroot-deploy: check if deployments are in the same stateroot.

Merge pull request #3238 from cgwalters/force-container-env

ci: Also skip if we detect /run/.containerenv

Merge pull request #3236 from cgwalters/clang-format

ci: Only run clang-format on ubuntu-stable GH runner

ci: Only run clang-format on ubuntu-stable GH runner

Previously we were running clang-format across multiple operating
system versions and hence clang versions, and it turns out
clang has changed the preferred formatting multiple times.

We could *probably* dig in and try to pin things more strongly
but eh...for now let's arbitrarily just use whatever's in
the default GH Action ubuntu-latest runner as that should
be equally painful for everyone.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3232 from ericcurtin/aboot-bootloader

docs: More accurate diagram in bootloaders documentation for aboot

Merge pull request #3233 from dbnicholson/sync-summary-times

Sync summary times

repo: Make summary and signature mtime match

HTTP servers derive Last-Modified from the modification time of the
file. When used in combination with a Cache-Control max-age value,
having the modification times match means that caches will consider them
expired at the same time. This helps make it more likely that clients
won't receive a cached summary and fresh signature or vice versa.

This makes more sense to do now that the summary and signature are
created in a temporary directory and renamed into place. In the old days
where they were created directly in the repo root, it would be strange
to change the summary mtime when it wasn't actually modified.

tests: Correctly skip single fsverity test

The skip shell function is for skipping an entire test plan. To skip a
single test result, a directive is needed[1]. Without this change, the
test suite errors claiming that 2 test plans were provided when fsverity
isn't available.

1. https://testanything.org/tap-specification.html#skipping-tests

docs: Fix spelling and grammer

Make Android bootloader section clearer.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

docs: More accurate diagram in bootloaders documentation for aboot

The android bootloader is also split into two partitions, previously
that wasn't represented in the diagram.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3231 from alexlarsson/fix-aboot-non-ab

prepare-root: Handle non-AB aboot properly

prepare-root: Handle non-AB aboot properly

otcore_get_ostree_target() should set is_aboot for android boot
systems, but currently it only does this on A/B boot systems, not
single-boot-partition systems. Fix this by setting it in the second
case.

Merge pull request #3230 from cgwalters/initfs-epoch-2

init-fs: Add --epoch=2

Merge pull request #3108 from cgwalters/use-external-composefs

Switch to external composefs

Switch to external composefs

Since there's now a stable shared library, let's use it.

ci: Drop `SKIP_INSTALLDEPS=1`

Right now there's skew where we don't have composefs-devel
in the buildroot.  In general this optimization isn't worth it.

tests: Skip composefs tests without the feature

Previously this was masked by us shipping composefs vendored.

init-fs: Add --epoch=2

We want to start switching things so that the toplevel `/ostree`
repository is mode 0700, to close off unprivileged code
from being able to access it.  Previous deployment roots
may have setuid binaries, etc.  The `/var/lib/containers/storage`
directory is mode 0700 for this reason I believe.

Closes: https://github.com/ostreedev/ostree/issues/3211

Merge pull request #3229 from cgwalters/init-deploy-0700

init-fs: Add --epoch

init-fs: Add --epoch

I want to add another variant here, and `--modern` is now old.  Let's
acknowledge that we may want to make even more changes in the
future.  So `--modern == --epoch=1` but I will add `--epoch=2` after
this.

Merge pull request #3227 from alexlarsson/fix-fsverity-error-check

_ostree_ensure_fsverity: Properly check for errors

_ostree_ensure_fsverity: Properly check for errors

If fs_verity_wanted == _OSTREE_FEATURE_YES we should fail if
!suported, but we were checking !supported where supported is a
pointer, not a boolean. This caused us to miss errors when the kernel
didn't support fs-verity that lead to lots of debugging.

Merge pull request #3226 from ericcurtin/rm-rhivos

README & docs: Remove "RHIVOS" acronym

README & docs: Remove "RHIVOS" acronym

Remove the unofficial acronym RHIVOS from both the README and docs
files. The acronym is associated with Red Hat In-Vehicle Operating
System but isn't officially recognized.

Co-Authored-By: Felicia Kleinfelt <fkleinfe@redhat.com>
Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3220 from jlebon/pr/on-failure-isolate

ostree-prepare-root.service: add OnFailureJobMode=isolate

ostree-prepare-root.service: add OnFailureJobMode=isolate

This is stronger than the default (`replace`) because it tells systemd
to *stop everything* and go to `emergency.target`. In other codebases,
this has definitely helped me with the problem of "systemd keeps going
even after a failure".

Likely addresses #3219.

See also e.g. https://github.com/coreos/ignition-dracut/commit/3d2e165f97f30c1e62577357f27f32e60e6add18.

Merge pull request #3218 from cgwalters/policy-allow-none

sepolicy: Add missing `(nullable)`

Merge pull request #3216 from cgwalters/mirrorlist-retries

curl: Also map HTTP errors for retries

sepolicy: Add missing `(nullable)`

This can return NULL if there's no real policy.

Now obviously we need to update the Rust bindings too but...
I am having trouble doing that, we're pretty out of date with
upstream.

curl: Also map HTTP errors for retries

When we added the retry logic, the intention here was definitely
to do it not just for network errors but also e.g. HTTP 500s and
the like.

xref https://pagure.io/releng/issue/11439
where we rather painfully debugged that this was missing.

Merge pull request #3215 from cgwalters/release

Release 2024.5

configure: post-release version bump

Release 2024.5

Merge pull request #3214 from cgwalters/checkout-overwrite-force

checkout: Always replace existing content with overlay mode

checkout: Always replace existing content in overlay mode

The combination of the "honor whiteout" and "union" flags
are intended to basically be "merge trees like overlayfs does".
But we were missing this case in order to support e.g. replacing
a symlink with a directory.

Merge pull request #3213 from rborn-tx/fix-early-prune

deploy: Ensure boot directory is open before accessing it

This fixes a bug in the (early) deployment pruning function which before
tried to access the boot directory without opening it first.

Signed-off-by: Rogerio Guerra Borin <rogerio.borin@toradex.com>

Merge pull request #3208 from HuijingHei/split-whitespace

kargs: parse spaces in kargs input and keep quotes

kargs: parse spaces in kargs input and keep quotes

According to Jonathan's suggestion, should fix the code from
ostree repo.

With this patch:
- kargs input like "init_on_alloc=1 init_on_free=1", will be
parsed as 2 seperated args `init_on_alloc=1` and `init_on_free=1`,
instead of whole;
- According to https://www.kernel.org/doc/html/v4.14/admin-guide/kernel-parameters.html,
need to keep spaces in double-quotes, like `param="spaces in here"`
will be parsed as whole instead of 3.

Fixes https://github.com/coreos/rpm-ostree/issues/4821

Merge pull request #3206 from cgwalters/enable-new-naming

sysroot: Turn on bootloader-naming-2 by default

sysroot: Turn on bootloader-naming-2 by default

I think it's about time we flipped this on by default;
like the bootprefix I was a bit too chicken.  We still have
a `bootloader-naming-1` that can be flipped on in case of
some regression.

Closes: https://github.com/ostreedev/ostree/issues/2961

Merge pull request #3205 from cgwalters/fix-grub-probing

bootloader/grub2: Don't do anything if we have static configs

bootloader/grub2: Don't do anything if we have static configs

This builds on top of https://github.com/coreos/bootupd/pull/609/commits/fa9924e4fe403c3751392c041cd98614a2cc3611
(But in a very hacky way because we don't currently link to a JSON library)

Basically, bootupd supports injecting static configs, and this
is the currently least hacky way for us to detect this and understand
that we shouldn't try to run `grub2-mkconfig`.

A further patch I'd like to do here is also change the probing
logic to gracefully no-op if `grub2-mkconfig` doesn't exist,
but that has a bit more risk and involvement.

Merge pull request #3204 from cgwalters/quiet-config-load

otcore: Drop config load print