prepare-root: allow sysroot.readonly=true with kernel cmdline ro

Merge pull request #3317 from cgwalters/minor-overlay-tweaks

checkout: Add commentary around whiteout "quoting"

checkout: Add commentary around whiteout "quoting"

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3311 from cgwalters/curl-minor

curl: Add more assertions for curl return values

Merge pull request #3313 from cgwalters/fix-readthedocs

rust-bindings: Fix readthedocs.io link

rust-bindings: Fix readthedocs.io link

It should now point at GH pages.

Closes: https://github.com/ostreedev/ostree/issues/3312
Signed-off-by: Colin Walters <walters@verbum.org>

curl: Add more assertions for curl return values

Followup to the previous curl fixes; if we'd had an assertion
earlier debugging the failure would have been more obvious.

All of these are "should not fail" cases so asserting is
right.

Merge pull request #3309 from cgwalters/release

Release 2024.8

Post-release version bump

Release 2024.8

Merge pull request #3307 from cgwalters/curl-reorder-teardown

curl: Make socket callback during cleanup into no-op

Merge pull request #3306 from cgwalters/curl-assert

curl: Assert that curl_multi_assign worked

curl: Make socket callback during cleanup into no-op

Because curl_multi_cleanup may invoke callbacks, we effectively have
some circular references going on here. See discussion in

https://github.com/curl/curl/issues/14860

Basically what we do is the socket callback libcurl may invoke into a no-op when
we detect we're finalizing. The data structures are owned by this object and
not by the callbacks, and will be destroyed below. Note that
e.g. g_hash_table_unref() may itself invoke callbacks, which is where
some data is cleaned up.

Signed-off-by: Colin Walters <walters@verbum.org>

curl: Assert that curl_multi_assign worked

ref https://github.com/ostreedev/ostree/issues/3299

This won't fix that issue, but *if* this assertion triggers
it should give us a better idea of the possible codepaths
where it is happening.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3305 from dbnicholson/pages-fixes

workflow/docs: Fix deployments

workflow/docs: Fix deployments

A couple fixes to make PRs and non-PRs work correctly:

* In a conditional expression, `true` or `false` are returned unless you
  terminate both sides in a ternary. That was causing 2 strings to be
  suffixed with `false` instead of an empty string.
* For a PR, we do actually want to cancel in progress runs since there's
  no danger of breaking an in progress deployment.
* For PRs, just use the same `github-pages-pr` name for the artifact.
  The important part is that it's not called `github-pages` where an in
  progress deployment could pick it up. Otherwise it can use the same
  name all the time.

Merge pull request #3300 from travier/main-static-config-null

bootloader/grub2: Handle empty static configs

Merge pull request #3302 from HuijingHei/fix-version

spec: %autorelease can't be resolved by COPR

Merge pull request #3304 from dbnicholson/pages-redux

Redo pages workflow

Redo pages workflow

spec: %autorelease can't be resolved by COPR

Fix copr build error:
`line 11: Possible unexpanded macro in: Release: %autorelease`

bootloader/grub2: Handle empty static configs

In #3205, we introduced a check to skip re-generating the GRUB config if
we detect that static configs are in used by looking at bootupd's state.

Unfortunately this check is incomplete and does not account for present
but null entries in the JSON state file.

A proper fix would be to parse the JSON but this requires a larger code
change.

Fixes: https://github.com/ostreedev/ostree/issues/3295
Fixes: https://github.com/ostreedev/ostree/pull/3205

Merge pull request #3301 from travier/main-github-artifact-v4

github/workflows/tests: Update actions/upload-artifact to v4

github/workflows/tests: Update actions/{upload,download}-artifact to v4

See: https://github.blog/changelog/2024-02-13-deprecation-notice-v1-and-v2-of-the-artifact-actions/
See: https://github.blog/news-insights/product-news/get-started-with-v4-of-github-actions-artifacts/
Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3287 from cgwalters/fix-memleak

lib/traverse: Fix minor memory leak

Merge pull request #3292 from dbnicholson/var-slave-shared

switchroot: Stop making /sysroot mount private

lib/traverse: Fix minor memory leak

I was trying to check something with `-fsanitize=address`
and it warned about this memory leak. It's...subtle, basically
we were leaking when the same commit was added to the hash table.

But unfortunately fixing that then complicates ownership
over the return value; what we really want to use here is
`g_hash_table_steal_all_keys` but RHEL 9.4 is still rocking
`glib2-2.68.4` so we can't use it.

(Rust would mean we wouldn't have leaked anything here in the
 first place...)

Signed-off-by: Colin Walters <walters@verbum.org>

switchroot: Stop making /sysroot mount private

Back in 2b8d586c5, /sysroot was changed to be a private mount so that
submounts of /var do not propagate back to the stateroot /var. That's
laudible, but it makes /sysroot different than every other shared mount
in the root namespace. In particular, it means that submounts of
/sysroot do not propagate into separate mount namespaces.

Rather than make /sysroot private, make /var a slave+shared mount so
that it receives mount events from /sysroot but not vice versa. That
achieves the same effect of preventing /var submount events from
propagating back to /sysroot while allowing /sysroot mount events to
propagate forward like every other system mount. See
mount_namespaces(7)[1] and the linux shared subtrees[2] documentation
for details on slave+shared mount propagation.

When /var is mounted in the initramfs, this is accomplished with
mount(2) syscalls. When /var is mounted after switching to the real
root, the mount propagation flags are applied as options in the
generated var.mount unit. This depends on a mount(8) feature that has
been present since util-linux 2.23. That's available in RHEL 7 and every
non-EOL Debian and Ubuntu release. Applying the propagation from
var.mount fixes a small race, too. Previously, if a /var submount was
added before /sysroot was made private, it would have propagated back
into /sysroot. That was possible since ostree-remount.service orders
itself after var.mount but not before any /var submounts.

1. https://man7.org/linux/man-pages/man7/mount_namespaces.7.html
2. https://docs.kernel.org/filesystems/sharedsubtree.html

Fixes: #2086

tests: Add mount propagation test

This tests the current behavior of making /sysroot a private mount so
that submounts on /var do not propagate back to /sysroot. It also shows
how submounts of /sysroot do not propagate into separate mount
namespaces for the same reason.

Merge pull request #3290 from cgwalters/include-grub-stderr

grub2: Show output when run in systemd by default

grub2: Show output when run in systemd by default

xref https://github.com/coreos/rpm-ostree/issues/5071

Hiding errors by default is painful. At least as of
recently in Fedora it looks like the command is nice
and quiet by default, I only see

```
Generating grub configuration file ...
Adding boot menu entry for UEFI Firmware Settings ...
done
```

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3285 from cgwalters/drop-deploy-print

tests: Attempt to update auto-prune test

deploy: Log to journal for boot space, not stderr

bootc doesn't run as a systemd unit, and this pollutes stderr.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3283 from cgwalters/fix-more-coverity-dirname

sysroot: Make coverity happy with dirname+strdup

Merge pull request #3284 from cgwalters/even-more-readlinkat

commit/payload-link: Ensure we don't overrun target_checksum size

commit/payload-link: Ensure we don't overrun target_checksum size

This is another warning from recently changed code from Coverity:

```
1. Defect type: OVERRUN
16. libostree-2024.7/src/libostree/ostree-repo-commit.c:823:7: overrun-buffer-arg: Overrunning array "target_checksum" of 65 bytes by passing it to a function which accesses it at byte offset 258 using argument "size" (which evaluates to 259). [Note: The source code implementation of the function has been overridden by a builtin model.]
```

I think this can only happen if the repository is corrupt; the
data shouldn't be that long. But fix this by passing the max
length we expect; this will ignore the rest currently.

Signed-off-by: Colin Walters <walters@verbum.org>

sysroot: Make coverity happy with dirname+strdup

Similar to d528083cae3492f9b9424f3c9830869af7b4cbd0 - I don't
believe we actually had a leak here because `dirname` always
returns the same start pointer, but this makes Coverity
happy.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3282 from cgwalters/drop-deploy-print

deploy: Log to journal for boot space, not stderr

deploy: Log to journal for boot space, not stderr

bootc doesn't run as a systemd unit, and this pollutes stderr.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3281 from cgwalters/fix-readlinkat-payload-link

repo: NUL terminate readlinkat result

repo: NUL terminate readlinkat result

Coverity was correctly complaining about this.

Signed-off-by: Colin Walters <walters@verbum.org>

tests: Add a payload link unit test

Motivated by changing this code.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3280 from cgwalters/release

Release 2024.7

Post-release version bump

Signed-off-by: Colin Walters <walters@verbum.org>

Release 2024.7

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3277 from cgwalters/karg-disable-composefs

prepare-root: Add ostree.prepare-root.composefs

prepare-root: Add `ostree.prepare-root.composefs`

We have a use case for overriding the composefs state via
the kernel commandline; see e.g.
https://gitlab.com/fedora/bootc/tracker/-/issues/27

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3276 from cgwalters/parse-bool

keyfile-utils: Add API to parse tristate strings

prepare-root: Gather kernel cmdline early

Prep for parsing the composefs config from the kernel cmdline.
No functional changes intended.

keyfile-utils: Add API to parse tristate strings

Prep for using this in multiple places. Add unit tests.

keyfile-utils: Add API to parse tristate strings

Prep for using this in multiple places. Add unit tests.

Merge pull request #3275 from ueno/wip/dueno/glib-2.44

libostree: Remove compatibility code with GLib < 2.44

libostree: Remove compatibility code with GLib < 2.44

As the build system has required GLib 2.44 since commit
eb09207e1abd7499bd92866cce1de6148d659a4a, the manual expansion of
G_DECLARE_INTERFACE and G_DECLARE_FINAL_TYPE is no longer necessary.

Signed-off-by: Daiki Ueno <dueno@redhat.com>

Merge pull request #3273 from cgwalters/drop-library-printf

sysroot: Use journal rather than printf()

sysroot: Use journal rather than printf()

Fix the TODO here; this was making some bootc output
ugly.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3265 from lukewarmtemp/2023.8-3-coverity-scan

2023.8-3 coverity scan

prepare: Create global var for tmp_sysroot_etc

Coverity points out that ""/sysroot.tmp/etc"" could be a copy-paste
error. This is mistake from coverity, but to supress the warning,
we create a global var, tmp_sysroot_etc, which replaces all
instances of TMP_SYSROOT "/etc".

repo: Fix `dir_or_file_path` memory leak

Coverity points out that we have a memory leak from
`g_strdup(dir_or_file_path)`. Make the duplication of the string a
temporary variable that is freed using `g_autofree`.

commit: Null terminate `target_buf` var

Coverity points out that we are passing an unterminated string to
sprintf(). Fix by using snprintf() which stores the content as a C
string.

tree: Fix `name` memory leak

Coverity points out that we have a memory leak from `g_strdup(name)`.
`insert_child_mtree()` takes a const char * and duplicates it.
`name` can be passed directly to `insert_child_mtree()`.

Merge pull request #3269 from cgwalters/fix-ordering

remount: Drop `Before=systemd-sysusers.service`

Merge pull request #3270 from cgwalters/bump-runners

ci: Bump bootc e2e to latest ubuntu, drop docker

ci: Bump bootc e2e to latest ubuntu, drop docker

As newer docker refuses to talk to ancient skopeo.
Update this to use podman directly, also add the missing `-v /dev:/dev`.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3268 from ueno/wip/dueno/composefs-doc-fixes

Minor cleanup related to composefs

remount: Drop `Before=systemd-sysusers.service`

This created an ordering cycle, and I merged over red CI
for bad reasons.

repo: Remove leftover OpenSSL includes

This removes OpenSSL includes for PKCS#7, previously used to generate
fs-verity builtin signatures.

Signed-off-by: Daiki Ueno <dueno@redhat.com>

docs/composefs: Fix reference to `ostree sign`

Signed-off-by: Daiki Ueno <dueno@redhat.com>

Merge pull request #3266 from ericcurtin/if-file-missing-on-relabel-continue

remount: ignore ENOENT error during SELinux relabeling

remount: ignore ENOENT error during SELinux relabeling

Ignore ENOENT error in selinux_restorecon to avoid failures when
temporary files created by systemd-sysusers in /etc are missing during
relabeling. This prevents errors such as:

  "Failed to relabel /etc/.#gshadowJzu4Rx: No such file or directory"

and allows the process to continue.

Co-Authored-By: Alexander Larsson <alexl@redhat.com>
Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3261 from cgwalters/validate-xattrs

core: Validate that xattr names aren't empty

core: Validate that xattr names aren't empty

In the ostree-ext codebase the test fixture was generating xattrs
without the trailing NUL byte.  This caused confusing errors
later.  Change the dirmeta validator to catch this.

The way GVariant represents bytestrings, the trailing NUL is there
on wire/disk so it can be there in memory too, but `g_variant_get_bytestring()`
will just return an empty `""` string if actually the value
has a missing NUL.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3259 from cgwalters/c9s-buildroot

ci: Add buildroot to c9s build

ci: Add buildroot to c9s build

Because composefs-devel isn't shipped in RHEL.

Merge pull request #3258 from cgwalters/prepare-comments

docs: Describe `/boot/ostree`

docs: Describe `/boot/ostree`

People get confused by the sha256 here being different
from the ostree commit hash.

Merge pull request #3253 from cgwalters/prepare-comments

prepare-root: Cleanup comments

Merge pull request #3252 from cgwalters/checkout-cfs

checkout: Add API to directly checkout composefs

prepare-root: Cleanup comments

Mainly we can now drop the TODO for mounting `/` readonly - that's
handled by composefs.  Add a few other comments, typo fixes
while we're here.

Signed-off-by: Colin Walters <walters@verbum.org>

checkout: Add API to directly checkout composefs

We were missing the simple, obvious API and CLI to go
from ostree commit -> composefs.

Internally, we had `ostree_repo_checkout_composefs`
with the right "shape" mostly, except it had more code
in the deploy path to turn that into a composefs.

Add a straightforward public API that does what
the deploy code did before, and then the old
API becomes an explicitly internal helper with an `_`
prefix.

Goals:

- Lead towards a composefs-oriented future
- This makes the composefs logic more testable directly

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3249 from ericcurtin/add-webos

docs: add webOS as users of libostree

Merge pull request #3250 from ericcurtin/minor-bootloader-doc-change

docs: make /ostree/root.X clearer as symlinks

docs: make /ostree/root.X clearer as symlinks

Feedback from Alexander Larsson before Linaro Connect talk which used
this diagram.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

docs: add webOS as users of libostree

Updated the README.md to include information about webOS, an OS for
smart devices such as smart TVs, which from version 2.0.0 supports
Firmware-Over-the-Air (FOTA) based on libostree. Added relevant links
for further details on webOS and FOTA setup.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #3246 from jmarrero/release-2024.6

Release 2024.6

configure: post-release version bump

Release 2024.6

Merge pull request #3245 from cgwalters/doc-offline-deltas

docs: Describe offline updates with static deltas

docs: Describe offline updates with static deltas

This one isn't immediately obvious that it's possible.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3244 from alexlarsson/fix-fsverity-supported

Fix _ostree_ensure_fsverity reporting of supports in early exit

Merge pull request #3243 from cgwalters/loaded_ts_fix

sysroot: Handle `/ostree/deploy` having epoch 0

Fix _ostree_ensure_fsverity reporting of supports in early exit

If supported_out is passed to _ostree_ensure_fsverity and we
successfully exit early, for example because the file is a symlink, then
*supported_out is not initialized.

This is problematic in the case of ostree_sysroot_update_post_copy(),
because it passes in an uninitialized supported, and on successfull
return of _ostree_ensure_fsverity() it assumes that it is iniialized.

In case supported happened to be initialized to non-zero it will take
this branch:

      if (!supported)
        break; /* If not supported, skip rest */

Which means *all* further objects will not get fs-verity enabled.

sysroot: Handle `/ostree/deploy` having epoch 0

Ironically we break if the timestamp there is zero.

Closes: https://github.com/ostreedev/ostree/issues/3022
Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3234 from jmarrero/state-root

ostree-sysroot-deploy: check if deployments are in the same stateroot.

ostree-sysroot-deploy: check if deployments are in the same stateroot.

Merge pull request #3238 from cgwalters/force-container-env

ci: Also skip if we detect /run/.containerenv

Merge pull request #3236 from cgwalters/clang-format

ci: Only run clang-format on ubuntu-stable GH runner

ci: Only run clang-format on ubuntu-stable GH runner

Previously we were running clang-format across multiple operating
system versions and hence clang versions, and it turns out
clang has changed the preferred formatting multiple times.

We could *probably* dig in and try to pin things more strongly
but eh...for now let's arbitrarily just use whatever's in
the default GH Action ubuntu-latest runner as that should
be equally painful for everyone.

Signed-off-by: Colin Walters <walters@verbum.org>

Merge pull request #3232 from ericcurtin/aboot-bootloader

docs: More accurate diagram in bootloaders documentation for aboot

Merge pull request #3233 from dbnicholson/sync-summary-times

Sync summary times