Merge pull request #3003 from cgwalters/prepare-root-oscore-and-units

Move prepare-root karg helpers into otcore, add unit tests

Move prepare-root karg helpers into otcore, add unit tests

Add long overdue unit testing coverage for this, which
at least slightly closes out the android boot CI gap.

Actually, this *copies* the karg parsing code into otcore because
it now uses glib, which we're not yet using in the static
prepare-root.  It's pretty tempting to drop support for the
static prepare root entirely.  But for now we'll live with some
code duplication.

Merge pull request #2997 from cgwalters/test-cleanups-1

tests/destructive: Port more to xshell

Merge pull request #2999 from cgwalters/add-oscore-units

tests: Add otcore unit tests

Merge pull request #3001 from cgwalters/misc-c99-style-4

Misc c99 style 4

cmd/grub2-generate: Port to C99 style

Just keeping up momentum.

cmd/init: Port to C99 style

Just keeping up momentum.

Merge pull request #3000 from cgwalters/test-inst-update

tests/inst: Update to latest ostree-ext

Merge pull request #2995 from ostreedev/dependabot/submodules/composefs-1aed878

build(deps): bump composefs from `a6e827d` to `1aed878`

Merge pull request #2998 from cgwalters/disable-composefs-too-old

build-sys: Disable composefs on too-old Linux headers

tests/inst: Update to latest ostree-ext

(And glib, etc.)

Merge pull request #2975 from ostreedev/androidboot-single-slot-mode

prepare-root: On a non-A/B androidboot system, boot system slot a

tests: Add otcore unit tests

This just stubs out the basic infrastructure, to be expanded upon.

build-sys: Disable composefs on too-old Linux headers

This should fix the build with Google OSS-fuzz which currently
uses an old Ubuntu.

prepare-root: Changes made to find_proc_cmdline_key

Used strspn based on feedback from similar function.

prepare-root: On a non-A/B androidboot system, boot system slot a

Sometimes android bootloaders boot in a nonab way:

  https://source.android.com/docs/core/ota/nonab

In this case, "androidboot." kargs are present but not
"androidboot.slot_suffix" specifically.

In this case, rather than getting stuck in a partially booted
environment, boot system slot a.

Merge pull request #2996 from cgwalters/misc-c99-style-3

cli/set-origin: Port to C99 style

tests/destructive: Port more to xshell

Just keeping up momentum.

cli/set-origin: Port to C99 style

Just keeping up momentum.

build(deps): bump composefs from `a6e827d` to `1aed878`

Bumps [composefs](https://github.com/containers/composefs) from `a6e827d` to `1aed878`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/a6e827df2dbebb65d6d19a7211f2fb4a61d989ac...1aed8781d6ce617234175d5d3b0458f91a6e38f3)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2993 from cgwalters/misc-c99-style-2

Misc c99 style 2

checkout: Port to C99 style

Just keeping up momentum.

Merge pull request #2990 from cgwalters/init-is-stateroot

Two s/osname/stateroot/ patches

lzma: Port to C99 style

Just keeping up momentum.

Merge pull request #2991 from cgwalters/misc-c99-style

Misc c99 style

remote-add: Port to c99 style

- Drop `goto out`
- Use declare-and-initialize

admin: Port to c99 style

- Drop `goto out`
- Use declare-and-initialize

admin-deploy: Add `--stateroot` as alias for `--os`

To further help deprecate the confusing "osname" terminology.

Add `ostree admin stateroot-init` as alias for `os-init`

To further help deprecate the confusing "osname" terminology.

Merge pull request #2989 from cgwalters/lock-timeout-longer

repo: Bump lock timeout to 5 minutes

Merge pull request #2973 from ostreedev/dependabot/submodules/composefs-a6e827d

build(deps): bump composefs from `1704f82` to `a6e827d`

repo: Bump lock timeout to 5 minutes

And update the doc text to talk about having a timeout at all
by default being a mistake.

Timeouts are really best handled at a higher level; if two processes
are contending for the ostree lock and one is actually frozen,
resolving this is something an admin may want to handle and introspect/debug
instead of having the waiter error out.

Most people using ostree are doing it in a way in which they have
higher level timeouts (e.g. on a container pod).

Merge pull request #2988 from cgwalters/prepare-root-binding-key

prepare-root: Minor clarifications

Merge pull request #2987 from cgwalters/prefix-stage-deploy

deploy: Add some error prefixing

prepare-root: Minor clarifications

No functional changes.

deploy: Add some error prefixing

We saw a bare
`Txn Rebase on <osname> failed: Failed to find kernel in /usr/lib/modules, /usr/lib/ostree-boot or /boot`
which isn't bad, but it'd be better to be a bit more specific.

Merge pull request #2985 from cgwalters/cleanup-proc-cmdline

switchroot,generator: Only read /proc/cmdline once

Merge pull request #2984 from alexlarsson/prepare-root-no-raw-key

prepare-root: Only support base64 formated public key files

switchroot,generator: Only read /proc/cmdline once

Change the helper function to parse an existing cmdline instead
of potentially reading `/proc/cmdline` multiple times.

prepare-root: Only support base64 formated public key files

I've updated the automotive samples to not use the raw format, so
there is no use anymore to support both formats, as base64 is strictly
better.

Merge pull request #2980 from cgwalters/prepare-root-minor

Prepare root minor

prepare-root: Use ptrarray, not linked list

Linked lists are a data structure with only very obscure
use cases, and this is a classic one where since we're appending
it's O(N^2) behavior.

Also we were leaking the memory.

It's more ergonomic, clearer and efficient to use a ptrarray.

prepare-root: Check for empty string, not strlen > 0

No point in doing a full strlen, we can just check the first byte.
Also, invert the conditional using `continue` to avoid another
level of indentation.

prepare-root: Use declare-and-initialize

This is our default style.

Merge pull request #2979 from cgwalters/enabled-discussions

README.md: Drop dead mailing list, link to GH discussions

Merge pull request #2974 from alexlarsson/composefs-config-file

Read composefs configuration from initrd instead of commandline

README.md: Drop dead mailing list, link to GH discussions

While I resisted taking the next step in binding ourselves
more to GH with discussions...it's way, way better than answering
questions out of band in private (also proprietary) chats.

We haven't been successful in using the GNOME discussion forums.

Read composefs configuration from initrd instead of commandline

This drops the `ot-composefs` kernel commandline in favour
of a `[composefs]` section in the `prepare-rootfs.conf` file.

You can set `composefs.enabled` to `signed`, `yes`, `no` or `maybe`,
with `maybe` being the default.

You can also set `composefs.keypath` (or rely on the default
`/etc/ostree/initramfs-root-binding.key`) to point to ed25519 public
keys, one of which which the commit must be signed with, or boot
fails.

The ostree dracut module adds `/etc/ostree/initramfs-root-binding.key`
to the initrd if it exists.

NOTE: This drop the option to define a digest in the commandline.
However, that was currently unused
(i.e. ComposefsConfig.expected_digest was never read).

Additionally it very hard to actually store the composefs digest in
the initrd, as the initrd is typically part of the commit and thus the
composefs. It may be possible to handle this, but lets add it back
when we know exactly how that will work.

Merge pull request #2966 from cgwalters/ostree-admin-edit

Add `admin set-default`

build(deps): bump composefs from `1704f82` to `a6e827d`

Bumps [composefs](https://github.com/containers/composefs) from `1704f82` to `a6e827d`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/1704f823db41b1056cabfba51254f8afa8bae41d...a6e827df2dbebb65d6d19a7211f2fb4a61d989ac)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2958 from cgwalters/deploy-loosen-etc-usretc

deploy: Support an empty `/etc` and populated `/usr/etc`

Merge pull request #2969 from cgwalters/fix-sync-pthreads

deploy: Fix mutex locking for global sync timeout

Merge pull request #2967 from cgwalters/drop-trivial-httpd-entrypoint

More fully drop `trivial-httpd` entrypoint

deploy: Fix mutex locking for global sync timeout

The locking here was always too long - by holding the mutex
during the `sync()` call, it means `g_cond_wait_until()` can
never wake up (because its API requires the mutex to be locked).

Confusingly though of course we do still print the "timed out"
message, and I think that tricked us when we were doing testing
here.

We only need to lock the mutex when we're manipulating shared
state, which basically boils down to the `gboolean success`.

More fully drop `trivial-httpd` entrypoint

It's just part of the tests and we should no longer
support `ostree trivial-httpd`.

This is a followup cleanup to previous work.

Add `admin set-default`

A core underlying primitive in the C library is the ability
to arbitrarily reorder bootloader entries.

Let's expose the basic functionality here with the ability to pick
an arbitrarily deployment for the next boot.

Closes: https://github.com/ostreedev/ostree/issues/2965

Merge pull request #2962 from cgwalters/os-init-remount

os-init: Create a mount namespace

os-init: Create a mount namespace

Today on anything using readonly sysroot `os-init` fails, because
we don't create a mount namespace if the `UNLOCKED` flag is specified
because we assume it's a readonly operation.

Since technically this is a mutation, let's just lock the sysroot
and use the tested path.

Merge pull request #2963 from cgwalters/more-gfileinfo-fix

composefs: Only call `_get_symlink_target()` on symlinks

composefs: Only call `_get_symlink_target()` on symlinks

This fixes a warning from newer glib that we're now seeing
in the Debian testing CI runs.

Merge pull request #2960 from ostreedev/dependabot/submodules/libglnx-c02eb59

build(deps): bump libglnx from `07e3e49` to `c02eb59`

build(deps): bump libglnx from `07e3e49` to `c02eb59`

Bumps libglnx from `07e3e49` to `c02eb59`.

---
updated-dependencies:
- dependency-name: libglnx
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2957 from cgwalters/transaction-test-suppress-global-sync

tests/destructive: Turn off global sync()

deploy: Support an empty `/etc` and populated `/usr/etc`

In preparation for support for a transient `/etc`:
https://github.com/ostreedev/ostree/issues/2868
particularly in combination with composefs.

Basically it's just much more elegant if we can directly mount
an overlayfs on the *empty* `etc` directory, using `usr/etc` as
the lower.

In the composefs case, we'd have to mount the composefs overlayfs
itself writable (and call `mkdir`) *just* so we can make that
empty `etc` directory which is ugly.

tests/destructive: Turn off global sync()

Let's verify that things work with that off, as they should.

Previously:
https://github.com/ostreedev/ostree/pull/2519/commits/cb731294837736e957ee595ce11ab115277dbb36
"deploy: Add a 5s max timeout on global filesystem sync()"

But we may still have problems even with that, see
https://issues.redhat.com/browse/OCPBUGS-15917
where it might be that even a thread doesn't work because
we're locked in the kernel.

Merge pull request #2956 from cgwalters/finalize-more-verbose

deploy: Be way more verbose about what we're doing

deploy: Be way more verbose about what we're doing

This will help us debug bugs like https://issues.redhat.com/browse/OCPBUGS-15917
in the future.

Merge pull request #2954 from cgwalters/harden-gvariant-get-data

Harden gvariant get data

checksum-utils: Add an assertion that `buf != NULL`

Another hardening against https://bugzilla.redhat.com/show_bug.cgi?id=2217401

core, switchroot: Harden a bit against `g_variant_get_data() == NULL`

I'm not totally sure this is the cause of
https://bugzilla.redhat.com/show_bug.cgi?id=2217401
but analyzing the code a bit it seems the most likely.

Merge pull request #2953 from samcday/patch-1

docs: update boot loader spec link

Merge pull request #2930 from cgwalters/prepare-root-config3

prepare-root: Introduce ostree/prepare-root.conf && sysroot.readonly improvements

docs: update boot loader spec link

Merge pull request #2952 from cgwalters/silence-variant-lookup

tree-wide: Consistently `(void)g_variant_lookup()`

tree-wide: Consistently `(void)g_variant_lookup()`

Coverity warns when we're checking the return value in most-but-not-all
instances.  The code is correct in these instances; we're initializing
the values to defaults.  So add a `(void)` cast like we are doing
in many other places.

prepare-root: Don't parse target root when composefs enabled

We shouldn't load anything from the target root filesystem *before*
verifying its integrity if composefs is enabled.

In effect, we want to force composefs users to migrate to
`/usr/lib/ostree/prepare-root.conf` which lives in the initramfs.
(But because we enable sysroot.readonly=true if composefs is enabled
 too, they don't actually need to)

prepare-root: Default sysroot.readonly=true if composefs

Not because it's logically required or anything, but because
it's just a good idea.

prepare-root: Introduce `ostree/prepare-root.conf`

Using the repository configuration for configuration of this
program was always a bit hacky.

But actually with composefs, we really must validate
the target root *before* we parse anything in it.

Let's add a config file for `ostree-prepare-root` that can live
in the initramfs, which will already have been verified.

In the future we'll also add configuration for composefs here.

We expect OS builders to drop this in `/usr/lib/ostree/prepare-root.conf`,
but system local configuration can live in `/etc`.

Merge pull request #2948 from cgwalters/composefs-more-cleanups

composefs: Use lowerdir in /run

Merge pull request #2951 from cgwalters/errprefix-sysroot

sysroot: Add a bit more error prefixing

Merge pull request #2949 from cgwalters/kargs-cleanup

kernel-args: Move private functions out of public header

repo: Clarify when we fail to parse a remote

This would have directly pointed at the failing config file.

sysroot: Add a bit more error prefixing

While an error message I saw was pretty clear, this would
be even more explicit.

Merge pull request #2950 from cgwalters/generator-cleanup

generator: Some cleanup

kernel-args: Move private functions out of public header

External users can't call `_` prefixed APIs, so move them
to a `-private.h`.

src/generator: Move all logic into libostree-1.so

This pushes down the code for parsing the `ostree=` cmdline
in the generator into code that's part of libostree-1.so.

This is prep for using logic shared in libotcore.la.

But in general it's just cleaner to also keep the binary
entrypoint to just be a trampoline into the C library.

generator: Stop creating `/run/ostree-booted`

This must have always been dead code.  We're trying to iterate
towards a place where it's only `ostree-prepare-root.c` which
parses the `ostree=` kernel argument, and canonically sets up
`/run/ostree-booted`.

composefs: Use lowerdir in /run

I just noticed that this was another constant string duplicated
between prepare-root.c and libostree-1.so, and I went to make
it a common `#define` in libotcore.la.

But then I thought "it's ugly to have this directory mixed into
the deployment namespace" because in some theoretical world
it could also be in the ostree commit, which would cause weird
behavior.

I think this is transient state that is better in `/run`, so move
it there.

Merge pull request #2942 from ostreedev/android-bootloader-parsing

bootloader: fold all Android Bootloader specific logic into prepare-root

Merge pull request #2946 from cgwalters/add-inode-fix-feature

Add an always-on `inode64` feature

Add an always-on `inode64` feature

As I (and others) will be backporting the fix in
https://github.com/ostreedev/ostree/pull/2874/commits/de6fddc6adee09a93901243dc7074090828a1912
pretty far, I want a way for sysadmins and OS builders to
be able to reliably see when their version of ostree has this fix
(Because comparing version numbers isn't portable).

bootloader: fold all Android Bootloader specific logic into prepare-root

Now that we use androidboot.slot_suffix karg to determine whether we
boot into /ostree/root.a or /ostree/root.b, we can use ostree= karg
simply for parsing the stateroot, although we will still boot into
what's pointed to by /ostree/root.a or /ostree/root.b.

Merge pull request #2943 from cgwalters/mount-cleanup

prepare-root: Drop code mounting `/proc`

Merge pull request #2944 from cgwalters/prepare-root-more-cleanup

prepare-root: Drop more dead code

prepare-root: Drop more dead code

Most of this was used for the old composefs signature model.  We
now reuse the core signature code and link to glib, so we don't
need reimplementations of hex strings and reading files.

prepare-root: Drop code mounting `/proc`

This must be done by the init process here; it was always
dead code in the initramfs path.

We keep the copy of this code in the now-forked -static.c.

Merge pull request #2938 from cgwalters/dedup-ostree-parsing

generator: Deduplicate ostree= karg parsing

Merge pull request #2939 from cgwalters/ed25519-cleanups

sign-ed25519: Minor cleanups

generator: Deduplicate ostree= karg parsing

Avoid having two copies of a regular expression for parsing
the `ostree=` kernel argument.  Because the `ostree-system-generator`
binary already has access to the internals because it's implemented
in the shared library, expose the sysroot version internally
and use that.

Motivated by an attempt to change one of these copies but not
the other.

sign-ed25519: Don't set sk unless we've validated it

The semantics of this function now keep the key assigned
even if we fail to validate it, which is ugly.  Only assign
the key after verifying its length.