Merge pull request #2948 from cgwalters/composefs-more-cleanups

composefs: Use lowerdir in /run

Merge pull request #2951 from cgwalters/errprefix-sysroot

sysroot: Add a bit more error prefixing

Merge pull request #2949 from cgwalters/kargs-cleanup

kernel-args: Move private functions out of public header

repo: Clarify when we fail to parse a remote

This would have directly pointed at the failing config file.

sysroot: Add a bit more error prefixing

While an error message I saw was pretty clear, this would
be even more explicit.

Merge pull request #2950 from cgwalters/generator-cleanup

generator: Some cleanup

kernel-args: Move private functions out of public header

External users can't call `_` prefixed APIs, so move them
to a `-private.h`.

src/generator: Move all logic into libostree-1.so

This pushes down the code for parsing the `ostree=` cmdline
in the generator into code that's part of libostree-1.so.

This is prep for using logic shared in libotcore.la.

But in general it's just cleaner to also keep the binary
entrypoint to just be a trampoline into the C library.

generator: Stop creating `/run/ostree-booted`

This must have always been dead code.  We're trying to iterate
towards a place where it's only `ostree-prepare-root.c` which
parses the `ostree=` kernel argument, and canonically sets up
`/run/ostree-booted`.

composefs: Use lowerdir in /run

I just noticed that this was another constant string duplicated
between prepare-root.c and libostree-1.so, and I went to make
it a common `#define` in libotcore.la.

But then I thought "it's ugly to have this directory mixed into
the deployment namespace" because in some theoretical world
it could also be in the ostree commit, which would cause weird
behavior.

I think this is transient state that is better in `/run`, so move
it there.

Merge pull request #2942 from ostreedev/android-bootloader-parsing

bootloader: fold all Android Bootloader specific logic into prepare-root

Merge pull request #2946 from cgwalters/add-inode-fix-feature

Add an always-on `inode64` feature

Add an always-on `inode64` feature

As I (and others) will be backporting the fix in
https://github.com/ostreedev/ostree/pull/2874/commits/de6fddc6adee09a93901243dc7074090828a1912
pretty far, I want a way for sysadmins and OS builders to
be able to reliably see when their version of ostree has this fix
(Because comparing version numbers isn't portable).

bootloader: fold all Android Bootloader specific logic into prepare-root

Now that we use androidboot.slot_suffix karg to determine whether we
boot into /ostree/root.a or /ostree/root.b, we can use ostree= karg
simply for parsing the stateroot, although we will still boot into
what's pointed to by /ostree/root.a or /ostree/root.b.

Merge pull request #2943 from cgwalters/mount-cleanup

prepare-root: Drop code mounting `/proc`

Merge pull request #2944 from cgwalters/prepare-root-more-cleanup

prepare-root: Drop more dead code

prepare-root: Drop more dead code

Most of this was used for the old composefs signature model.  We
now reuse the core signature code and link to glib, so we don't
need reimplementations of hex strings and reading files.

prepare-root: Drop code mounting `/proc`

This must be done by the init process here; it was always
dead code in the initramfs path.

We keep the copy of this code in the now-forked -static.c.

Merge pull request #2938 from cgwalters/dedup-ostree-parsing

generator: Deduplicate ostree= karg parsing

Merge pull request #2939 from cgwalters/ed25519-cleanups

sign-ed25519: Minor cleanups

generator: Deduplicate ostree= karg parsing

Avoid having two copies of a regular expression for parsing
the `ostree=` kernel argument.  Because the `ostree-system-generator`
binary already has access to the internals because it's implemented
in the shared library, expose the sysroot version internally
and use that.

Motivated by an attempt to change one of these copies but not
the other.

sign-ed25519: Don't set sk unless we've validated it

The semantics of this function now keep the key assigned
even if we fail to validate it, which is ugly.  Only assign
the key after verifying its length.

sign-ed25519: Add some comments for data structure

Like poor man's generics.

sign-ed25519: More verbose errors for invalid length

Add a helper to compare lengths which includes the found
and expected values.  Use it consistently.

The error message "Incorrect" is misleading; one might think
one had the *wrong* key.  "Ill-formed" makes it clearer that
we're not parsing it at all.

tests: Remove dead references to "SEED"

Nothing uses this.

Merge pull request #2937 from ericcurtin/ostree2androidboot.slot_suffix

android-boot: Remove dependency on ostree= karg, use androidboot.slot_suffix=

Remove steal_pointer and steal_pointer_impl as we link in glib now

These were necessary to keep initramfs small, but now we link in glib
anyway so these functions are now redundant.

android-boot: Remove dependency on ostree= karg, use androidboot.slot_suffix=

Given the kernel argument androidboot.slot_suffix= is required in
Android AB updates [1] there is no need to check for ostree= or ostree=aboot
at all in the aboot case. This also ensures if the dependancy on ostree=
is removed, the android-boot technique will work regardless.

[1]: https://source.android.com/docs/core/ota/ab/ab_implement

Merge pull request #2936 from cgwalters/sign-from-file

commit: Add `--sign-from-file`

Merge pull request #2931 from cgwalters/prepare-root-man

man: Add ostree-prepare-root

Merge pull request #2929 from cgwalters/prepare-root-drop-pivot

prepare-root: Drop dead `pivot_root` code

Merge pull request #2927 from cgwalters/sysroot-errprefix-bootlinks

sysroot: Add some error prefixing for bootversion

Merge pull request #2935 from cgwalters/prepare-root-config4

prepare-root: Refactor composefs config handling

commit: Add `--sign-from-file`

Passing the private key via a direct command line argument
is just a bad idea because it's highly likely to get logged
or appear in `ps`.
Spotted in review of work for composefs signatures.

prepare-root: Refactor composefs config handling

- Convert the current enum into a struct, using `OtTristate` and
  two member variables (expected signature and digest)
- Factor out a helper function to parse this config
- Clean up the logging by consistently using `composefs:` as a prefix
- Add more assertions to more strictly verify our runtime state
  since this is security relevant

Merge pull request #2934 from cgwalters/enable-composefs-default

build-sys: Enable composefs at *build time* by default

build-sys: Enable composefs at *build time* by default

There's no additional dependencies, and it's a small amount
of new code.

The riskiest thing is the changes to ostree-prepare-root, but
I believe that things are in a good state now there.

Again, this just enables it at *build time* - it's still
off at runtime by default.

Merge pull request #2928 from cgwalters/prepare-root-config

More prepare-root cleanups

Merge pull request #2932 from cgwalters/aboot-fix-nullderef

mount: Fix gcc -fanalyzer warning for parsing androidboot.slot_suffix

mount: Fix gcc -fanalyzer warning for parsing androidboot.slot_suffix

If the karg wasn't present, we'd do a NULL deref which is undefined
behavior.

Merge pull request #2920 from ostreedev/dependabot/submodules/composefs-1704f82

build(deps): bump composefs from `ac729b5` to `1704f82`

man: Add ostree-prepare-root

Add an overdue man page that describes this.  Prep for also
documenting composefs things here.

Use /run/ostree-booted metadata for sysroot-ro state passing

Just like we did with composefs, use the new metadata instead
of a "stamp file".

prepare-root: Drop dead `pivot_root` code

I think this was only ever used in the "static pid1" path which
is now split out into a separate file.

We always expect that e.g. systemd does the switchroot in
the initramfs, so drop this dead code.

remount: Use new metadata in `/run/ostree-booted` for composefs

Since we now have a generalized more structured way of serializing
state in the initramfs instead of "stamp files", use it for
passing the composefs state.

remount: Don't overwrite /run/ostree-booted

Since it should always be written in the initramfs.

prepare-root: Add metadata for composefs to `/run/ostree-booted`

Particularly for the signature case, having this metadata
acts as a reliable "proof of execution" of the signature verification
code (as opposed to parsing a log file or so).

Besides that, this is also just a stronger check for "we're using
composefs" instead of checking for "overlayfs on /".

prepare-root: Use constant for ed25519 signature

Minor cleanup.

Merge pull request #2926 from cgwalters/otcore-cfs-constants

prepare-root: A few cleanups

sysroot: Add some error prefixing for bootversion

This came up in https://issues.redhat.com/browse/OCPBUGS-15955
and I'm 90% sure it's this readlink failing, but let's make
it extra clear.

prepare-root: Drop unused verity flag querying

This logic got pushed down into libcomposefs.

prepare-root: Use otutil and g_print

Now that we link to libotutil (and glib) we don't need separate
handling for conditionalizing on the presence of systemd.

Further, there's no value in `sd_journal_send(MESSAGE=)` over
just printing to stdout.

Add an internal constant for the composefs image name

Just a minor cleanup.

Merge pull request #2924 from cgwalters/drop-syntax-check

build: Drop `make syntax-check`

build: Drop `make syntax-check`

As of lately it emits a ton of errors from `grep` about having `*`
at the start of a line, but more generally it's only generally
found papercut-style issues that aren't worth carrying a distinct
checking system for.

Merge pull request #2921 from alexlarsson/composefs-sign-v2

ostree-prepare-root: Validate ed25519 signatures when requested

ostree-prepare-root: Validate ed25519 signatures when requested

If requested, by specifying ot-composefs=signed=/path/to/pub.key then
the commit object is validated against the specified ed25519 public
key, and if valid, the composefs digest from the commit object is used
to ensure we boot the right digest.

Factor out a libotcore

This will contain logic shared between ostree-prepare-root
and libostree-1.so.  It will just link to libgio.so, so as
to avoid pulling in e.g. libcurl and other things.

In other words, `ostree-prepare-root` will not link to `libostree-1.so`,
but will pull in just what it needs from this library.

build-sys: Add libsodium to OT_DEP_CRYPTO

There's no reason to have these distinct really.  If we're using
libsodium, we want it in the same places we're using openssl.

Prep for further refactoring.

Merge pull request #2922 from alexlarsson/openssl-ed25519

Implement ed255519 using openssl too

libotutil: Link to crypto libs

The checksum utils uses the crypto lib, but we're not explicitly linking
to it. I think this is why the CI got this error when using openssl
on debian, during ostree binary linking:

/usr/bin/ld: ./.libs/libotutil.a(libotutil_la-ot-checksum-utils.o): undefined reference to symbol 'EVP_DigestInit_ex@@OPENSSL_3.0.0'
/usr/bin/ld: /lib/x86_64-linux-gnu/libcrypto.so.3: error adding symbols: DSO missing from command line
collect2: error: ld returned 1 exit status

CI: Enable --with-crypto=openssl on debian testing to test openssl signatures

sign-ed25519: Implement sign and verify using openssl

libsodium is used if configured to keep the old behaviour, but if
it is not enabled, and openssl is used, then ed25519 is now supported.

sign-ed25519: Drop some uses of libsodium

This adds some defines for ed25519 key sizes and drops uses
of the libsodium defines for these, as well as replacing sodium_bin2hex
use with ot_bin2hex. Some code that wes optionally built before are now
always built.

The goal for this is to support both libsodium and openssl.

Also fixes return value of _load_pk_from_stream(). It used
to always return FALSE.

Merge pull request #2923 from alexlarsson/fix-composefs-test

tests: Fix composefs test

tests: Fix composefs test

- Was using the wrong metadata key
- We were missing setting the canonical commit args which assigns
  e.g. owner uid 0, which is important for reproducibility
- Use the new --print-hex to make things easier to read

show: Add --print-hex

The default GVariant output for byte arrays is illegible to humans,
and byte arrays are super common for us.

Merge pull request #2913 from cgwalters/tmpfile-not-on-revokefs

fetcher: Always open tmpfiles in repo (except on FUSE)

build(deps): bump composefs from `ac729b5` to `1704f82`

Bumps [composefs](https://github.com/containers/composefs) from `ac729b5` to `1704f82`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/ac729b579dd332938c6ad43ba83b2b896631dad4...1704f823db41b1056cabfba51254f8afa8bae41d)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2918 from ostreedev/dependabot/submodules/composefs-ac729b5

build(deps): bump composefs from `412cb5e` to `ac729b5`

Merge pull request #2912 from cgwalters/itest-transactionality-debug

tests/inst: A few small patches

Merge pull request #1633 from cgwalters/pkglibexec-tests

Drop "ostree trivial-httpd" CLI, move to tests directory

fetcher: Always open tmpfiles in repo (except on FUSE)

This reverts commit 4e61e6f7d0d6aebd6abcdc455ec53164afe39e8d
and re-instates the fix for ensuring that we download temporary
files into the repository location.

However in order to ensure we don't re-introduce
https://github.com/ostreedev/ostree/issues/2900
we detect the case where we're writing to a FUSE mount
and keep the prior behavior.

I've verified that this works with flatpak.

Note a downside of this is the change needs to be triplicated
across the 3 http backends.

This then again
Closes: https://github.com/ostreedev/ostree/issues/2571

Merge pull request #2905 from cgwalters/prepare-root-static-split

Separate prepare-root static path + link to glib

build(deps): bump composefs from `412cb5e` to `ac729b5`

Bumps [composefs](https://github.com/containers/composefs) from `412cb5e` to `ac729b5`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/412cb5e6aaf516c5e2a7f67e426a25ed2926e101...ac729b579dd332938c6ad43ba83b2b896631dad4)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Drop "ostree trivial-httpd" CLI, move to tests directory

See https://github.com/ostreedev/ostree/issues/1593

Basically this makes it easier for people packaging, as the trivial-httpd
is only for tests, and this way the binary will live with the tests.

Also at this point nothing should depend on `ostree trivial-httpd`.

Merge pull request #2916 from cgwalters/release

Release 2023.5

Merge pull request #2914 from cgwalters/doc-usergroups

docs: Update user and group section

configure: post-release version bump

Release 2023.5

Merge pull request #2899 from ostreedev/dependabot/submodules/composefs-412cb5e

build(deps): bump composefs from `08bdb03` to `412cb5e`

prepare-root: Link to glib

Since we've split off the "prepare root as init" code
into a separate file, we can now use glib to parse
the config file again, which is a lot less hacky.

This is particularly motivated by composefs, where
we want to do more in the initramfs.  Future patches
may also link to parts of libostree.

Separate prepare-root static path

We should have done this a long time ago.  We don't have any test
coverage for the no-initramfs path, and I think it's not long
term supportable as we want to add more features like composefs.

Particularly now that there's good support for embedding an
initramfs in a kernel image, I see little value in a path for
having custom static linking for this prepare root flow.

That said, we will continue to make a best-effort "it compiles"
attempt to support it.

Fork the "pid 1" prepare root code into a new
`ostree-prepare-root-static.c` file, and drop the runtime conditionals.

We can drop the composefs logic from `-static.c` which ends up
keeping that file much smaller.

A further next step here will be to actually fold the
`prepare-root.c` logic into the main `ostree` binary which we
can then just include in the initramfs.

build(deps): bump composefs from `08bdb03` to `412cb5e`

Bumps [composefs](https://github.com/containers/composefs) from `08bdb03` to `412cb5e`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/08bdb030fcff4f55ef63aa828b09b57a6cd4d234...412cb5e6aaf516c5e2a7f67e426a25ed2926e101)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

docs: Update user and group section

- mention `DynamicUser=yes`
- mention the recent systemd JSON bits
- mention sysusers.doc

And briefly talk about the tradeoffs in these.

Merge pull request #2911 from cgwalters/fix-generator-regression

Fix return value of generator on non-ostree systems

Merge pull request #2910 from cgwalters/more-ci-fixes

ci: Fix executability

tests: Enable mtime test

I think this just accidentally was never enabled.

While looking at the code, add a sleep here to be resilient to
filesystems with only second mtime granularity.

tests: Drop unused alias

tests/transactionality: Port a bit to xshell

This will give us more useful error messages which should
help debug a flake.

Merge pull request #2907 from cgwalters/test-composefs

tests: Source libtest before exiting

test-composefs: Sync flow with other tests

I am not sure why this is failing on older Debian systems,
but I'm wildly guessing that something being done in `libtest.sh`
is setting up automake in a way that we need.  This is done
in other tests.

Or maybe it's the missing `$CMD_PREFIX`?  Let's see...

Fix return value of generator on non-ostree systems

Commit aa72caffb540114a0e8635ab2990b9c8b0b8f9db
regressed the `ostree-system-generator` on non-ostree systems.
If there's no `ostree=` karg, we need to just exit 0.

Closes: https://github.com/ostreedev/ostree/issues/2909
Fixes: aa72caffb540114a0e8635ab2990b9c8b0b8f9db

ci: Fix executability

Merge pull request #2904 from cgwalters/prow-ci

ci/prow: Build tests before trying to install

Merge pull request #2906 from cgwalters/compiletest-static-prepareroot

ci: Add "it compiles" coverage for --with-static-compiler

ci: Add "it compiles" coverage for --with-static-compiler

Prep for further changes.

ci/prow: Build tests before trying to install

Our `install` target doesn't depend on `all` unlike the
rpm-ostree version; not doing so is arguably better, so let's
explicitly build before installing.

Merge pull request #2902 from ericcurtin/ostree-aboot-pass-options

bootloader: Pass "options" to aboot bootloader backend

Merge pull request #2901 from cgwalters/revert-fetcher-change

Revert "fetcher: Always open tmpfiles in repo location"