Merge pull request #3063 from cgwalters/label-usretc-as-etc

repo: Add an option to label /usr/etc as /etc

repo: Add an option to label /usr/etc as /etc

This will be very useful for enabling a "transient /etc" option
because we won't have to do hacks relabling in the initramfs, or
forcing it on just for composefs.

Merge pull request #3067 from cgwalters/ci-composefs

ci: Disable composefs test for now

Need to change the framework to boot with an Ignition config
that switches to ext4 soon.

ci: Ensure composefs+openssl are is enabled on Fedora

For some reason we're not picking this up in the Prow build,
which breaks things because now rpm-ostree hard requires it.

Let's make this a fatal build time error for more clear
debugging.

Merge pull request #3060 from owtaylor/export-hardlinks

When exporting, use hardlinks for duplicated files

When exporting, use hardlinks for duplicated files

For ostree_repo_export_tree_to_archive(), and 'ostree export', when the
exported tree contains multiple files with the same checksum, write an
archive with hard links.

Without this, importing a tree, then exporting it again breaks
hardlinks.

As an example of savings: this reduces the (compressed) size of the
Fedora Flatpak Runtime image from 1345MiB to 712MiB.

Resolves: #2925

Merge pull request #3049 from jlebon/pr/revert-virtiofs-hack

Revert "ci: Run cosa unprivileged"

Merge pull request #3059 from cgwalters/zipl-default-s390x

Revert "ci: Run cosa unprivileged"

This reverts commit 2fe88f80fae83e206f811003a072c73ceebcea59.

This shouldn't be necessary now with the workaround built in cosa:

https://github.com/coreos/coreos-assembler/pull/3625

Merge pull request #3046 from ostreedev/dependabot/submodules/composefs-cca8be4

build(deps): bump composefs from `af86742` to `cca8be4`

repo: Default bootloader to zipl on s390x

This will allow us to drop code like
https://github.com/coreos/coreos-assembler/blob/87fc693c115eae1e7ff0e1621ce26c9167af6e84/src/create_disk.sh#L503
which is really just unnecessary since there aren't any other
bootloaders we care about on this architecture.

Merge pull request #3058 from cgwalters/doc-authenticated-repos

docs: Add authenticated-repos.md

docs: Add authenticated-repos.md

Document options for accessing repositories that require authentication.

Merge pull request #3021 from cgwalters/insttest-composefs-binding

tests: Add an integration test for composefs signatures

Merge pull request #3053 from ericcurtin/add_overlay_and_erofs_to_initrd

boot/dracut: Add erofs and overlayfs kernel modules

boot/dracut: Add erofs and overlayfs kernel modules

These kernel modules are required for composefs usage in the initramfs.

The composefs use-case as of today uses an overlayfs on top of EROFS.

tests: Add an integration test for composefs signatures

Ensure we have some automated test coverage for this.

Merge pull request #3051 from cgwalters/rust-tests-update

rust/tests: Adjust for new ostree

Merge pull request #3052 from cgwalters/switch-libglnx-source

gitmodules: Use github GNOME mirror

gitmodules: Use github GNOME mirror

gitlab.gnome.org is down right now, but it's been somewhat
flaky in the past.  Our CI uptime becomes an *intersection*
of all systems it depends on, and by cutting out gitlab.gnome.org
we increase its reliability.

tests: Rework detection of trivial-httpd

Because it's now at the toplevel.

Merge pull request #3047 from ostreedev/dependabot/submodules/libglnx-aff1eea

build(deps): bump libglnx from `54ad67d` to `aff1eea`

Bumps libglnx from `54ad67d` to `aff1eea`.

---
updated-dependencies:
- dependency-name: libglnx
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump composefs from `af86742` to `cca8be4`

Bumps [composefs](https://github.com/containers/composefs) from `af86742` to `cca8be4`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/af867425799db92c92d35feb51d2c957f3e16ac7...cca8be49843385ce556fccf51f75821f70fb7769)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3039 from cgwalters/rust-switch-include

rust: Switch to using `include`

This way we don't randomly pick up bits from the C library
unintentionally as things change on that side.

I think the support for `!` in `include` may be relatively new
and that's why the original author here chose to do things
via `exclude`.  But using `include` with a few specific exclusions
is just way better.

Merge pull request #2054 from jlebon/pr/static-delta-fetch-no-scan

lib/pull: Don't scan commit objects we fetch via deltas

lib/pull: Drop static delta superblocks references

We don't need them long-lived anymore. They were just used for reporting
at this point, but we can use the new `static_delta_targets` hash table
size for that now.

ci: Run cosa unprivileged

As a workaround for a virtiofs bug:
https://gitlab.com/virtio-fs/virtiofsd/-/merge_requests/197

xref coreos/coreos-assembler#3428 (comment)

Just like in https://github.com/coreos/rpm-ostree/pull/4585.

lib/pull: Don't scan commit objects we fetch via deltas

When we're fetching a commit via static delta, we already take care of
fetching the full commit, so there's no need to also scan it using the
regular object workflow.

Closes: #2053

lib/pull: Fix miscounting of missing metadata

If e.g. detached metadata or a parent commit is missing, we
don't consider it an error but we erroneously still increment the
`n_fetched_metadata` counter, causing it to be higher than it should.

This will implicitly be tested by a test added in the next patch.

app/pull-local: Add `--disable-static-delta`

For completeness with `pull`.

Prep for using it in testing to assert we'll never use static deltas.

Merge pull request #3038 from cgwalters/rust-drop-composefs

rust: Drop composefs from crate

Merge pull request #3037 from cgwalters/add-labeler-flow

ci: Add an automatic labeler action

rust: Drop composefs from crate

This greatly reduces the size.  TODO: switch to using `include`.

Merge pull request #3035 from cgwalters/release-rust

rust/sys: Also bump semver for this

ci: Add an automatic labeler action

To automate a bit.

Merge pull request #3030 from ostreedev/dependabot/submodules/composefs-af86742

build(deps): bump composefs from `d085fbf` to `af86742`

rust/sys: Also bump semver for this

Since we bumped the glib major.

build(deps): bump composefs from `d085fbf` to `af86742`

Bumps [composefs](https://github.com/containers/composefs) from `d085fbf` to `af86742`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/d085fbf6c8364f3781de7988b13c0f6dbf9e975b...af867425799db92c92d35feb51d2c957f3e16ac7)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3028 from ostreedev/dependabot/submodules/composefs-d085fbf

build(deps): bump composefs from `597a766` to `d085fbf`

Merge pull request #3029 from cgwalters/bump-glib

rust: Port to glib 0.18

rust: Bump semver to 0.19

- New glib 0.18 dependency
- Drop cap-std APIs and features
- Other minor changes

rust: Port to glib 0.18

- Also rolls up a few other changes in the C API
- Drop `&mut` from `OstreeKernelArgs`; it now confuses type inference.
  More generally while using `&mut` here was well intentioned, it
  goes against the glib standard of mapping everything to `&` and
  accepting interior mutability.

build(deps): bump composefs from `597a766` to `d085fbf`

Bumps [composefs](https://github.com/containers/composefs) from `597a766` to `d085fbf`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/597a76609574cf9133d1e17ec0a7b99877a0b709...d085fbf6c8364f3781de7988b13c0f6dbf9e975b)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3027 from cgwalters/drop-cap-std-public

Drop cap-std from our public APIs

ci: Move lints into main build

And drop another hardcoded MSRV.

rust: Bump rust-version = 1.70

To pick up the new `AsFd` etc.

Drop cap-std from our public APIs

Since it bumped semver (when I didn't expect it to; xref
https://github.com/bytecodealliance/cap-std/commit/963eebf3ab52b04a2e8b9ba88ce6308bbed5cbd0#r121651362

It's not load-bearing enough here to matter versus just passing
an untyped file descriptor.

This mainly means that it will be the `glib` ecosystem which
forces transitive semver bumps for us, not both.

Merge pull request #3018 from ostreedev/dependabot/submodules/composefs-597a766

build(deps): bump composefs from `1aed878` to `597a766`

Merge pull request #3012 from cgwalters/default-early-prune

sysroot: Promote the "early prune" behavior to default

sysroot: Promote the "early prune" behavior to default

I think we have enough testing for this, let's default it to
on, and change the variable to allow opt-out in case it does
introduce a regression.

Merge pull request #2968 from cgwalters/drop-global-syncfs-by-default

deploy: Remove global `sync` by default

Merge pull request #3024 from cgwalters/clang-analyzer-fixes-5

Clang analyzer fixes 5

build(deps): bump composefs from `1aed878` to `597a766`

Bumps [composefs](https://github.com/containers/composefs) from `1aed878` to `597a766`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/1aed8781d6ce617234175d5d3b0458f91a6e38f3...597a76609574cf9133d1e17ec0a7b99877a0b709)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3023 from ostreedev/dependabot/submodules/libglnx-54ad67d

build(deps): bump libglnx from `c02eb59` to `54ad67d`

commit: Quiet clang-analyzer warning

Another conditional ownership.

keyfile-utils: Quiet a clang-analyzer warning

It complains that we could leak memory if the return value
pointer isn't set.  That's actually a nonsensical case, there's
no reason to call this and ignore the return value.

So change things to require it be set, and also change the
`g_return_val_if_fail` to be hard assertions per our new policy.

build(deps): bump libglnx from `c02eb59` to `54ad67d`

Bumps libglnx from `c02eb59` to `54ad67d`.

---
updated-dependencies:
- dependency-name: libglnx
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3020 from cgwalters/less-return-if-fail-1

mutable-tree: Change some `g_return_if_fail` to `g_assert()`

Merge pull request #3019 from cgwalters/more-analyzer-fixes-4

mutable-tree: Quiet clang-analyzer warning

mutable-tree: Change some `g_return_if_fail` to `g_assert()`

We did this in some prior patches because it's better for
static analyzers; code is either reachable or not, and we don't
want the default desktop-style behavior of "try to stumble on
without crashing".  It's just likely to lead to a crash somewhere
else.

mutable-tree: Quiet clang-analyzer warning

The warning here was about a use-after-free which is serious, but
I don't think it was reachable in practice, because we'd only
enter the second conditional if `contents_checksum != self->contents_checksum`,
yet we made them the same thing here.

Nevertheless, refactor the code to do a direct return in this
case because that's basically what happened before, and doing
so is a lot clearer.

Merge pull request #3017 from cgwalters/more-analyzer-fixes-3

More analyzer fixes 3

repo: Quiet clang-analyzer warning

Another conditional ownership.

commit: Quiet clang-analyzer warning

Another conditional ownership.

commit: Quiet clang-analyzer warning

Another conditional ownership.

lib/commit: Quiet clang-analyzer warning

Another conditional ownership.

lib/delta: Remove dead code

Found by clang-analyzer.

Merge pull request #3016 from cgwalters/more-analyzer-fixes-2

More analyzer fixes 2

Merge pull request #2994 from cgwalters/refactor-composefs-warnings

Refactor composefs warnings

pull: Quiet clang-analyzer warning

Just used for side-effects.

commit: Quiet clang-analyzer warning

This is just another instance of the "conditionally owned"
pattern.

pull: Add assertions to quiet clang-analyzer

It's warning the value can be NULL, but I don't think that's true.
I believe we're just hitting analysis limit (the path length is 119).

lib/repo-finder: Squash memory leak

We want to free this value on each iteration; it's moved below
if the value is used.

Merge pull request #3013 from cgwalters/more-analyzer-fixes

2023.6 coverity minor fixes

Merge pull request #3006 from cgwalters/misc-c99-style-5

Misc c99 style 5

switchroot: Use g_new/g_free consistently

Coverity complains about this, even though they're the same thing.

sign/ed25519: Fix two memory leaks

Spotted by coverity.

commit: Drop dead code

Coverity points out that since we're now *always* initializing
metadata, the `create_empty_gvariant_dict()` is unreachable.

switchroot: Lower config parser to otcore, add unit tests

Part of the continuation of unit testing coverage.

composefs: Hard error except on ENOENT even in "optional" case

Since we enabled composefs at build time, the default (non-composefs)
case now always prints
`composefs: Optional support failed: No such file or directory`
But that's normal and expected.

Rework things here so that in the very special case where
we are in "maybe/optional" mode and we get ENOENT, then we
output a much more normal-looking message that doesn't include
the string "failed".

Now on the flip side - if I have explicitly enabled signature
checking, I think we *do* want to make that fatal even if
composefs is in "maybe" mode.

(This part is more debatable; perhaps we should just disallow
 the case of "maybe" + signatures at all; but I think this is
 an improvement in that direction)

prepare-root: Fold together composefs signature cases

Now that we don't support digest-but-not-signature verification
for composefs, the logic here was unnecessarily complicated.
With a prior prep patch that moved the composefs option
initialization up, we can just have everything related to signature
verification in a single conditonal.

prepare-root: Init composefs options earlier

Prep for a later patch.

prepare-root: Drop redundant print about signature/digest

We print if we're doing a signature+digest verification; its absence is
sufficient in the other case.  The goal here is to avoid polluting
the logs when signatures are not enabled.

Merge pull request #3005 from cgwalters/release

Release

configure: post-release version bump

Release 2023.6

Merge pull request #3010 from cgwalters/more-composefs-fixes

build-sys: Really fix composefs check

build-sys: Really fix composefs check

The ordering of the includes apparently matters...and I didn't
actually check that the previous change enables composefs on c9s.
But I did now.  For reals.

While we have the patient open, I switched to `AC_LANG_PROGRAM`
because I originally thought the bug had something to do with that.
As far as I understand, more cleanly separating the includes
from the injected body text is a useful thing in `AC_LANG_PROGRAM`.

Merge pull request #3009 from cgwalters/c9s-ci

C9s CI && composefs build detection fix

Merge pull request #3007 from cgwalters/optin-new-bootloader-naming

deploy: Add bootloader-naming-2 opt-in

build-sys: Look for both linux/mount.h and sys/mount.h

Since that's what composefs uses.

ci: Add c9s build

Since it's an active target of this project.

Merge pull request #3008 from ostreedev/maybe_ostree

prepare-root: If composefs is configured as "maybe" don't fail

prepare-root: If composefs is configured as "maybe" don't fail

If composefs is configured as "maybe", we should continue even if
composefs support is not built in.

deploy: Add bootloader-naming-2 opt-init

I've verified that this fixes compatibility with GRUB, which
parses the filename:
https://github.com/ostreedev/ostree/issues/2961

However, out of a large degree of conservatism I've made this
an opt-in behavior for now.

My plan is to test it out in the FCOS development streams first.

Merge pull request #3003 from cgwalters/prepare-root-oscore-and-units

Move prepare-root karg helpers into otcore, add unit tests

cmd/show-remote-url: Port to C99 style

Just keeping up momentum.