New upstream release

Update upstream source from tag 'upstream/2023.7'

Update to upstream version '2023.7'
with Debian dir 87efd50332ba01b4f3d82cb59fd1c034293ace78

New upstream version 2023.7

Release 2023.7

Merge pull request #3081 from jlebon/pr/log-selinux-refresh

lib/deploy: Log SELinux policy refresh

lib/deploy: Log SELinux policy refresh

I have a suspicion that the `semodule -N --refresh` we do here is
involved in https://github.com/coreos/fedora-coreos-tracker/issues/1597.
Let's log when we execute it and include its time.

While we're here, also log the time it takes to `syncfs()` and the
fsfreeze/thaw cycling. It's logged in a structured journal entry, but
that's less accessible than just having it in the journal message field.

Merge pull request #2843 from jmarrero/retry

ostree-fetcher-curl: handle non 404 errors as G_IO_ERROR_TIMED_OUT

ostree-repo-pull: add options to configure retry behavior

This introduces the "retry-all-network-errors" option which
is enabled by default. This is a behavior change as now
ostree will retry on requests that fail except when
they fail with NOT_FOUND. It also introduces the options
"low-speed-limit-bytes" and "low-speed-time-seconds these"
map to CURL options only at the moment. Which have defaults
set following librepo:
https://github.com/rpm-software-management/librepo/blob/7c9af219abd49f8961542b7622fc82cfdaa572e3/librepo/handle.h#L90
https://github.com/rpm-software-management/librepo/blob/7c9af219abd49f8961542b7622fc82cfdaa572e3/librepo/handle.h#L96
Currently these changes only apply when using libcurl.
Finally this change adds a final option that affects all
backends to control the max amount of connections of the
fetcher "max-outstanding-fetcher-requests".

Merge pull request #3078 from HuijingHei/karg-delete-array

karg-delete: support multiple times

doc: add `ostree admin deploy` option `--karg-delete`

karg-delete: support multiple times

Fix https://github.com/ostreedev/ostree/pull/2612#issuecomment-1764412141

Merge pull request #3075 from cgwalters/reenable-composefs

tests: Use ext4, re-enable composefs test

Merge pull request #3077 from cgwalters/debug-finalization-lock

deploy: Remove lock when re-staging

deploy: Remove lock when re-staging

This closes the biggest foot-gun when doing e.g.
`rpm-ostree rebase` when zincati is running on a FCOS system.

Previously if zincati happened to have staged + locked a deployment,
we'd keep around the lock which is definitely not what is desired.

tests: Use ext4, re-enable composefs test

Until the XFS fsverity stuff lands.

Merge pull request #3074 from cgwalters/more-errcontext-composefs

composefs: Add more error prefixing

Merge pull request #3073 from cgwalters/context-no-stateroot

deploy: Improve error message for nonexistent stateroot

composefs: Add more error prefixing

To help debug https://github.com/coreos/rpm-ostree/issues/4649

deploy: Improve error message for nonexistent stateroot

Came up on an internal chat; previously we were only erroring
out when trying to do the SELinux labeling for `/var` which
was really misleading.

Add some other error prefixing while we have the patient open.

Merge pull request #3062 from alexlarsson/transient-etc

Support transient /etc

Support transient /etc

If the `prepare-root.conf` file contains:
```
[etc]
transient=yes
```

Then during prepare-root, an overlayfs is mounted as /etc, with the
upper dir being in /run. If composefs is used, the lower dir is
`usr/etc` from the composefs image , or it is the deployed
`$deploydir/usr/etc`.

Note that for this to work with selinux, the commit must have been
built with OSTREE_REPO_COMMIT_MODIFIER_FLAGS_USRETC_AS_ETC. Otherwise
the lowerdir (/usr/etc) will have the wrong selinux contexts for the
final location of the mount (/etc).

We also set the transient-etc key in the ostree-booted file, pointing it
to the directory that is used for the overlayfs.

There are some additional work happening in ostree-remount, mostly
related to selinux (as this needs to happen post selinux policy
load):

 * Recent versions of selinux-poliy have issues with the overlayfs
   mount being kernel_t, and that is not allowed to manage files as
   needed. This is fixed in
   https://github.com/fedora-selinux/selinux-policy/pull/1893

 * Any /etc files created in the initramfs will not be labeled,
   because the selinux policy has not been loaded. In addition, the
   upper dir is on a tmpfs, and any manually set xattr-based selinux
   labels on those are reset during policy load. To work around this
   ostree-remount will relabel all files on /etc that have
   corresponding files in overlayfs upper dir.

 * During early boot, systemd mounts /run/machine-id on top of
   /etc/machine-id (as /etc is readonly). Later during boot, when etc
   is readwrite, systemd-machine-id-commit.service will remove the
   mount and update the real file under it with the right content. To
   ensure that this keeps working, we need to ensure that when we
   relabel /etc/machine-id we relabel the real (covered) file, not the
   temporary bind-mount.

 * ostree-remount no longer needs to remount /etc read-only in the
   transient-etc case.

Signed-off-by: Alexander Larsson <alexl@redhat.com>

Merge pull request #3072 from alexlarsson/fix-whiteout-test

tests: Fix whiteout test

Merge pull request #3063 from cgwalters/label-usretc-as-etc

repo: Add an option to label /usr/etc as /etc

tests: Fix whiteout test

This test was always skipped, because the check:

 if touch overlay/baz/.wh.cow &&
    touch overlay/.wh.deeper &&
    touch overlay/baz/another/.wh..wh..opq; then

always fails due to the missing overlay/baz/another directory.
Fix by creating the directory.

repo: Add an option to label /usr/etc as /etc

This will be very useful for enabling a "transient /etc" option
because we won't have to do hacks relabling in the initramfs, or
forcing it on just for composefs.

Merge pull request #3067 from cgwalters/ci-composefs

ci: Disable composefs test for now

Need to change the framework to boot with an Ignition config
that switches to ext4 soon.

ci: Ensure composefs+openssl are is enabled on Fedora

For some reason we're not picking this up in the Prow build,
which breaks things because now rpm-ostree hard requires it.

Let's make this a fatal build time error for more clear
debugging.

Merge pull request #3060 from owtaylor/export-hardlinks

When exporting, use hardlinks for duplicated files

When exporting, use hardlinks for duplicated files

For ostree_repo_export_tree_to_archive(), and 'ostree export', when the
exported tree contains multiple files with the same checksum, write an
archive with hard links.

Without this, importing a tree, then exporting it again breaks
hardlinks.

As an example of savings: this reduces the (compressed) size of the
Fedora Flatpak Runtime image from 1345MiB to 712MiB.

Resolves: #2925

Merge pull request #3049 from jlebon/pr/revert-virtiofs-hack

Revert "ci: Run cosa unprivileged"

Merge pull request #3059 from cgwalters/zipl-default-s390x

Revert "ci: Run cosa unprivileged"

This reverts commit 2fe88f80fae83e206f811003a072c73ceebcea59.

This shouldn't be necessary now with the workaround built in cosa:

https://github.com/coreos/coreos-assembler/pull/3625

Merge pull request #3046 from ostreedev/dependabot/submodules/composefs-cca8be4

build(deps): bump composefs from `af86742` to `cca8be4`

repo: Default bootloader to zipl on s390x

This will allow us to drop code like
https://github.com/coreos/coreos-assembler/blob/87fc693c115eae1e7ff0e1621ce26c9167af6e84/src/create_disk.sh#L503
which is really just unnecessary since there aren't any other
bootloaders we care about on this architecture.

Merge pull request #3058 from cgwalters/doc-authenticated-repos

docs: Add authenticated-repos.md

docs: Add authenticated-repos.md

Document options for accessing repositories that require authentication.

Merge pull request #3021 from cgwalters/insttest-composefs-binding

tests: Add an integration test for composefs signatures

Merge pull request #3053 from ericcurtin/add_overlay_and_erofs_to_initrd

boot/dracut: Add erofs and overlayfs kernel modules

boot/dracut: Add erofs and overlayfs kernel modules

These kernel modules are required for composefs usage in the initramfs.

The composefs use-case as of today uses an overlayfs on top of EROFS.

tests: Add an integration test for composefs signatures

Ensure we have some automated test coverage for this.

Merge pull request #3051 from cgwalters/rust-tests-update

rust/tests: Adjust for new ostree

Merge pull request #3052 from cgwalters/switch-libglnx-source

gitmodules: Use github GNOME mirror

gitmodules: Use github GNOME mirror

gitlab.gnome.org is down right now, but it's been somewhat
flaky in the past.  Our CI uptime becomes an *intersection*
of all systems it depends on, and by cutting out gitlab.gnome.org
we increase its reliability.

tests: Rework detection of trivial-httpd

Because it's now at the toplevel.

Merge pull request #3047 from ostreedev/dependabot/submodules/libglnx-aff1eea

build(deps): bump libglnx from `54ad67d` to `aff1eea`

Bumps libglnx from `54ad67d` to `aff1eea`.

---
updated-dependencies:
- dependency-name: libglnx
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump composefs from `af86742` to `cca8be4`

Bumps [composefs](https://github.com/containers/composefs) from `af86742` to `cca8be4`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/af867425799db92c92d35feb51d2c957f3e16ac7...cca8be49843385ce556fccf51f75821f70fb7769)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3039 from cgwalters/rust-switch-include

rust: Switch to using `include`

This way we don't randomly pick up bits from the C library
unintentionally as things change on that side.

I think the support for `!` in `include` may be relatively new
and that's why the original author here chose to do things
via `exclude`.  But using `include` with a few specific exclusions
is just way better.

Merge pull request #2054 from jlebon/pr/static-delta-fetch-no-scan

lib/pull: Don't scan commit objects we fetch via deltas

lib/pull: Drop static delta superblocks references

We don't need them long-lived anymore. They were just used for reporting
at this point, but we can use the new `static_delta_targets` hash table
size for that now.

ci: Run cosa unprivileged

As a workaround for a virtiofs bug:
https://gitlab.com/virtio-fs/virtiofsd/-/merge_requests/197

xref coreos/coreos-assembler#3428 (comment)

Just like in https://github.com/coreos/rpm-ostree/pull/4585.

lib/pull: Don't scan commit objects we fetch via deltas

When we're fetching a commit via static delta, we already take care of
fetching the full commit, so there's no need to also scan it using the
regular object workflow.

Closes: #2053

lib/pull: Fix miscounting of missing metadata

If e.g. detached metadata or a parent commit is missing, we
don't consider it an error but we erroneously still increment the
`n_fetched_metadata` counter, causing it to be higher than it should.

This will implicitly be tested by a test added in the next patch.

app/pull-local: Add `--disable-static-delta`

For completeness with `pull`.

Prep for using it in testing to assert we'll never use static deltas.

Merge pull request #3038 from cgwalters/rust-drop-composefs

rust: Drop composefs from crate

Merge pull request #3037 from cgwalters/add-labeler-flow

ci: Add an automatic labeler action

rust: Drop composefs from crate

This greatly reduces the size.  TODO: switch to using `include`.

Merge pull request #3035 from cgwalters/release-rust

rust/sys: Also bump semver for this

ci: Add an automatic labeler action

To automate a bit.

Merge pull request #3030 from ostreedev/dependabot/submodules/composefs-af86742

build(deps): bump composefs from `d085fbf` to `af86742`

rust/sys: Also bump semver for this

Since we bumped the glib major.

build(deps): bump composefs from `d085fbf` to `af86742`

Bumps [composefs](https://github.com/containers/composefs) from `d085fbf` to `af86742`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/d085fbf6c8364f3781de7988b13c0f6dbf9e975b...af867425799db92c92d35feb51d2c957f3e16ac7)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3028 from ostreedev/dependabot/submodules/composefs-d085fbf

build(deps): bump composefs from `597a766` to `d085fbf`

Merge pull request #3029 from cgwalters/bump-glib

rust: Port to glib 0.18

Release to unstable

d/rules: Disable composefs for now

Official buildds don't seem to support fsetxattr on the filesystem used
for /var/tmp, which is required for the composefs tests.

Release to unstable

d/ostree-tests.install: trivial-httpd moved to installed-tests directory

Update changelog

d/rules: Enable composefs support

This is now on by default when compiled with sufficiently new kernel
headers.

Update upstream source from tag 'upstream/2023.6'

Update to upstream version '2023.6'
with Debian dir c47c418cbd7d6bd58330ef436c18523e1338ef05

New upstream version 2023.6

rust: Bump semver to 0.19

- New glib 0.18 dependency
- Drop cap-std APIs and features
- Other minor changes

rust: Port to glib 0.18

- Also rolls up a few other changes in the C API
- Drop `&mut` from `OstreeKernelArgs`; it now confuses type inference.
  More generally while using `&mut` here was well intentioned, it
  goes against the glib standard of mapping everything to `&` and
  accepting interior mutability.

build(deps): bump composefs from `597a766` to `d085fbf`

Bumps [composefs](https://github.com/containers/composefs) from `597a766` to `d085fbf`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/597a76609574cf9133d1e17ec0a7b99877a0b709...d085fbf6c8364f3781de7988b13c0f6dbf9e975b)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3027 from cgwalters/drop-cap-std-public

Drop cap-std from our public APIs

ci: Move lints into main build

And drop another hardcoded MSRV.

rust: Bump rust-version = 1.70

To pick up the new `AsFd` etc.

Drop cap-std from our public APIs

Since it bumped semver (when I didn't expect it to; xref
https://github.com/bytecodealliance/cap-std/commit/963eebf3ab52b04a2e8b9ba88ce6308bbed5cbd0#r121651362

It's not load-bearing enough here to matter versus just passing
an untyped file descriptor.

This mainly means that it will be the `glib` ecosystem which
forces transitive semver bumps for us, not both.

Merge pull request #3018 from ostreedev/dependabot/submodules/composefs-597a766

build(deps): bump composefs from `1aed878` to `597a766`

Merge pull request #3012 from cgwalters/default-early-prune

sysroot: Promote the "early prune" behavior to default

sysroot: Promote the "early prune" behavior to default

I think we have enough testing for this, let's default it to
on, and change the variable to allow opt-out in case it does
introduce a regression.

Merge pull request #2968 from cgwalters/drop-global-syncfs-by-default

deploy: Remove global `sync` by default

Merge pull request #3024 from cgwalters/clang-analyzer-fixes-5

Clang analyzer fixes 5

build(deps): bump composefs from `1aed878` to `597a766`

Bumps [composefs](https://github.com/containers/composefs) from `1aed878` to `597a766`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/1aed8781d6ce617234175d5d3b0458f91a6e38f3...597a76609574cf9133d1e17ec0a7b99877a0b709)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3023 from ostreedev/dependabot/submodules/libglnx-54ad67d

build(deps): bump libglnx from `c02eb59` to `54ad67d`

commit: Quiet clang-analyzer warning

Another conditional ownership.

keyfile-utils: Quiet a clang-analyzer warning

It complains that we could leak memory if the return value
pointer isn't set.  That's actually a nonsensical case, there's
no reason to call this and ignore the return value.

So change things to require it be set, and also change the
`g_return_val_if_fail` to be hard assertions per our new policy.

build(deps): bump libglnx from `c02eb59` to `54ad67d`

Bumps libglnx from `c02eb59` to `54ad67d`.

---
updated-dependencies:
- dependency-name: libglnx
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3020 from cgwalters/less-return-if-fail-1

mutable-tree: Change some `g_return_if_fail` to `g_assert()`

Merge pull request #3019 from cgwalters/more-analyzer-fixes-4

mutable-tree: Quiet clang-analyzer warning

mutable-tree: Change some `g_return_if_fail` to `g_assert()`

We did this in some prior patches because it's better for
static analyzers; code is either reachable or not, and we don't
want the default desktop-style behavior of "try to stumble on
without crashing".  It's just likely to lead to a crash somewhere
else.

mutable-tree: Quiet clang-analyzer warning

The warning here was about a use-after-free which is serious, but
I don't think it was reachable in practice, because we'd only
enter the second conditional if `contents_checksum != self->contents_checksum`,
yet we made them the same thing here.

Nevertheless, refactor the code to do a direct return in this
case because that's basically what happened before, and doing
so is a lot clearer.

Merge pull request #3017 from cgwalters/more-analyzer-fixes-3

More analyzer fixes 3

repo: Quiet clang-analyzer warning

Another conditional ownership.

commit: Quiet clang-analyzer warning

Another conditional ownership.

commit: Quiet clang-analyzer warning

Another conditional ownership.

lib/commit: Quiet clang-analyzer warning

Another conditional ownership.