commit: Try reflinks for local commits by default

I think we originally used to do this, but at some point in a
code refactoring, this optimization got lost.

It's a quite important optimization for the case of writing content
generated by an external system into an ostree repository.

Merge pull request #3107 from cgwalters/drop-userxattr-test

tests: Drop bare-user on tmpfs negative test

tests: Drop bare-user on tmpfs negative test

As of https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=2daf18a7884dc03d5164ab9c7dc3f2ea70638469
the restriction is lifted, FINALLY.

Merge pull request #3104 from cgwalters/s390x-target

bootloader/zipl: Run in target deployment as container if needed

bootloader/zipl: Run in target deployment as container if needed

xref https://issues.redhat.com/browse/MGMT-16303

Basically the OCP Assisted installer has now grown code
to try to do OS updates offline post-install, and this means
we need to handle the case of running zipl from the target
root.

sysroot: Expose deployment runner outside of selinux

We will use it in e.g. s390x zipl backend.

Merge pull request #3103 from cgwalters/tmpfiles-factory-var

tmpfiles: Copy `/usr/share/factory/var` to `/var`

sysroot: Support specifying bwrap arguments

Prep for use with zipl.

sysroot: Expose deployment container executor internally

Prep for using this for zipl.

tmpfiles: Copy `/usr/share/factory/var` to `/var`

This is a pattern we want to encourage.  It's honestly just
way simpler than what rpm-ostree is doing today in auto-synthesizing
individual tmpfiles.d snippets.

Merge pull request #3102 from cgwalters/deploy-cleanup-run

sysroot/deploy: Drop unnecessary g_ptr_array_free

We can just reference the pdata, and autoptr the array.

deploy: Use NULL terminated strv

This makes the code simpler and avoids the need
to keep the string array and length in sync.  Prep for
further callers.

Merge pull request #3100 from cgwalters/misc-finalization

tests: Add a dedicated finalization test

This one covers `admin lock-finalization --unlock`.

Merge pull request #3101 from cgwalters/drop-redundant-includes

main: Drop some redundant includes of `ot-main.h`

main: Drop some redundant includes of `ot-main.h`

When backporting a patch recently we hit a non-obvious
dependency on another fix for `ot-main.h` includes.  Clean
this up a bit by dropping the redundant includes.

man: Two finalization fixes

From PR review.

Merge pull request #3090 from cgwalters/stabilize-locking

sysroot: Stabilize deployment finalization, add API

sysroot: Stabilize deployment finalization, add API and CLI

It's about time we do this; deployment finalization locking
is a useful feature.  An absolutely key thing here is that
we've slowly been moving towards the deployments as the primary
"source of truth".

Specifically in bootc for example, we will GC container images
not referenced by a deployment.

This is then neecessary to support a "pull but don't apply automatically" model.

This stabilizes the existing `ostree admin deploy --lock-finalization`
CLI, and adds a new `ostree admin unlock-finalization`.

We still check the old lock file path, but there's a new boolean
value as part of the staged deployment data which is intended
to be the source of truth in the future.  At some point then we
can drop the rpm-ostree lockfile handling.

Closes: https://github.com/ostreedev/ostree/issues/3025

status: Add error prefix for gpg verification

It's helpful to see which deployment has an error.

tests: Turn off gpg verification for dev builds

Right now `ostree admin status` errors out in this case, but
`rpm-ostree status` doesn't.  The former behavior is probably
more of a bug, work around it for now.

Merge pull request #3099 from markmc/man-sysroot-readonly

man: improve sysroot.readonly docs

man: improve sysroot.readonly docs

The explanation of sysroot.readonly is a little confusing - we say
that "everything else is mounted read-only" but it's perhaps clearer
to say /sysroot is mounted read-only.

Also note that read-only is the default with composefs.

Finally, document the option in ostree.repo-config even though it is
now considered legacy - as of commit 22b8e4f9 (#2930) - it is still
commonly seen in repo configs, so users will look to understand
what it means.

Merge pull request #3098 from jlebon/pr/abort-concurrent

ci: cancel previous build on PR update

This is an easy way to save CI resources; when a PR is updated, abort
any previous build for that PR to focus on testing the latest push.

Merge pull request #3097 from cgwalters/symbol-cleanups

Symbol cleanups

lib: Don't hardcode year in sample symver section

The 2021 was misleading.

devel: Fix symbol versioning number

The .11 was wrong.

Merge pull request #3095 from alexlarsson/fix-post-copy-symlinks

Fix admin post-copy handling of symlinks

Fix admin post-copy handling of symlinks

The code to enable fs-verity on an object file was failing with ENOENT
for symlink objects.

Merge pull request #3094 from alexlarsson/admin-deploy-post-copy

Add `ostree admin post-copy` command

Add `ostree admin post-copy` command

This command will apply fs-verity on all objects that need it and
needs to be called when an ostree deployment has been copied on a
file-by-file basis, which would loose information such as fs-verity.

This is needed by osbuild which works by creating the final image in a
rootfs, and then separately copying that rootfs file-by-file to a
loopback mounted filesystem image.

Merge pull request #3091 from cgwalters/fix-soup3

build-sys: Enable libsoup3 by default if installed

unlock: Don't pass options again to overlayfs

There seems to be a tricky regression here with the util-linux
support for the new mount API, plus overlays support for it.

```
[2023-11-09T21:05:30.633Z] Nov 09 21:05:26 qemu0 kola-runext-unlock-transient.sh[2108]: + unshare -m -- /bin/sh -c 'mount -o remount,rw /usr && echo hello from transient unlock >/usr/share/writable-usr-test'
[2023-11-09T21:05:30.633Z] Nov 09 21:05:26 qemu0 kola-runext-unlock-transient.sh[2148]: mount: /usr: mount point not mounted or bad option.
[2023-11-09T21:05:30.633Z] Nov 09 21:05:26 qemu0 kola-runext-unlock-transient.sh[2148]:        dmesg(1) may have more information after failed mount system call.
```

OK this seems related to the new mount API support in util-linux and overlayfs.  From a strace:

```
2095  open_tree(AT_FDCWD, "/usr", OPEN_TREE_CLOEXEC) = 3
2095  mount_setattr(-1, NULL, 0, NULL, 0) = -1 EINVAL (Invalid argument)
...
2095  fspick(3, "", FSPICK_NO_AUTOMOUNT|FSPICK_EMPTY_PATH) = 4
2095  fsconfig(4, FSCONFIG_SET_FLAG, "seclabel", NULL, 0) = 0
2095  fsconfig(4, FSCONFIG_SET_STRING, "lowerdir", "usr", 0) = -1 EINVAL (Invalid argument)
```

I think the core problem here is it's trying to reconfigure the mount with existing options,
but in the new mount namespace we can't see the lowerdir.

Here we really really just want to remount writable.  Telling
util-linux to not pass existing options fixes it.

Merge pull request #3093 from cgwalters/rust-alias-stateroot

rust: Add a `stateroot()` alias in the Rust bindings

tests: Work around systemd regression for boot id parsing

cc https://github.com/systemd/systemd/issues/29275

rust: Add a `stateroot()` alias in the Rust bindings

Easy to do here, super annoying in C.

build-sys: Enable libsoup3 by default if installed

In f39 we switched to libsoup3 by default; this ensures our CI
picks that up automatically so we still have ostree-trivial-httpd.

Merge pull request #3089 from cgwalters/fix-undeploy-parsing

undeploy: Parse integer more properly

undeploy: Parse integer more properly

`atoi` doesn't offer any error checking.

Closes: https://github.com/ostreedev/ostree/issues/3088

Merge pull request #3080 from nikita-dubrovskii/s390x_secure_boot

lib/bootloader-zipl: Check for Secure Boot before zipl

lib/bootloader-zipl: Check for Secure Boot before zipl

Merge pull request #3085 from cgwalters/s390x-units

bootloader/zipl: No-op if run as non-root

Closes: https://github.com/ostreedev/ostree/issues/3084
Not the most elegant fix but should get the job done.

Merge pull request #3083 from cgwalters/release

Release 2023.7

configure: post-release version bump

Release 2023.7

Merge pull request #3081 from jlebon/pr/log-selinux-refresh

lib/deploy: Log SELinux policy refresh

lib/deploy: Log SELinux policy refresh

I have a suspicion that the `semodule -N --refresh` we do here is
involved in https://github.com/coreos/fedora-coreos-tracker/issues/1597.
Let's log when we execute it and include its time.

While we're here, also log the time it takes to `syncfs()` and the
fsfreeze/thaw cycling. It's logged in a structured journal entry, but
that's less accessible than just having it in the journal message field.

Merge pull request #2843 from jmarrero/retry

ostree-fetcher-curl: handle non 404 errors as G_IO_ERROR_TIMED_OUT

ostree-repo-pull: add options to configure retry behavior

This introduces the "retry-all-network-errors" option which
is enabled by default. This is a behavior change as now
ostree will retry on requests that fail except when
they fail with NOT_FOUND. It also introduces the options
"low-speed-limit-bytes" and "low-speed-time-seconds these"
map to CURL options only at the moment. Which have defaults
set following librepo:
https://github.com/rpm-software-management/librepo/blob/7c9af219abd49f8961542b7622fc82cfdaa572e3/librepo/handle.h#L90
https://github.com/rpm-software-management/librepo/blob/7c9af219abd49f8961542b7622fc82cfdaa572e3/librepo/handle.h#L96
Currently these changes only apply when using libcurl.
Finally this change adds a final option that affects all
backends to control the max amount of connections of the
fetcher "max-outstanding-fetcher-requests".

Merge pull request #3078 from HuijingHei/karg-delete-array

karg-delete: support multiple times

doc: add `ostree admin deploy` option `--karg-delete`

karg-delete: support multiple times

Fix https://github.com/ostreedev/ostree/pull/2612#issuecomment-1764412141

Merge pull request #3075 from cgwalters/reenable-composefs

tests: Use ext4, re-enable composefs test

Merge pull request #3077 from cgwalters/debug-finalization-lock

deploy: Remove lock when re-staging

deploy: Remove lock when re-staging

This closes the biggest foot-gun when doing e.g.
`rpm-ostree rebase` when zincati is running on a FCOS system.

Previously if zincati happened to have staged + locked a deployment,
we'd keep around the lock which is definitely not what is desired.

tests: Use ext4, re-enable composefs test

Until the XFS fsverity stuff lands.

Merge pull request #3074 from cgwalters/more-errcontext-composefs

composefs: Add more error prefixing

Merge pull request #3073 from cgwalters/context-no-stateroot

deploy: Improve error message for nonexistent stateroot

composefs: Add more error prefixing

To help debug https://github.com/coreos/rpm-ostree/issues/4649

deploy: Improve error message for nonexistent stateroot

Came up on an internal chat; previously we were only erroring
out when trying to do the SELinux labeling for `/var` which
was really misleading.

Add some other error prefixing while we have the patient open.

Merge pull request #3062 from alexlarsson/transient-etc

Support transient /etc

Support transient /etc

If the `prepare-root.conf` file contains:
```
[etc]
transient=yes
```

Then during prepare-root, an overlayfs is mounted as /etc, with the
upper dir being in /run. If composefs is used, the lower dir is
`usr/etc` from the composefs image , or it is the deployed
`$deploydir/usr/etc`.

Note that for this to work with selinux, the commit must have been
built with OSTREE_REPO_COMMIT_MODIFIER_FLAGS_USRETC_AS_ETC. Otherwise
the lowerdir (/usr/etc) will have the wrong selinux contexts for the
final location of the mount (/etc).

We also set the transient-etc key in the ostree-booted file, pointing it
to the directory that is used for the overlayfs.

There are some additional work happening in ostree-remount, mostly
related to selinux (as this needs to happen post selinux policy
load):

 * Recent versions of selinux-poliy have issues with the overlayfs
   mount being kernel_t, and that is not allowed to manage files as
   needed. This is fixed in
   https://github.com/fedora-selinux/selinux-policy/pull/1893

 * Any /etc files created in the initramfs will not be labeled,
   because the selinux policy has not been loaded. In addition, the
   upper dir is on a tmpfs, and any manually set xattr-based selinux
   labels on those are reset during policy load. To work around this
   ostree-remount will relabel all files on /etc that have
   corresponding files in overlayfs upper dir.

 * During early boot, systemd mounts /run/machine-id on top of
   /etc/machine-id (as /etc is readonly). Later during boot, when etc
   is readwrite, systemd-machine-id-commit.service will remove the
   mount and update the real file under it with the right content. To
   ensure that this keeps working, we need to ensure that when we
   relabel /etc/machine-id we relabel the real (covered) file, not the
   temporary bind-mount.

 * ostree-remount no longer needs to remount /etc read-only in the
   transient-etc case.

Signed-off-by: Alexander Larsson <alexl@redhat.com>

Merge pull request #3072 from alexlarsson/fix-whiteout-test

tests: Fix whiteout test

Merge pull request #3063 from cgwalters/label-usretc-as-etc

repo: Add an option to label /usr/etc as /etc

tests: Fix whiteout test

This test was always skipped, because the check:

 if touch overlay/baz/.wh.cow &&
    touch overlay/.wh.deeper &&
    touch overlay/baz/another/.wh..wh..opq; then

always fails due to the missing overlay/baz/another directory.
Fix by creating the directory.

repo: Add an option to label /usr/etc as /etc

This will be very useful for enabling a "transient /etc" option
because we won't have to do hacks relabling in the initramfs, or
forcing it on just for composefs.

Merge pull request #3067 from cgwalters/ci-composefs

ci: Disable composefs test for now

Need to change the framework to boot with an Ignition config
that switches to ext4 soon.

ci: Ensure composefs+openssl are is enabled on Fedora

For some reason we're not picking this up in the Prow build,
which breaks things because now rpm-ostree hard requires it.

Let's make this a fatal build time error for more clear
debugging.

Merge pull request #3060 from owtaylor/export-hardlinks

When exporting, use hardlinks for duplicated files

When exporting, use hardlinks for duplicated files

For ostree_repo_export_tree_to_archive(), and 'ostree export', when the
exported tree contains multiple files with the same checksum, write an
archive with hard links.

Without this, importing a tree, then exporting it again breaks
hardlinks.

As an example of savings: this reduces the (compressed) size of the
Fedora Flatpak Runtime image from 1345MiB to 712MiB.

Resolves: #2925

Merge pull request #3049 from jlebon/pr/revert-virtiofs-hack

Revert "ci: Run cosa unprivileged"

Merge pull request #3059 from cgwalters/zipl-default-s390x

Revert "ci: Run cosa unprivileged"

This reverts commit 2fe88f80fae83e206f811003a072c73ceebcea59.

This shouldn't be necessary now with the workaround built in cosa:

https://github.com/coreos/coreos-assembler/pull/3625

Merge pull request #3046 from ostreedev/dependabot/submodules/composefs-cca8be4

build(deps): bump composefs from `af86742` to `cca8be4`

repo: Default bootloader to zipl on s390x

This will allow us to drop code like
https://github.com/coreos/coreos-assembler/blob/87fc693c115eae1e7ff0e1621ce26c9167af6e84/src/create_disk.sh#L503
which is really just unnecessary since there aren't any other
bootloaders we care about on this architecture.

Merge pull request #3058 from cgwalters/doc-authenticated-repos

docs: Add authenticated-repos.md

docs: Add authenticated-repos.md

Document options for accessing repositories that require authentication.

Merge pull request #3021 from cgwalters/insttest-composefs-binding

tests: Add an integration test for composefs signatures

Merge pull request #3053 from ericcurtin/add_overlay_and_erofs_to_initrd

boot/dracut: Add erofs and overlayfs kernel modules

boot/dracut: Add erofs and overlayfs kernel modules

These kernel modules are required for composefs usage in the initramfs.

The composefs use-case as of today uses an overlayfs on top of EROFS.

tests: Add an integration test for composefs signatures

Ensure we have some automated test coverage for this.

Merge pull request #3051 from cgwalters/rust-tests-update

rust/tests: Adjust for new ostree

Merge pull request #3052 from cgwalters/switch-libglnx-source

gitmodules: Use github GNOME mirror

gitmodules: Use github GNOME mirror

gitlab.gnome.org is down right now, but it's been somewhat
flaky in the past.  Our CI uptime becomes an *intersection*
of all systems it depends on, and by cutting out gitlab.gnome.org
we increase its reliability.

tests: Rework detection of trivial-httpd

Because it's now at the toplevel.

Merge pull request #3047 from ostreedev/dependabot/submodules/libglnx-aff1eea

build(deps): bump libglnx from `54ad67d` to `aff1eea`

Bumps libglnx from `54ad67d` to `aff1eea`.

---
updated-dependencies:
- dependency-name: libglnx
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump composefs from `af86742` to `cca8be4`

Bumps [composefs](https://github.com/containers/composefs) from `af86742` to `cca8be4`.
- [Release notes](https://github.com/containers/composefs/releases)
- [Commits](https://github.com/containers/composefs/compare/af867425799db92c92d35feb51d2c957f3e16ac7...cca8be49843385ce556fccf51f75821f70fb7769)

---
updated-dependencies:
- dependency-name: composefs
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3039 from cgwalters/rust-switch-include

rust: Switch to using `include`

This way we don't randomly pick up bits from the C library
unintentionally as things change on that side.

I think the support for `!` in `include` may be relatively new
and that's why the original author here chose to do things
via `exclude`.  But using `include` with a few specific exclusions
is just way better.

Merge pull request #2054 from jlebon/pr/static-delta-fetch-no-scan

lib/pull: Don't scan commit objects we fetch via deltas

lib/pull: Drop static delta superblocks references

We don't need them long-lived anymore. They were just used for reporting
at this point, but we can use the new `static_delta_targets` hash table
size for that now.

ci: Run cosa unprivileged

As a workaround for a virtiofs bug:
https://gitlab.com/virtio-fs/virtiofsd/-/merge_requests/197

xref coreos/coreos-assembler#3428 (comment)

Just like in https://github.com/coreos/rpm-ostree/pull/4585.

lib/pull: Don't scan commit objects we fetch via deltas

When we're fetching a commit via static delta, we already take care of
fetching the full commit, so there's no need to also scan it using the
regular object workflow.

Closes: #2053

lib/pull: Fix miscounting of missing metadata

If e.g. detached metadata or a parent commit is missing, we
don't consider it an error but we erroneously still increment the
`n_fetched_metadata` counter, causing it to be higher than it should.

This will implicitly be tested by a test added in the next patch.

app/pull-local: Add `--disable-static-delta`

For completeness with `pull`.

Prep for using it in testing to assert we'll never use static deltas.