Merge pull request #2836 from smcv/file-info-size

Cope with GLib 2.76 being more strict about GFileInfo standard::size

Merge pull request #2837 from smcv/g-steal-fd

Use g_steal_fd() in preference to glnx_steal_fd()

Merge pull request #2705 from cgwalters/always-boot

Add `sysroot.bootprefix` option

Merge pull request #2791 from cgwalters/enable-trust-return-nullability

Use g_steal_fd() in preference to glnx_steal_fd()

g_steal_fd() exists in GLib since 2.70, and libglnx has a backport for
older GLib versions, equivalent to the libglnx-specific glnx_steal_fd().

Signed-off-by: Simon McVittie <smcv@collabora.com>

write_content_object: Don't assume file info has standard::size

The file info object for symlinks might validly not have this attribute.
If not, behave as though it was 0, matching what happened with older
versions of GLib.

Signed-off-by: Simon McVittie <smcv@collabora.com>

_ostree_zlib_file_header_new: Default size to 0

Similar to the previous commit, but for
ostree_raw_file_to_archive_z2_stream() and similar public APIs.

Signed-off-by: Simon McVittie <smcv@collabora.com>

ostree_raw_file_to_content_stream: Make size default to 0

Some existing code calls into ostree_raw_file_to_content_stream() with
file objects that do not have the standard::size attribute. Since GLib
2.76.0, attempting to access the size of such an object raises a
critical warning. Handle this more gracefully by defaulting the size
to 0, like earlier versions of GLib did.

Signed-off-by: Simon McVittie <smcv@collabora.com>

rust: Renerate bindings

To pick up the latest introspection changes.

repo: Fix nullability for remote options

Unfortunately, the nullability of the output value here is
dependent on whether the `default_value` parameter is provided.  There's
no way to express this in introspection or Rust.

lib: Fix two nullable annotations

- commit parents are optional
- remote URLs are optional

rust: Bump semver

Since we did a bunch of API changes due to nullability and
other introspection cleanups.

Add docs and fix annotations for ostree-repo-file.c

The code here is not great, embarassing we've gone this
long without docs for some of these public API functions too.

I think this is right though.

Enable `trust_return_value_nullability`

Several commonly used APIs currently unnecessarily return
`Option<T>`, like `ostree_deployment_get_csum()`.

Flip the gir flag for this to on; I think our annotations are
correct.

Merge pull request #2835 from cgwalters/more-gfileinfo

tests: Set size on fileinfo

tests: Set size on fileinfo

Closes: https://github.com/ostreedev/ostree/issues/2827

Merge pull request #2834 from evan-a-a/fix_glib

core: Ensure glib standard::size attribute is always set

core: Ensure glib standard::size attribute is always set

* A recent change in glib [1] requires that the appropriate attribute
be available when calling getters. ostree core only sets this attribute
on regular files, and frequently triggers the critical warning. Solve
this by setting standard::size to zero for non-regular files.

Fixes https://github.com/ostreedev/ostree/issues/2827

[1]: https://gitlab.gnome.org/GNOME/glib/-/merge_requests/3261

Merge pull request #2832 from cgwalters/fix-itest-pull-space

itest-pull-space: Use mkfs.ext4, align to at least 512b

Merge pull request #2831 from nanonyme/larger-buffer

Increase buffer size for create_regular_tmpfile_linkable_with_content

Increase buffer size for create_regular_tmpfile_linkable_with_content

The small buffer size results in really bad performance under any
FUSE-based filesystems with round-trips.

Merge pull request #2814 from tintou/tintou/ostree-coverage

libostree: Enhance the annotation coverage

itest-pull-space: Use mkfs.ext4, align to at least 512b

XFS now seems to want filesystems larger than 300MB, so switch
to ext4.  Also use `20MiB` so we align to 512b sectors to squash
a `losetup` warning.
Also tweak some of the numbers to still work.

Merge pull request #2821 from smcv/sbin-path

tests: Ensure non-root users have access to libcap tools

Merge pull request #2829 from pwithnall/fetcher-wakeup

lib/fetcher-util: Wake up main context when a request is complete

Merge pull request #2824 from cgwalters/regen-bindings

rust-bindings: Regenerate for 2023.1 && rust-bindings: `Sysroot` is `Send`

Merge pull request #2828 from travier/docs-theme-update

docs: Use upstream theme & update to 0.4.1

lib/fetcher-util: Wake up main context when a request is complete

Since the value of `data->done` is not watched by the main context, the
context doesn’t know to wake up from `g_main_context_iteration()` when
that value is changed. The code currently relies on something else
happening to wake the main context up shortly after `data->done` is set.

That doesn’t seem very reliable, so wake the main context up explicitly.

Spotted this while reading the code while trying to debug a stall with
backtrace:
```
5  0x00007ffff68bbbfb in g_main_context_iteration (context=0x60f000136900, may_block=1) at ../../source/glib/glib/gmain.c:4343
6  0x00007fffdc0e50db in _ostree_fetcher_mirrored_request_to_membuf_once (fetcher=0x604001138c10, mirrorlist=0x603001df18b0, filename=0x7fffdc1049e7 "summary.sig", flags=OSTREE_FETCHER_REQUEST_OPTIONAL_CONTENT, if_none_match=0x602002f3b7f0 "\"640a49ff-250\"", if_modified_since=1678395903, out_contents=0x7fffdadd0e80, out_not_modified=0x7fffdadd0e38, out_etag=0x7fffdadd0e28, out_last_modified=0x7fffdadd0e00, max_size=10485760, cancellable=0x6060004bd720, error=0x7fffdadd0ca0) at src/libostree/ostree-fetcher-util.c:95
7  0x00007fffdc0e52e0 in _ostree_fetcher_mirrored_request_to_membuf (fetcher=0x604001138c10, mirrorlist=0x603001df18b0, filename=0x7fffdc1049e7 "summary.sig", flags=OSTREE_FETCHER_REQUEST_OPTIONAL_CONTENT, if_none_match=0x602002f3b7f0 "\"640a49ff-250\"", if_modified_since=1678395903, n_network_retries=5, out_contents=0x7fffdadd0e80, out_not_modified=0x7fffdadd0e38, out_etag=0x7fffdadd0e28, out_last_modified=0x7fffdadd0e00, max_size=10485760, cancellable=0x6060004bd720, error=0x7fffdadd10c0) at src/libostree/ostree-fetcher-util.c:155
8  0x00007fffdc08d937 in _ostree_preload_metadata_file (self=0x61600057bd80, fetcher=0x604001138c10, mirrorlist=0x603001df18b0, filename=0x7fffdc1049e7 "summary.sig", is_metalink=0, if_none_match=0x602002f3b7f0 "\"640a49ff-250\"", if_modified_since=1678395903, n_network_retries=5, out_bytes=0x7fffdadd0e80, out_not_modified=0x7fffdadd0e38, out_etag=0x7fffdadd0e28, out_last_modified=0x7fffdadd0e00, cancellable=0x6060004bd720, error=0x7fffdadd10c0) at src/libostree/ostree-repo-pull.c:3329
9  0x00007fffdc099712 in ostree_repo_remote_fetch_summary_with_options (self=0x61600057bd80, name=0x6020007f4fd0 "eos-apps", options=0x0, out_summary=0x7fffdadd0f88, out_signatures=0x7fffdadd0f80, cancellable=0x6060004bd720, error=0x7fffdadd10c0) at src/libostree/ostree-repo-pull.c:6675
10 0x00007fffdc06887f in ostree_repo_remote_fetch_summary (self=0x61600057bd80, name=0x6020007f4fd0 "eos-apps", out_summary=0x7fffdadd0f88, out_signatures=0x7fffdadd0f80, cancellable=0x6060004bd720, error=0x7fffdadd10c0) at src/libostree/ostree-repo.c:2706
11 0x00007fffdc18f5de in flatpak_dir_remote_fetch_summary (self=0x60c00577e640, name_or_uri=0x6020007f4fd0 "eos-apps", only_cached=0, out_summary=0x7fffdadd10f0, out_summary_sig=0x7fffdadd10e8, cancellable=0x6060004bd720, error=0x7fffdadd10c0) at /opt/gnome/source/flatpak/common/flatpak-dir.c:12235
12 0x00007fffdc1918cb in _flatpak_dir_get_remote_state (self=0x60c00577e640, remote_or_uri=0x6020007f4fd0 "eos-apps", optional=1, local_only=0, only_cached=0, opt_summary_is_index=0, opt_summary=0x0, opt_summary_sig=0x0, cancellable=0x6060004bd720, error=0x7fffdadd15a0) at /opt/gnome/source/flatpak/common/flatpak-dir.c:12789
13 0x00007fffdc19206d in flatpak_dir_get_remote_state_optional (self=0x60c00577e640, remote=0x6020007f4fd0 "eos-apps", only_cached=0, cancellable=0x6060004bd720, error=0x7fffdadd15a0) at /opt/gnome/source/flatpak/common/flatpak-dir.c:12953
14 0x00007fffdc1784f2 in flatpak_dir_update_appstream (self=0x60c00577e640, remote=0x6020007f4fd0 "eos-apps", arch=0x7fffdc239f30 "x86_64", out_changed=0x0, progress=0x6110007479c0, cancellable=0x6060004bd720, error=0x7fffdadd15a0) at /opt/gnome/source/flatpak/common/flatpak-dir.c:5182
```

I don’t think it’ll fix it (calling `g_main_context_wakeup()` on the
context in the debugger didn’t help), but it can’t hurt.

Signed-off-by: Philip Withnall <pwithnall@endlessos.org>

docs: Use upstream theme & update to 0.4.1

Use a fixed tag for the theme so that we can directly pull it from
upstream and skip vendoring the theme in the coreos org.

rust-bindings: `Sysroot` is `Send`

I want to spawn tokio worker threads referencing sysroot objects
in bootc.

Just like the repo, there's nothing thread-local about it.

rust-bindings: Regenerate for 2023.1

Still need to automate this...

build(deps): bump libglnx from `4e44fd9` to `07e3e49`

Bumps libglnx from `4e44fd9` to `07e3e49`.

---
updated-dependencies:
- dependency-name: libglnx
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

tests: Ensure non-root users have access to libcap tools

On Debian systems, by default only root has /{usr/,}sbin in PATH.

Signed-off-by: Simon McVittie <smcv@collabora.com>

Merge pull request #2818 from cgwalters/release-rust

Release rust/ bindings 0.17.1

Merge pull request #2755 from cgwalters/use-new-selinux-arg

Release rust/ bindings 0.17.1

Merge pull request #2817 from cgwalters/release

configure: post-release version bump

Release 2023.1

libostree: Enhance the annotation coverage

Increase the coverage of the GObject Introspection annotation and most notably
replace the use of "allow-none" with "out" parameters to "nullable" or "optional"
as the previous annotation is deprecated and ambiguous.

Merge pull request #1946 from dbnicholson/ostree-metadata-api

ostree-metadata commit API

Merge pull request #2811 from dbnicholson/cli-polish

Various CLI improvements

Merge pull request #2792 from lucab/ups/annotation-nullable

lib/sysroot-upgrader: add some 'nullable' annotations

lib/sysroot-upgrader: add some 'nullable' annotations

bin/remote-summary: Add options to show metadata

bin/summary: Add options to show metadata

ostree/dump: Add support for summary metadata keys

Like with commit metadata, it's useful to list and print metadata keys
are in a summary file. This adds helpers to do that.

bin/show: Add options to list metadata keys

While `--print-metadata-key` is very useful, it's not that helpful if
you don't know what the keys are.

bin/remote-refs: Add option to print revisions

The only other way to get the remote ref revision from the CLI is to
scrape the output of `ostree remote summary` or pull the commit. The
revision is already there in the summary's ref map, so might as well add
an option to show it.

bin/refs: Add option to print revisions

Allow printing the revision along with the ref. This is very convenient
for looping over the refs in a shell as well as for quickly seeing which
refs are pointed to the same commit.

bin/refs: Sort listing

The output is much more readable sorted. I can't think of any reason
you'd want it unsorted (which is essentially dentry order).

bin: Cleanup documentation of --cache-dir option

In all cases documentation was missing from the manual and the bash
completion was incorrectly assigning it as a boolean option.

repo: Prevent publishing summary without matching signature

Use a temporary directory for the summary and signature file in
`ostree_repo_regenerate_metadata` so that the summary file isn't
published if signing fails. This prevents publishing a summary without a
signature file or leaving a mismatched signature file in place.

lib: Provide internal summary signing with separate directory

Refactor the summary signing APIs to use internal versions where the
directory fd containing the summary can be found. The existing signing
APIs still uses the repo directory fd, but this will allow using a
temporary directory for the summary and signature in the new metadata
generating API.

repo: Create metadata commit in ostree_repo_regenerate_metadata

Rather than creating the `ostree-metadata` commit in the summary
builtin, do it in the new `ostree_repo_regenerate_metadata` API. The
commit contents are unchanged and the commit is generated before the
summary as before. To keep from triggering an extra summary update,
automatic summary updating is disabled in the transaction.

Since the summary builtin was already using the new API, it will
continue to generate the `ostree-metadata` commit when the repo has a
collection ID. However, the `ostree_repo_regenerate_summary` API will
still only generate the summary file as before.

commit: Allow skipping automatic summary generation

If a commit is being made during summary generation, then it would
trigger the summary to be generated again. That's either unwanted busy
work or could result in an infinite loop. Add a boolean in
`OstreeRepoTxn` to disable automatic summary generation as seen fit.

bin/summary: Use ostree_repo_regenerate_metadata

Call `ostree_repo_regenerate_metadata` with the provided GPG and sign
keys to generate and sign the summary in one call. This changes the
handling when GPGME support is disabled but GPG keys are supplied.
Instead of silently ignoring the option, it will now error. IMO that's
better as callers would otherwise not know that the summary is not GPG
signed.

repo: Add API to regenerate and sign repo metadata

Currently this is just a wrapper around regenerating and signing the
summary in one call, but later it will be used to also generate the
`ostree-metadata` commit if the repo has a collection ID.

Strip trailing whitespace on all C files

My editor started following the configuration in .editorconfig and is
applying this rule to many files I'm editing. Let's just get this over
with and strip everything. This was done like so:

  git ls-files | grep '\.[ch]$' | xargs sed -ri 's/\s+$//'

Merge pull request #2810 from tmdh/fix-docs

docs: Fix link to ostree-rs

docs: Fix link to ostree-rs

Merge pull request #2808 from jlebon/pr/lock-prune

ostree/prune: Calculate reachability under exclusive lock

ostree/prune: Calculate reachability under exclusive lock

When we calculate the reachability set in `ostree prune`, we do this
without any locking. This means that between the time we build the set
and when we call `ostree_repo_prune_from_reachable`, new content
might've been added. This then causes us to immediately prune that
content since it's not in the now outdated set.

Fix this by calculating the set under an exclusive lock.

I think this is what happened in
https://github.com/fedora-silverblue/issue-tracker/issues/405. While
the pruner was running, the `new-updates-sync` script[1] was importing
content into the repo. The newly imported commits were immediately
deleted by the many `ostree prune --commit-only` calls the pruner does,
breaking the refs.

[1] https://pagure.io/fedora-infra/ansible/blob/35b35127e444/f/roles/bodhi2/backend/files/new-updates-sync#_18

Merge pull request #2795 from cgwalters/fix-docsrs-build

bindings: Use default for uninitialized fields in checkout opts

bindings: Consistently check for `dox` feature

This fixes the build on docs.rs:

https://docs.rs/crate/ostree-ext/0.10.2/builds/699039
```
[INFO] running `Command { std: "docker" "start" "-a" "7d90466f040d987cbcc393bc89f5f0688f052f49e2339c354dd731fdaf0f9667", kill_on_drop: false }`
[INFO] [stderr]     Checking ostree v0.17.0
[INFO] [stderr] error[E0063]: missing field `process_passthrough_whiteouts` in initializer of `repo_checkout_at_options::RepoCheckoutAtOptions`
[INFO] [stderr]   --> /opt/rustwide/cargo-home/registry/src/github.com-1ecc6299db9ec823/ostree-0.17.0/rust-bindings/src/repo_checkout_at_options/mod.rs:61:9
[INFO] [stderr]    |
[INFO] [stderr] 61 |         RepoCheckoutAtOptions {
[INFO] [stderr]    |         ^^^^^^^^^^^^^^^^^^^^^ missing `process_passthrough_whiteouts`
```

Merge pull request #2807 from dbnicholson/hyper-staticfile-yanked

tests/inst: Update hyper-staticfile to 0.9.4

tests/inst: Update hyper-staticfile to 0.9.4

Due to some vulnerabilities[1][2], all versions prior to 0.9.4 have been
yanked from crates.io. There have been some API changes since 0.6.0, but
none of them affect the simple `hyper_staticfile::Static` usage here.

1. https://rustsec.org/advisories/RUSTSEC-2022-0069.html
2. https://rustsec.org/advisories/RUSTSEC-2022-0072.html

Merge pull request #2793 from ericcurtin/aboot-bootloader-support

bootloader: Add an aboot (Android) bootloader backend

Merge pull request #2799 from jeamland/replace-radix64

Replace the radix64 crate with base64

Replace the radix64 crate with base64

The radix64 crate was last updated over 3 years ago. On the other
hand the base64 crate appears to be far more actively maintained,
supports all the needed features and has a few orders of magnitude
more users.

Merge pull request #2798 from akiernan/support-musl-erange

tests: Handle musl's ERANGE mapping

tests: Handle musl's ERANGE mapping

musl uses "Result not representable" for ERANGE, support this in
addition to glibc's "Numerical result out of range".

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

Merge pull request #2797 from akiernan/fix-musl-allperms

lib/repo-checkout: Add ALLPERMS for musl

lib/repo-checkout: Add ALLPERMS for musl

ALLPERMS is glibc specific, add a definition for musl.

Signed-off-by: Alex Kiernan <alex.kiernan@gmail.com>

bootloader: Add an aboot (Android) bootloader backend

aboot is special in that it packages kernel, initrd, cmdline, dtb and
signature one combined image (similar to upcoming unified kernel
images). This is then loaded as an image into an aboot partition.

This image is signed by the OS vendor and covers everything in the
image. So locally on the deployed system it should not be possible to
boot an unsigned image (unless signature checking is turned off).

We call a shell script aboot-deploy when it is required to write a new
image to the aboot partition (a file typically starting with aboot and
ending in .img extension). This shell script may also read some
configurations from a .cfg file.

Signed-off-by: Eric Curtin <ecurtin@redhat.com>

Merge pull request #2766 from cgwalters/avoid-endless-object-queueing

Closes https://github.com/ostreedev/ostree/issues/2732

Merge pull request #2789 from lucab/ups/autoconf-gpg-libs

configure: use pkg-config with newer gpgme and gpg-error

lib/repo: fix an 'unused-function' warning

This silences a warning when building the project with `--with-gpme=no`.

configure: use pkg-config with newer gpgme and gpg-error

This tweaks autoconf logic in order to use pkg-config for gpgme
and gpg-error when available.
Recent versions of gpgme directly provide threaded support, and
gpg-error started shipping a .pc file. Thus on recent distributions
it is possible to directly use pkg-config for both. On older
environments, the legacy logic is kept in place.

Merge pull request #2788 from lucab/ups/lib-assertions

lib: assert more invariants

Merge pull request #2787 from cgwalters/release-rust-bindings

rust: Bump to 0.17

lib: assert more invariants

This converts a few more safety checks into either plain GErrors
or hard assertions.

rust: Bump to 0.17

We switched gio and cap-std versions, so we need to bump
our own semver.

Merge pull request #2786 from cgwalters/release

Release 2022.7

configure: post-release version bump

Release 2022.7

Merge pull request #2784 from cgwalters/ci-build-integration-tests

ci: Add a flow that combines C build and Rust integration tests

Merge pull request #2781 from cgwalters/bump-bindings

ci: Add a flow that combines C build and Rust integration tests

Today it's just the Jenkins flow which builds our Rust
integration tests.  Let's add a flow to the GH actions which
does this, and also runs inside a (privileged) container.

Prep for doing more testing of the ostree-container path here.

Merge pull request #2782 from cgwalters/testinst-updates

Merge pull request #2783 from cgwalters/test-sudo

tests: Require OSTREE_TEST_SUDO to be set to use `sudo`

tests: Require OSTREE_TEST_SUDO to be set to use `sudo`

IMO, tools invoking `sudo` automatically is a huge anti-pattern.
Require this to be opt-in.

In practice also...these tests really want to be *integration*
and not unit tests because involving `sudo` alongside uninstalled
binaries just creates a giant mess.

Closes: https://github.com/ostreedev/ostree/issues/2761

tests/inst: Update sh-inline

tests/inst: Update cap-std-ext to 1.0

tests/inst: Drop nix dependency

It has various semver bumps and we were literally just using
it to duplicate what's already in `libc`.

tests/inst: Update to latest ostree-ext

rust: Regenerate with latest gir and C sources

Merge pull request #2768 from cgwalters/update-gio

rust: Update to gio 0.16

Merge pull request #2779 from cgwalters/sysroot-mountns

sysroot: Add an API to initialize with mountns

sysroot: Add an API to initialize with mountns

This lowers down into the C library some logic we
have in the binary/app logic, in prep for having more Rust-native
CLI code in https://github.com/ostreedev/ostree-rs-ext/pull/412

Basically we want to *ensure* a mount namespace by invoking
`unshare()` if necessary, instead of requiring our callers
to do this dance.

This also helps fix e.g.
Closes: https://github.com/ostreedev/ostree/issues/2769