repo: Correctly initialize refcount of temporary transaction

Previously, the reference count was left uninitialized as a result of
bypassing the constructor, and the intended abort-on-error usually
wouldn't have happened.

Fixes: 8a9737a "repo/private: move OstreeRepoAutoTransaction to a boxed type"
Resolves: https://github.com/ostreedev/ostree/issues/2592
Signed-off-by: Simon McVittie <smcv@collabora.com>

repo: Factor out _ostree_repo_auto_transaction_new()

This will allow the direct allocation in
ostree_repo_prepare_transaction() to be replaced with a call to this
function, avoiding breaking encapsulation.

Signed-off-by: Simon McVittie <smcv@collabora.com>

Merge pull request #2589 from cgwalters/ostree-boot-complete

Add an `ostree-boot-complete.service` to propagate staging failures

Quite a while ago we added staged deployments, which solved
a bunch of issues around the `/etc` merge.  However...a persistent
problem since then is that any failures in that process that
happened in the *previous* boot are not very visible.

We ship custom code in `rpm-ostree status` to query the previous
journal.  But that has a few problems - one is that on systems
that have been up a while, that failure message may even get
rotated out.  And second, some systems may not even have a persistent
journal at all.

A general thing we do in e.g. Fedora CoreOS testing is to check
for systemd unit failures.  We do that both in our automated tests,
and we even ship code that displays them on ssh logins.  And beyond
that obviously a lot of other projects do the same; it's easy via
`systemctl --failed`.

So to make failures more visible, change our `ostree-finalize-staged.service`
to have an internal wrapper around the process that "catches" any
errors, and copies the error message into a file in `/boot/ostree`.

Then, a new `ostree-boot-complete.service` looks for this file on
startup and re-emits the error message, and fails.

It also deletes the file.  The rationale is to avoid *continually*
warning.  For example we need to handle the case when an upgrade
process creates a new staged deployment.  Now, we could change the
ostree core code to delete the warning file when that happens instead,
but this is trying to be a conservative change.

This should make failures here much more visible as is.

Merge pull request #2588 from cgwalters/ostree-and-ima

docs: Add new IMA document

Update docs/ima.md

Co-authored-by: Jonathan Lebon <jonathan@jlebon.com>

docs: Add new IMA document

Now that the fixed code for `ima-sign` landed in
https://github.com/ostreedev/ostree-rs-ext/pull/283

Merge pull request #2584 from cgwalters/fix-ci

ci: Mask zincati for synthetic update

ci: Mask zincati for synthetic update

Our CI started falling over because coreos-assembler checks
for units stuck activating as of https://github.com/coreos/coreos-assembler/pull/2810

Really need to centralize the code for this and fix the root
problem, but...not today.

xref https://github.com/coreos/coreos-assembler/pull/2814

Merge pull request #2583 from cgwalters/curl-check-setopt

fetcher/curl: Consistently check return value `curl_easy_setopt`

fetcher/curl: Consistently check return value `curl_easy_setopt`

Static analyzers don't like when we only check it sometimes.

And we definitely want to know if any of these are failing.

Merge pull request #2578 from lucab/ups/move-fixture

tests: move fixture to fix installed tests

tests: move fixture to fix installed tests

This moves around the packed archive for bare-split-xattrs mode,
in order to fix installed tests.

Merge pull request #2577 from dbnicholson/man-html

Publish man pages

docs: Publish man pages

Make a copy of `man/html` to `docs/man` and then configure Jekyll to
include it verbatim like the API docs. A link is added to the main index
and the necessary commands are added to the github docs workflow.

man: Create an HTML index

This provides something that can serve at the root of the HTML man pages
tree.

man: Use custom XSL stylesheet for HTML output

This allows using a template stolen from systemd to turn references into
links.

man: Allow building HTML man pages

Add a --enable-man-html configure option to build HTML man pages using a
different stylesheet. The HTML pages aren't installed as I don't know
what purpose they'd serve on an actual installation.

man: Remove unnecessary nbsp's from ostree man page

I really don't know what these were for. In both man and HTML output
with a recent version of the Docbook XSL, the command synopses are
already indented. I don't see any reason why they'd need to be manually
indented more.

Merge pull request #2576 from cgwalters/archive-handle-null-link

libarchive: Handle `archive_entry_symlink()` returning NULL

The `archive_entry_symlink()` API can definitely return `NULL`,
reading through the libarchive sources.

I hit this in the wild when using old ostree-ext to try to unpack
a chunked archive.

I didn't try to characterize this more, and sorry no unit test right
now.

Merge pull request #2569 from WOnder93/finalize-deployment-selinux-policy

deploy: Try to rebuild policy in new deployment if needed

deploy: Be a bit more verbose about SELinux bits

Let's log when we don't find the expected CLI argument which
will help debug things.

deploy: Try to rebuild policy in new deployment if needed

Whenever the user has SELinux enabled and has any local
modules/modifications installed, it is necessary to rebuild the policy
in the final deployment, otherwise ostree will leave the binary policy
files unchanged from last deployment as it detects difference against
the base content (in rpm-ostree case this is the RPM content).

To avoid the situation where the policy binaries go stale once any local
customization of the policy is made, try to rebuild the policy as part
of sysroot_finalize_deployment(). Use the special
--rebuild-if-modules-changed switch, which detects if the input module
files have changed relative to last time the policy was built and skips
the most time-consuming part of the rebuild process if modules are
unchanged (thus making this a relatively cheap operation if the user
hasn't made any modifications to the shipped policy).

As suggested by Jonathan Lebon, this uses bubblewrap (via
g_spawn_sync()) to perform the rebuild inside the deployment's
filesystem tree, which also means that ostree will have a runtime
dependency on bubblewrap.

Partially addresses: https://github.com/coreos/fedora-coreos-tracker/issues/701

Signed-off-by: Ondrej Mosnacek <omosnace@redhat.com>

Merge pull request #2573 from jtojnar/single-bin-coreutils-extensions

tests/test-cli-extensions: Fix with single-binary coreutils

tests/test-cli-extensions: Fix with single-binary coreutils

On systems where `coreutils` are built with `--enable-single-binary=symlinks` like Nix,
`/usr/bin/env` is symlinked to `/usr/bin/coreutils` and uses `argv[0]` to determine which program to run.
Since the `test-cli-extensions.sh` created a new symlink named `ostree-env`,
coreutils would be confused about the utility to choose, so running it would fail:

ostree-env: unknown program ‘ostree-env’
Try 'ostree-env --help' for more information.

Fixes: https://github.com/ostreedev/ostree/issues/2553

Merge pull request #2566 from cgwalters/ci-update

Merge pull request #2528 from cgwalters/test-crate-update

Update to sh-inline 0.2

Syncing up with the latest.

ci: Update docs workflow to use fcos-buildroot

This way we can also use `./ci/installdeps.sh` which avoids yet
another list of dependencies.

ci: Disable Ubuntu LTS

It doesn't have a new enough glib.

Merge pull request #2551 from q66/guri

lib: bump glib requirement to 2.66 and port to GUri

glib: bump glib requirement to 2.66 and port to GUri

This removes the old SoupURI copypasta from previous generation
of libsoup and opens up a path for a simple libsoup3 port.

Update to rand 0.8

Part of general crate updates.

Update to ostree-ext 0.6

Part of general crate updates.

Update to nix 0.23

Part of general crate updates.

tests: Stop using inventory crate

I was reading this thread
https://internals.rust-lang.org/t/from-life-before-main-to-common-life-in-main/16006/30
and that reminded me about this code, which it turns out actually
doesn't compile with my default local cargo config:
```
$ cat ~/.cargo/config
[target.x86_64-unknown-linux-gnu]
rustflags = ["-Ctarget-cpu=native", "-C", "link-arg=-fuse-ld=lld"]

[profile.release]
incremental = true
$ cargo b
...
error: linking with `cc` failed: exit status: 1
  |
  = note: "cc" "-m64" "/var/srv/walters/src/github/ostreedev/ostree/target/debug/deps/ostree_test-4ca8e730f9dc6ffc.10325uqlhkyr5uol.rcgu.o" "/var/srv/walte"
  = note: ld.lld: error: undefined symbol: __start_linkme_NONDESTRUCTIVE_TESTS
          >>> referenced by 22nn09lfsklfqvyy
          >>>               /var/srv/walters/src/github/ostreedev/ostree/target/debug/deps/ostree_test-4ca8e730f9dc6ffc.22nn09lfsklfqvyy.rcgu.o:(ostree_tes)

```

For now let's just go back to having a static list of functions.
We don't have *too* many of those.

Merge pull request #2563 from cgwalters/tmpfiles-run

tmpfiles: Create `/run/ostree`

tmpfiles: Create `/run/ostree`

This is referenced by https://github.com/ostreedev/ostree-rs-ext/blob/9645cee4f29786ba51ae9d62a52eeef9230146fd/lib/src/globals.rs#L16
specifically used for the (container image) pull secret in
`/run/ostree/auth.json`.

Let's pre-create the directory so users don't have to.

Motivated by https://github.com/openshift/machine-config-operator/pull/3007#discussion_r824172564

Merge pull request #2564 from damdo/patch-1

README.md: update ostree-rs language binding link

README.md: update ostree-rs language binding link

According to the description on https://gitlab.com/fkrull/ostree-rs/ the repository is now moved to https://github.com/ostreedev/ostree-rs

Merge pull request #2562 from josepht/main

Add Fedora Kinoite link to index.md also.

Add Fedora Kinoite link to index.md also.

Merge pull request #2561 from pwithnall/pull-leak

ostree-repo-pull: Take correct out path on error

ostree-repo-pull: Take correct out path on error

Like every other error return path in this function, jump to the `out`
label on error here. Returning directly will cause leaks.

Spotted by reading the code, not actually necessarily encountered in the
wild.

Signed-off-by: Philip Withnall <pwithnall@endlessos.org>

Merge pull request #2560 from smcv/sigpipe

test-prune: Read to the end of cut(1) output

Merge pull request #2559 from smcv/shebang

Fix shebang in s390x-se-luks-gencpio

test-prune: Read to the end of cut(1) output

If we use head(1) to take only the first two lines, then cut(1) and
earlier pipeline entries are killed by SIGPIPE (if they have not already
terminated), and that's flagged as an error under `set -o pipefail`.
Use an equivalent sed command to take exactly the second line, but
without SIGPIPE.

Signed-off-by: Simon McVittie <smcv@debian.org>
Gbp-Pq: Name test-prune-Read-to-the-end-of-cut-1-output.patch

s390x-se-luks-gencpio: Use interoperable path for bash

On OSs that do not consistently merge /usr/bin with /bin, the path to
bash has traditionally been /bin/bash.

Signed-off-by: Simon McVittie <smcv@debian.org>

s390x-se-luks-gencpio: Fix shebang syntax

An indented `#!` is technically meaningless, although many shells will
run text files with the shell if asked to execute them.

Signed-off-by: Simon McVittie <smcv@debian.org>

Merge pull request #2557 from lucab/ups/apidoc-includes

apidoc: add missing page includes

apidoc: add missing page includes

This fixes some missing sections in API reference, adding all the
relevant includes.

Merge pull request #2556 from ostreedev/release-2022.2

Release 2022.2

configure: post-release version bump

Release 2022.2

Merge pull request #2532 from lucab/ups/repo-mode-bare-split-xattrs

lib/core: introduce 'bare-split-xattrs' mode

tests/basic-bare-split-xattrs: add fixture, check read logic

lib/commit: disallow writing content in 'bare-split-xattrs' mode

This prevents writing content into 'bare-split-xattrs` repository,
while carving some space for experimenting via a temporary
`OSTREE_EXP_WRITE_BARE_SPLIT_XATTRS` environment flag.

lib/repo: read split xattrs content from file-xattrs-link objects

lib/core: introduce 'bare-split-xattrs' mode

lib/core: introduce two new object types for split xattrs

This adds two new object types for storing xattrs separately from
content objects.

`.file-xattrs` are regular files storing xattrs content, encoded as
GVariant. Each object is keyed by the checksum of its content, allowing
for multiple references.

`.file-xattrs-link` are hardlinks which are associated to file objects.
Each object is keyed by the same checksum of the corresponding file
object. The target of the hardlink is an existing file-xattrs object.
In case of reaching the limit of too many links, this object could be
a plain file too.

Merge pull request #2554 from ostreedev/dependabot/submodules/libglnx-c71f7ae

build(deps): bump libglnx from `88da8dd` to `c71f7ae`

build(deps): bump libglnx from `88da8dd` to `c71f7ae`

Bumps libglnx from `88da8dd` to `c71f7ae`.

---
updated-dependencies:
- dependency-name: libglnx
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2536 from saqibali-2k/pr/prune-commit-only

src/ostree: Add --commit-only option to ostree prune

tests/test-prune.sh: Use TAP API

Change tests to use the newer TAP API introduced
in https://github.com/ostreedev/ostree/pull/2440

tests/test-prune.sh: expand testing for --commit-only

Let's add additional tests to expand the test
suite for the new --commit-only functionality.

man/prune, bash: Add --commit-only flag for ostree prune

Update the man page and the auto-complete script
to include the --commit-only flag

src/ostree: Add --commit-only option to ostree prune

Recently we have noticed exceedingly long execution times
for multiple invocations of ostree prune. This is a result of
calculating full reachability on each invocation.

The --commit-only flag provides an alternative strategy. It will only
traverse and delete commit objects to avoid the more expensive
reachability calculations. This allows us to chain multiple --commit-only
commands cheaply, and then follow with a more expensive ostree prune
invocation at the end to clean up orphaned meta and content objects.

Merge pull request #2548 from cgwalters/mtree-load-ensured

Merge pull request #2552 from ostreedev/dependabot/submodules/libglnx-88da8dd

build(deps): bump libglnx from `803adaf` to `88da8dd`

build(deps): bump libglnx from `803adaf` to `88da8dd`

Bumps libglnx from `803adaf` to `88da8dd`.

---
updated-dependencies:
- dependency-name: libglnx
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2549 from ostreedev/mwleeds/fix-partial-delta-fetches

Fix marking static delta commits as partial

lib/repo-refs: Remove misleading newline

Fix marking static delta commits as partial

This patch makes it so that we mark the .commit file from a static delta
as partial before writing the commit to the staging directory. This
exactly mirrors what we do in meta_fetch_on_complete() when writing the
commit on that codepath, which should lend some credibility to the
correctness of this patch.

I have checked that this fixes an issue Flatpak users have been
encountering (https://github.com/flatpak/flatpak/issues/3479) which
results in error messages like "error: Failed to install
org.freedesktop.Sdk.Extension.texlive: Failed to read commit
c7958d966cfa8b80a42877d1d6124831d7807f93c89461a2a586956aa28d438a: No
such metadata object
8bdaa943b957f3cf14d19301c59c7eec076e57389e0fbb3ef5d30082e47a178f.dirtree"

Here's the sequence of events that lead to the error:
1. An install operation is started that fetches static deltas.
2. The fetch is interrupted for some reason such as network connectivity
   dropping.
3. The .commit and .commitmeta files for the commit being pulled are
   left in the staging dir, e.g.
   "~/.local/share/flatpak/repo/tmp/staging-dfe862b2-13fc-49a2-ac92-5a59cc0d8e18-RURckd"
4. There is no `.commitpartial` file for the commit in
   "~/.local/share/flatpak/repo/state/"
5. The next time the user attempts the install, libostree reuses the
   existing staging dir, pulls the commit and commitmeta objects into
   the repo from the staging dir on the assumption that it's a complete
   commit.
6. Flatpak then tries to deploy the commit but fails in
   ostree_repo_read_commit() in flatpak_dir_deploy(), leading to the
   error message "Failed to read commit ..."
7. This happens again any subsequent time the user attempts the install,
   until the incomplete commit is removed with "flatpak repair --user".

I will try to also add a workaround in Flatpak so this is fixed even
when Flatpak links against affected versions of libostree.

mtree: Load traversed subdirs when creating parents

I'm working on enhancing the ostree-rs-ext test suite and I hit
a bug where walking a mtree and creating a parent would fail to
load lazy intermediate directories, e.g.:

/ -> usr -> bin

If we walked we'd load `/` but keep `usr` lazy, and then invalidation
would crash because it wasn't loaded.

If we're going to mutate a subdir, we need to have all the parents
loaded.

I know this is missing tests, but...it's a bit tedious to do with
the existing C tests.  Eventually soon we'll execute on merging
all 3 repos, and better share test suites.

mtree: Use declare-and-initialize style

Prep for further work.

Merge pull request #2546 from cgwalters/drop-aggregate-return

build-sys: Drop `-Werror=aggregate-return`

build-sys: Drop `-Werror=aggregate-return`

This is failing for me as of recently but only when I build
without optimization.  I don't think we've ever written any
code that returned a large structure by value.

Let's just drop this one.

Merge pull request #2545 from dbnicholson/lgtm-deps

.lgtm.yml: Fix gpgme dependency

.lgtm.yml: Fix gpgme dependency

Since Ubuntu 18.04, libgpgme-dev is the real package and libgpgme11-dev
is a virtual package provided by it. Apparently LGTM running on Ubuntu
20.04 no longer resolves the virtual package:

```
WARNING: Package 'libgpgme11-dev' requested by configuration file was not found
```

That ends up causing the build to fail:

```
configure: error: Need GPGME_PTHREAD version 1.1.8 or later
```

Merge pull request #2542 from cgwalters/tar-error-prefixing

lib/tar: Add some error prefixing

lib/tar: Add some error prefixing

We're trying to debug a problem with a tar stream with hardlinks,
and I think this will be helpful.

Merge pull request #2541 from melix99/find-remotes-fix-typo

man: Fix typo in ostree-find-remotes

Merge pull request #2540 from melix99/switch-fix-typo

man: Fix typo in ostree-admin-switch

man: Fix typo in ostree-find-remotes

man: Fix typo in ostree-admin-switch

Merge pull request #2539 from chergert/main

lib/bootloader: use ot_journal_print() instead of sd-journal

lib/bootloader: use ot_journal_print() instead of sd-journal

This needs to use the helper so that USE_LIBSYSTEMD still works as
expected.

lib/util: add syslog.h for ot_journal_print()

If we aren't including sd-journal, we may need this too.

Merge pull request #2538 from cgwalters/dirmeta-not-floating

core: Mark `ostree_create_directory_metadata` as `(not nullable)`

Merge pull request #2491 from nikita-dubrovskii/secure-execution

s390x: add secure-execution support

core: Mark `ostree_create_directory_metadata` as `(not nullable)`

So I can drop an unnecessary use of `unwrap()` in Rust.

s390x: add LUKS keyfile to 'sd-boot'

This allows to use Secure Execution with LUKS encrypted boot disk,
key and cryptab are stored only in 'sd-boot' encrypted image.

Signed-off-by: Nikita Dubrovskii <nikita@linux.ibm.com>

s390x: add "IBM Secure Execution for Linux" support

If system contains ibm-z-hostkey (fetched during ignition), than
ostree generates 'sd-boot' image and reboots into Secure Execution

Signed-off-by: Nikita Dubrovskii <nikita@linux.ibm.com>

Merge pull request #2537 from jlebon/pr/fix-floating

lib/gpg-verify-result: Add missing floating annotation

lib/gpg-verify-result: Add missing floating annotation

I think I'm hitting issues due to this while using the Rust bindings:
https://github.com/coreos/rpm-ostree/pull/3406#issuecomment-1033084956

The bindings for those APIs use `from_glib_full` which says:

> Because ownership can only be transferred if something is already
> referenced, this is unsuitable for floating references.

Merge pull request #2535 from dbnicholson/summary-commit-version

lib/repo: Add commit version metadata to summary metadata

lib/repo: Add commit version metadata to summary metadata

The commit metadata `version` key is well established but getting it for
a remote commit is cumbersome since the commit object needs to be
fetched and loaded. Including it in the summary additional metadata
allows a much more convenient view of what each of the remote refs
represents.

Merge pull request #2534 from jlebon/pr/copr

Add COPR integration Makefile

I'd like to enable auto-builds of this repo to
https://copr.fedorainfracloud.org/coprs/g/CoreOS/continuous/ so it could
eventually feed into
https://github.com/coreos/fedora-coreos-tracker/issues/910.