Release 2021.2

Merge pull request #2336 from bgilbert/edit

docs: fix "Edit this page on GitHub" links

Merge pull request #2335 from cgwalters/write-regfile-api

docs: fix "Edit this page on GitHub" links

repo: Ensure we set the size for regfile inline

Need to clean up the internal APIs for this.

tests: More tests for inline writing

I'm hitting a bug, add more tests.

repo: Add ostree_repo_write_regfile

This API is push rather than pull, which makes it much more
suitable to use cases like parsing a tar file from external
code.

Now, we have a large mess in this area internally because
the original file writing code was pull based, but static
deltas hit the same problem of wanting a push API, so I added
this special `OstreeRepoBareContent` just for writing regular
files from a push API.

Eventually...I'd like to deprecate the pull based API,
and rework things so that for regular files the push API
is the default, and then `write_content_object()` would
be split up into archive/bare cases.

In this world the `ostree_repo_write_content()` API would
then need to hackily bridge pull to push and it'd be
less efficient.

Anyways for now due to this bifurcation, this API only
works on non-archive repositories, but that's fine for
now because that's what I want for the `ostree-ext-container`
bits.

Merge pull request #2334 from cgwalters/write-symlink

repo: Add ostree_repo_write_symlink

repo: Add ostree_repo_write_symlink

Continuation of the addition of `ostree_repo_write_regfile_inline()`.
This will be helpful for ostree-rs-ext and importing from tar, it's
quite inefficient and awkward for small files to end up creating
a whole `GInputStream` and `GFileInfo` and etc. for small files.

Merge pull request #2327 from cgwalters/writing-apis

repo: Add ostree_repo_write_regfile_inline

Merge pull request #2333 from dbnicholson/travis-32bit

Add back a travis 32 bit build

travis: Add back a 32 bit i386 build

Although people are likely not deploying on 32 bit x86 anymore,
deploying on 32 bit armv7 is still often used. Add back an i386 build on
debian to try to catch 32 bit bugs in CI.

travis: Correct ci_suite settings for buster

The install script no longer uses this anymore and maybe it should just
be removed, but in the meantime it should at least be correct.

Merge pull request #2332 from dbnicholson/ubuntu-ci

travis: Don't ask any debconf questions when installing packages

travis: Drop i386 Ubuntu target

Ubuntu dropped i386[1], so there's no sense in attempting the build
there. In 2021 I don't think it's worth the trouble to keep doing that,
but if desired Debian still supports it.

1. https://wiki.ubuntu.com/FocalFossa/ReleaseNotes#Upgrades_on_i386

travis: Don't ask any debconf questions when installing packages

Currently the Ubuntu builds are stuck waiting for an answer on what
timezone to use. That could be fixed, but generally the way to do these
types of installs is to set the DEBIAN_FRONTEND environment variable to
`noninteractive` so that debconf just chooses a default. This is what
debootstrap does, for instance. I tested installing tzdata on a local
focal container this way and it just chooses `Etc/UTC` as the timezone.

Merge pull request #2331 from cgwalters/update-travis-ubuntu

travis: Bump Ubuntu versions

travis: Bump Ubuntu versions

xenial is EOL soon, let's bump to the latest LTS and the latest.

repo: Add ostree_repo_write_regfile_inline

When working on ostree-ext and importing from tar, it's
quite inefficient and awkward for small files to end up creating
a whole `GInputStream` and `GFileInfo` and etc. for small files.

Plus the gtk-rs binding API to map from `impl Read` to Gio
https://docs.rs/gio/0.9.1/gio/struct.ReadInputStream.html
requires that the input stream is `Send` but the Rust `tar` API
isn't.

This is only 1/3 of the problem; we also need similar APIs
to directly create a symlink, and to stream large objects via
a push-based API.

Merge pull request #2330 from cgwalters/silence-libarchive-warning

tests: Silence a gcc warning

tests: Silence a gcc warning

We can't mix `goto` and `__attribute__((cleanup))`.

Merge pull request #2326 from cgwalters/writing-api-prep

core: Drop unused error handling from object stream helper

Merge pull request #2324 from cgwalters/test-use-ex

Various patches for tests/inst

Merge pull request #2323 from cgwalters/remove-experimental

build-sys: Remove --enable-experimental-api

core: Drop unused error handling from object stream helper

I was going to add some new API and I noticed that this function
never returns an error; presumably at one point it did, but
not anymore.  It simplifies the code flow noticeably
to remove that.

Merge pull request #2325 from dbnicholson/apidoc-gitignore

API doc gitignore cleanup

Ensure consistent apidoc .gitignore

If you don't configure with --enable-gtk-doc, these won't be included in
the generated .gitignore. If you later configure with --enable-gtk-doc
in the same checkout, they'll show up as untracked files. Include them
in GITIGNOREFILES to ensure they're always added regardless of configure
options.

Remove apidoc .gitignore from version control

Like the top level .gitignore, there's no reason to track this if it's
being generated automatically. It only produces spurious diff changes
that you almost certainly don't want.

build-sys: Remove --enable-experimental-api

It was added for the collections bits, but we made that stable.
It's now just cruft and we're very unlikely to reuse the infrastructure
again.

Motivated by a unit test failure when running from a tarball:
https://github.com/ostreedev/ostree/issues/2313

tests/inst: Update tokio, hyper and nix

tests/inst: Update rpm-ostree client

tests/inst: Update ostree crate

tests: Drop openat override

No longer needed.

core: Fix lgtm.com warning about always true `if (bits > 0)`

Since we're not going to change this, let's constant fold the logic
here.

manual-tests: Fix unused variables

lgtm.com harshly makes our JS grade "D" due to these unused
variables.

build-sys: Include all mkinitcpio bits

It's still so tempting to switch to `git archive` to ship sources.

Closes: https://github.com/ostreedev/ostree/issues/2312

rofiles-fuse: Enable support for setting and getting xattrs

Enable support for setting and getting xattrs. Allow modifications
to xattrs only on user.ima xattr.

Signed-off-by: Stefan Berger <stefanb@linux.ibm.com>
Co-authored-by: Colin Walters <walters@verbum.org>

repo: Ensure load_variant_if_exists sets NULL value

Spotted by @jlebon - we usually expect callers to zero, but
let's be explicit.

repo: Fix load_variant_if_exists to return a nullable value

Another introspection fix I hit when trying to use this in Rust.

cci: Update for buildroot changes

See latest in https://github.com/coreos/fedora-coreos-tracker/blob/master/docs/ci-and-builds.md

tests/pull-test: Use mv -f in a few cases

For some reason I'm hitting this locally because some files are mode `0`.
Which is clearly a different bug but anyways we don't want to prompt.

installdeps: Drop PyYAML

Doesn't exist anymore in f33 and we don't depend on python2 anymore.

lib: fix some version tags

Merge pull request #2315 from cgwalters/add-lgtm-dot-com

.lgtm.yml: Add package deps

.lgtm.yml: Add package deps

I was recently looking at systemd's CI and came across this.
AFAICS it's a proprietary analysis but it looks useful.

We still have `clang-analyzer` for example for FOSS analysis.

configure: post-release version bump

Release 2021.1

Merge pull request #2309 from jlebon/pr/prefix-pull

lib/pull: Add some error-prefixing in dirtree scanning

lib/pull: Add some error-prefixing in dirtree scanning

I think these are the paths involved in the error message at
https://github.com/coreos/rpm-ostree/issues/2250.

Merge pull request #2306 from cgwalters/drop-core-rust

tests/inst: Patch to use my PR for openat

Fixes the build.

Drop minimal rust/ library

This was my first experiment with using Rust in this way; I gained
a lot of knowledge from it.  But, we don't really gain
anything from the code as it is today - while it is "bit fiddling"
code, the C code is well tested.

We have a lot of compile-time options, and trimming them will be
helpful.

We've also gotten pushback on hard requiring Rust client side.

Instead, what I'd like to do is hopefully soon create an `ostree-system`
crate that uses the existing `ostree` library and can contain
code drained from the rpm-ostree Rust and used by other projects perhaps.

So the goal here is really more Rust, but we need to focus our
efforts on where it's most valuable.

Merge pull request #2298 from KloudJack/remove-grub2-suffix

Add configure option for unsuffixed GRUB2 commands linux/initrd

Add configure option for unsuffixed GRUB2 commands

GRUB starting with version 2.02 permits the use of the linux and
initrd commands for both EFI boot in *-efi installations, as
well as 32-bit BIOS boot in i386-pc installations.

This makes the use of the -16 and -efi suffixes for BIOS and EFI
boot obsolete on systems with a modern GRUB installation.

The --with-modern-grub configure flag makes ostree use the
unsuffixed linux/initrd commands when generating a GRUB
configuration, while defaulting to the previous behaviour for
users not wanted this option.

Merge pull request #2301 from cgwalters/api-require-booted

sysroot: Add _require_booted_deployment() API

sysroot: Add _require_booted_deployment() API

This is a common pattern that is replicated both in our code
and in rpm-ostree a lot.  Let's add a canonical API.

Merge pull request #2303 from cgwalters/gh-actions

ci: Add a Github Action for Rust for tests/inst

ci: Add a Github Action for Rust for tests/inst

Let's dip our toes in GH Actions (specifically aiming to migrate
away from Travis).

tests/inst: cargo fmt

Merge pull request #2302 from cgwalters/tests-inst-clippy

tests/inst: Fix lots of `cargo clippy` warnings

tests/inst: Fix lots of `cargo clippy` warnings

Prep for doing this in CI.

Merge pull request #2296 from cgwalters/commit-os

Add an API+CLI to inject metadata for bootable OSTree commits

Add an API+CLI to inject metadata for bootable OSTree commits

I was doing some rpm-ostree work and I wanted to compare two
OSTree commits to see if the kernel has changed.  I think
this should be a lot more natural.

Add `ostree commit --bootable` which calls into a new generic
library API `ostree_commit_metadata_for_bootable()` that
discovers the kernel version and injects it as an `ostree.linux`
metadata key.  And for extra clarity, add an `ostree.bootable`
key.

It's interesting because the "core" OSTree layer is all about
generic files, but this is adding special APIs around bootable
OSTree commits (as opposed to e.g. flatpak as well as
things like rpm-ostree's pkgcache refs).

Eventually, I'd like to ensure everyone is using this and
hard require this metadata key for the `ostree admin deploy`
flow - mainly to prevent accidents.

Merge pull request #2293 from ostreedev/fix-file-uri-decoding

Fix translation of file:// URIs into paths

Fix translation of file:// URIs into paths

Currently if a file path contains a special character such as '\', and
that character is encoded into a file:// URI that is passed to
ostree_repo_pull_with_options(), the percent encoding will remain in the
path passed to g_file_new() (in the case of backslash %5C) and the pull
will then fail with a file not found error. This is an important edge
case to handle because by default on many Linux distributions a
filesystem with no label is mounted at a path based on its UUID, and
this is then passed to systemd-escape by Flatpak (when
--enable-auto-sideloading was used at compile time) to create a symbolic
link such as this which contains backslashes:

$ ls -l /run/flatpak/sideload-repos/
total 0
lrwxrwxrwx 1 mwleeds mwleeds 55 Mar  9 14:21
'automount-run-media-mwleeds-29419e8f\x2dc680\x2d4e95\x2d9a31\x2d2cc907d421cb'
-> /run/media/mwleeds/29419e8f-c680-4e95-9a31-2cc907d421cb

And Flatpak then passes libostree a file:// URI containing that path, to
implement sideloading (pulling content from the USB drive).

This results in an error like:

Error: While pulling app/org.videolan.VLC/x86_64/stable from remote
flathub:
/run/flatpak/sideload-repos/automount-run-media-mwleeds-29419e8f%5Cx2dc680%5Cx2d4e95%5Cx2d9a31%5Cx2d2cc907d421cb/.ostree/repo:
opendir(/run/flatpak/sideload-repos/automount-run-media-mwleeds-29419e8f%5Cx2dc680%5Cx2d4e95%5Cx2d9a31%5Cx2d2cc907d421cb/.ostree/repo):
No such file or directory

This patch avoids such errors by using g_file_new_for_uri() instead of
g_file_new_for_path(), so that GLib handles the %-decoding for us.

Bug report by user:
https://community.endlessos.com/t/can-not-install-vlc-from-usb-drive-3-9-3/16353

pull: Fix some whitespace and a comment

Merge pull request #2292 from pwithnall/summary-leak

ostree-repo-pull: Fix a leak of the summary data if loading from cache

ostree-repo-pull: Fix a leak of the summary data if loading from cache

If the `summary_sig_not_modified` branch is taken above, both
`signatures` and `summary` are loaded from the cache. This makes the
`_ostree_repo_load_cache_summary_if_same_sig()` call below redundant (it
checks `signatures` matches the file it was just loaded from, and then
loads `summary` again) — but that call also currently overwrites
`summary` without clearing the old value.

Fix this by only making that call if `signatures` was retrieved, but the
server said the local `summary` cache was invalid.

Signed-off-by: Philip Withnall <pwithnall@endlessos.org>

Merge pull request #2290 from ostreedev/fix-repo-modes-docs

man: Add missing repo mode in config docs

man: Add missing repo mode in config docs

Merge pull request #2288 from leograba/master

docs: Add Torizon to related projects and OS

docs: Add Torizon to related projects and OS

The Torizon platform, includin the TorizonCore OS, the TorizonCore
Builder Tool and the Torizon OTA, use OSTree as a base for update the
host OS, while the user focus on application development using Docker.

Add TorizonCore to the list of Operating systems and distributions using
OSTree.

Add Torizon and its components to the list of related projects.

Merge pull request #2287 from jlebon/pr/deployment-parsing-comments

lib/sysroot: Add comments and debug statements around sysroot parsing

lib/sysroot: Add comments and debug statements around sysroot parsing

Was looking at this code more closely today to investigate issues
related to bootlink mismatches (#2283).

Merge pull request #2285 from cgwalters/log-bootloader-stuff

deploy: Add subbootversion to journal

deploy: Add subbootversion to journal

To help debug an issue we've seen where `/boot` isn't
in sync with the `/ostree/boot` dir, let's log to the journal
what we're doing.

Merge pull request #2284 from cgwalters/use-rpmostree-client

tests/inst: Switch to rpmostree-client from git

tests/inst: Switch to rpmostree-client from git

See discussion in https://github.com/coreos/rpm-ostree/pull/2569#issuecomment-780569188
Currently pinned to a hash, but after the next stable release let's switch to tags

Merge pull request #2282 from cgwalters/resolve-nullable

refs: Make ostree_repo_resolve_rev{,_ext}() use (nullable)

refs: Make ostree_repo_resolve_rev{,_ext}() use (nullable)

We have an `allow_noent` boolean that controls this, but
were missing the `(nullable)` annotation, so the Rust bindings
panic when the ref doesn't exist instead of being `Option<GString>`.

Merge pull request #2280 from cgwalters/readme-fix-contributing

README.md: Fix contributing link, add contact section

README.md: Fix contributing link, add contact section

Came up on #fedora-iot channel.

Merge pull request #2279 from cgwalters/doc-scratch-delta

docs: Describe using scratch/empty deltas for initial fetches

docs: Describe using scratch/empty deltas for initial fetches

Came up with a user hitting ratelimiting from S3.

Merge pull request #2277 from cgwalters/ci-asan

Add --enable-sanitizers, fix `make check` with it

Add --enable-sanitizers, fix `make check` with it

It's cleaner if this is an build option rather than being
kludged into the CI layer.

Notably we can't use `LD_PRELOAD` anymore with ASAN, so update
our tests to check for `ASAN_OPTIONS`.

Merge pull request #2274 from cgwalters/delta-leak

deltas: Fix leak of matches

Merge pull request #2275 from cgwalters/ci-rework

CI: run as non-root and add sanitizer build+check

Merge pull request #2276 from lucab/ups/tests-enhance-destructive

tests/ext/destructive: enhance test logic

tests/ext/destructive: enhance test logic

This enhances external-tests logic, ensuring that destructive tests
have retries and some context to pinpoint failures, and that failed-state
services are reset between iterations.

deltas: Fix leak of matches

Found by ASAN.

Merge pull request #2273 from cgwalters/link-stb-apt2ostree

README.md: Also link apt2ostree

ci: Add new build-check-sanitized.sh

All C/C++ projects should use the sanitizers (and static analysis)
in their CI.  We had this but lost it in one of our CI shuffles;
let's readd it.

ci: Don't install deps if running as non-root

This way we run in Prow too.

README.md: Also link apt2ostree

Since the topic of Debian+ostree-for-host comes up fairly often.

Merge pull request #2267 from dbnicholson/pull-depth-fixes

Pull depth fixes

pull: Fix local pull with depth and truncated source history

The local pull path was erroring on any missing commit, but that
prevents a depth pull where the source repo has truncated history. As in
the remote case, this also tries to pull in a tombstone commit if the
source repo supports it.

Fixes: #2266

pull: Error on depth pull with missing head commit

When pulling with depth, missing parent commits are ignored. However,
the check was applying to any commit, which means that it would succeed
even if the requested commit was missing. This might happen on a
corrupted remote repo or when using ref data from a stale summary.

To achieve this, the semantics of the `commit_to_depth` hash table is
changed slightly to only ever includes parent commits. This makes it
easy to detect when a parent commit is being referenced (although there
is a minor bug there when multiple refs are being pulled) while keeping
references to commits that need their `commitpartial` files cleaned up.
It also means that the table is only populated on depth pulls, which
saves some memory and processing in the common depth=0 case.

Fixes: #2265

Merge pull request #2263 from cgwalters/createat-nullable

repo: Make ostree_repo_create_at take nullable options

Merge pull request #2257 from cgwalters/fsverity

repo: Move fsverity bits to ostree-repo-verity.c