lib/pull: Read mode and tombstone options from summary file if possible

Otherwise, fall back to downloading and reading them from the `config`
file. See the previous commit for details.

Signed-off-by: Philip Withnall <withnall@endlessm.com>
Fixes: #2165

lib/repo: Add mode and tombstone config options to the summary file

Currently, they are set in the `config` file and cause that to be
downloaded on every pull. Given that the client is already pulling the
`summary` file, it makes sense to avoid an additional network round trip
and cache those options in the `summary` file.

Signed-off-by: Philip Withnall <withnall@endlessm.com>
Helps: #2165

Merge pull request #2204 from jlebon/pr/versioning-tweaks

Various minor versioning related tweaks

lib: Minor versioning related fixes

Fix/add the `Since` marker to the new static delta APIs, and update the
symbol versioning templates/comments.

Makefile-libostree.am: Uncomment BUILDOPT_IS_DEVEL_BUILD conditional

We shouldn't have to toggle the conditional itself during release
builds. It should only evaluate to true during devel builds.

Merge pull request #2203 from cgwalters/delta-sign-cleanups

delta: Some minor code style fixups

Merge pull request #2202 from cgwalters/bootcsum-dtb

 deploy: Remove deployment bootcsum assertion

delta: Some minor code style fixups

- Remove some unused variables
- Switch to declare-and-initialize with others
- Fix some indentation from 4 spaces to 2 (GNU style)

deploy: Remove deployment bootcsum assertion

When support for devicetree was added, it created a problem
because old and new ostree versions would compute different
checksums for the "boot data".  The scenario here is:

- Have system with ostree < 2020.4
- Reboot into system with ostree 2020.5
- Try to perform an operation that would retain
  that previous booted deployment (common)

Currently ostree iterates over all the deployments
that will be retained and calls `install_deployment_kernel()`,
even for the booted one (which is a bit silly), but
just to verify that all boot data for the targeted
deployments are installed.

This then re-computes the checksum and we'd trip this
assertion.

In practice though, we don't strictly require them to match;
the only thing that will happen if they don't is that we'll
end up with another copy of the kernel/initramfs - and
that only temporarily until the previous deployment
gets GC'd.

Longer term, I think what we really want to do anyways
is probably closer to like a little ostree repo for `/boot`
so that we can e.g. still hardlink kernels there even if
the initramfs changes, or hardlink both kernel/initramfs
if just the devicetree changes, etc.

Closes: https://github.com/ostreedev/ostree/issues/2154

Merge pull request #1985 from fdanis-oss/wip/fda/sign_delta_metadata

Static-delta's superblock signature support

Merge pull request #2199 from cgwalters/no-hardlink-unreadable

checkout: Ensure copies of unreadable usermode checkouts are readable

checkout: Ensure copies of unreadable usermode checkouts are readable

The extreme special case of "zero mode" files like `/etc/shadow`
comes up again.  What we want is for "user mode" checkouts to
override it to make the file readable; otherwise when operating
as non-root without `CAP_DAC_OVERRIDE` it becomes very difficult
to work with.

Previously, we were hardlinking these files, but then it intersects
with *another* special case around zero sized files, which is
*also* true for `/etc/shadow`.

Trying to avoid hardlinking there unveiled this bug - when
we go to do a copy checkout, we need to override the mode.

Merge pull request #2195 from ostreedev/avoid-shadows

Avoid shadowing local variables

tests/delta: Add new tests for applying signed deltas

Add new test to apply offline signed deltas.

Signed-off-by: Frédéric Danis <frederic.danis@collabora.com>

bin/static-delta: Add signature parameters to apply-offline

This allows to check the delta signature before applying it.

Signed-off-by: Frédéric Danis <frederic.danis@collabora.com>

lib/deltas: Check signed delta in execute_offline

Add a new function `ostree_repo_static_delta_execute_offline_with_signature`
which takes a signature engine to verify the delta before applying it.
The `ostree_repo_static_delta_execute_offline` is just a wrapper to this
new function, passing a NULL signature engine.
When this function is called without signature engine, but with a sign
delta, it will only fails if `sign-verify-deltas` is set to true in repo
core options.

This commits move signature existence check and delta signature
verification to share common parts between existing APIs and the new
function.

Signed-off-by: Frédéric Danis <frederic.danis@collabora.com>

tests/delta: new tests for 'ed25519' signed deltas

Add tests to generate signed deltas and verify them using 'ed25519'
signature engine.

Signed-off-by: Frédéric Danis <frederic.danis@collabora.com>

tests/libtest.sh: Add skip_without_sign_ed25519() function

Signed-off-by: Frédéric Danis <frederic.danis@collabora.com>

tests/delta: new tests for signed deltas

Add tests to generate signed deltas and verify them using 'dummy'
signature engine.

Signed-off-by: Frédéric Danis <frederic.danis@collabora.com>

lib/deltas: Support signed delta in dump

This checks if the static delta file is signed or not to be able to
correctly get the superblock to dump.

Signed-off-by: Frédéric Danis <frederic.danis@collabora.com>

lib/deltas: Support signed delta in execute_offline

This checks if the static delta file is signed or not to be able to
correctly get the superblock to apply.

Signed-off-by: Frédéric Danis <frederic.danis@collabora.com>

bin/static-delta: Add command to verify delta signature

Add new "static-delta verify" sub-command.
This supports multiple keys to verify the static-delta file.

Signed-off-by: Frédéric Danis <frederic.danis@collabora.com>

lib/deltas: Add signature check API for static-delta superblock

This retrieves the signatures and pass the static delta block as an array
of bytes to ostree_sign_data_verify().

Signed-off-by: Frédéric Danis <frederic.danis@collabora.com>

bin/static-delta: Add support to sign superblock

Add signing ability to "static-delta generate" builtin.

Signed-off-by: Frédéric Danis <frederic.danis@collabora.com>

lib/deltas: Add inline signature for static-delta superblock

While the commits contained in the single static-delta file are signed so
we can check them and operate on trusted data, the superblock isn't signed
in any way, so it end up operating on untrusted data to:
 1. actually find where the trusted data is, and
 2. check whether the update is fit for the current device by looking at
    the collection id stored in the metadata

This commit generates signatures of all static data, and concatenate them
to the existing static delta format, i.e. as a GVariant layout `a{sv}ay`
where
 - a{sv}: signatures
 - ay: existing delta variant

Signed-off-by: Frédéric Danis <frederic.danis@collabora.com>

Avoid shadowing local variables

This should help with code readability.

Fixes https://github.com/ostreedev/ostree/issues/2194

Merge pull request #2196 from cgwalters/commit-shadowing-fix

commit: Tighten scope of two variables

commit: Tighten scope of two variables

Prep for adding `-Wshadow` fixes.

Merge pull request #2193 from alexlarsson/preparatory-cleanup

Preparatory cleanup for summary work

Update the symbols files to match that we're now on 2020.6

ostree-repo-pull.c: Extract mirrorlist generation to helper

This code was duplicated in 3 places, so move it to a single place
to clean things up.

Minor cleanup of _ostree_repo_remote_new_fetcher()

Instead of open coding the extra_headers and append_user_agent
setting everywhere we do this in the constructor.

Inline repo_remote_fetch_summary

This was only used in one place, and (especially with the simplification
with GMainContextPopDefault) and the one caller doesn't really do
much more than call the helper. Additionally, what little it does (saving
the result in the cache) is inherently tied to how the helper work,
and will become even more so when we support summary indexes.

This is a preparatory cleanup for supporting summary indexes. It
doesn't change any behaviour and passes make check on its own.

repo_remote_fetch_summary: Use GMainContextPopDefault

This allows us to drop the "goto out" use and clean up this function.

Add g_autoptr helper for pushing a thread default main context

This happens in a bunch of places, and currently each time it does
we have to use "goto out" style cleanups, which just isn't looking
very nice.

fetch_summary_with_options: drop unnecessary "goto out" use

Break out the signature verification code into a helper function

This changes nothing in the behaviour, but we want to later re-use
this when we also verify the summary index.

deltas: Break out _ostree_repo_static_delta_superblock_digest() helper

This loads and makes a digest for a delta superblock. The previous
code was used when generating the deltas section in the summary
file. This changes nothing, but is in preparation for using similar
formats in a separate delta index file.

Add and use ot_checksum_bytes helper

This removes some duplicated code (and will be use even more later).

pull: Actually mmap summary files

The change in cbf1aca1d5c08d2f40832d16670484ba878d95fb actually
only mmaps the signature file, not the summary. This change makes
use mmap both, as well as extract the cache loading into a helper
function that we will later use in more places.

pull: Break out _ostree_repo_save_cache_summary_file() helper

This is a minor cleanup as its just called twice from
_ostree_repo_cache_summary(). However, later code will need it in more
places.

Fix leak when signing

_ostree_detached_metadata_append_gpg_sig() was returning a floating
ref, but all users were using g_autoptr. Fix it by adding a ref-sink.

list-deltas: Don't break on non-subdir entries

ostree_repo_list_static_delta_names() tried to validate that
any second-level directory element was a directory, but there was
a cut-and-paste issue, and it used `dent->d_type` instead
of `sub_dent->d_type`.

This fixes the code, but all old ostree versions will break if
there are non-directories in a subdirectory of the deltas directory
in the repo, so be wary.

Merge pull request #2192 from cgwalters/error-prefixing

deploy: Add some error prefixing around xattr setting

deploy: Add some error prefixing around xattr setting

Looking at
https://github.com/coreos/coreos-assembler/issues/1703
a user is getting a bare:
`error: fsetxattr: Permission denied`

I don't think it's these code paths since a deploy
isn't happening but on inspection I noticed we didn't
have error prefixing here.

Merge pull request #2190 from cgwalters/ci-drop-var-test

ci: Drop var mount test

ci: Drop var mount test

Merged in https://github.com/coreos/fedora-coreos-config/pull/586

Merge pull request #2189 from cgwalters/release

Release 2020.6

Post-release version bump

Release 2020.6

Let's get the /var mount fix out at least.

Merge pull request #2186 from jlebon/pr/etc-rw

Fix read-only /etc when using sysroot=readonly and a separate /var mount

ci: Temporarily import kola test from jlebon's FCOS fork

That test will not make it into the fedora-coreos-config repo until the
libostree fix gets percolated down. PR is:

https://github.com/coreos/fedora-coreos-config/pull/586

But we want to make sure that the fix does work and that we don't
regress on it. So manually fetch it for now.

ostree-remount: Remount /etc rw if needed

When we remount `/sysroot` as read-only, we also make `/etc` read-only.
This is usually OK because we then remount `/var` read-write, which also
flips `/etc` back to read-write... unless `/var` is a separate
filesystem and not a bind-mount to the stateroot `/var`.

Fix this by just remounting `/etc` read-write in the read-only sysroot
case.

Eventually, I think we should rework this to set everything up the way
we want from the initramfs (#2115). This would also eliminate the window
during which `/etc` is read-only while `ostree-remount` runs.

ostree-prepare-root: Fix /etc bind mount

We were bind-mounting the initramfs' `/etc` (to itself) instead of the
target deployment `/etc` (to itself). Since we're already `chdir`'ed
into it, we can just drop the leading slash.

Merge pull request #2184 from fkrull/docs-tags-fixes

Add some missing GI tags

lib: mark out parameters as out parameters

lib: add some missing version tags

Merge pull request #2183 from cgwalters/sh-inline-crates

tests/inst: Update to published sh-inline crate

tests/inst: Update to published sh-inline crate

And I made a few more API tweaks, such as supporting `Path`
objects directly and also not needing e.g. `commit = commit`, see

- https://github.com/cgwalters/rust-sh-inline/commit/cfa7c71126f23545a7d4782cad650eab60e74204
- https://github.com/cgwalters/rust-sh-inline/commit/679bce4cc7ce65641e0c9bd33654510575583de8

Merge pull request #2181 from cgwalters/port-sh-inline

tests/inst: Port to new sh-inline repo

Merge pull request #2182 from mbilker/arch-linux

Fix mkinitcpio with newer systemd versions

Fix mkinitcpio with newer systemd versions

- Fixes systemd failing to determine if `/sysroot` is valid because of
  `/etc/os-release` not being available yet.

- Related: #1759

tests/inst: Port to new sh-inline repo

I cleaned up my fork of commandspec (see git log) and am
planning to publish to crates.  Port to the new API in prep
for that.

Merge pull request #2180 from jlebon/pr/devel-build

configure.ac: Set is_release_build=no

configure.ac: Set is_release_build=no

We missed this during the post-release version bump.

Merge pull request #2179 from cgwalters/ioctl-fix

linuxfsutil: Pass int to ioctl, not long

Merge pull request #2178 from cgwalters/ioctl-test

tests: Check the immutable bit

linuxfsutil: Pass int to ioctl, not long

Otherwise it will fail on big-endian architectures like s390x.
Ref https://bugzilla.redhat.com/show_bug.cgi?id=1867601

tests: Check the immutable bit

See https://bugzilla.redhat.com/show_bug.cgi?id=1867601

We really want an upstream test for this, even if (to my knowledge)
nothing is running ostree's upstream CI on !x86_64.

Merge pull request #2177 from smcv/systemd-no-syslog

boot: Replace deprecated StandardOutput=syslog with journal, etc.

boot: Replace deprecated StandardOutput=syslog with journal, etc.

systemd deprecated this in v246.

Resolves: #2169
Signed-off-by: Simon McVittie <smcv@collabora.com>

Merge pull request #2175 from cgwalters/coverity-2020.5

Two small Coverity fixes

Merge pull request #2176 from cgwalters/pin-str

admin/pin: Enforce that index is a number

admin/pin: Enforce that index is a number

Validate that we're parsing a number; we want to guard
against typos.

Closes: https://github.com/ostreedev/ostree/issues/2171

prepare-root: Remove unused variable

Should quiet Coverity.

pull: Assign idle_src variable before calling unref()

This should pacify Coverity, and also just "reads" better too.

Merge pull request #2149 from stb-tester/boot-self-symlink

sysroot: Support /boot on root or as seperate filesystem for syslinux and u-boot

Merge pull request #2174 from cgwalters/bump-self

tests/inst: Bump to latest ostree and gtk-rs

tests/inst: Bump to latest ostree and gtk-rs

Updating our tests to the latest ostree crate is so deliciously
circular.

Merge pull request #2173 from cgwalters/release

Release 2020.5

Post-release version bump

Release 2020.5

Mainly to get https://github.com/ostreedev/ostree/pull/2160 out.

Merge pull request #2172 from jlebon/pr/add-initrds-prep

Miscellaneous patches split out of #2155

Merge pull request #2127 from cgwalters/destructive-rs

tests/inst: Add destructive test framework

tests/inst: Add destructive test framework

This adds infrastructure to the Rust test suite for destructive
tests, and adds a new `transactionality` test which runs
rpm-ostree in a loop (along with `ostree-finalize-staged`) and
repeatedly uses either `kill -9`, `reboot` and  `reboot -ff`.

The main goal here is to flush out any "logic errors".

So far I've validated that this passes a lot of cycles
using
```
$ kola run --qemu-image=fastbuild-fedora-coreos-ostree-qemu.qcow2 ext.ostree.destructive-rs.transactionality --debug --multiply 8 --parallel 4
```
a number of times.

lib/deploy: Clarify comment re. staging API

Don't mention deprecation in the description for
`ostree_sysroot_deploy_tree` since there are legitimate use cases for it
(e.g. to create the first deployment via `ostree admin deploy`).

Instead, make the comment clearly redirect to the staging API when
booted into the sysroot.

lib/deploy: Drop unneccessary function arg

lib/cleanup: Drop unnecessary GEqualFunc cast

lib/deploy: Simplify deployment creation

Minor cleanup; we were declaring a superfluous variable.

lib/deploy: Avoid shadowing variable

There's already a `boot_relpath` variable in the outside scope.

lib/deploy: Clean up kargs override handling

Tighten up how we handle kargs here so it's more clear. When we call
`sysroot_finalize_deployment`, any karg overrides have already been set
on the bootconfig object of the deployment. So re-setting it here is
redundant and confusing.

Merge pull request #2170 from jprvita/for-upstream

dracut: Create reproducible images

dracut: Create reproducible images

Without reproducible images, a rebuild of the initrd will create a
different image file (due to things like creation time of the files in
the cpio archive) even if the actual contents in it are exactly the
same, adding an unnecessary download during updates.

Adding 'reproducible=yes' avoids this and creates the same image files
for the same content.

Merge pull request #2168 from arithx/ci_pxe_offline

ci: add pxe-offline-install testiso scenario

ci: add pxe-offline-install testiso scenario

Merge pull request #2103 from cgwalters/underlay-live

Add "transient" unlock

Add "transient" unlock

I was thinking a bit more recently about the "live" changes
stuff https://github.com/coreos/rpm-ostree/issues/639
(particularly since https://github.com/coreos/rpm-ostree/pull/2060 )
and I realized reading the last debates in that issue that
there's really a much simpler solution; do exactly the same
thing we do for `ostree admin unlock`, except mount it read-only
by default.

Then, anything that wants to modify it does the same thing
libostree does for `/sysroot` and `/boot` as of recently; create
a new mount namespace and do the modifications there.

The advantages of this are numerous.  First, we already have
all of the code, it's basically just plumbing through a new
entry in the state enumeration and passing `MS_RDONLY` into
the `mount()` system call.

"live" changes here also naturally don't persist, unlike what
we are currently doing in rpm-ostree.

Merge pull request #2166 from pwithnall/summary-sig-downloads

pull: Add summary-{,sig-}bytes options to ostree_repo_pull()

pull: Add summary-{,sig-}bytes options to ostree_repo_pull()

These allow the `summary` and `summary.sig` files to be cached at a
higher layer (for example, flatpak) between related pull operations (for
example, within a single flatpak transaction). This avoids
re-downloading `summary.sig` multiple times throughout a transaction,
which increases the transaction’s latency and introduces the possibility
for inconsistency between parts of the transaction if the server changes
its `summary` file part-way through.

In particular, this should speed up flatpak transactions on machines
with high latency network connections, where network round trips have a
high impact on the latency of an overall operation.

Signed-off-by: Philip Withnall <withnall@endlessm.com>

pull: Improve formatting of pull options in documentation

Backticks improve all things.

Signed-off-by: Philip Withnall <withnall@endlessm.com>