Merge pull request #2275 from cgwalters/ci-rework

CI: run as non-root and add sanitizer build+check

Merge pull request #2276 from lucab/ups/tests-enhance-destructive

tests/ext/destructive: enhance test logic

tests/ext/destructive: enhance test logic

This enhances external-tests logic, ensuring that destructive tests
have retries and some context to pinpoint failures, and that failed-state
services are reset between iterations.

Merge pull request #2273 from cgwalters/link-stb-apt2ostree

README.md: Also link apt2ostree

ci: Add new build-check-sanitized.sh

All C/C++ projects should use the sanitizers (and static analysis)
in their CI.  We had this but lost it in one of our CI shuffles;
let's readd it.

ci: Don't install deps if running as non-root

This way we run in Prow too.

README.md: Also link apt2ostree

Since the topic of Debian+ostree-for-host comes up fairly often.

Merge pull request #2267 from dbnicholson/pull-depth-fixes

Pull depth fixes

pull: Fix local pull with depth and truncated source history

The local pull path was erroring on any missing commit, but that
prevents a depth pull where the source repo has truncated history. As in
the remote case, this also tries to pull in a tombstone commit if the
source repo supports it.

Fixes: #2266

pull: Error on depth pull with missing head commit

When pulling with depth, missing parent commits are ignored. However,
the check was applying to any commit, which means that it would succeed
even if the requested commit was missing. This might happen on a
corrupted remote repo or when using ref data from a stale summary.

To achieve this, the semantics of the `commit_to_depth` hash table is
changed slightly to only ever includes parent commits. This makes it
easy to detect when a parent commit is being referenced (although there
is a minor bug there when multiple refs are being pulled) while keeping
references to commits that need their `commitpartial` files cleaned up.
It also means that the table is only populated on depth pulls, which
saves some memory and processing in the common depth=0 case.

Fixes: #2265

Merge pull request #2263 from cgwalters/createat-nullable

repo: Make ostree_repo_create_at take nullable options

Merge pull request #2257 from cgwalters/fsverity

repo: Move fsverity bits to ostree-repo-verity.c

repo: Make ostree_repo_create_at take nullable options

Hit this when trying to use the Rust bindings.

tests: Ensure no dangling commit partials on remote depth pull

This was already being done on the local depth pull test, so this just
adds the matching logic to the remote depth pull test.

repo: Move fsverity bits to ostree-repo-verity.c

This file will get larger when we start doing more with fsverity.

Merge pull request #2261 from cgwalters/boot-ro-more

sysroot: Handle ro /boot but rw /sysroot

sysroot: Handle ro /boot but rw /sysroot

The recent change in https://github.com/coreos/fedora-coreos-config/pull/659
broke some of our tests that do `mount -o remount,rw /sysroot` but
leave `/boot` read-only.

We had code for having `/boot` read-only before `/sysroot` but
in practice we had a file descriptor for `/sysroot` that we opened
before the remount that would happen later on.

Clean things up here so that in the library, we also remount
`/boot` at the same time we remount `/sysroot` if either are readonly.

Delete the legacy code for remounting `/boot` rw if we're not in
a mount namespace.  I am fairly confident most users are either
using the `ostree` CLI, or they're using the mount namespace.

sysroot: Also maintain canonical boot_fd

Just like we hold a fd for `/sysroot`, also do so for `/boot`
instead of opening and closing it in a few places.

This is a preparatory cleanup for further work.

main: Unconditionally set up mount namespace

I was being very conservative initially here, but I think it's
really safe to just unconditionally set up the mount namespace.

This avoids having to check twice for a read-only `/sysroot`
(once in the binary and once in the library).

Merge pull request #2254 from dbnicholson/coding-style

pull: Use GNU coding style

pull: Use GNU coding style

Merge pull request #2253 from dbnicholson/pull-no-verify-bindings

pull: Allow disabling commit binding verification

pull: Allow disabling commit binding verification

In some cases such as backups or mirroring you may want to pull commits
from one repo to another even if there commits that have incorrect
bindings. Fixing the commits in the source repository to have correct
bindings may not be feasible, so provide a pull option to disable
verification.

For Endless we have several repositories that predate collection IDs and
ref bindings. Later these repositories gained collection IDs to support
the features they provide and ref bindings as the ostree tooling was
upgraded. These repositories contain released commits that were valid to
the clients they were targeting at the time. Correcting the bindings is
not really an option as it would mean invalidating the repository
history.

Merge pull request #2249 from mwleeds/fix-readme-flatpak-typo

README: Fix typos of Flatpak

README: Fix typos of Flatpak

Merge pull request #2248 from jjardon/jjardon/more_distros

README.md: Add Apertis and GNOME OS

README.md: Add Apertis and GNOME OS

Merge pull request #2246 from smcv/pull-summary-sigs-mtime

test-pull-summary-sigs: Set timestamps to serve expected files

test-pull-summary-sigs: Set timestamps to serve expected files

If this is not done, the test can fail when the temporary directory is
a tmpfs: for example this happens during build-time testing with /var/tmp
on tmpfs or TEST_TMPDIR pointing to a tmpfs, or installed-tests with
gnome-desktop-testing-runner allocating the test directory on a tmpfs.

In particular, many of Debian's official autobuilders now do the entire
build and test procedure in a chroot hosted on a tmpfs, to improve build
performance and prevent fsync overhead.

In this situation, it appears that overwriting summary.sig with a copy
of summary.sig.2 is not sufficient for the web server to tell the
libostree client that it needs to be re-downloaded. I'm not completely
sure why, because tmpfs does appear to have sub-second-resolution
timestamps, but forcing a distinct mtime is certainly enough to
resolve it.

Resolves: https://github.com/ostreedev/ostree/issues/2245
Bug-Debian: https://bugs.debian.org/975418
Signed-off-by: Simon McVittie <smcv@collabora.com>

Merge pull request #2244 from lucab/ups/docs-release-guide

templates: add release-checklist

Merge pull request #2243 from lucab/ups/workflow-checkout

workflow/release: further refinements

templates: add release-checklist

This collects all release steps in a release-checklist template.

workflow/release: further refinements

This tweaks the release GH workflow further so that it only triggers
when the `configure.ac` file (which owns the version) changes.
Plus it properly checkouts the PR branch to avoid wrongly looking
at a synthetic merge commit.

Merge pull request #2242 from stb-tester/tarball-import-xattrs

ostree commit --tree=tar: Import xattrs from tarballs

ostree commit --tree=tar: Import xattrs from tarballs

If you specify an `xattr_callback` the xattrs will still be taken from
there for now.

Merge pull request #2241 from lucab/release-2020.8

Release 2020.8

configure: post-release version bump

Release 2020.8

Merge pull request #2240 from lucab/ups/ci-pr-title

workflows/release: pattern-match on PR title

workflows/release: pattern-match on PR title

This adds an additional condition in order to run sanity check all
PRs starting with `Release` (case-insensitive).

Merge pull request #2239 from lucab/ups/gh-actions

ci: run ci-release-build.sh on GitHub

ci: run ci-release-build.sh on GitHub

This adds a GitHub action in order to run ci-release-build.sh on
release PRs (detected via the `kind/release` label).

Merge pull request #2232 from cgwalters/deploy-docs

deployment: Add a bunch of docs and fix annotations

Merge pull request #2235 from cgwalters/checkout-some-new-style

bin/checkout: Port some to new style

Merge pull request #2231 from cgwalters/some-nullable-annotations

deployment: Ensure query_deployments_for returns nullable values

deployment: Ensure query_deployments_for returns nullable values

Since that's a common case; hit this while working on rpm-ostree
code using the ostree-rs bindings.

deployment: Add a bunch of docs and fix annotations

We were missing docs for these, also add some nullability annotations.
Motivated by using these from the Rust bindings.

bin/checkout: Port some to new style

I was reading this code for unrelated reasons and noticed it
was still old style; port most (but not all) to new style.

Merge pull request #2236 from lucab/ups/travis-xenial

ci/travis: move to newer base distro

ci/travis: move to newer base distro

This removes the old pinned distro (Ubuntu Trusty 14.04) from Travis,
moving to the newer default distro (Ubuntu Xenial 16.04).

Merge pull request #2233 from cgwalters/repo-annotations

sysroot: Fix up some GI nullable annotations

sysroot: Fix up some GI nullable annotations

Hit `ostree_sysroot_repo()` shouldn't be nullable while using
the ostree Rust bindings.

Merge pull request #2228 from jlebon/pr/drop-volatile

Drop use of `volatile`

Merge pull request #2230 from alexlarsson/pull-dont-save-passed-in-summary

pull: Don't save into cache passed in GByte summaries

Merge pull request #2229 from dbnicholson/static-delta-generate-annotations

lib/deltas: Annotate from checksum as nullable

pull: Don't save into cache passed in GByte summaries

The cache shouldn't be affected by the user passing in some other
summary as it may not be the "official one".

I ran into this in flatpak where the passed summary was correct, but
the re-saving of the cache updated the mtime of the cached file which
led to later http If-Modified-Since calls failing to update.

lib/deltas: Annotate from checksum as nullable

Without this you can't create a scratch delta from GI. While here,
switch the deprecated allow-none annotations to nullable.

Drop use of `volatile`

As detailed in
gitlab.gnome.org/GNOME/glib/-/issues/600#note_877282, volatile
isn't actually needed in these contexts because the atomic operations
already give us strong enough guarantees. In GCC 11, this triggers a
diagnostic due to the volatile qualifier getting dropped anyway.

There is a WIP to do the same in glib:
https://gitlab.gnome.org/GNOME/glib/-/merge_requests/1719

This obsoletes this downstream patch:
https://src.fedoraproject.org/rpms/ostree/c/b8c5a6fb

Merge pull request #2226 from alexlarsson/fix-gir-arg

ostree_repo_gpg_sign_data: Fix API doc argument name

ostree_repo_gpg_sign_data: Fix API doc argument name

I got:
src/libostree/ostree-repo.c:5232: Warning: OSTree: ostree_repo_gpg_sign_data: unknown parameter 'out_signature' in documentation comment, should be 'out_signatures'

Merge pull request #2224 from stb-tester/bootloader-refactorings

Bootloader probing and construction refactoring

Merge pull request #2225 from jlebon/pr/clear-timer

lib/fetch-curl: Unref timeout source

lib/fetch-curl: Unref timeout source

The timeout timer should always be one-shot, so let's just always
destroy it in the callback. The main context has its own ref on it, so
it won't be freed behind its back.

This *should* fix a leak that was brought up in
https://bugzilla.redhat.com/show_bug.cgi?id=1891761.

Reported-by: Milan Crha <mcrha@redhat.com>

lib/fetcher-curl: Use G_SOURCE_REMOVE instead of FALSE

They're equivalent, though I prefer the former because it's more
descriptive and it makes it really obvious that it's a `GSource`
callback.

fixup! Refactor `ostree_sysroot_query_bootloader`

fixup! Refactor: Centralise choosing the appropriate bootloader

Tests: Refactor bootloader-entries-crosscheck

I've made this use functions to make it easier to add support for more
bootloaders.  Seeing as there will be a big diff anyway I've also adjusted
the formatting to make it pep8 compliant.

Refactor `ostree_sysroot_query_bootloader`

This is more regular, so will make it easier to add more bootloader types
in the future.

Add support for explicitly requesting any specific bootloader type

...with the `sysroot.bootloader` configuration option.  This can be useful
when converting a system to use `ostree` which doesn't currently have a
bootloader configuration that `ostree` can automatically detect, and is
also useful in combination with the `--sysroot` option when provisioning a
rootfs for systems other than the one you're running `ostree admin deploy`
on.

Refactor: sysroot.bootloader: Store enum value rather than string

It's easier to extend and it centralises the config parsing.  In other
places we will no longer need to use `g_str_equal` to match these values,
a `switch` statement will be sufficient.

Refactor: Centralise choosing the appropriate bootloader

In preparation for enhancing `_ostree_sysroot_query_bootloader`

ostree_repo_get_bootloader: Document transfer none

I think this may affect bindings too.

Merge pull request #2188 from alexlarsson/delta-indexes

Add indexes for deltas outside of the summary

ostree pull: Add more g_debug spew around fetching deltas

This is useful to debug what is happening when downloading via deltas.

Add ostree_repo_gpg_sign_data()

This is similar to ostree_sign_data() but for the old gpg code.
Flatpak will need this to reproduce a signed summary.

tests: Add a testcase to ensure we're not using the summary if we don't need it

With deltas outside the summary, if a commit is specified when pulling
we don't download the summary. Verify this.

pull: Only download summary if we need it for the pull operation

If we have a commit id for all the refs we're pulling, and if we
don't need the summary to list all the refs when mirroring then the
only reason to download the summary is for the list of deltas.

With the new "indexed-deltas" property in the config file (and mirrored
to the summary file) we can detect when we don't need the summary for
deltas and completely avoid downloading it then.

deltas: Set `indexed-deltas` key in the config and summary

Clients can use these during pull and avoid downloading the summary if
needed, or use the indexed-deltas instead of relying on the ones in
the summary which may be left out.

deltas: Take a shared repo lock while reindexing deltas

This ensures we're not racing with a prune operation that can be removing
the delta indexes we're relying on.

deltas: Add tests for delta indexes

This tests generation of the index as well as using it when pulling

deltas: Use delta indexes when pulling

If there is no delta index in the summary, try to fetch the
delta index for the commit we're going to and use that to find the
delta (if any).

deltas: Add CLI ops to list and reindex delta-indexes

deltas: Make ostree_repo_static_delta_reindex() public

It is useful to be able to trigger this without having to regenerate
the summary. For example, if you are not using summaries, or ar generating
the summaries yourself.

deltas: Add and document no-deltas-in-summary config option

By default this is FALSE to keep existing clients working.

deltas: Update delta indexes when updating summary

When we update the summary file (and its list of deltas) we also update
all delta indexes. The index format is a single `a{sv}` variant identical
to the metadata-part of the summary with (currently) only the
`ostree.static-deltas` key.

Since we expect most delta indexes to change rarely, we avoid
unnecessary writes when reindexing. New indexes are compared to
existing ones and only the changed ones are written to disk.  This
avoids unnecessary write load and mtime changes on the repo server.

deltas: Add ostree_repo_list_static_delta_indexes() function

This lists all the available delta indexes.

deltas: Add _ostree_get_relative_static_delta_index_path()

This gets the subpath for a delta index file, which is of the form
"delta-indexes/$commit.index", that contains all the deltas going
to the particular commit.

Merge pull request #2205 from pwithnall/etags-and-last-modified

Add support for ETag and Last-Modified headers for summary and summary.sig

tests: Split RFC 2616 date parsing code out and add tests

This makes it testable, and increases its test coverage too 100% of
lines, as measured by `make coverage`.

Signed-off-by: Philip Withnall <pwithnall@endlessos.org>

ostree/trivial-httpd: Add Last-Modified/ETag support

This is basic support for the
Last-Modified/ETag/If-Modified-Since/If-None-Match headers. It’s not
high performance, and doesn’t support all of the related caching
features (like the If-Match header, etc.).

Signed-off-by: Philip Withnall <pwithnall@endlessos.org>

tests: Add simple test for summary file caching

This test would have actually passed before the summary file caching
changes (in the previous few commits) were added, as the `summary.sig`
essentially acted as the ETag for the summary file, and itself wasn’t
updated on disk if it didn’t change when querying the server.

Actually testing that the HTTP caching headers are working to reduce
HTTP traffic would require test hooks into the pull code or the
trivial-httpd server, neither of which I have the time to add at the
moment.

Signed-off-by: Philip Withnall <pwithnall@endlessos.org>

lib/pull: Hook up HTTP caching headers for summary and summary.sig

As `summary` and `summary.sig` aren’t immutable, HTTP requests to
download them can be optimised by sending the `If-None-Match` and
`If-Modified-Since` headers to avoid unnecessarily re-downloading them
if they haven’t changed since last being checked.

Hook them up to the new support for that in the fetcher.

The `ETag` and `Last-Modified` for each file in the cache are stored as
the `user.etag` xattr and the mtime, respectively. For flatpak, for
example, this affects the cached files in
`~/.local/share/flatpak/repo/tmp/cache/summaries`.

If xattrs aren’t supported, or if the server doesn’t support the caching
headers, the pull behaviour is unchanged from before.

Signed-off-by: Philip Withnall <pwithnall@endlessos.org>

libostree: Add support for ETag and Last-Modified headers

Add support in the soup and curl fetchers to send the `If-None-Match`
and `If-Modified-Since` request headers, and pass on the `ETag` and
`Last-Modified` response headers.

This currently introduces no functional changes, but once call sites
provide the appropriate integration, this will allow HTTP caching to
happen with requests (typically with metadata requests, where the data
is not immutable due to being content-addressed). That should reduce
bandwidth requirements.

Signed-off-by: Philip Withnall <pwithnall@endlessos.org>

Merge pull request #2222 from fkrull/patch-v2020.7

lib: add missing GI annotation

Merge pull request #2221 from kelvinfan001/fix-docs

docs: Fix various typos

docs: Fix various typos

lib: fix GI parameter tags

Merge pull request #2219 from jlebon/pr/fix-inode-print-format

ostree-prepare-root: print st_dev and st_ino as 64-bit ints

Merge pull request #2218 from cgwalters/travis-32bit

travis: Add a 32 bit build

ostree-prepare-root: print st_dev and st_ino as 64-bit ints

This matches what systemd does and should work fine on all platforms.

Possibly resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1888436