Merge pull request #2382 from dbnicholson/gh-tests-configs

Merge pull request #2386 from lucab/ups/commit-timestamp-env

lib/commit: respect SOURCE_DATE_EPOCH for commit timestamp

lib/commit: respect SOURCE_DATE_EPOCH for commit timestamp

This tweaks `ostree_repo_write_commit` so that it checks for the
envinroment variable `SOURCE_DATE_EPOCH` as a way to override
the current time, which is used as the commit timestamp.

Ref: https://reproducible-builds.org/docs/source-date-epoch/
Ref: https://reproducible-builds.org/specs/source-date-epoch/

Merge pull request #2384 from smcv/dedup-report-err

libtest.sh: Remove duplicate ERR trap and report_err()

libtest.sh: Remove duplicate ERR trap and report_err()

Since #2377 was merged, this is in libtest-core.sh, which is sourced by
libtest.sh.

Signed-off-by: Simon McVittie <smcv@collabora.com>

ci: Use Debian and Ubuntu release stage tags

Rather than use the release codename tags, use the release stage tags.
This way the configuration (theoretically) doesn't need to be updated
when new Debian and Ubuntu releases are made.

For Debian stable is used instead of buster and a testing (bullseye)
build is added. For Ubuntu, latest is used instead of focal for the
current LTS and rolling is used instead of groovy for the latest
release. This actually changes the Ubuntu build from groovy to hirsute.

ci: Update Debian and Ubuntu build dependencies

This refreshes the build dependencies installed for the GitHub Tests
workflow based on the Build-Depends in the upstream packaging. The
handling is now more explicit about any deviations and any release
differences.

ci: Drop special handling of test-suite.log

The automake test harness[1] already dumps the contents of
`test-suite.log` when `VERBOSE=1` is set, so we don't need to add
special handling for it.

1. https://www.gnu.org/software/automake/manual/html_node/Parallel-Test-Harness.html

ci: Disable fail-fast in GitHub Tests workflow

Don't cancel all the jobs if one distro config fails. The jobs are
mostly independent, so we do want to let the others continue in case
the failure is isolated to that particular distro configuration.

Merge pull request #2379 from dbnicholson/gh-actions-tests

Replace Travis CI with GitHub Actions

Merge pull request #2377 from smcv/libtest-core

libtest-core: Add some improvements from bubblewrap

Merge pull request #2380 from dbnicholson/no-systemd-units

Don't fail build when systemd unit path not defined

ci: So long, Travis CI

travis-ci.org stopped running builds on June 15, 2021. Since this
organization is very unlikely to switch to travis-ci.com, just drop the
setup. The new GitHub Actions tests completely replace it.

ci: Add GitHub Actions workflow for test suite

This runs the test suite in various distros. The intention is to use
this to replace the Travis CI setup since it often has rate limit
failures.

Each configuration in the matrix runs in a Docker container, installs
system dependencies and then builds and tests ostree. The scripts are
basically copy and paste of the travis ones with some of the lesser used
features pruned out.

Some differences from the travis setup:

* OS details are gathered from `/etc/os-release` instead of being passed
  in as environment variables.

* The scripts always assume the user is root and don't try to use
  `sudo`.

* The `installcheck` test has been removed since ostree doesn't actually
  use that. It could be added to run the installed tests or
  `gnome-desktop-testing-runner` could just be called directly.

There should be enough flexibility to run other distros like Fedora,
Arch or Alpine. Another option would be to use the other build scripts
in ci/.

ci: Rename GitHub Actions rust workflow metadata file

This workflow is specific to using rust and not just the general test
suite.

Don't fail build when systemd unit path not defined

In configure the systemd unit path is optional, but in the code it's
assumed to be defined. Add an `#ifdef` that throws an error when it's
not defined like the handling of `HAVE_LIBMOUNT` below it.

Merge pull request #2366 from pwithnall/freenode

docs: Change IRC channel to libera.chat from freenode

Merge pull request #2375 from cgwalters/generator-remount

Use generator to enable ostree-remount.service and ostree-finalize-staged.path

libtest-core: Mention bubblewrap as a user of this file

Signed-off-by: Simon McVittie <smcv@collabora.com>

libtest-core: Update URL of rpm-ostree

Signed-off-by: Simon McVittie <smcv@collabora.com>

libtest-core: On failure, make it clearer what has happened

If we fail as a result of `set -x`, It's often not completely obvious
which command failed or how. Use a trap on ERR to show the command that
failed, and its exit status.

Signed-off-by: Simon McVittie <smcv@collabora.com>

libtest-core: Add assert_files_equal

[Originally from bubblewrap commits c5c999a7 "tests: test --userns"
and 3e5fe1bf "tests: Better error message if assert_files_equal fails";
separated into this commit by Simon McVittie.]

Use generator to enable ostree-remount.service and ostree-finalize-staged.path

We struggled for a long time with enablement of our "internal units",
trying to follow the philosophy that units should only be enabled
by explicit preset.

See https://bugzilla.redhat.com/show_bug.cgi?id=1451458
and https://github.com/coreos/rpm-ostree/pull/1482
etc.

And I just saw chat (RH internal on a proprietary system sadly) where
someone hit `ostree-remount.service` not being enabled in CentOS8.

Thinking about this more, I realized we've shipped a systemd generator
for a long time and while its only role until now was to generate `var.mount`,
but by using it to force on our internal units, we don't require
people to deal with presets anymore.

Basically we're inverting things so that "if ostree= is on the kernel
cmdline, then enable our units" and not "enable our units, but have
them use ConditionKernelCmdline=ostree to skip".

Drop the weird gyrations we were doing around `ostree-finalize-staged.path`
too; forking `systemctl start` is just asking for bugs.

So after this, hopefully we won't ever again have to think about
distribution presets and our units.

Merge pull request #2374 from gicmo/small_typo

Fix small typo in ostree-sysroot.c

Fix small typo in ostree-sysroot.c

Merge pull request #2373 from cgwalters/warn-nonempty-var

deploy: Warn if we find content in the deployment's /var

deploy: Warn if we find content in the deployment's /var

This will be ignored, so let's make it very clear
people are doing something wrong.  Motivated by a bug
in a build pipeline that injected `/var/lib/rpm` into an ostree
commit which ended up crashing rpm-ostree because it was an empty db
which it wasn't expecting.

It *also* turns out rpm-ostree is incorrectly dumping content in the
deployment `/var` today, which is another bug.

Merge pull request #2370 from dbnicholson/auto-lock-no-gslice

repo: Use g_new for OstreeRepoAutoLock

repo: Use g_new for OstreeRepoAutoLock

GSlice is effectively deprecated and has little to no advantage over
using the system allocator on Linux.

Merge pull request #2348 from dbnicholson/mt-locking

Improve multi-threaded locking

tests: Add single process repo locking tests

The semantics of multiple process locking are covered by
test-concurrency.py, but the semantics of the repository locking from a
single process aren't handled there.

This checks how the repository locking is handled from a single thread
with one OstreeRepo, a single thread with multiple OstreeRepos, and
multiple threads sharing an OstreeRepo.

test-concurrency: Lower lock timeout

If there's a locking issue in this test, then it's likely not going to
resolve after a few seconds of serializing access. Lower the default 30
second lock timeout to 5 seconds to prevent the test from hanging
unnecessarily.

repo: Make locking precondition failures fatal

Use `g_error` and `g_assert*` rather than `g_return*` when checking the
locking preconditions so that failures result in the program
terminating. Since this code is protecting filesystem data, we'd rather
crash than delete or corrupt data unexpectedly.

`g_error` is used when the error is due to the caller requesting an
invalid transition like attempting to pop a lock type that hasn't been
taken. It also provides a semi-useful message about what happened.

repo: Make locking per-OstreeRepo

Previously each thread maintained its own lock file descriptor
regardless of whether the thread was using the same `OstreeRepo` as
another thread. This was very safe but it made certain multithreaded
procedures difficult. For example, if a main thread took an exclusive
lock and then spawned worker threads, it would deadlock if one of the
worker threads tried to acquire the lock.

This moves the file descriptor from thread local storage to the
`OstreeRepo` structure so that threads using the same `OstreeRepo` can
share the lock. A mutex guards against threads altering the lock state
concurrently.

Fixes: #2344

build-sys: Bump required GLib to 2.44

This will allow usage of `GMutexLocker`. This should be available on
many older distros:

* RHEL 7 - 2.56.1
* RHEL 8 - 2.56.4
* Debian 9 stretch (oldstable) - 2.50.3
* Debian 10 buster (stable) - 2.58.3
* Ubuntu 16.04 xenial - 2.48.2
* Ubuntu 18.04 bionic - 2.56.4

repo: Require lock type in ostree_repo_lock_pop

This simplifies the lock state management considerably since the
previously pushed type doesn't need to be tracked. Instead, 2 counters
are kept to track how many times each lock type has been pushed. When
the number of exclusive locks drops to 0, the lock transitions back to
shared.

repo: Make locking APIs public

Doing anything even somewhat sophisticated requires this;
turns out our own `ostree prune` CLI wants this, e.g.
https://github.com/ostreedev/ostree/issues/2337

Closes: https://github.com/ostreedev/ostree/issues/2286

Merge pull request #2367 from dbnicholson/gpg-2.3.0-expire-test-regression

tests/gpg: Don't assert subkey expiration when only primary expired

docs: Change IRC channel to libera.chat from freenode

Freenode appears to be imploding.

Signed-off-by: Philip Withnall <pwithnall@endlessos.org>

tests/gpg: Don't assert subkey expiration when only primary expired

In gnupg 2.3.0[1], if a primary key is expired and a subkey does not
have an expiration or its expiration is older than the primary key, the
subkey's expiration will be reported as the primary's. Previously a
subkey without an expiration would not report one regardless of the
primary key's expiration.

This caused a regression in a test setting an expiration on a primary
key. The test was checking that the subkey was not expired by asserting
that there was no `Key expired` line in the signature verification
output. With gnupg 2.3.0+, it will show as expired, causing the test to
fail.

Remove the assertion since it's not consistent across gnupg versions. In
practice we don't care whether the subkey is considered expired or not
as long as the signature verification fails when the primary key is
expired.

1. https://dev.gnupg.org/T3343

Fixes: #2359

Merge pull request #2364 from cgwalters/fix-ci-f34

ci: Fix staged-delay to work with newer systemd

Merge pull request #2365 from dbnicholson/apidoc-permissions

workflow/docs: Give token write permission to push gh-pages

ci: Fix staged-delay to work with newer systemd

Yeah, we should stop parsing the text; I need to dig at that
at some point.

workflow/docs: Give token write permission to push gh-pages

The ostree repo has read permissions set for workflows, which prevents
the documentation job from pushing the built docs to the gh-pages
branch. Raise the job's permissions to write for repo contents to allow
that.

Merge pull request #2363 from dbnicholson/publish-api-docs

Publish libostree API docs

docs: Copy in API docs and add link

Make a copy of `apidoc/html` to `docs/reference` and then tell Jekyll to
include it verbatim. This will include the gtk-doc API docs on the
static site. A link is added to the main index.

A script is added to do the copy (a symlink won't do) and is setup to
run before Jekyll in the GitHub workflow. Ideally this would be a local
Jekyll plugin to make the process automatic, but the github-pages gem
doesn't allow that.

docs: Add github workflow for building and publishing docs

This uses the Jekyll Actions GitHub action to push the rendered docs to
the gh-pages branch rather than GitHub's automated docs flow. That will
allow greater control over how the docs are generated. Pushing to the
gh-pages branch only happens on pushes to main. For pull requests, the
docs are only built.

docs: Provide bundler setup for building site locally

This mimics the GitHub Pages environment so that you can build and serve
the site locally for testing. It's will also be required later for using
Jekyll Actions[1] instead of the automated GitHub Pages flow.

1. https://github.com/marketplace/actions/jekyll-actions

docs: Fix CONTRIBUTING link

This returns a 404 since the site is already generated from the docs
directory. Furthermore, the `CONTRIBUTING.md` markdown file isn't in the
generated site, just the HTML.

Instead, use jekyll's `link` tag to create the link. Unfortunately,
before jekyll 4.0 (github-pages uses 3.9), you have to prepend the base
URL.

Merge pull request #2358 from travier/rename

*: rename master branch to main

*: rename master branch to main (external repos)

*: rename master to main in tests & examples

*: rename master branch to main

packit: update for F34, rawhide branch & master rename

Merge pull request #2356 from miabbott/usretc

docs: typo fix for /usr/etc

docs: typo fix for /usr/etc

Merge pull request #2355 from jlebon/pr/etc-merge-moar-docs

docs: Add more details about 3-way merge

docs: Add more details about 3-way merge

This came up a few times so let's go into more details in the docs.

Merge pull request #2354 from cgwalters/fix-gh-action

ci: Fix GH action for rustfmt

Merge pull request #2353 from cgwalters/uri-scheme-hardening

pull: Cleanly error out on unknown schemes

pull: Cleanly error out on unknown schemes

Previous to this we'd trip an assertion `abort()` deep in the curl code if e.g.
a user did `ostree remote add foo htttp://...` etc.

Motivated by considering supporting "external remotes" where code outside
ostree does a pull, but we want to reuse the signing verification infrastructure.

ci: Fix GH action for rustfmt

Since we now have a toplevel workspace, just use that.

Merge pull request #2352 from dbnicholson/skip-summary-cache-envvar

tests: Test without a cache directory by default

tests: Test without a cache directory by default

Several tests generate summaries and then expect to use the generated
summary immediately. However, this can cause intermittent test failures
when they inadvertantly get a cached summary file. This typically
happens when the test is run on a filesystem that doesn't support user
extended attributes. In that case, the caching code can only use the
last modified time, which only has 1 second granularity. If tests don't
carefully manage the summary modification times or the repo cache then
they are likely subject to races in some test environments.

This introduces an environment variable `OSTREE_SKIP_CACHE` that
prevents the repo from using a cache directory. This is enabled by
default in tests and disabled for tests that are a explicitly trying to
test the caching behavior.

Fixes: #2313
Fixes: #2351

Merge pull request #2350 from smcv/trap-err

libtest: On failure, make it clearer what has happened

libtest: On failure, make it clearer what has happened

If we fail as a result of `set -x`, It's often not completely obvious
which command failed or how. Use a trap on ERR to show the command that
failed, and its exit status.

Signed-off-by: Simon McVittie <smcv@collabora.com>

Merge pull request #2343 from cgwalters/cargo-workspace

build-sys: Add toplevel workspace Cargo.toml

Merge pull request #2346 from cgwalters/release-2021-2

Release 2021.2

configure: post-release version bump

Release 2021.2

tests/inst: Make nondestructive tests runnable as unit tests

Ideally in the future we change more of our unit tests to
support running installed; we've tried this in the past with
https://wiki.gnome.org/Initiatives/GnomeGoals/InstalledTests

I'd like to pick that back up again.  This takes a step
towards that by having our Rust tests.

To make this even easier, add a `tests/run-installed`
which runs the installed tests (uninstalled, confusingly
but conveniently for now).

build-sys: Add toplevel workspace Cargo.toml

rust-analyzer is happier with this because it understands
the project structure out of the box.

We aren't actually again adding a dependency on Rust/cargo in the core,
this is only used to make `cargo build` work out of the box to build
the Rust test code.

Merge pull request #2336 from bgilbert/edit

docs: fix "Edit this page on GitHub" links

Merge pull request #2335 from cgwalters/write-regfile-api

docs: fix "Edit this page on GitHub" links

repo: Ensure we set the size for regfile inline

Need to clean up the internal APIs for this.

tests: More tests for inline writing

I'm hitting a bug, add more tests.

repo: Add ostree_repo_write_regfile

This API is push rather than pull, which makes it much more
suitable to use cases like parsing a tar file from external
code.

Now, we have a large mess in this area internally because
the original file writing code was pull based, but static
deltas hit the same problem of wanting a push API, so I added
this special `OstreeRepoBareContent` just for writing regular
files from a push API.

Eventually...I'd like to deprecate the pull based API,
and rework things so that for regular files the push API
is the default, and then `write_content_object()` would
be split up into archive/bare cases.

In this world the `ostree_repo_write_content()` API would
then need to hackily bridge pull to push and it'd be
less efficient.

Anyways for now due to this bifurcation, this API only
works on non-archive repositories, but that's fine for
now because that's what I want for the `ostree-ext-container`
bits.

Merge pull request #2334 from cgwalters/write-symlink

repo: Add ostree_repo_write_symlink

repo: Add ostree_repo_write_symlink

Continuation of the addition of `ostree_repo_write_regfile_inline()`.
This will be helpful for ostree-rs-ext and importing from tar, it's
quite inefficient and awkward for small files to end up creating
a whole `GInputStream` and `GFileInfo` and etc. for small files.

Merge pull request #2327 from cgwalters/writing-apis

repo: Add ostree_repo_write_regfile_inline

Merge pull request #2333 from dbnicholson/travis-32bit

Add back a travis 32 bit build

travis: Add back a 32 bit i386 build

Although people are likely not deploying on 32 bit x86 anymore,
deploying on 32 bit armv7 is still often used. Add back an i386 build on
debian to try to catch 32 bit bugs in CI.

travis: Correct ci_suite settings for buster

The install script no longer uses this anymore and maybe it should just
be removed, but in the meantime it should at least be correct.

Merge pull request #2332 from dbnicholson/ubuntu-ci

travis: Don't ask any debconf questions when installing packages

travis: Drop i386 Ubuntu target

Ubuntu dropped i386[1], so there's no sense in attempting the build
there. In 2021 I don't think it's worth the trouble to keep doing that,
but if desired Debian still supports it.

1. https://wiki.ubuntu.com/FocalFossa/ReleaseNotes#Upgrades_on_i386

travis: Don't ask any debconf questions when installing packages

Currently the Ubuntu builds are stuck waiting for an answer on what
timezone to use. That could be fixed, but generally the way to do these
types of installs is to set the DEBIAN_FRONTEND environment variable to
`noninteractive` so that debconf just chooses a default. This is what
debootstrap does, for instance. I tested installing tzdata on a local
focal container this way and it just chooses `Etc/UTC` as the timezone.

Merge pull request #2331 from cgwalters/update-travis-ubuntu

travis: Bump Ubuntu versions

travis: Bump Ubuntu versions

xenial is EOL soon, let's bump to the latest LTS and the latest.

repo: Add ostree_repo_write_regfile_inline

When working on ostree-ext and importing from tar, it's
quite inefficient and awkward for small files to end up creating
a whole `GInputStream` and `GFileInfo` and etc. for small files.

Plus the gtk-rs binding API to map from `impl Read` to Gio
https://docs.rs/gio/0.9.1/gio/struct.ReadInputStream.html
requires that the input stream is `Send` but the Rust `tar` API
isn't.

This is only 1/3 of the problem; we also need similar APIs
to directly create a symlink, and to stream large objects via
a push-based API.

Merge pull request #2330 from cgwalters/silence-libarchive-warning

tests: Silence a gcc warning

tests: Silence a gcc warning

We can't mix `goto` and `__attribute__((cleanup))`.

Merge pull request #2326 from cgwalters/writing-api-prep

core: Drop unused error handling from object stream helper

Merge pull request #2324 from cgwalters/test-use-ex

Various patches for tests/inst

Merge pull request #2323 from cgwalters/remove-experimental

build-sys: Remove --enable-experimental-api

core: Drop unused error handling from object stream helper

I was going to add some new API and I noticed that this function
never returns an error; presumably at one point it did, but
not anymore.  It simplifies the code flow noticeably
to remove that.

Merge pull request #2325 from dbnicholson/apidoc-gitignore

API doc gitignore cleanup

Ensure consistent apidoc .gitignore

If you don't configure with --enable-gtk-doc, these won't be included in
the generated .gitignore. If you later configure with --enable-gtk-doc
in the same checkout, they'll show up as untracked files. Include them
in GITIGNOREFILES to ensure they're always added regardless of configure
options.

Remove apidoc .gitignore from version control

Like the top level .gitignore, there's no reason to track this if it's
being generated automatically. It only produces spurious diff changes
that you almost certainly don't want.

build-sys: Remove --enable-experimental-api

It was added for the collections bits, but we made that stable.
It's now just cruft and we're very unlikely to reuse the infrastructure
again.

Motivated by a unit test failure when running from a tarball:
https://github.com/ostreedev/ostree/issues/2313