Vfs suffix: Fix dehydration creating the wrong db entry

Vfs: Ensure VfsOff works without start() being called

In tests an un-started Vfs instance is sometimes passed to SyncEngine
via SyncOptions.

Vfs: Remove VfsDefaults

That just complicated things. It's ok if Vfs is not a fully abstract
interface class.

The pinstate-in-db methods are instead provided directly on Vfs and
VfsSuffix and VfsOff use them to implement pin states.

The start() method is simply non-virtual and calls into startImpl() for
the plugin-specific startup code.

Vfs: Add option to hide socketapi pin actions

Because some plugins provide alternative ui.

PropagateDownload: Conflict-rename later

The block of code that propagated attributes etc from the previously
existing file was placed *after* the block that renamed the previously
existing file to a conflict name. That meant the propagation didn't work
in the conflict case.

Vfs: dehydration is separate action

Allows for better attribute preservation.

Also add verifyFileUnchanged() call before dehydration to avoid data
loss when discovery takes a while.

File watcher: Pin state attribute changes are valid notifications

Previously they would be discarded since the file's mtime or size hadn't
changed.

PinStates cleanup

- SyncJournalDB functions now behind internalPinStates() to avoid
accidental usage, when nearly everyone should go through Vfs.
- Rename Vfs::getPinState() to Vfs::pinState()

Folder: Add remoteFolderTrailingSlash()

There were cases where the "/" exception wasn't handled correctly
and there'd be extra slashes in generated paths.

Vfs: Call unregisterFolder() when folder is removed

Vfs: Enable propagating attributes on download

SyncFileStatusTracker: Distinguish Warning and Excluded

Any folder with a (potentially deeply) contained error will have
StatusWarning. StatusExcluded marks exclusions. The difference is useful
to know for VFS.

Pin state updates

- unspecified and inherited are different
- move enum to header in common/
- access through Vfs instead of directly in Journal

Vfs: Shell integration is enabled optionally

Needs to be disabled for tests in some cases.

Vfs: Clarify SyncEngine::wipeVirtualFiles()

Possibly the behavior should actually change and the function should
de-placeholder all items, not just dehydrated ones.

Discovery: Files can have dehydrate/download actions

This will be used in conjunction with vfs plugins that detect whether a
file has a pending hydration/dehydration through independent means and
communicate that to the discovery through local file type.

Discovery: Add signal for silentlyExcluded files

This allows SyncFileStatusTracker to also know about these. After all
its information is used to provide icons for them too.

Vfs: Send SyncFileStatusTracker data to vfs plugins

Vfs: Make files that end up in db placeholders

Since 'placeholder' just means that it's an item of the special type
that the vfs plugin can deal with - no matter whether hydrated or
dehydrated - all done items should become placeholders. Even
directories.

Now every file that passes through updateMetadata() will be converted to
a placeholder if necessary.

Propagator: Helper for updating db

Similar steps were done in many propagation jobs.

This also updates the db entry to always have the item.destination() as
file path.

Move SyncFileStatus to libcommon

It'll be needed in vfs plugins so they can connect to the data coming
out of SyncFileStatusTracker.

Build fix for mingw64 7.3 (Qt 5.12.0)

File watcher: Reduce touch ignore duration

On Linux and Windows the file watcher can't distinguish between changes
that were caused by the process itself, like during a sync operation,
and external changes. To work around that the client keeps a list of
files it has touched and blocks notifications on these files for a bit.

The duration of this block was originally and arbitrarily set at 15
seconds. During manual tests I regularly thought there was a bug when
syncs didn't trigger, when the only problem was that my changes happened
too close to a previous sync operation.

This change reduces the duration to three seconds. I imagine that this
is still enough.

Also use std::chrono while at it.

Switch to standard opt-out BUILD_TESTING instead of opt-in UNIT_TESTING

Compare https://cmake.org/cmake/help/v3.0/module/CTest.html
Craft automatically handles BUILD_TESTING, so we don't need to handle it
in our own blueprint.

HttpCreds: Warn in log if keychain-write jobs fail #6776

Also, calling deleteLater() on jobs is unnecessary (they autodelete
after finished()) and deleting the attached QSettings is also
unnecessary because the settings object is parented to the job.

Download: Ignore content-length for compressed HTTP2/SPDY replies #6885

It contains the compressed size.

See https://bugreports.qt.io/browse/QTBUG-73364

SocketAPI: Remove listener immediately on lost connection

To avoid situations where messages are attempted to be sent to dead
connections.

SocketAPI OSX: Forbid further sends on connectionDidDie

Also release the remote end immediately.

Move: Fix move detection in directory move on the other side

Move: add comments and tests

Move: add more test and fix move within moves

Rename: fix renamed folder moved into renamed folder issue

Issue #6694

vfs: Update pinning context menu to be less confusing

Seeing "Currently available online only" for a currently hydrated file
was odd. It makes sense since current hydration status and pin state are
independent.

The new text will say something like "Currently available, but marked
online only" to better indicate that the file might be dehydrated later
since it wasn't pinned.

Vfs: Switch on/off only when sync isn't running #6936

Avoids some situations that might cause data loss.

Folder: Add selective sync / ui related flags

supportsSelectiveSync(): clearer than !supportsVirtualFiles() and allows
  extra logic

isVfsOnOffSwitchPending(): Somewhat awkward way of dealing with the
  phase between a user requesting vfs state to be switched and it
  actually happening

SyncEngine: Rename phase finishing slots

slotDiscoveryJobFinished -> slotDiscoveryFinished
slotFinished -> slotPropagationFinished

This should be clearer. Particular the
slotFinished -> finalize -> emit finished()
chain was confusing before.

Discovery: Fix aborting during discovery #6972

vfs suffix: Ignore server files or synced files with the suffix #6953

Discovery: Ensure selective sync lists are sorted #6958

vfs: Add vfs migration options to folder context menu

This allows enabling and disabling vfs.

To distinguish this operation from setting the root pin state, the
availability setting is adjusted as well to be similar to the
menu that shows in the shell extensions.

vfs: Allow retrieving of pin state paths and flags

Result: Add copy/move ctor/op=

It has a destructor and these operations make sense. Particularly the
move is important for code like:

Result<x, y> foo() { Result<x, y> v; return v; }

because the move-ctor will not autogenerate if x or y are not trivially
destructible.

vfs: Change per-folder message on vfs support

I'm unsure this note is all that useful. Remove entirely?

vfs: Allow (de-)hydrating the full sync folder

vfs: Don't assume suffix mode for old folders

That would break with old folders that use selective sync.

vfs: Disable selective sync if vfs support is available

Wizard: Ensure client cert doesn't get lost #6911

Wizard: Drop unused function

Sync: Display theme in debug log

sqlite: Set exclusive locking_mode to avoid WAL issues #6881

Can be overridden with OWNCLOUD_SQLITE_LOCKING_MODE

Fix lookup of system wide settings

sqlite: Update bundled version to 3.26.0

For OS X and Windows.

HttpCredentials: Do not re-enter the event loop

https://sentry.io/owncloud/desktop-win-and-mac/issues/777907931/
mention a crash in OCC::HttpCredentialsGui::showDialog
One possible explaination is that this is caused by re-entring the event loop.
So don't do that.

Chunking Move: Fix too many starting slashes in the destination header

Commit 6ca724f fixed it for the move case. But the upload MOVE did the same

Issue #6904

Gui: do not show the settings when opening a virtual file

Issue #6764

SocketAPI: Overhaul ui for 'available locally' vs 'online only'

For #6815

Db: Add wiping of pin state for subtrees

vfs: Remove newFilesAreVirtual - use root PinState instead

This unifies how to deal with pin states.

Also enable reading a folders direct pin state vs its effective pin
state.

Discovery: Handle the blacklistFiles from the server capabilities

Issue #434

Ideally one could add the blacklist to the exlucde reggexp, but this
is simpler

Progress: Virtual file creation needs no transfer progress #6933

Treat virtual file creation as a size-less action, similar to
propagating renames or deletions.

vfs: Show "new files are virtual" option only with vfs

If there's no vfs possibility, showing it makes little sense.

vfs: SocketAPI actions adjust pin state of directories #6815

Downloading a folder also sets its pin state; releasing a folder sets
its pin state.

vfs: Use PinState in sync algorithm #6815

New files are virtual if the file's pin state is OnlineOnly.

vfs: Introduce PinState db storage #6815

The idea is to allow folders (and later maybe files?) to be
- pinned to be available locally
- pinned to be online only
- inherit their pin from the parent

Where this pinning only controls the default for new files.
Subfolders may have a different pin state, and contained files
may be hydrated or dehydrated based on user actions.

This value is stored in a new 'flags' table. The idea is to store
data there that doesn't necessarily exist for each metadata entry.
The selective sync state could be migrated to this table.

Move test for issue #1329 from t1.pl to new test system

Discovery: Set right direction when restoring deleted discovery because it has modified files

(Catched by a faillure of t1.pl)

Port the exclude test to the QTest Framework

This is just a port to QtTest, I did not change the layout of the test.
I did search and replace to replace the assert with QCOMPARE/QVERIFY
I still call setup and setup_init like before (only explicitly, now)

Also ported the preformence tests to QBENCHMAK because windows don't have
gettimeofday.

Relates #6358

Test: Move the test for Utility::normalizeEtag to testutility.cpp

I just moved the text and did the minimum to port it to QtTest
Did not change hte layout of it.

Relates #6358

Remove check_csync_util

It's testing nothing.
Only that one can convert a csync instruction to a string.
But this is only used in debug anyway

Relates to #6358

Database: Change path for new dbs to .sync_* #5904

This is to avoid issues on OSX, where the ._ prefix has special meaning.

Originally (before 2.3.2) ._ was necessary to guarantee exclusion. But
since then the .sync_ prefix is excluded as well.

This does not affect existing database files.

Vfs: Have a static list of potential plugins for now

Fixes in-source builds and other cases where more non-plugin directories
are created in src/libsync/vfs.

Vfs: Ensure older versions gracefully ignore winvfs folders

Previously there'd likely be a mess if a 2.6 winvfs folder was attempted
to be used with a 2.5 client. Now the older clients will ignore these
folders.

Vfs plugins: Available plugins must load

A plugin that can't be loaded due to dependency issues should not be
considered as available.

SyncEngine: Ensure that the paths passed to the discovery ends with slashes

This was making the tx.pl test fail

Propagator: Don't abort sync on error 503

Only do it when it is actually a maintenance mode

Issues #5088, #5859, https://github.com/owncloud/enterprise/issues/2637

Allow to open log window via command line to already running client

Issue: #4098

Fix installation of vfs suffix plugin

VFS: Plugin needs to be installed, otherwise it can't be loaded

Fix compilation warning

src/libsync/propagatorjobs.cpp:63:10: warning: lambda capture 'this' is not used [-Wunused-lambda-capture]
        [this, &deleted](const QString &path, bool isDir) {
         ^~~~~

vfs: Make Vfs ctor explicit

vfs: Separate vfs availability from new-files-virtual

This helps support 2.5 settings where there are virtual files in the
tree but new files aren't created virtual.

It's also a prelude for #6815

There's currently no way of
- upgrading vfs plugins (a silent suffix->winvfs upgrade is attempted
  once only, when moving to master)
- disabling vfs capabilities outright

vfs: Don't always load plugins, check metadata

vfs: ensure backwards-compatible settings value is always set

vfs: Ensure SyncOptions::_vfs is never null

- Create a VfsOff derived class
- Make it a shared pointer shared with Folder::_vfs

vfs: Switch order of deletion and journal removal in dehydration

To be more crash-resilient.

vfs: Update outdated comment

vfs: Ensure local discovery is done on dehydration request

Folder settings: Keep "usePlaceholders" to be backwards compatible

vfs: Be more careful about Vfs instance ownership

vfs: Remove VfsSuffixPrivate

vfs: Document ignored return value.

Plugin: Drop PluginLoader

Plugin: style fixes

Checksums: Make file ownership more explicit

vfs: Improve modeFromString() signature

Generalize Result<> class, add Optional<>

To make it nicer to use outside of HTTP results.

vfs: Add API docs

Remove unused include directories

vfs: Fix dealing with missing vfs instance

Maybe there should just be a VfsOff instance to make this less error
prone.

Fix export of vfs functions