Discovery: Parse etag to be consistent with RequestEtagJob

This avoids unnecessary sync runs.

For #7345

Vfs: Require local discovery after disabling vfs

Without it local files aren't guaranteed to be downloaded #6936.

Vfs: Remove old db record when dehydrating via rename

For #7338

Vfs: Make move detection work with virtual files #7001

Previously a checksum computation could be done on a suffix-placeholder
file, making discovery believe that no move took place.

Vfs: Ensure pins change with (de-)hydration

Previously an implicit hydration of a file in an online-only folder
would not change the pin state and cause a dehydration on the next
sync.

Vfs: Add hook to allow update-metadata for unchanged files

Allows winvfs to convert files to placeholders when vfs is enabled. This
is required to mark files as in-sync #7329.

Vfs: Improve strings for availability states

Vfs: Preserve pin state on hydration

For #7322 and #7323

Vfs: Retain existing data when enabling vfs #7302

Previously all local data was deleted because the root folder was marked
as OnlineOnly.

Add missing OWNCLOUDSYNC_EXPORT

Vfs: Make test pass with different suffix #7279

VfsSuffix: Wipe stale pin states #7273

Previously the pin states of deleted files stayed in the 'flags'
database and could be inadvertently reused when a new file with the same
name appeared. Now they are deleted.

To make this work right, the meaning of the 'path' column in the 'flags'
table was changed: Previously it never had the .owncloud file suffix.
Now it's the same as in metadata.path.

This takes the safe parts from #7274 for inclusion in 2.6. The more
elaborate database schema changes (why use 'path' the join the two
tables in the first place?) shall go into master.

RequestEtagJob: Consistently parse etags #7271

Previously RequestEtagJob did return the etag verbatim (including extra
quotes) while the db had the parsed form. That caused the etag
comparison during discovery move detection to always fail. The test
didn't catch it because the etags there didn't have quotes.

Now:
- RequestEtagJob will parse the etag, leading to a consistent format
- Tests have etags with quotes, detecting the problem

UploadDevice: Fix windows issues #7264

- Close the UploadDevice to close the QFile after the PUT job is done.
  This allows winvfs to get an oplock on the file later.

- Don't rely on QFile::fileName() to be valid after
  openAndSeekFileSharedRead() was called. The way it is openend on
  Windows makes it have an empty filename.

Vfs: Move pin state if files move #7250

Previously renames of items didn't carry the pin state with them.

Vfs: Don't let new local files start out unpinned #7250

If one adds a new file to an online-only folder the previous behavior
was to upload the file in one sync and dehydrate it in the next. Now
these new files get set to Unspecified pin state, making them retain
their data.

OAuth2: Better error logging

This does not fix a bug, just was found while spotting a bug that was no bug.
For https://github.com/owncloud/enterprise/issues/2951

Upload: Read file chunks gradually #7226

Instead of all at once, to reduce peak memory use.

Changing UploadDevice in this way requires keeping the file open for the
duration of the upload. It also means changes to open(), seek(), close()
to ensure that uses of the device work right when a request needs to
be resent.

Http2: Resend requests on ContentReSend error #7174

Since Qt does not yet transparently resend HTTP2 requests in some cases
we do it manually.

The test showed a problem where the initial non-200 reply would close
the target temporary file and the follow-up request couldn't store any
data. Removing that close() call is safe because there also is a
_saveBodyToFile flag that guards writes to the target file.

Discovery: Do not abort the sync in case of error 404 (or 500)

Issue: #7199

SyncEngine: Fix renaming a single file cause the "delete all file" popup

Possibly a regression, since the new discovery discovers rist the renamed
files as removed

Issue #7204

SocketAPI: Fix string claiming a folder is a file

Issue #7206

Log Window: Create and open folder properly #7166

owncloudcmd: log sync errors

Previously it was hard to debug some errors since the messages would not
show up in the output.

Chunked upload: Fix percent encoding in If header #7176

Tests: Fix DB locking issue in permissions test

Tests: fix vfs availability test case

Vfs: Mark sqlite temporaries excluded on db-open #7141

The previous patch ensured that the sqlite temporaries weren't deleted
and recreated for every sync run, but there was still time between
client startup and the first sync run where they would have the
"needs-sync" icon.

Vfs: Distinguish availability error kinds #7143

Previously "no-availability" meant db-error and querying the
availability of a nonexistant path returned AllHydrated.

Now, the availability has a DbError and a NoSuchItem error case.

Fix logic for duration that an etag reply indicates connectivity

This got inverted accidentally when std::chrono was introduced.

For #7160

Vfs: "free space" only shows when it has an effect #7143

To do this, introduce AllDehydrated availability and rename
SomeDehydrated to Mixed - it now guarantees there are also hydrated
items.

Vfs: Adjust and centralise action text #7143

Saying "Currently available locally" sounds more like an indicator than
"Availably locally" does. Centralizing translations avoids consistency
issues between shell context menus and sync folder context menu.

FolderWizard: Don't crash when typing invalid drive #7041

When the user typed "x:" where the drive x didn't exist, the validation
function would loop forever. Now it shows a "path doesn't exist" error.

SyncEngine: Don't close db when done #7141

The db-close operation is likely a leftover from when the SyncEngine
owned its own db connection and serves no purpose anymore.

Closing the db causes the removal of the temporary wal and shm files.
These files are recreated when the db is opened again, which happens
almost immediately.

This is a problem for winvfs because the delete-recreate step wipes the
exclusion state on these files just after the sync is done. That meant
that the db temporaries permanently had a "needs sync" icon marker shown
in the explorer.

Avoiding reopening the db also reduces the number of log messages per
sync.

Sqlite: Use FULL synchronous mode with non-WAL journal

According to the documentation DELETE+NORMAL isn't safe from corruption
on older file systems.

Log: Start logging immediately when "permanent logs" enabled #7146

Previously one would need to wait for the next sync run to create the
first log file.

Mention selective sync when switching on vfs

Discovery: Improvements to doc comments

Discovery: Query data-fingerprint on root item

Previously the property wasn't queried, meaning the fingerprint logic
couldn't get triggered.

Discovery: 403 and 503 on root cause error

Previously these result codes during remote discovery of the sync root
would not cause an error and the discovery would get stuck.

Also extends RemoteDiscovery tests to check for errors on the root item.

PropagateIgnore: Default to NormalError for INSTRUCTION_ERROR

Previously if one set the instruction to ERROR while forgetting to set
an error status, it'd propagate as FileIgnored. Now the default is
NormalError for INSTRUCTION_ERROR and FileIgnored for
INSTRUCTION_IGNORE.

About: Add remark about vfs plugin that's in use #7137

Fix windows build

LogWindow: Remove output, add "go to log folder" button #6475

Vfs: Add 'availability', a simplified, user-facing pin state #7111

The idea is that the user's question is "is this folder's data available
offline?" and not "does this folder have AlwaysLocal pin state?".
The the answers to the two questions can differ: an always-local
folder can have subitems that are not always-local and are dehydrated.

The new availability enum intends to describe the answer to the user's
actual question and can be derived from pin states. If pin states aren't
stored in the database the way of calculating availability will depend
on the vfs plugin.

Vfs: Clear up relationship between _type and pin state

The pin state is a per-item attribute that has an effect on _type:
AlwaysLocal dehydrated files will be marked for hydration and OnlineOnly
hydrated files will be marked for dehydration.

Where exactly this effect materializes depends on how the pin states are
stored. If they're stored in the db (suffix) the dbEntry._type is
changed during the discovery.

If the pin state is stored in the filesystem, the localEntry._type must
be adjusted by the plugin's stat callback.

This patch makes pin states behave more consistently between plugins.
Previously with suffix-vfs pin states only had an effect on new remote
files. Now the effect of pinning or unpinning files or directories is as
documented and similar to other plugins.

Sqlite: Update to 3.27.2

PropagateDirectory: Set initial dir mtime to server mtime #7119

It's still not synced in any way later.

PropagateDirectory: Remove dead code

1. The _firstJob is usually deleted by the time the PropagateDirectory
   finishes. (deleteLater() is called early)
2. The PropagateDirectory::_item and PropagateRemoteMkdir::_item point
   to the same SyncFileItem anyway. This code is a leftover from when
   each job had its own instance.

Detect missing server data during discovery #7112

This has two positive effects:
- We can put the error on the particular file that has missing data
- We can sync all other files

Vfs: Better handling and more tests for suffix file renames

Previously removing the vfs suffix of a file always triggered a
conflict. Now it may just cause a file download.

This was done because users expected symmetry in the rename actions and
renaming foo -> foo.owncloud already triggers the "make the file
virtual" action. Now foo.owncloud -> foo triggers the "download the
contents" action.

Vfs suffix: Require suffix when creating placeholder files

Vfs: Hydrating a virtual is SYNC not NEW #7101

Previously it'd be NEW(ItemTypeFile), but now it has changed to be
SYNC(ItemTypeVirtualFileDownload) which allows better classification.

Notifications: Don't say "downloaded" for new files #7101

These files may very well just be new virtual files that were explicitly
*not* downloaded.

Local discovery tracking: On success, also wipe _renameTarget

It's possible that the rename target was in the local discovery list.

Protocol, Notifications: Show destination() instead of _file

destination() now consistently points to the file after the successful
sync operation. _file might be the place the item was moved from.

Fix and test _file and _renameTarget

There was a bunch of inconsistency around whether _file was set to
_renameTarget or not. This is now never done, passing on more
information.

Test: fix compilation with GCC 4.9

It does not appear to support variadic lambda

VFS: Unbreak behavior for rename+hydrate #7001

Users can rename a file *and* add/remove the vfs suffix at the same time
leading to very complex sync actions. This patch doesn't add support for
them, but adds tests and makes sure these cases do not cause unintened
behavior.

The rename will be propagated, but the users's hydrate/dehydrate request
will be ignored.

Async Poll: keep the size in the database

This was not required with 2.5 because a size of 0 was ignorted when comparing
size by the csync updater, to be compatible with very old version of the database.
But the we discovery will still think the file is changed if the database contains
a size of 0

Upload: asynchronious operations

Implements https://github.com/owncloud/core/pull/31851

macOS: Fix vfs suffix plugin paths #7090

Linux: Add autostart delay to avoid tray issues #6518

It seems that sometimes the tray implementation isn't ready on system
startup. Retrying later seems to not help. Delaying the start of the
client is the workaround that people have reported as effective.

SocketApi: Fix owncloud/enterprise#2938

Tray: Try to establish tray after 10s if failed initially #6518

When owncloud is started during desktop startup the tray may not yet
be running when the client starts. This will make the client attempt
to create a tray icon again after 10 seconds if there's no tray
during initial startup.

OwnSql: Distinguish no-data from error #6677

This could fix a problem where the client incorrectly decides to delete
local data.

Previously any sqlite3_step() return value that wasn't SQLITE_ROW would
be interpreted as "there's no more data here". Thus an sqlite error at a
bad time could cause the remote discovery to fail to read an unchanged
subtree from the database. These files would then be deleted locally.

With this change sqlite errors from sqlite3_step are detected and
logged. For the particular case of SyncJournalDb::getFilesBelowPath()
the error will now be propagated and the sync run will fail instead of
performing spurious deletes.

Note that many other database functions still don't distinguish
not-found from error cases. Most of them won't have as severe effects on
affected sync runs though.

Client certs: Store pkcs12 in config, password in keychain

It still reads and writes the old format too, but all newly stored
client certs will be in the new form.

For #6776 because Windows limits credential data to 512 bytes in older
versions.

Add PLUGINDIR cmake setting and define #7027

By default, plugins are only searched next to the binary or next to the
other Qt plugins. This optional build variable allows another path to be
configured.

The idea is that on linux the oC packaging probably wants the binary in
something like /opt/owncloud/bin and the plugins in
/opt/owncloud/lib/plugins.

Similarly, distribution packagers probably don't want the plugins next
to the binary or next to the other Qt plugins. This flag allows them to
configure another path that the executable will look in.

AccountManager: load the cookies

For issue #7054

Windows: Forbid chars 0-31 in filenames #6987

Selective sync: Don't collapse tree when entering mode #7055

doExpand() is called when the selective sync editing mode is enabled in
the folder settings view. Previously it'd set the expansion to be
exactly the root items. Now, it just expands any root items that are
currently collapsed, leaving all other item expansion unchanged.

SocketApi: Fix crash with readyRead() after disconnected() #7044

With the recent bugfix to avoid sending messages on dead connections
0bfe7ac250c54f5415c0a794c7b271428e83c3cf
the client now crashed if readyRead() was received after disconnected()
for the socket as the listener for that connection was already removed.

This code fixes it by still invoking the handler from readyRead() but
passing a SocketListener that won't attempt to send messages.

Wizard: Avoid cert dialog multiple connection

This could lead to odd behavior when slotCertificateAccepted
was called multiple times.

Folder wizard: Fix infinite loop for bad paths #7041

Discovery win: Fix detection of case-only renames

Previously they were detected as DELETE+NEW because if "a" is renamed to
"A" then QFile::exists("a") will still return true on Windows.

Ensure local discovery on selective sync changes

As far as I'm aware local discovery can be skipped on folders that are
selective-sync blacklisted, so a local discovery is required when an
entry is removed from the blacklist.

Also rename
avoidReadFromDbOnNextSync() -> schedulePathForRemoteDiscovery()
since the old name might also imply it's not read from db in the local
discovery - which is not the case. Use Folder::
schedulePathForLocalDiscovery() for that.

Fix warnings about signedness

Sizes are always qint64, not unsigned.
TransferIds are always uint.

Tests: Fix permission propagation check

It was using the wrong path to the conflict file.

Test: Add check for permission propagation

Also covering propagation to the downloaded file when a conflict-rename
is done at the same time, which used to not work.

Tests: Add db checks to rename/move tests

For moves it's relevant that the old db entry is removed and the new one
is created at the right location.

Vfs: Improve sync protocol entries for actions

Creating a new virtual file and replacing a file with a virtual one now
have their own text in the protocol, not just "Downloaded".

To do this, the SyncFileItem type is kept as
ItemTypeVirtualFileDehydration for these actions. Added new code to
ensure the type isn't written to the database.

While looking at this, I've also added documentation on SyncFileItem's
_file, _renameTarget, _originalFile and destination() because some of
the semantics weren't clear.

Vfs: Make dehydration a SYNC and not a NEW action

That change will be useful for the notifications. Previously the
dehydrated files were reported as "newly downloaded", now they're
reported as "updated".

PropagateDownload: Create conflict even if local file changed

Fixes a bug introduced while moving the attribute propagation before the
conflict-renaming.

Vfs suffix: Fix dehydration creating the wrong db entry

Vfs: Ensure VfsOff works without start() being called

In tests an un-started Vfs instance is sometimes passed to SyncEngine
via SyncOptions.

Vfs: Remove VfsDefaults

That just complicated things. It's ok if Vfs is not a fully abstract
interface class.

The pinstate-in-db methods are instead provided directly on Vfs and
VfsSuffix and VfsOff use them to implement pin states.

The start() method is simply non-virtual and calls into startImpl() for
the plugin-specific startup code.

Vfs: Add option to hide socketapi pin actions

Because some plugins provide alternative ui.

PropagateDownload: Conflict-rename later

The block of code that propagated attributes etc from the previously
existing file was placed *after* the block that renamed the previously
existing file to a conflict name. That meant the propagation didn't work
in the conflict case.

Vfs: dehydration is separate action

Allows for better attribute preservation.

Also add verifyFileUnchanged() call before dehydration to avoid data
loss when discovery takes a while.

File watcher: Pin state attribute changes are valid notifications

Previously they would be discarded since the file's mtime or size hadn't
changed.

PinStates cleanup

- SyncJournalDB functions now behind internalPinStates() to avoid
accidental usage, when nearly everyone should go through Vfs.
- Rename Vfs::getPinState() to Vfs::pinState()

Folder: Add remoteFolderTrailingSlash()

There were cases where the "/" exception wasn't handled correctly
and there'd be extra slashes in generated paths.

Vfs: Call unregisterFolder() when folder is removed

Vfs: Enable propagating attributes on download

SyncFileStatusTracker: Distinguish Warning and Excluded

Any folder with a (potentially deeply) contained error will have
StatusWarning. StatusExcluded marks exclusions. The difference is useful
to know for VFS.

Pin state updates

- unspecified and inherited are different
- move enum to header in common/
- access through Vfs instead of directly in Journal

Vfs: Shell integration is enabled optionally

Needs to be disabled for tests in some cases.

Vfs: Clarify SyncEngine::wipeVirtualFiles()

Possibly the behavior should actually change and the function should
de-placeholder all items, not just dehydrated ones.

Discovery: Files can have dehydrate/download actions

This will be used in conjunction with vfs plugins that detect whether a
file has a pending hydration/dehydration through independent means and
communicate that to the discovery through local file type.

Discovery: Add signal for silentlyExcluded files

This allows SyncFileStatusTracker to also know about these. After all
its information is used to provide icons for them too.