Fix big-folder detection when vfs is disabled

vfs: Implement dehydration tagging

vfs: Fix suffix detection and handling

winvfs: Better error reporting

- fix download and validation error reporting
- add tests

Fixes after rebase to master

- use vfs suffix in ProcessDirectoryJob
- fix include vfs.h
- fix local vio passing vfs
- fix checksum computation
- vfs mode use
- mingw lambda compile issue

winvfs: initial work

Done by ckamm and dschmidt

FolderMan: Remove assumption of unique running sync

Checksums: Work on QIODevice*s

Needed for cfapi where we want to feed data through a custom device
which retrieves data from the windows api.

IgnoreListEditor: increase a bit the size

Should Help for issue #6641

Account: Fix crash when deleting an account

We should not have request parented to the account, otherwise we might get
a loop on the deletion order.

Issue #6893

LockWatcher: Add chrono header

cjhash: Fix build fix

See 17a4055e8d658f24b1fc47c44fd2daf66c7d5dbf

cjhash: use Q_FALLTHROUGH

This fixes the warning
   warning: unknown option after ‘#pragma GCC diagnostic’ kind [-Wpragmas]

Issue #6872

Excludes: switch all the path handling to QString

Signed-off-by: Kevin Ottens <kevin.ottens@nextcloud.com>

CMakeLists.txt: increment sqlite version

3.9 is required for custom index to work

csync_vio_locale: use QString for the path in opendir

So we don't have to convert to utf8 and back again

Remove csync_misc: The code no longer use fnmatch

Exclude: do everything with QString wiuthout converting to char*

ProcessDirectoryJob::process: optimize so there is only one map

PropagateUpload:  Avoid many allocations by using QByteArrayLiteral

Optimisation: Add a cache SyncJournalDb::mapChecksumType

No need to do two sql query for something that's always the same and
there are very few checksum types

Sync: optimize by removing setFileRecordMetadata

Inh most case we already have a record from before, so avoid doing a useless
lookup in the database.
In owncloudpropagator.cpp, directories do not have a checksum so no need
to call a function that preserves it

Test System: Optimisations so the benchmark is significant

OwnSql: Speedup by avoiding allocating an error string on success

owncloudcmd: fix compiliation with TOKEN_AUTH_ONLY

libsync: Fix build error with TOKEN_AUTH_ONLY

When enabling TOKEN_AUTH_ONLY, the code path using QPainter is disabled.
So we also don't need the includes.
This header is not available for Remarkable.

Disable stack protector features when cross compiling

When cross-compiling this for remarkable using the poky toolchain
this results in linker errors with stack protector: libssp_nonshared.a
not found

Add CMake option to disable GUI build

Get DatabaseErrorTest to pass

The E2EE code path would get the engine to go wrong in case of db error.
It's just better to have a failing upload or failing mkdir later in those
cases.

Emitting signals from a ctor is a bad idea anyway

Signed-off-by: Kevin Ottens <kevin.ottens@nextcloud.com>

Test that the sync behave well if there are errors while reading the database

Discovery: fix double emission of finished in case of error

Discovery: Fix downloading files when database is used for local discovery

This also fix the currently failling LockedFilesTest

Remove csync.cpp: It's only dead code

Add Ctrl-L as log window shortcut

F12 is taken on OSX and there's no other way of showing it.

Test: Add test for locked file tracking and propagation

Folder: Treat file unlock similar to external change #6822

For consistent handling of incoming notifications.

Propagator: Add assert against duplicate done() calls

RemoteDiscoveryTest: Fix after the merge from 2.5

The new discovery's message is slightly different

Test: Check for folder in error message #6826

gitignore: XCode userdata

Discovery: Fix renaming on windows

buf.type is ItemFileSkip because csync_vio_local_stat does not set this field

New Discovery: Fix trailing slash causing failure on windows

Folder: update the folder version

Since the new index would crash old version of the client, we need to
upgrade folder version so they do not load in the client 2.5.0

Settings: Make FoldersWithPlaceholders group sticky

If virtual files are disabled on a folder it might still have db entries
or local virtual files that would confuse older client versions.

owncloudcmd: Read the server version from the capabilities

Issue: #6846

owncloudcmd: fetch the dav user

This is required to get the new endpoint working when the server
uses ldap or that the dav user is not the same as the login.

Issue #6830

Sharing: add the `shareWithAdditionalInfo` string in autocompletion results

Issue #6749

Migration from 2.4: fallback to move file by file if directory move failled (#6807)

Migration from 2.4: fallback to move file by file if directory move failed

This can happen if the directory already exist because, say, it was
created by the ownCloud outlook plugin which save its file in the same directory

Move: Fix too many starting slashes in the destination header

QDir::cleanPath does not remove starting slashes on windows.
So use account::davUrl which is already cleaned

Issue: #6824

Wizard: Reset the QSslConfiguration before checking the server

Because a previous call with another demain might have set some
config for another server.

Issue #6832

Fix compiler warning

OAuth2: Refresh the token without aborting the sync

OAuth2 access token typically only has a token valid for 1 hour.
Before this patch, when the token was timing out during the sync, the
sync was aborted, and the ConnectionValidator was then requesting a new
token, so the sync can be started over.
If the discovery takes longer than the oauth2 validity, this means that
the sync can never proceed, as it would be always restarted from scratch.

With this patch, we try to transparently renew the OAuth2 token and restart
the jobs that failed because the access token was invalid.

Note that some changes were required in the GETFile job because it handled
the error itself and so it was erroring the jobs before its too late.

Issue #6814

HttpCredentials: initialize all member inline

Disable autostartCheckBox if autostart is configured system wide

Discovery: Virtual file handling adjustments

- adjust virtual file path handing
- helpers for vfs suffix adding/removal
- helpers for isDirectory/isVirtual on SyncJournalRecords
- be clear about what PathTuple _local/_server mean

Database: Add an index on the parent path

So we can quickly query the items in a parent directory

This uses a custom slite3 function, which means that when downgrading the client,
or using another tool to add entries in the database, any insertion in the metadata
table will produce an error: "unknown function: parent_hash()"
(This will crash the client 2.5)

Add missing export

Discovery: Fix log output for instructions

Discovery: Don't rebuild invalidFilname regex each call

Discovery: Introduce smaller functions

Excludes: drop csyncTraversalMatchFun()

The new discovery can call the traversal match function directly.

Discovery: Add back virtual file instruction checks

Fix windows build

Account Settings: fix progress being written in white when there are errors

Virtual files: Wipe selective sync settings when enabled

virtual files: show option only when branding allows it

Virtual files: Use theme to check for option availability

Account Settings: Add a context menu entry to enable or disable virtual files

Issue #6725

Upload: Do not error out if the server do not send the X-OC-MTime: accepted header

If the server does not set the mtime, it is not a big problem for the
synchronisation.

The test was used before so we could do a PROPPATCH for server that did not
support this header. But now that all server supports that we don't need to
to the check. (We do not do the PROPPATCH since we got rid of the neon
dependency)

Apparently, it may happen that some backend don't support setting mtime
and this can lead to this error.

https://github.com/owncloud/client/issues/6797

Do not select ownCloud in Finder after installation to fix #6781

OAuth2: Store 'Account::davUser' in the config, and use that user for connecting

We need to use the user id to check if we are connected to the right account.
These might be different from the HTTP Basic Auth login. (LDAP setups)

When the account was configured as an oauth2 account form the wisard, the
http_user was already set correctly to the user id. But when the server is
upgrading from basic auth to oauth2, we need to pick the right login.

Note that Account::davUser() already defaults to the HTTP user when none
is set, so this means the upgrade will be fine if this is not set in the
config.

Issues:
https://github.com/owncloud/oauth2/issues/109
https://github.com/owncloud/enterprise/issues/2781

Local discovery: always recurse within touched directory

If the file system watcher tells us a directory was modified, we should
recurse into it because it means it is probably a new directory

Issue #6804

PropagateUpload: Avoid crash due to cascading aborts

https://sentry.io/owncloud/desktop-win-and-mac/issues/698694072/activity/

Fix leaks in tests

As discovered by AddressSanitizer

Discovery: restructure processFileAnalyzeLocalInfo

Discovery: easy conditions first in processFileAnalyzeRemoteInfo

Removing two levels of indent that way

Discovery: Add comments

Discovery: make sure finished is not called twice, even in case of errors

Remove the backup deteciton code which was used for server < 9.1

Discovery: Remove stale DB entries

And test the Remove/Remove case.

This means we need to always query the database for all the entries.
This showed another small bug in the test in which sync item for virtual
files at the root could have a slash in front of them.

Discovery: Comments and visibility adjustments

Discovery: cleanups and comments

Discovery: move checkMovePermissions to its own function

Discovery: Adjust the instruction in case of resolved conflict

When resolving a conflict because the file was just updated on the server,
we write all the metadata on the database immediatly, so INSTRUCITON_NONE
is enough and UPDATE_METADATA is not needed

ProcessDirectoryJob: always set _childModified to true, regardless the direction

This was like that to handle the case of CSYNC_INSTRUCTION_TYPE_CHANGE, but just add
a condition in this location.

Discovery phase: refactor some code in DiscoveryPhase::findAndCancelDeletedJob

Less code duplication

New Discovery Algorithm: more cleanups

 - rename progress() to be more explicit
 - Make some more member of the discovery phase private

Fixup commit 835c9163374f42003aa2f7795ade3f4ff62c8877

The previous code considered the also HTTP 207 code without the
application/xml header to have this message.
httpCode 0 does not make much sense anyway.

This change the behavior to consider any 2xx without the xml header
to show this error message

New discovery algorithm: fixups

Adapt reviews from ckamm in https://github.com/owncloud/client/pull/6738#pullrequestreview-164623532

- SyncJournalFileRecord: initialize everything inline
- Add more comments
- And some ENFORCE

Move Result to its own header

New discovery algorithm: Parallel PROPFIND

New Discovery algorithm: Remove the sync cleanup phase

Since we do not recurse within some directories, many files are not seen.

The stale entry will cleanup by themself as the sync engine try to remove
the files that are already removed.
Should we need to actually do this cleanup, it should be dotected in the
discovery.

New discovery algorithm: Set the originalFile for ignored files

This is used to show the name in the UI

New Propagation algorithm: Fetch, and emit, the root etag

Remove the feature to concatenate etags as servers that don't
have a root etag are no longer suported

New Discovery Algorithm: Ge tthe size of new folders

Also add a test that this works properly

New Discovery algorithm: Split the process function even further

Move the finialization in its own function.
This allow to save a bit of code duplication.

Also change the order of the parameter in the constructor for consistency

New Discovery Algo: Refactor by splitting the processFile in two

New Discovery Algorithm: Handle rename of virtual files

Virtual files: Renames propagate #6718

Folder Wizard: Disable the 'choose what to sync' treeview if virtual files are selected

Don't allow to configure virtual files with a selective sync blacklist