csync_reconcile: Optimize reconcile by avoiding alocations

Fix performence regression from commit d66c2b5faecc689c52df23d7dbc44c894b92febc
For every new file we would look up every parent directories. Allocating
a new QByteArreay for every parent riectory just to know if it is in the other
tree is wasting lots of CPU.
Use a ByteArrayRef trick, similar to QStringRef

Set CMAKE_INSTALL_RPATH as RPATH for installed executables

Packaging: Add options for fine-grained builds #5957

Extracted and adjusted from packaging.diff by @jnweiger and @dschmidt

Packaging: Adjust APPNAME handling #5957

Extracted and adjusted from packaging.diff by @jnweiger and @dschmidt

Packaging: Make check for theme.qrc more specific #5957

Extracted and adjusted from packaging.diff by @jnweiger and @dschmidt

Packaging: Change directory for docs #5957

Extracted and adjusted from packaging.diff by @jnweiger and @dschmidt

Move the --version output text to Theme #5957

Extracted and adjusted from packaging.diff by @jnweiger and @dschmidt

[tx-robot] updated from transifex

Use QDateTime::currentDateTimeUtc instead of the non utc version

QDateTime::currentDateTime is terribly slow.

OAuth: Fix crash when closing the browser while identifying

To reproduce, log in and click "authorize" on the browser, then close
the browser before the client has replied, (but after redirected to localhost,
i.e. when the client is asking the server for the token)

The problem is that socket can be destroyed so we don't need to answer on a
destroyed socket.

OwnSQL: don't parse the error message when we are done

SyncJournalDb: Reimplement the db_is_empty logic from csync

This reduces the initial sync local discovery time from
2.0 to 0.6 seconds in LargeSyncBench on my machine.

Use SyncJournalDb in csync

This gets rid of the csync_statedb sqlite layer and use
the same code and same connection as the rest of the SyncEngine.

Missing functions are added to SyncJournalDb and change a few minor
things (like changing SyncJournalFileRecord::_modtime to be an int64
instead of a QDateTime, like it was in csync).

SyncJournalDB: Allow callers of getFileRecord if the query failed

The current implementation would return the same value whether the query failed
or if no row would be found. This is something that is currently checked by csync
and needs to be provided if we want to use SyncJournalDB there.

Adjusted all call sites to also check the return value even though they
could still just rely on rec.isValid(), but makes it more explicit as to what
happens for database errors in those cases, if we ever want to gracefully handle
them.

SyncJournalDB: Bind phash as a qlonglong instead of a QString

This is what csync does and we don't need to pass it as a string
to let sqlite convert it back to a uint64 later.

[tx-robot] updated from transifex

bandwidthmanager: Fix unregistering devices on delete

from the destroyed signal, qobject_cast won't work because the object
is already destroyed. One must use reinterpret_cast then

PropagateUpload: Fix another non-normalized connect that appears while profiling

benchlargesync: Do several syncs

Make sure there is already a small sync before so the database is queried.
Make also a sync after to run an update with many files in the database.

c_utf8_from_locale: optimize the UTF8 case on Linux

Avoid converting to a QString as an intermediate step

csync: use a unordered_map for the FileMap

Saves more than 10% of csync_update on LargeSyncBench

[tx-robot] updated from transifex

chsck_vio: fix readdir test by removing it.

The code that was creating the files in the directory was removed in
commit 6906b8d30c846bf0e03f1252b71e169e50786efa. The directory is empty
so the result is expected to be null. It was passing before because the
code was returning an entry for . and ..,  but since commit
35f80bd4390bb3ab92ccd8fa740d96c18ce16e93 this is no longer the case

csync_update: fix assert

Amend 1dc44c0f62bb3f6e50156cd08c1a2a82d67c0d0d

[tx-robot] updated from transifex

macOS: Fix compile

Httpcreds: Fix double slash in the Request App Password url

Issue #6044

OAuth2: Fix double slash in URL

We need to use concatPath to avoid possible double '/' in the URLs if the
account url() ends with '/'.

This has become even more of a problem since commit
d1b8370a4ad21c741da507f64a5dbfe82a3fad05 which was resolving the url after
a redirect where most server actually add a '/' if the url is a folder

[tx-robot] updated from transifex

csync_vio_local: merge readdir and stat in the same call

For the remote this was already done long time ago
For windows, this was already partially done

The goal is to avoid needless conversion of the path to local encoding.

csync_update/reconcile: replace CSYNC_LOG with qDebug/qInfo

CSYNC_LOG has quite an overhead as it uses vsprintf and it might
be run even if the category is disabled

SyncEngine: Adjust free space messaging

Before, the way the info message was phrased implied a failure. And
since the large numbers can be hard to compare that can be confusing.

csync: remove unused type

RemotePermissions: Store in a class rather than in a QByteArray to save memory

Create a specific type that parses the permissions so we can store
it in a short rather than in a QByteArray

Note: in RemotePermissions::toString, we make sure the string is not
empty by adding a space, this was already existing before commit
e8f7adc7cacd4f55e26b2dd14464654e82204307 where it was removed by mistake.

[tx-robot] updated from transifex

Port to new signal-slot syntax what cannot be done automatically

Some slot were protected or private but needed to be public.
Some needed a static_cast (can't use qOverload because it is in Qt 5.7)

This is not only a partial change.

DiscoveryPhase: use the new syntax in disconnect

Since we used the new syntax in connect, we need to use it in disconnect

Use the Qt5 connection syntax (automated with clazy)

This is motivated by the fact that QMetaObject::noralizeSignature takes 7.35%
CPU of the LargeSyncBench. (Mostly from ABstractNetworkJob::setupConnections and
PropagateUploadFileV1::startNextChunk). It could be fixed by using normalized
signature in the connection statement, but i tought it was a good oportunity
to modernize the code.

This commit only contains calls that were automatically converted with clazy.

test/stub: add some call required by the next patches

As we use the new connection syntax in folderman.cpp, some more symbol
need to be mocked

Include <QAuthenticator> from code that connect to signal that uses it

The new connection syntax will need that

Gui: Use lambda instead of QSignalMapper

It's simpler, and QSignalMapper is deprecated in Qt 5.10

Remove settingsdialog.cpp.Rbt431

[tx-robot] updated from transifex

ChangeLog: More 2.4.0 changes

[tx-robot] updated from transifex

Fix compile with bad strrchr signature

Conflicts: Upload them files if env variable says so

Set OWNCLOUD_UPLOAD_CONFLICT_FILES=1 to trigger this behavior.

Note that this is experimental and unsupported. The real feature is
likely to end up in 2.5.

Uploading conflict files is simply done by removing the pattern from
csync_exclude. The rest here deals with making the conflict notification
ui approximately work.

There are still some concerns about where an uploaded conflict file
appears in the sync protocol and issues list (it should be in both, but
is only in one of them currently!).

See #4557.

Private links: Retrieve link through propfind property #6020

* The sharing ui does a propfind anyway: use that to query the new
property as well!
* For the socket api, asynchronously query the server for the right url
when an action that needs it is triggered.

The old, manually generated URL will be used as fallback in case the
server doesn't support the new property or the property can't be
retrieved for some reason.

Depends on owncloud/core#29021

[tx-robot] updated from transifex

Fix the build (make install)

Gui: Allow to add multiple sync folder connection of the same folder

... or child folders

There is also no real reason to forbid the user from syncing the same
folder to multiple location on its hardrive.
A real use case is when the user uncheck a big directory using "choose
what to sync", but would still like to sync a folder within this disabled
tree. The user can now do this with the "add folder" feature

Since 2.3, we even support syncing the same local folder to multiple
remote folder, so why not allow syncing the same remote folder several
times?

Relates to issue #3645

SyncJournalDB: Only reset_and_clear_bindings once

We only need to do it once between each query execution and
that can be right before the first bind.

csync_update: Remove the check for csync_get_statedb_exists

This always returns true since _csync_statedb_is_empty also always
returns true. This function was initially intended to be a shortcut
in case the database doesn't contain any row, but has been broken since
27fb5d9128c3d326191d5f9f01dac4f715000682 and now won't return false
unless the statement fails.

The _last_db_return_error in _csync_detect_update would take care
of that code path in a more direct and clearer way anyway.

Move SyncJournalDB to src/common

Reverse the dependency between SyncJournalFileRecord and SyncFileItem

This will allow us to also use the SyncJournalDB in csync.

Move non-csync-dependent parts of FileSystem to src/common

This keep the csync-dependent parts in src/libsync, slitting the namespace
over two files.
This will allow moving SyncJournalDB to src/common as well.

Update sync-algorithm.md

The rbtree was replaced by a std::map.

Checksums: Clearer behavior and added testing

Remove SyncFileItem::_isDirectory

It's always equivalent to _type == SyncFileItem::Directory.

Remove SyncFileItem::log

This remove the remaining "other" fields of the sync log to save a
bit of memory.

other_etag and other_fileId don't give much information to the users
and other_instruction will always be INST_NONE anyway.

other_modtime and other_size are kept since they are sometimes used.
They were renamed to have a bit more meaningful name.

SyncEngine::checkPermissions will now fetch its information from the
csync trees since they are now preserved until right after this point.

Fixes #3213

Remove SyncEngine::_remotePerms

Now that csync is using a more convenient data structure for
its file trees, wait a little bit longer before destroying them and
fetch the remote permissions from the remote tree there instead.

Remove the usage of phash in csync

Only store the path since they represent the same thing, and do the
phash conversion during DB lookup like done in libsync.
We could get rid of everything since we also have an index on the path
column, but since it's the primary key this makes the migration non-trivial.

Replace the custom rbtree by a std::map

csync: Keep the csync_file_stat_t instances created during discovery

Now that they use the same structure, avoid _csync_detect_update
having to recreate another instance and transfer everything manually.
Any instance created during discovery should now be used all the way
up to SyncEngine::treewalkFile.

This also makes sure that the path and types are properly set in that
object instead of having to pass everything as separate parameters.

This gets rid of csync_ftw_flags_e which was now converted from,
and to csync_ftw_type_e, already in the csync_file_stat_t.

Issue #1817

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

AbstractNetworkJob: Allow relative redirect

Previously all redirects were considered absolute.

Reduce timeout for some admin jobs

The oauth token jobs and the wizard redirect check job shouldn't have
5min timeouts.

Wizard: Handle url-shortener redirects #5954

Grab any permanent redirects from the base url the user entered
before attempting to connect to a modified url (with status.php
added).

HttpCreds: Remove migration code from 1.7

Credentials: Use per-account keychain entries #5830

This requires a lot of migration code: the old entries need to be read,
saved to the new locations and then deleted.

Journal: Second attempt at journal mode fallback #5723

Some filesystems, vms or other limitations make using the WAL journal
mode impossible. We are notified of this problem through an sqlite
IOERR for SHMMAP. In that case We want to attempt to fall back to the
DELETE journal mode.

OAuth: Don't use implicit POST bodies

The query args of POST requests become the request body. If there's a
redirect, the redirected url will therefore not contain the query
arguments. Use an explicit request body to make the redirection work.

OAuth: Pass client auth in header instead of url

To play more nicely with redirects.

OAuth: Use redirectable jobs for oauth token management

PropagateUpload: Model of remote quota, avoid some uploads #5537

When we see a 507 error, assume that quota is < uploaded size.

SyncOptions/Propagator: Parallelism as an option

Very useful for changing it on a per-test basis.

Make DetailError different from BlacklistedError

It's quite different in regard to blacklist handling and overall
sync failure changes.

remove qt4 code

[tx-robot] updated from transifex

Excludes: Allow escaping # #6012

Otherwise adding patterns that start with # are impossible to add, since
they get treated as comments. Also add this escaping for patterns added
in the ui.

[tx-robot] updated from transifex

[tx-robot] updated from transifex

ChunkingNgTest: CI debuggability #6015

Journal: Fall back to DELETE on IO error #5723

Also add logging of extended error codes for this IO error, maybe we can
become more specific about which situations should trigger a journal
mode switch.

Folder: Check etag again after active sync #4116

Maybe more things were happening on the server?

[tx-robot] updated from transifex

Update server url in case of permanent redirection #5972

This is the first time the account url may update outside of
account setup.

Summary of redirection handling:
1. During account setup (wizard)
   - status.php gets permanently redirected -> adjust url
   - authed PROPFIND gets *any* redirection -> adjust url
2. During connectivity ping (ConnectionValidator)
   - status.php gets permanently redirected -> adjust url (new!)

All other redirections should be followed transparently and
don't update the account url in the settings.

Use DetermineAuthTypeJob in HttpCredentials

* Move it to networkjobs
* Minor adjustments to its logic
* Fixes redirect handling for oauth/basic http auth check #6003

Add clean_tarball.sh #6005

[tx-robot] updated from transifex

Windows: Make sure that the folder and Desktop.ini have the right attributes (#6018)

When created from scratch, the owncloud icon won't be picked-up by
explorer unless the right attributes are set on both the sync root and the
Desktop.ini file.

Issue #2446

Enable DEP & ASLR on Windows

Remove qtkeychain submodule #6004

Fix the macOS Sparkle build

Http credentials: Fix behavior for bad password #5989

When the GET request from askFromUser is scheduled on the QNAM inside
the slot that handles the QNetworkReply::finished signal, it seems to
not get processed at all.

This workaround moves the sending of the new GET to the event loop,
sidestepping the problem.

Fix compile errors

cmocka seems to #define fail to something inappropriate.

csync_statedb: (really) Make sure children of non-synced items aren't read from the DB

No tests are covering this and I reversed the original logic.

csync_statedb: Make sure children of non-synced items aren't read from the DB

Fix a regression during C++ conversion from 704ca366b38391c0ef56e090561b4a3a158307fb