Split running jobs into a separate vector

Split the subjob logic out of PropagateDirectory

Replace WaitForFinishedInParentDirectory with WaitForFinished for directory moves

In preparation for the PropagateDirectory refactoring, simplify things
by removing WaitForFinishedInParentDirectory, which is currently
implemented as a one-level check.

This value is important for directory items, but is however never
used since a directory CSYNC_INSTRUCTION_RENAME item will always be in
PropagateDirectory::_firstJob, which will have to pass through its own
PropagateDirectory job's parallelism() before reaching the parent's
_subJobs optimization.
Since PropagateDirectory::parallelism can only return WaitForFinished
or FullParallelism, that value is lost. So this commit doesn't
change the behavior for directories, and allow file renames to be
scheduled in parallel across directories (which isn't a problem).

Fix TestSyncEngine::abortAfterFailedMkdir (again)

It could be possible that _firstJob is marked as finished if
aborted before its parent PropagateDirectory was marked as finished,
allowing a posted scheduleNextJob call to schedule the child job
in-between.

Merge pull request #5549 from owncloud/fix-documentation-build-process

Fix documentation build process

Merge branch 'master' into fix-documentation-build-process

Re-add the Makefile for controlling the build process

I'm not sure, why the file was removed, it was there in 2013, but it was
removed. This commit adds it back so that the build process can be
automated in a UNIX environment.

Fix the Sphinx-doc build configuration

I'm not sure what the configuration/setup has been like to date. But as
it stood, it didn't build successfully. Given that, I've created a copy
of doc/conf.py, included in this commit, from the default doc/conf.py.in
and set the appropriate variables as necessary.

NOTE: The build didn't work when the version, release, and latex_logo
values weren't set, either directly or with interpolatable values.

Merge pull request #5547 from owncloud/update-docs-build-configuration

Create a build configuration file

Merge pull request #5545 from owncloud/grammar-updates

Fix grammar and spelling errors in the documentation

Message Boxes: Force to be more on top #5503 (#5536)

Create a build configuration file

This is no different from the default file, conf.py.in, except for the
specification of the logo file.

Fixed grammar and spelling errors in the documentation

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

Propagator: Fix t8.pl

The test sets OWNCLOUD_MAX_PARALLEL to 1 to disable parallelism.
But since the max amount of parallelism is twice as much, that does not
work.
So change the way we compute the hardMaximumActiveJob: Use the value of
OWNCLOUD_MAX_PARALLEL to maximize this amount and base the maximum amount
of transfer jobs on it instead of the other way.

A result of this change is that, in case of bandwidth limit, we keep the
default of 6 non-transfer jobs in parallel. I believe that's fine since
the short jobs do not really use bandwidth, so we can still keep the same
amount of small jobs.

Revert "Don't blacklist 507 Insufficent Storage #5346 (#5424)"

This reverts commit e1f5a49c21826590811710f73e37b7b72e256960.

Retrying uploads with insufficent storage errors frequently leads to
high server traffic. See #5537 for links and a sketch of a correct
solution.

Revert "Fix TestSyncEngine::abortAfterFailedMkdir"

This reverts commit 1cec2ca13dc35aba6aaf79f42bde9a6dd00143a7
but keeps the reset() -> take() part that is probably the cause
of crashes we've seen in the crash reporter.

[tx-robot] updated from transifex

AccessManager: don't set an invalid network configuration on linux (#5538)

If we call
 setConfiguration(QNetworkConfiguration());
This sets an invalid configuration on the QNAM.
But later, when we really go online because interfaces are discovered,
QNetworkAccessManagerPrivate::_q_onlineStateChanged is called (with isOnline=true).
And this will set the state to disconnected because customNetworkConfiguration is
true, and the networkConfiguration state is disabled.

The workaround we to fix another bug on Windows in which the default network
configuration was not behaving properly.

The issue on linux is hard to reproduce and only happen in some condition,
but it was reproduced on smashbox when they run two owncloudcmd at the same time.

Issues: #4720 , #3600

Recent Changes: Fix duplicates #5256

The transmissionProgress emission when the whole sync finishes
shouldn't look exactly like the one for the last file.

[tx-robot] updated from transifex

Folder: Keep files option after aboutToRemoveAllFiles should not clear selective sync list (#5531)

We were removing the wholme journal db when the user wanted to keep all files,
But that would also remove the selective sync lists.
We should only remove the metadata table.

Issue #5484

Update windows docker file to use 2.3 OBS repo

Signed-off-by: Roeland Jago Douma <roeland@famdouma.nl>

[tx-robot] updated from transifex

Merge remote-tracking branch 'origin/2.3'

Disable tests uncompatible with Qt4 for that build

Fix the UNIT_TESTING build on Windows

- Put all tests in the bin directory so that DLLs can be loaded
- Add missing exports
- Skip tests that use code depending on zlib
- The "GMT" timezone is named differently, use the int constructor instead

5 tests are still failing, it's not really worth fixing at the moment
since no developper is currently using Windows as its main platform.

Fix FolderManTest on macOS

On macOS /var is a symlink to /private/var and we have to make sure that we
use the canonical path before and after it enters the code to make sure we
compare paths correctly.

Fix ExcludedFilesTest on macOS

Use the same logic to find sync-exclude as check_csync_exclude.c

Fix FileSystemTest on macOS

Fix FolderWatcherTest on macOS and Windows

- We need to use a QGuiApplication on macOS or else we don't get notifications
- Switch to use QSignalSpy rather than lists and sleeps
- Use system() for all modifications since we pass kFSEventStreamCreateFlagIgnoreSelf
- Keep using the local process on Windows since it catches its own events

Fix UtilityTest on macOS

Folder: remove unused variable

[tx-robot] updated from transifex

Modify Jenkinsfile for 2.3

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

Doc: For conflicts, the local file is renamed #5521

[tx-robot] updated from transifex

[tx-robot] updated from transifex

Remove unneeded Q_DECLARE_METATYPE

Fix TestSyncEngine::abortAfterFailedMkdir

It could be possible that _firstJob is marked as finished if
aborted before its parent PropagateDirectory was marked as finished,
allowing a posted scheduleNextJob call to schedule the child job
in-between.

Skip TestSyncEngine::abortAfterFailedMkdir

Merge pull request #5518 from ckamm/asserts

Improve usage of asserts

CMake: Don't force-enable asserts #5429

Should be safer now that we've gone through asserts and assured that
one ones that should be fatal continue to exist in release builds
independently of QT_NO_DEBUG.

Double check usage of asserts #5429

A few are supposed to be fatal.

Performance: reserve() _remotePerm #5496

Folder: Change the wording for the massive deletion message

Issue #5503

Settings: Don't migrate settings on access error #5499 (#5523)

Previously, we'd try migrating from legacy settings if reading
the settings failed with an error. Now, we try again after a
couple of seconds and eventually give up.

AccountManager: Fix small leak in the account migration code

The QSettings object was not deleted in every possible code paths

CentOS: More build fixes

CentOS: Another attempt

[tx-robot] updated from transifex

Improve previous fix

After comment on https://github.com/owncloud/client/commit/78a798eef3eb8d04360c6d9542db55469f59cacd

CentOS: Another fix for old compiler version (2)

ChangeLog for 2.3 additions

Old Qt: Another build fix

CentOS: Another fix for old compiler version

CentOS: Fix build for old compiler version

Revert "Disable RTTI"

This reverts commit 85d3de15898385a06b2f34479e875c885e5df6be.
This breaks our old Qt on CentOS.

We can re-introduce this with #5470

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

Merge remote-tracking branch 'origin/master' into 2.3

We can do that because the only changes that were in master but not in 2.3 were the
translations change and documentation change, and the support for the 'M' permission
which we want in 2.3.

Account Wizard: don't whitelist everything on the first sync if we still want to confirm big folder

Issue: https://github.com/owncloud/client/pull/5340#issuecomment-274564441

General Settings: Make sure to reload the settings when an account is added

The Size limit, or confirmation checkboxes might have changed.

We need to guard against saving if the control changes while we are loading

Issue: https://github.com/owncloud/client/pull/5340#issuecomment-274878023

Confirm External Storage: adjust the notification message

We need to forward the information that the folder is an external storage
for the notification message.

Issue: https://github.com/owncloud/client/pull/5340#issuecomment-274878023

Wizard: Increase the size

The advanced page has become quite complex and does not fit on the screen
anymore if the fonts are too big

FolderStatusModel: Different icon for external storages

Issue: https://github.com/owncloud/client/pull/5340#issuecomment-274564441

Discovery: Filter 'M' out of permissions for non root storage

The sync engine rely on the 'M' in premission to ask for confirmation
(As requested in issue #5340)
But we only want to ask the premission for the 'root' of the mounting point and not
for every subfolders within it.
So we change the discovery phase in a way that it does not keep the 'M' for
children within the external storage.

Wizard: Add options to ask confirmation for external storage

Added two checkboxes in the Account Wizard in the advanced page to change the first options.
Also added a checkbox in the general settings to ask for confirmation for external storages.

Theme options allow to hide the checkboxes in the wizard.

As described in issue #5340

Discovery: Add branding option to disable default sync of 'M' directories

Issue #5331 and https://github.com/owncloud/enterprise/issues/1594

[tx-robot] updated from transifex

Remove PropagateDirectory::_runningNow

This variable isn't used anymore except in a stray Q_ASSERT.

Clear SyncEngine::_remotePerms after the sync

Also make reuse the SyncFileItem::_remotePerm QByteArray allocation
instead of redoing the copy from the csync char*.

Pack boolean members in PropagateUploadFileCommon #5457

Don't use the StopWatch for each job in production builds #5456

This accounted for more than 10% of the peak memory usage while only
providing value through the debugging log.

Remove SyncFileItem::_requestDuration #5456

This will save a QElapsedTimer in each job that was used only for
.owncloudsync.log (for which the request duration doesn't bring much
value).

Don't reallocate a QByteArray for each contentChecksumType call #5481

Remove duplicate SyncFileItem entries for the log

The accuracy of that log isn't as important as the few bytes those
fields take as hostage for the whole sync.

Don't create legacy 'folders/' subdirectory

Cookies: Use different DB for different accounts (#5490)

This is a follow up to #5469

Delete finished propagation jobs in PropagateDirectory #5269 (#5400)

[tx-robot] updated from transifex

Release SyncFileItem objects with their job

We now delete subjobs as their propagation is complete. This allows us
to also release the item by making sure that nothing else is holding a
reference to it.

Remove the stored SyncFileItemVector from SyncEngine and SyncResult
and instead gather the needed info progressively as each itemCompleted
signal is emitted.

This frees some holes on the heap as propagation goes, allowing many
memory allocations without the need of requesting more virtual memory
from the OS, preventing the memory usage from increasingly growing.

Pass the SyncFileItem as SyncFileItemPtr in itemCompleted

This will allow us to keep a reference on the items in connected slots.

Don't pass the PropagatorJob in itemCompleted

This was to catch duplicate emissions for PropagateDirectory but we
don't emit this signal anymore from there.
This fixes a warning about PropagatorJob not being a registered metatype.

This reverts commit fe42c1a818c3b1ccadb2e9557971b62a350573b4.

Tests: Add a large sync benchmark

This simulates a ~50k files sync that can be used to measure memory
usage without having to wait for a server.