Release SyncFileItem objects with their job

We now delete subjobs as their propagation is complete. This allows us
to also release the item by making sure that nothing else is holding a
reference to it.

Remove the stored SyncFileItemVector from SyncEngine and SyncResult
and instead gather the needed info progressively as each itemCompleted
signal is emitted.

This frees some holes on the heap as propagation goes, allowing many
memory allocations without the need of requesting more virtual memory
from the OS, preventing the memory usage from increasingly growing.

Pass the SyncFileItem as SyncFileItemPtr in itemCompleted

This will allow us to keep a reference on the items in connected slots.

Don't pass the PropagatorJob in itemCompleted

This was to catch duplicate emissions for PropagateDirectory but we
don't emit this signal anymore from there.
This fixes a warning about PropagatorJob not being a registered metatype.

This reverts commit fe42c1a818c3b1ccadb2e9557971b62a350573b4.

Tests: Add a large sync benchmark

This simulates a ~50k files sync that can be used to measure memory
usage without having to wait for a server.

Bring back the error message if the sync-exclude.lst file is missing

We unconditionnally add the file on startup, but don't check for errors.
During sync we check for errors, but only try loading the file if it
exists.

Merge remote-tracking branch 'origin/selective-sync-big-folder' into 2.3

Merge pull request #5480 from owncloud/chunking-ng-cleanup

Chunking ng cleanup

[tx-robot] updated from transifex

Shib: Use different keychain entry per account #5469

Previously shib multiaccount didn't work at all because the
session cookie was stored in the same keychain entry.

Folders: Adjust ui when account is disconnected #5477

Previously if you paused/unpaused a folder for a disconnected account
they would prepare to sync and thus display the 'Waiting...' text. With
this change, folders that can't possibly sync don't show text like
this.

When account connectivity changes, all unpaused folders will be
scheduled anyway.

[tx-robot] updated from transifex

[tx-robot] updated from transifex

ChunkingNG: add '0' padding on the filename (#5476)

The server sorts the chunk by name alphabetically. So if we want to keep
the chunk in order, we need to add a few '0' in front of the chunk name

Update issue_template.md

ChunkingNG: Add some tests

 - Test that we recover correctly if the chunks were removed on the server.
 - Test changing the file localy while uploading.

ChunkingNG: remove stale chunks when cleaning the uploadInfo table

Stale chunks might be there because a file was removed or would just not
be uploaded, for any reason.
We just start the DeleteJob but we don't care if it success or not.

Relates to https://github.com/owncloud/core/issues/26981

One of the test is testing the case where the file is modified on the server
during the upload. So this test the precondition failed error.
The FakeGetReply logic was modified because resizing a 150MB big QByteArray
by increment of 16k just did not scale when downloading a big file.

ChunkingNG: delete stale chunks if the file was changed locally

Relates to https://github.com/owncloud/core/issues/26981

We do not track the success or error of the DeleteJob because it does not
matter. If it fails, it might be because the chunks were already removed.
If not, the chunks will be stale, but the server must anyway do a few
cleanup from time to time because we do not always remove the chunks

[tx-robot] updated from transifex

[tx-robot] updated from transifex

StatusTracker: Emit OK for the last child before parents (#5467)

The current logic tried to avoid a DB lookup just to fetch whether
the file is shared or not since that info is already in the
SyncFileItem. The implementation would however need to decrease the
sync count for itself (and parents) before emitting the new status,
thus emitting the OK status for parents before that last child that
ended the propagation for that folder.

Change the implementation to achieve what we want: give the
possibility to decSyncCount to use a pre-fetched sharing state while
still doing the emission for all involved files. This ensures that
the leaf file also gets its status emitted before its parents.

Issue #4797

Reference to build Qt5 with qtwebkit support in the docs #5129 (#5471)

This addresses the issue only on OS X. It should be stated though, that qtwebkit is not part of the qt5core lib and therefore a requirement for the projectto build in the rest of the OSS

shell/Windows: Update binaries to build 44

Update the MacOS automatic update instructions

As requested in #5431, the automatic update instructions for MacOS X
have been simplified; removing the older, incorrect instructions.

Fix several typos in the client documentation

shell/Windows: Avoid memory allocations and copies when querying icons

IsMemberOf is called for every file (in the ownCloud directory or not) and
with every instance of OCOverlay (we have 5) when displaying a list of
files in Explorer.

Refactor the code to avoid copying the list of watched directories, as
well as creating a wstring from a PWWSTR for files outside watched
directories.

Also change some calls of begin_with to use isDescendantOf since it
properly handles parent paths not ending with a backslash, which could
lead to SocketAPI queries for sibling folders with a name that starts with
a watched folder name.

shell/Windows: Fix the view not being updated on StateError

Since StateError == 0, if this was the status used when the path
isn't in the map already, the view would not be updated since the
new state would be the same as the default-constructed state in the
map. Fix by explicitly inserting in that case, this also avoid aving
to do two lookups in the map when a path already has an entry.

shell/Windows: Remove the UPDATE_VIEW message handling

The client now tries to only push STATUS messages to connections
unless they previously requested it with a RETRIEVE_FILE_STATUS,
but this means that we now have to make sure that a new connection
will rerequest every icon that the user will see on files from that
point on.

To that end, we now send a SHChangeNotify for every file in the cache
when we lose the connection (or on UNREGISTER_PATH) to make sure that
what's on the screen matches what's in the cache. We also remove the
_oldCache logic that made this more difficult to enforce.

The client has been able to reliably push status updates on macOS
for a few versions now, and we don't need it on Windows either. The
_oldCache mechanism was to avoid sending to many update requests
when receiving an UPDATE_VIEW.

Also fixes #4766

shell/Windows: Convert tabs to space

It was a mix of both and the rest of the code uses spaces.

shell/Windows: Remove unused files

The real OCContextMenu.cpp is in the OCContextMenu folder.

shell/macOS: Make sure the root folder's cache is cleared on disconnect

The SocketAPI now only sends status pushes for paths requested by the
shell. We have to make sure that Finder doesn't just show the entry
from its cache after a reconnect.

shell/macOS: Remove backslashes from the extension display name

Tell cmake not to escape shell strings adding backslashes before
spaces by passing the VERBATIM optiton. Also add the quotes to
whole command line arguments to prevent quotes from appearing on the
XCode side, because of the VERBATIM option.

This only affects themed clients since the default theme doesn't
have space in its APPLICATION_NAME.

SocketAPI: Only push status for files requested by the shell #5361

We currently push the SYNC status for all files that will be propagated,
and then the OK status when those files are propagated.
On top of this, we send those statuses to all clients connected, even
if the socket is kept open by an application that only needed to show
a file open dialog. On macOS we're also using an NSConnection which
means that we have to wait for the RPC call to return from the
extension, which makes bulk status changes possibly heavy.

Reduce the time spent needlessly sending status pushes by limiting
them to files requested through that socket since it connected.
To limit the data to store, only remember the parent directory of
files requested, and store those in a bloom filter.

Note that this adds a requirement to shell extensions: they should
make sure that the status cache only contains entries that have been
requested through the socket API. In other words, the status cache
must be empty when each socket client connects to the socket API.
Otherwise the cached icon type will be shown to the user, and the
SocketAPI won't push new status for that file if it didn't receive
a RETRIEVE_FILE_STATUS.

SocketApi::slotReadSocket: Small optimizations

- Use the looked-up method index also for the invocation
- Do the method name concatenation already on QByteArray since we'll
  convert anyway
- Use staticMetaObject instead of metaObject()

SocketAPI: Remove unecessary null-checks

Those methods are private and there is only one call-site, we can
be sure that this parameter won't be null already.

Sync Engine: Specify what chars are not syncable in the error message #1733 (#5449)

Fix more compilation errors with Qt 4

Ammand last commit which was a fixup to the change from pull request #5468
for issue #5453

Fix compilation with Qt 4

Fixup to the change from pull request #5468 for issue #5453

[tx-robot] updated from transifex

NSIS: Adjust to 5.6.2 image

Folder: Remove unused variable

Disable RTTI

Shrinks owncloud binary by 24 KB and libowncloudsync by 14 KB.
I don't know if it has influence on memory usage or runtime speed though.

Was worth a try.

Updater: Don't create instance for invalid URL

Also don't use dynamic_cast
For enterprise/#689

PropagatorJob: Remove unneccessary pointer #5453

PropagatorJob: Access propagator through function #5453

Merge pull request #5466 from settermjd/add-directory-limit-to-faq

Add Sync Client's Directory Depth Limit To FAQ

Add an FAQ entry about the sync client's sub-directory scan limit

As requested in #1067, this commit adds an entry to the FAQ to highlight
the fact that the sync client will never scan greater than 50
sub-directories.

Revise the FAQ entry style

This approach uses less content, and makes the content more prominent.

[tx-robot] updated from transifex

Ignoring "System Volume Information"

Avoid to upload the "System Volume Information"

DB: Also migrate -shm and -wal to new name #3764 #5045 (#5459)

PropagateUploadFileNG: Delete unused map contents to free memory

Reset stuck chunked uploads eventually #5344 (#5443)

Previously this wasn't happening for errors that were not
NormalErrors because they don't end up in the blacklist.

This revises the resetting logic to be independent of the
error blacklist and make use of UploadInfo::errorCount
instead.

412 errors should reset chunked uploads because they might be
indicative of a checksum error.

Additionally, server bugs might require that additional
errors cause an upload reset. To allow that, a new capability
is added that can be used to advise the client about this.

SelectiveSync: adjust the position of the "Loading" label

It should be parented to the treeview to be sure that is shows inside of it.

wizardSelectiveSyncDefaultNothing applies to folder wizard #4581

Previous the Theme option only applied to the account setup wizard.

Selective sync: Adjust widget common to folder/account wizards

[tx-robot] updated from transifex

[tx-robot] updated from transifex

Doc: Add forceSyncInterval and timeout config file flags

Log the auth type being used for accounts

There have been hard to track down bugs related to the wrong auth
type being used.

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

sqlite: Update bundled version to 3.16.1

For OS X and Windows.

First iteration ChangeLog for 2.3.0

Symlink Support for Dolphin Plugins (#5428)

Add Symlink Support to Dolphin Overlay Plugin

ownsql: qFatal on prepare errors #5357

[tx-robot] updated from transifex

Account: Fix displayName() #5413

This displayName() seemed to be based on Account::user() which used
to call _credentials->user(). But then we repurposed user() to be
davUser() and this usage wasn't updated to point back to the username
used for the credentials.

Don't blacklist 507 Insufficent Storage #5346 (#5424)

Build: Enable Q_ASSERT in release mode (#5425)

Wizard: Don't accidentally pre-fill url field #5412

slotUrlEditFinished() is called when the wizard is triggered in
some situations.

HTTPCreds: remove all cookies when logging out (#5383)

Some custom server use persistent cookies with the auth token. So we should
clear all the cookies when disconnecting.
Account::clearCookieJar is only called from the HTTPCredentials. This funciton
is not used for shibboleth.
There is probably no reasons to keep the HTTP cookie anyway.

Issue #5370

Doc: Improve example #5422

Wizard: Let the user know if url is invalid #5398

Fix compile of tests

Sql: Allow prepare fail for PRAGMA quick_check #5357

This actually happens in low-disk situations.

Fixup broken authType on load #5408

[tx-robot] updated from transifex

Only create a FolderWatcher if the path exists

Also retry creating it before each sync.

See #5317

Reschedule a folder regularly with some delay for some errors

Like "folder doesn't exist" - such that we will detect when the folder
becomes available and start syncing.

See #5317

Fix up SSL client certificates #5213 #69 (#5289)

The re-enables the UI, uses Qt API for importing and
stores the certificate/key in the system keychain.
People who had set up client certs need to re-setup the account. This is ok
since it was an undocumented feature anyway.

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

Wizard: Detach saved account from wizard

Fixes #5408 #5407.

The problem was that cleanup of the credentials page set the
credentials of the account back to dummy, thereby overriding
things like shib usernames.

This should be broken since a932eac832b442cca763197240f036905dd284da.

Add capability to disable parallel chunked upload #5364 - technical review (#5403)

Correctly handle possible missing GIT_SHA1. (#5401)

Currently, if get_git_head_revision() doesn't define GIT_SHA1 (which it
doesn't in some cases) it's possible to end up with the following error:

    CMake Error at CMakeLists.txt:69 (if):
      if given arguments:

        "STREQUAL" "GITDIR-NOTFOUND"

      Unknown arguments specified

Fix this by making sure both left and right hand arguments to STREQUAL
are always strings, even if GIT_SHA1 is undefined.

Signed-off-by: Kyle Fazzari <kyle@canonical.com>

Increase initial bandwidth estimates #4428 #5390

To 2 MB/s and 10 files/s.

[tx-robot] updated from transifex

Fix Mac PATH command

Reported in the doc repo owncloud/documentation#1618
This version as suggested by @jturcotte

Move qDeclareMetatype from Folder to SyncEngine

Don't wipe db if check fails while disk space is low #5357

An experimental fix for the issue, merged because it's low risk and
makes testing easier.

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex