Replace the custom rbtree by a std::map

csync: Keep the csync_file_stat_t instances created during discovery

Now that they use the same structure, avoid _csync_detect_update
having to recreate another instance and transfer everything manually.
Any instance created during discovery should now be used all the way
up to SyncEngine::treewalkFile.

This also makes sure that the path and types are properly set in that
object instead of having to pass everything as separate parameters.

This gets rid of csync_ftw_flags_e which was now converted from,
and to csync_ftw_type_e, already in the csync_file_stat_t.

Issue #1817

[tx-robot] updated from transifex

[tx-robot] updated from transifex

[tx-robot] updated from transifex

AbstractNetworkJob: Allow relative redirect

Previously all redirects were considered absolute.

Reduce timeout for some admin jobs

The oauth token jobs and the wizard redirect check job shouldn't have
5min timeouts.

Wizard: Handle url-shortener redirects #5954

Grab any permanent redirects from the base url the user entered
before attempting to connect to a modified url (with status.php
added).

HttpCreds: Remove migration code from 1.7

Credentials: Use per-account keychain entries #5830

This requires a lot of migration code: the old entries need to be read,
saved to the new locations and then deleted.

Journal: Second attempt at journal mode fallback #5723

Some filesystems, vms or other limitations make using the WAL journal
mode impossible. We are notified of this problem through an sqlite
IOERR for SHMMAP. In that case We want to attempt to fall back to the
DELETE journal mode.

OAuth: Don't use implicit POST bodies

The query args of POST requests become the request body. If there's a
redirect, the redirected url will therefore not contain the query
arguments. Use an explicit request body to make the redirection work.

OAuth: Pass client auth in header instead of url

To play more nicely with redirects.

OAuth: Use redirectable jobs for oauth token management

PropagateUpload: Model of remote quota, avoid some uploads #5537

When we see a 507 error, assume that quota is < uploaded size.

SyncOptions/Propagator: Parallelism as an option

Very useful for changing it on a per-test basis.

Make DetailError different from BlacklistedError

It's quite different in regard to blacklist handling and overall
sync failure changes.

remove qt4 code

[tx-robot] updated from transifex

Excludes: Allow escaping # #6012

Otherwise adding patterns that start with # are impossible to add, since
they get treated as comments. Also add this escaping for patterns added
in the ui.

[tx-robot] updated from transifex

[tx-robot] updated from transifex

ChunkingNgTest: CI debuggability #6015

Journal: Fall back to DELETE on IO error #5723

Also add logging of extended error codes for this IO error, maybe we can
become more specific about which situations should trigger a journal
mode switch.

Folder: Check etag again after active sync #4116

Maybe more things were happening on the server?

[tx-robot] updated from transifex

Update server url in case of permanent redirection #5972

This is the first time the account url may update outside of
account setup.

Summary of redirection handling:
1. During account setup (wizard)
   - status.php gets permanently redirected -> adjust url
   - authed PROPFIND gets *any* redirection -> adjust url
2. During connectivity ping (ConnectionValidator)
   - status.php gets permanently redirected -> adjust url (new!)

All other redirections should be followed transparently and
don't update the account url in the settings.

Use DetermineAuthTypeJob in HttpCredentials

* Move it to networkjobs
* Minor adjustments to its logic
* Fixes redirect handling for oauth/basic http auth check #6003

Add clean_tarball.sh #6005

[tx-robot] updated from transifex

Windows: Make sure that the folder and Desktop.ini have the right attributes (#6018)

When created from scratch, the owncloud icon won't be picked-up by
explorer unless the right attributes are set on both the sync root and the
Desktop.ini file.

Issue #2446

Enable DEP & ASLR on Windows

Remove qtkeychain submodule #6004

Fix the macOS Sparkle build

Http credentials: Fix behavior for bad password #5989

When the GET request from askFromUser is scheduled on the QNAM inside
the slot that handles the QNetworkReply::finished signal, it seems to
not get processed at all.

This workaround moves the sending of the new GET to the event loop,
sidestepping the problem.

Fix compile errors

cmocka seems to #define fail to something inappropriate.

csync_statedb: (really) Make sure children of non-synced items aren't read from the DB

No tests are covering this and I reversed the original logic.

csync_statedb: Make sure children of non-synced items aren't read from the DB

Fix a regression during C++ conversion from 704ca366b38391c0ef56e090561b4a3a158307fb

Fix build after C++ conversion of csync

Use the same macro as in SyncFileItem for bitfields on enums.

Fixes #5993

Use a C++ contructor and destructor for CSYNC

Merge csync_create and csync_init into the constructor and
replace csync_destroy with the destructor.

Also use a QByteArray for csync_s::root_perms and flatten
csync_rename_s as a rename sub-struct of csync_s since it
can now handle C++ types.

Remove csync_s::replica

The only difference with csync_s::current is that it's
assigned the value of csync_s::local::type and
csync_s::remote::type, which never change. So might as
well only use the "current" field with constants.

Replace TREE_WALK_FILE with csync_file_stat_t

Just expose csync_file_stat_t since we don't need an abstraction layer
anymore. Also pass the nodes of both trees directly to the visitor
function.

Issue #1817

Replace csync_vio_file_stat_t with csync_file_stat_t

Also move csync_normalize_etag to common/utility since we
don't need the char* function anymore.

Remove the single space file_stat->remotePerm codepath since
this won't be used in csync anymore since
8de3bda0b1f900ab183698454740fd979f7ab9d7.

Issue #1817

Fix link to download the ownCloud client

This was requested in https://github.com/owncloud/documentation/issues/3354.

Fix broken images in FAQ

This relates to https://github.com/owncloud/documentation/issues/3354.

Update ChangeLog

Make csync_file_stat_t public and partly convert to C++

This is the first commit trying to unify csync_file_stat_s,
csync_vio_file_stat_s and csync_tree_walk_file_s. Use QByteArray
and unique_ptr already since I'm not used to track memory allocations
and this will make the transition easier.

Issue #1817

Move Utility to a new common static library

Now that csync builds as C++, this will avoid having to implement
functionalities needed by csync mandatorily in csync itself.

This library is built as part of libocsync and symbols exported
through it.
This requires a relicense of Utility as LGPL. All classes moved into
this library from src/libsync will need to be relicensed as well.

Add minor unittest for numeric id extraction #5933

StatusTracker: Fix different case paths not matching (#5981)

Use a custom std::map comparator functor to do all comparisons
on contained QStrings using Qt::CaseInsensitive on macOS and Windows.

Issue #5257

fix branded nemo and caja shell integration (#5966)

* Update createcajaplugin.sh

* first apply branding, then create copies. Better.
Fixes https://github.com/owncloud/ownbrander/issues/753

* fix https://github.com/owncloud/ownbrander/issues/752 too.

Fix cmocka deprecation warnings

Just use cmocka_run_group_tests like we already use in
some of those tests.

Enable csync logs in unit tests

Go through the Logger to enable the csync-QDebug bridge.

Compile almost all of csync as C++

This will allow us to unify data structures between csync and libsync.

Utility functions like csync_time and c_std are still compiled as C
since we won't need to be coupled with Qt in the short term.

Use .cpp for existing csync .cc files

Make this consistent with the rest of the client code.

Move csync to src/csync

Move csync/tests to test/csync

Move csync/tests/ownCloud to test/scripts/txpl

Merge pull request #2 from nextcloud/update-readme

Update README

Remove templates for now

Signed-off-by: Roeland Jago Douma <roeland@famdouma.nl>

Update README

Adjust branding and remove some sections

Merge pull request #48 from nextcloud-gmbh/master-oc

Bump to oc master

Merge remote-tracking branch 'oc/master' into master-oc

Merge pull request #5974 from owncloud/Documentation_Activity_Update

Documentation improvement for #5969

Documentation improvement for #5969

Hardcode Desktop.ini in the exclude list

This prevents it from being removed from the exclude list, which
would be an issue since the client itself creates this file in a way
that wouldn't match on machines with different installation paths.

Windows: Use the application icon for the sidebar

By setting the icon in Desktop.ini of the root folder, this adds the icon
both when browsing the folder directly and to the sidebar shortcut.

To avoid overwriting any user setting that could exist in Desktop.ini,
only do this if the file doesn't exist. Editing .ini files on Windows
isn't trivial and isn't worth it given that this file won't exist most
of the time.

Fixes #2446

CMake: Print the Qt version and path #5957 #5932

Merge pull request #47 from nextcloud-gmbh/drone_qt5.9

Add Qt5.9  to drone

Add Qt5.9  to drone

Signed-off-by: Roeland Jago Douma <roeland@famdouma.nl>

Merge pull request #46 from nextcloud-gmbh/drone_57_58

Add qt5.7 and qt5.8 CI tests

Add qt5.7 and qt5.8 CI tests

Signed-off-by: Roeland Jago Douma <roeland@famdouma.nl>

Sync Folder: Add file manager favorite also in folder wizard #455

Not only in the account wizard.

Upload: Log the checksum / file hash

ChangeLog: More 2.4.0 stuff

Merge pull request #43 from nextcloud-gmbh/drone

Get drone up and running

Add drone test for Qt-5.6

Signed-off-by: Roeland Jago Douma <roeland@famdouma.nl>

Merge pull request #5762 from owncloud/update-docs-to-2.3.2

Update client docs version string to 2.3.2

Update client docs version string to 2.4.0

Need to update this to match the latest version.

Merge pull request #5929 from owncloud/doc-cleanup

Clean up the client docs removing old, outdated, content

macos: Add a sidebar icon

In the process, use an iconset to generate the icns using iconutil.
Also add some missing icon resolutions according to the guidelines.

Issue #296

Clean up the client docs removing old, outdated, content

This makes changes as suggested by @michaelstingl in
https://github.com/owncloud/documentation/issues/3240.

FolderWizard: fix crash in FolderWizardRemotePath::slotHandleLsColNetworkError

The Job is a LsColJob, not a MkColJob!

Reproduce by entering a name with invalid character that cause an error 400
in the folder wizard's remote path line edit.

(Relates issue #5924)

General settings: Put all advanced checkboxes in a layout

The mac style has the concept of Layout Item Rectangle that bleeds
widgets margins into parent margins. This unfortunately doesn't work
when the parent layout doesn't have any margin, like we do when we
have the hierarchy:
 Vertical(normal margin)
   / Horizontal(no margin, uses parent layout spacing)
     /Widget

I guess Qt should propagate remaining uneaten margins to grand-parent
layouts and so on to have this work properly, but nobody seems to
have touched that code since Qt 4.4.
So just try to make the problem less worse by making sure that
all checkboxes we want to align are either in the same layout, or
in a loyout of their own.

Issue #5492

Fix the selective sync notification folder list being cropped

The maximumHeight would stay at the last animated value.

Issue #5492

AccountState: reset _waitingForNewCredentials when signin in

Just to force the logic to re-ask the credenticals, in case we were
already asking them when singin off.

Issue: https://github.com/owncloud/client/issues/5893#issuecomment-316949686

encoding_tests: No more iconv

OAuth: clear refresh token when the server claim not to support oauth

Allow upgrade path when the server removes support for oauth
Relates: https://github.com/owncloud/client/issues/5848#issuecomment-317353049

We also need to force the account to commit the config to the disk,
otherwise we may not register we are no longer using owncloud and we
risk sending the password as the token to the token refresh API call

OAuth: Fix refresh of token after expiration

Before commit d3b00532b1dd9f44cc606e6738b53345c37582cf,
fetchFromKeychain was called everytime we detect that the creds are
invalid (in AccountState::slotInvalidCredentials)
But since that commit, AccountState was calling askFromUser directly,
breaking the refresh of the token.

So I made sure AccountState::slotInvalidCredentials still calls
refreshAccessToken.

Another change that was made was too be sure to clear the cookies
in HttpCredentials::invalidateToken even when we are only clearing the
access_token. That's because the session with a cookie may stay valid
longer than the access_token

Revert "Revert "Discovery: consider also the "shared by me" as shared""

This reverts commit efa7821dd28491ad0b93fec53be6d4ad0f94f19f.

This reverts the revert, but also add a check that the server version
is bigger than 10.0

Issue #4788

Don't keep the list of touched files for the whole sync

We only want to know if they were touched within the last 15 seconds,
so change the data structure to use a QMultiMap, and sort them by
QElapsedTimer. This allows us to iterate over old entries ordered by
time and to stop once we find a recent entry.

This makes the look-up slower but in most cases the folder watcher
will report any change within milliseconds, and we start from the
most recent. What this really makes slower are actual user file
changes while a fast sync is underways which will need to iterate
over the whole map to find out the file isn't there.

This reduces the growth of the memory usage when downloading a large
amount of files.

windows: Fix a memory leak in FileSystem::longWinPath

Also use c_path_to_UNC directly instead of doing an extra
UTF-8->wchar conversion.

buildint.rst: Put back reference to openssl on windows

OpenSSL might no longer be needed to build the client, but we still need
it to run it.

That reverts part of commit 6e57b0219edd7dcc99509620277bb53478d958a6 for
this file.

Fix #5858
Reported in https://central.owncloud.org/t/locally-built-client-error-creating-ssl-context/8264

Propagator: fix a qMax which should have been a qMin

OAuth: Add the user in the authorize call

Issues: #5897, https://github.com/owncloud/oauth2/issues/48

PropagateUpload: Remove the Qt workaround against data corruption

This was only for Qt <= 5.4, which we don't really support anymore.
And even then, the data corruption is happens very seldomly anyway.

Merge pull request #5905 from kaustubh-welankar/issue_5692_pull

Fix for issue number #5692 :

Abort owncloudcmd if the capabilities call fails.

AccessManager: Disable HTTP/2 without TLS

Qt would otherwise still try to do HTTP/2 connection even over "http://".
And that does not work with server that does not support it

HTTP/2 Support

We need Qt 5.9 for HTTP2 because, even if Qt 5.8 already has support
for it, there is some critical bug in the HTTP2 implementation which
make it unusable [ https://codereview.qt-project.org/186050 and
https://codereview.qt-project.org/186066 ]

When using HTTP2, we can use many more parallel network request, this
is especially good for small file handling

Lower the priority of the GET and PUT propagation jobs, so the quota
or selective sync ui PROPFIND will not be blocked by them

Merge pull request #5326 from owncloud/cleanup_tests

Use OWNCLOUD_BIN_DIR directly in C++ code.