Improve deferred installation mechanism

This time around, I've gotten rid of the advice on `require' (that was
never going to work) and instead made `use-package' try to handle
loading the package at the appropriate time. In particular, when
deferred installation is active, all the autoloads generated by
`use-package' are not regular autoloads, but regular functions that
will install the relevant package, require the relevant feature, and
only then call the newly defined (autoloaded) function.

Some smarter logic has been added to make sure things like `:demand'
play nicely with the autoloading system; see the extensive comment in
`use-package-handler/:defer-install' for more information on how that
works.

There was a section in `use-package-install-deferred-package' which
referred to a nonexistent variable `use-package--deferred-features';
that has been removed.

There is now, in addition to `use-package-ensure-function', a new
variable called `use-package-pre-ensure-function'. This is intended
for use by package managers which, unlike package.el, activate
autoloads package-by-package instead of all at once. Even if a package
is marked for deferred installation, the user would likely want its
autoloads activated immediately *if* it was already installed. The
logic for doing that can now be put in
`use-package-pre-ensure-function'.

Merge branch 'generalized-ensure' into defer-install

Update docstring for use-package-ensure-function

Now it properly reflects the API changes recently made.

First cut at :defer-install keyword

This new keyword, if provided along with a non-nil value, causes the
action of :ensure to be deferred until "necessary". Package
installation can be triggered by the user calling the new interactive
function `use-package-install-deferred-package', or by the feature
declared by the `use-package' form being required. This latter
behavior seems to be the simplest way to make sure that package
installation actually takes place when it needs to, but it requires
that an advice be added to `require', which may be considered overly
intrusive. (Also, it's generally considered bad practice for functions
in Emacs to put advice on other functions in Emacs.) Thus it may make
sense to add an option or function to explicitly enable this behavior,
if there does not turn out to be a better way to accomplish deferred
installation.

Documentation has not been updated to reflect :defer-install yet.

Extend capabilities of use-package-ensure-function

Modify the expected API of `use-package-ensure-function' so that it is
passed three arguments: the name of the package declared in the
`use-package' form; the argument passed to `:ensure'; and the current
`state' plist created by previous handlers. (Previously, it was only
given a single argument, which was the argument passed to `:ensure',
or the name of the package declared in the `use-package' form, if the
former was `t'.

This allows for more flexibility in the capabilities of the
`use-package-ensure-function' implementation. For example, its
behavior can change depending on the values of other keywords, if
those keywords modify the `state' plist appropriately.

Merge pull request from justbur/find-form

Add function use-package-jump-to-package-form
GitHub-reference: https://github.com/jwiegley/use-package/issues/359

Merge pull request from justbur/imenu3

Improve imenu support
GitHub-reference: https://github.com/jwiegley/use-package/issues/356

Merge pull request from raxod502/fix-use-package-defaults

Fix use-package-defaults
GitHub-reference: https://github.com/jwiegley/use-package/issues/430

Fix use-package-defaults

This patch should address issues https://github.com/jwiegley/use-package/issues/428 and https://github.com/jwiegley/use-package/issues/429. See https://github.com/jwiegley/use-package/issues/426 for
discussion. In brief, the issue was that use-package-sort-keywords was
not applied when the predicates in use-package-defaults did not return
true, when it should have been applied unconditionally.

Unrevert "Add use-package-defaults"

This reverts commit 013425edeb1829f5d21514f77d41763347538b14.

Revert "Add use-package-defaults"

This reverts commit 3dec23c0860ad297436b9b71b221491ae3790cce.

Merge pull request from raxod502/use-package-defaults

Add use-package-defaults
GitHub-reference: https://github.com/jwiegley/use-package/issues/426

Add use-package-defaults

Previously, the :config, :ensure, and :pin keywords had default
values (dependent on the values of the use-package-always-ensure and
use-package-always-pin). This change allows the user to customize the
default values used for those keywords, and add default values for
their own keywords in a non-hacky way.

This functionality would be useful for (as an example) the
quelpa-use-package package, which needs to use an advice to override
the functionality of :ensure. The same problem prevents adding a
use-package-always-quelpa variable in any reasonable way, without a
way to customize the default values of keywords.

Merge pull request from raxod502/use-package-ensure-function

Add use-package-ensure-function
GitHub-reference: https://github.com/jwiegley/use-package/issues/427

Add use-package-ensure-function

This allows the user to customize the :ensure keyword by using a
different package manager than package.el.

Add new customization option `use-package-always-demand`

This is equivalent to adding `:demand t` to all `use-package` declarations,
and has the same semantics as doing so (meaning it can be overridden locally
using `:defer t` in a declaration).

Fixes https://github.com/jwiegley/use-package/issues/423

Merge pull request from basil-conto/preface

Increase :preface priority
GitHub-reference: https://github.com/jwiegley/use-package/issues/418

Merge pull request from tarsius/outline

Support outline-minor-mode
GitHub-reference: https://github.com/jwiegley/use-package/issues/420

Merge pull request from tarsius/bind-later

Delay decision whether to use eval-after-load until run-time
GitHub-reference: https://github.com/jwiegley/use-package/issues/419

Delay decision whether to use eval-after-load until run-time

Just because a keymap variable is bound at macro-expansion-time
doesn't mean that it must be bound at run-time too.

Change `bind-keys-form', which is used by `bind-keys' and other
macros, to return a form which delays the decision on whether to
wrap the binding forms with `eval-after-load' until run-time.

Fixes https://github.com/jwiegley/use-package/issues/378.

Support outline-minor-mode

In "use-package.el" prefix headings with ";;;" instead of just
";;".  In "bind-key.el" add the missing ";;; Code:" heading.
In both libraries set `outline-regexp' to an appropriate value.

Increase :preface priority

Reconcile order of `use-package-keywords' with the README
description of `:preface' as occurring before everything but
`:disabled'.

Merge pull request from phst/bug398

Declare package-read-all-archive-contents
GitHub-reference: https://github.com/jwiegley/use-package/issues/402

Declare package-read-all-archive-contents

Fixes https://github.com/jwiegley/use-package/issues/398

Remove tests, which don’t work

Fixes https://github.com/jwiegley/use-package/issues/399

Bump version to 2.3

Merge pull request from appleby/master

Ensure package-pinned-packages is bound before referencing it.
GitHub-reference: https://github.com/jwiegley/use-package/issues/376

Ensure package-pinned-packages is bound before referencing it

Add a bound-and-true-p guard to package-pinned-packages before
referencing it in use-package-ensure-elpa.

Package pinning was introduced in Emacs 24.4, and hence
package-pinned-packages in unbound by default in earlier versions.

Relevant commits:
 72452b5 Merge pull request https://github.com/jwiegley/use-package/issues/367 from ketbra/master
 5053f75 Make pin and ensure compatible

Fixes https://github.com/jwiegley/use-package/issues/375

Copyright-paperwork-exempt: yes

Remove the use of a tab

Merge pull request from ketbra/master

Update use-package.el
GitHub-reference: https://github.com/jwiegley/use-package/issues/367

Make pin and ensure compatible

`:pin` does not work with `:ensure`, because it doesn't add the package to package-pinned-packages until after reading the package archive contents.  This change causes the package archive contents to be reread if the package is pinned and `:ensure` is being used.

Copyright-paperwork-exempt: yes

Merge pull request from npostavs/state-noconst

Some minor fixes
GitHub-reference: https://github.com/jwiegley/use-package/issues/342

Fix declare-function call: FILE must be a string

use-package-as-string: use noerror parameter

Don't pass a constant as the state

for use-package-process-keywords, because the function may modify the
list object.  Modifying a quoted constant can lead to unexpected side
effects (e.g. values from previous use-package forms end up in
subsequent ones).

Version 2.2

Merge pull request from justbur/bump-init

Move :init forms before :after and :demand
GitHub-reference: https://github.com/jwiegley/use-package/issues/360

Move :init forms before :after and :demand

The docstring of use-package says that :init should run before the
package is loaded but using :after moves the require statement ahead of
:init when any package specified in :after is already loaded. In the
following example, in the first case bar-x might get set before or after
bar is loaded depending on if foo is already loaded at the time, while
the second case always sets bar-x first.

(use-package bar
  :after (foo)
  :init (setq bar-x 2)
  :config (bar-mode))

(use-package bar
  :init (setq bar-x 2)
  :config (bar-mode))

This commit fixes the issue and makes sure that bar-x is set before bar
is loaded by use-package. Fixes https://github.com/jwiegley/use-package/issues/352.

Add function use-package-jump-to-package-form

This is an attempt at resolving https://github.com/jwiegley/use-package/issues/329. The new interactive function
use-package-jump-to-package-form will prompt with a completing read of
all known packages. After selecting a package, use-package-find-require
searches load-history to see where the package was required and then I
attempt to find the correct use-package form using
use-package-form-regexp.

It will fail if the use-package form you are looking for did not
actually load the package. For example it could be something that is a
dependency of a library that was already loaded. In some sense this is a
feature because it is helpful to know that the library was already
loaded when your use-package form was encountered. It will also fail if
your use-package declaration doesn't match the regexp used, but this is
easily adjusted.

Improve imenu support

Instead of using defvar for lisp-mode-symbol-regexp, wait until
lisp-mode is loaded and check for its existence to avoid making
use-package the place where this variable is declared.

Merge pull request from justbur/imenu2

Fix imenu support for older versions
GitHub-reference: https://github.com/jwiegley/use-package/issues/355

Fix imenu support for older versions

lisp-mode-symbol-regexp was not defined in Emacs 24.5.

Merge pull request from justbur/imenu

Add imenu support for use-package forms
GitHub-reference: https://github.com/jwiegley/use-package/issues/354

Merge pull request from robario/patch-1

Fix to ignore load error caused via :after
GitHub-reference: https://github.com/jwiegley/use-package/issues/350

Add imenu support for use-package forms

Also add require forms and group both under menu "Package".

Fix to ignore load error caused via :after

Copyright-paperwork-exempt: yes

Merge pull request from xuchunyang/fix-package-install

Mark package as selected with package-install
GitHub-reference: https://github.com/jwiegley/use-package/issues/336

Mark package as selected with package-install

Fixes https://github.com/jwiegley/use-package/issues/327

:map no longer accepts lists; only eval-after-load if necessary

Fixes https://github.com/jwiegley/use-package/issues/324

Normalize some error text

Only printing debug messages if use-package-verbose is `debug'

Fixes https://github.com/jwiegley/use-package/issues/271

Merge pull request from ljos/master

Quote variable in bind-keys*
GitHub-reference: https://github.com/jwiegley/use-package/issues/325

Repair :map handling in bind-key.el

GitHub-reference: fixes https://github.com/jwiegley/use-package/issues/324

Quote variable in `bind-keys*'

* bind-key.el (bind-keys*): `override-global-map' needs to be quoted so
  the symbol is passed to `bind-keys-form' and not the value.
GitHub-reference: fixes https://github.com/jwiegley/use-package/issues/323

Add configuration variable `use-package-check-before-init'

Fixes https://github.com/jwiegley/use-package/issues/306

Use `add-to-list' defensively instead of `push'

GitHub-reference: fixes https://github.com/jwiegley/use-package/issues/293

Add variable `use-package-always-defer'

GitHub-reference: fixes https://github.com/jwiegley/use-package/issues/202

Restore :bind-keymap, it does something special still

Remove :bind-keymaps, and only apply :map bindings after load

Support multiples uses of :map with :bind

GitHub-reference: fixes https://github.com/jwiegley/use-package/issues/121

Add some variable settings to use-package-tests.el, thanks tarsius

Merge pull request from alezost/keymap-doc-fix

Handle the case when keymap has a broken documentation
GitHub-reference: https://github.com/jwiegley/use-package/issues/223

Add another `declare'

Handle :unless correctly

GitHub-reference: fixes https://github.com/jwiegley/use-package/issues/197

Add a comment about a recent change

Merge pull request from waymondo/master

Allow string values in cons for :bind keywords
GitHub-reference: https://github.com/jwiegley/use-package/issues/303

Merge pull request from dudebout/patch-1

Upper casing Cs corresponding to Ctrl
GitHub-reference: https://github.com/jwiegley/use-package/issues/316

Add an autoload cookie for `use-package'

Upper casing Cs corresponding to Ctrl

A number of Cs corresponding to Ctrl have been lower cased in comments in eb6b81dfe.

Merge pull request from thierryvolpiatto/fix_package_install

When :ensure is used install package as a selected package.
GitHub-reference: https://github.com/jwiegley/use-package/issues/314

Ensure package-install support a second argument

* use-package.el (use-package-ensure-elpa): Do it.

When :ensure is used install package as a selected package

Also shutup bytecompiler about package-archive-contents.

* use-package.el (use-package-ensure-elpa): Add package to selected package
by using second arg of package install.

Merge pull request from kovrik/fix-pin-performance

Do not package-initialize on each :pin
GitHub-reference: https://github.com/jwiegley/use-package/issues/308

Merge pull request from phillord/fix/always-pin-typo

Fix errant variable name.
GitHub-reference: https://github.com/jwiegley/use-package/issues/312

Fix errant variable name

Merge pull request from phillord/feature/always-pin

Add new option `-always-pin'
GitHub-reference: https://github.com/jwiegley/use-package/issues/310

Add new option `-always-pin'

`use-package-always-pin' allows a default archive (or manual) to be
specified for all use-package statements, unless explicitly overridden.

Change condition that checks if package has been initialized

Do not package-initialize on each :pin

Merge pull request from kovrik/issue-299

Move :pin out of macro expansion phase
GitHub-reference: https://github.com/jwiegley/use-package/issues/302

Add a missing comma

Add a PREDICATE option to bind-key, and :filter to `bind-keys'

allow string values in cons for :bind keywords

It is possible with `bind-key` and `define-key` (and also `bind-chord`
and `key-chord-define`) to define a binding to a string's value, i.e:

``` elisp
(bind-key "C-;" "the ")
(bind-chord "^^" "λ")
```

This adds an option for `(use-package-normalize-pairs)` that allows
string values to be given with the `:bind` (and also `:chord`) keywords
to expand into these definitions.

Guard against a case where :load-paths is nil

Move :pin out of macro expansion phase fixes

Move :pin out of macro expansion phase

Use cl-mapcan rather than apply 'nconc; thanks wasamasa

Merge pull request from kovrik/byte-compile-ensure-fix

Install packages when byte-compiling (fix by @npostavs)
GitHub-reference: https://github.com/jwiegley/use-package/issues/285

Install packages when byte-compiling (fix by @npostavs)

Apply a fix from npostavs relating to

GitHub-reference: https://github.com/jwiegley/use-package/issues/279

Merge pull request from kovrik/master

Move :ensure option execution from macro expansion phase to runtime phase
GitHub-reference: https://github.com/jwiegley/use-package/issues/273

Merge pull request from phillord/feature/after

Support for after keyword.
GitHub-reference: https://github.com/jwiegley/use-package/issues/276

Support for after keyword

After provides `eval-after-load' functionality for any number of
features. This helps to avoid deeply nested `use-package' statements.

Closes https://github.com/jwiegley/use-package/issues/274

Move :ensure option from macro expansion phase to runtime phase

Bump version to 2.1

Merge pull request from waymondo/extend-bind-handler

Pass in symbol of bind macro, for more extensible re-use of same handler
GitHub-reference: https://github.com/jwiegley/use-package/issues/259

pass in symbol of bind macro, for more extensible re-use of same handler

related to https://github.com/jwiegley/use-package/issues/258

Revert "Merge pull request from edvorg/master"

This reverts commit 38b213c6c382f87b7f6e60d0c97d37f2951c2482, reversing
changes made to 7d34df4f5dd26b6d8b0899e6508c9af5dedf2dc4.
GitHub-reference: https://github.com/jwiegley/use-package/issues/247

error handling for use-package

GitHub-reference: https://github.com/jwiegley/use-package/issues/246

Merge pull request from matklad/master

fix quotation error
GitHub-reference: https://github.com/jwiegley/use-package/issues/245