Revert "Make mail-extract-address-components return the user name more"

This reverts commit 8b50ae8b2284b5652c2843a9d0d076f4f657be28.

According to tests in bug#27656 by OGAWA Hirofumi, this patch
led to wrong results when binding

(dolist (addr '("Rasmus <rasmus@gmx.us>" "Rasmus <mbox@gmx.us>"))
  (dolist (ignore-single '(t nil))
    (dolist (ignore-same '(t nil))
      (let ((mail-extr-ignore-single-names ignore-single)
    (mail-extr-ignore-realname-equals-mailbox-name ignore-same))
(message "%s" (mail-extract-address-components addr))))))

in combination.

Query the user whether to increase stack depth in shr

* lisp/net/shr.el (shr-insert-document): Bind `max-specpdl-size'
here... (bug#30675).
(shr-descend): So that we can increase it temporarily here if the
user wants to.

Minor copy edit of etc/NEWS

* src/lread.c (openp): Add a comment before the now-obscure loop.

Clarify menu entry in previous check-in

* lisp/gnus/gnus-sum.el (gnus-summary-make-menu-bar): Menu bar
entry for it.

Add new command `gnus-summary-attach-article'

* doc/misc/gnus.texi (Summary Message Commands): Document it.

* lisp/gnus/gnus-msg.el (gnus-summary-attach-article): New command
and keystroke (bug#19788).

* lisp/gnus/gnus-sum.el (gnus-summary-make-menu-bar): Menu bar
entry for it.

Divert to call `gnus-activate-group' with the SCAN argument set

* lisp/gnus/gnus-group.el (gnus-group-get-new-news-this-group):
Divert to call `gnus-activate-group' with the SCAN argument set,
if request-group-scan is not defined for the backend.  Ensure that
the server is open when calling `gnus-request-group-scan'
(bug#22649).

Abort Gnus exit if we have unsaved Message buffers

* lisp/gnus/gnus-group.el
(gnus--abort-on-unsaved-message-buffers): New function (bug#28843).
(gnus-group-exit): Use it to abort exit if we have unsaved Message
buffers.

Avoid an infloop in shr filling when not using fonts

* lisp/net/shr.el (shr-fill-line): If we have an indentation
that's wider than the width of what we're trying to fill, just
give up.  This avoids an infloop when `shr-use-fonts' in nil.

Remove calls from string-to-multibyte in nnheader/nntp

* lisp/gnus/nntp.el (nntp-copy-to-buffer): Apparently `insert' now
behaves more like string-make-multibyte, but it now behaves more
like string-to-multibyte, so remove that call here.  I'm not quite
sure I follow that logic, but apparently there are no ill effects.

* lisp/gnus/nnheader.el (nnheader-insert-buffer-substring): Ditto.

Remove a string-to-multibyte from nnmh.el

* lisp/gnus/nnmh.el (nnmh-request-list-1): Remove superfluous
string-to-multibyte.

Remove call to string-to-multibyte from nndoc.el

* lisp/gnus/nndoc.el (nndoc-oe-dbx-type-p): My testing shows that
no matter whether we're in a unibyte or a multibyte buffer, doing
the looking-at here without the string-to-multibyte, we'll get a
match.  We did not get a match with the call in and if we were in
a unibyte buffer, but we presumably never are.

Fix calculation in gnus-update-group-mark-positions

* lisp/gnus/gnus-group.el (gnus-update-group-mark-positions):
Rewrite a call to string-to-multibyte that didn't even work.
After the rewrite it gives the correct result and should allow
people to customise Gnus group process mark positions (but that's
a pretty obscure feature).

Removed outdated comment from nnweb.el

* lisp/gnus/nnweb.el (nnweb-insert-html): Removed ten year old
comment from Stefan about string-as-multibyte.

Rewrite Gnus calls to compat function mm-multibyte-p

Rewrite string-as-unibyte/string-as-multibyte logic in nnmail

* lisp/gnus/nnmail.el (nnmail-insert-xref): Rewrite
string-as-unibyte/string-as-multibyte logic and confirm that the
result is the same in both multibyte and unibyte buffers after the
change.

Remove call to string-as-unibyte from nnmail

* lisp/gnus/nnmail.el (nnmail-parse-active): Remove call to
string-as-unibyte; the alist before and after the change are
`equal' to each other, so it should presumably have no impact.

Remove calls to string-as-unibyte from nnir.el

* lisp/gnus/nnir.el (nnir-get-active): Remove two calls to
string-as-unibyte from code that seems cargo-culted from Gnus
functions where it is not needed, so it's presumably not needed
here, either.

Remove call to string-as-unibyte in gnus-start.el

* lisp/gnus/gnus-start.el (gnus-read-newsrc-el-file): Remove
string-as-unibyte call, which appears not to do anything much in
modern Emacsen.

Remove call to string-as-unibyte from gnus-start.el

* lisp/gnus/gnus-start.el (gnus-update-active-hashtb-from-killed):
Remove a string-as-unibyte call here, which appears not to be
necessary: I'm able to complete over non-ASCII names both before
and after.

Modernise a Gnus function a bit

* lisp/gnus/gnus-start.el (gnus-update-active-hashtb-from-killed):
Modernise code a bit.

Remove two string-as-unibyte in gnus-srvr.el

* lisp/gnus/gnus-srvr.el (gnus-browse-foreign-server): We do not
seem to need the string-as-unibyte here: We read a multibyte
string from the *nntpd* buffer and then decode it later, and this
apparently by some strange magic leads to the correct results in
my test cases.

Fix a `string-to-multibyte' in Gnus

* lisp/gnus/gnus-art.el (gnus-request-article-this-buffer): The
original article buffer is multibyte, and we're inserting into the
article buffer, which is also multibyte, so the `string-to-multibyte'
here should be unnecessary?

Fix a string-as-unibyte in Gnus

* lisp/gnus/gnus-art.el (gnus-article-browse-html-parts): Get rid
of a string-as-unibyte.

Further shr line folding/link continuation tweaks

* lisp/net/shr.el (shr-fill-line): Tweak the link continuations
further when folding lines.

Indent after transforming for loop into do/while

Make call-process work if exec-path is nil

* src/lread.c (openp): If exec-path is nil, no files would be
found to execute (bug#30564).

Test cases:

 (let ((exec-path ()))
   (call-process "/bin/ls" nil (current-buffer)))

This would previously fail, but now works.

 (let ((exec-path '("/bin/")))
   (call-process "ls" nil (current-buffer)))

This worked, and still works.

Make erc-current-logfile work with explicit parameter

* lisp/erc/erc-log.el (erc-current-logfile): This function
apparently refers to buffer-local variables, so switch to the
buffer given before calculating the file name (bug#16111).

Tweak shr link text property adjustments when folding

* lisp/net/shr.el (shr-fill-line): If a link starts at the first
word on a new folded line, then don't copy the link properties to
the newline inserted.

* lisp/erc/erc-button.el (erc-button-search-url): Doc fix.

erc build fix for the previous patch

erc-truncate-buffer-on-save doc string clarification

* lisp/erc/erc-log.el (erc-truncate-buffer-on-save): Doc
clarification (bug#18207) since "truncate" is a word used by
erc-truncate to mean something else.

Ignore all-whitespace topics in erc

* lisp/erc/erc.el (erc-cmd-TOPIC): Ignore all-whitespace topics
(bug#25153).

Rename url-button-google-url

* lisp/erc/erc-button.el (erc-button-search-url): Renamed from
url-button-google-url (bug#25717).  Suggested by Andrew Robbins.
(erc-button-alist): Use it.

Subject: Fix problem with erc buffer renames after reconnect

* lisp/erc/erc.el (erc-generate-new-buffer-name): Solve problem
with renamed buffers on different servers after reconnect (bug#30639).

Copyright-paperwork-exempt: yes

(libxml-parse-html-region): Make DISCARD-COMMENTS obsolete

* lisp/subr.el (libxml-parse-xml-region)
(libxml-parse-html-region): Make DISCARD-COMMENTS obsolete.

* src/xml.c (Flibxml_parse_html_region)
(Flibxml_parse_xml_region): Don't mention DISCARD-COMMENTS, since
it's now no longer part of the advertised signature (bug#27178).

Revert "Revert "Give better errors in signing failures in Gnus""

This reverts commit 42141da5b0885b199636524c1e57f08ee1723aea.

This patch was reverted in error.  I misinterpreted an email saying that
it didn't work, but apparently it worked as it should.

Make DISCARD-COMMENTS in `libxml-parse-{html,xml}-region' obsolete

* doc/lispref/text.texi (Parsing HTML/XML): Mention that
discard-comments is obsolete.

* lisp/xml.el (xml-remove-comments): New function (bug#27178).

* src/xml.c (Flibxml_parse_html_region): Clarify what
DISCARD-COMMENTS actually does, and say that the parameter is
obsolete.
(Flibxml_parse_xml_region): Ditto.

Merge from origin/emacs-26

5a6bb01 (origin/emacs-26) Fix building etc/DOC in the MSDOS port
274c979 * lisp/select.el (gui-get-selection): Doc fix.
ad731b0 ; * doc/lispref/display.texi (Temporary Displays): Fix typos.
f1450e9 Complete documentation of syntax flags by adding `c'
6bdcaec Fix typos and minor wording issues in ELisp manual
febac27 Merge branch 'emacs-26' of git.savannah.gnu.org:/srv/git/emac...
6c2e21e Avoid segfault in processes of type 'pipe'
60e10c5 Remove repetitions in documentation strings
208e752 * lisp/image.el (image-load-path): Doc fix.
92e0fd8 ; * etc/NEWS: Remove a FIXME.  (Bug#31122)

Conflicts:
etc/NEWS

Change the default From style to `angles' and make obsolete

* lisp/gnus/message.el (message-from-style): Make `angles' the
default (bug#29309) and mark as obsolete.

* lisp/mail/sendmail.el (mail-from-style): Ditto.

Make image-mode respect `imagemagick-types-inhibit'

* lisp/image-mode.el (image--imagemagick-wanted-p): New function
(bug#29584).
(image-toggle-display-image): Use it to see whether we want to use
imagemagick.

Revert "Give better errors in signing failures in Gnus"

This reverts commit ef2059e877d104bfe5abd24df05bb09c7295e4fa.

Apparently this test triggered both when signing was successful
and unsuccessful (bug#26298).

Fix building etc/DOC in the MSDOS port

* msdos/sed1v2.inp (lisp.mk): Fix escaping in Sed commands.

Tweak mailcap precedence so that Emacs values are heeded better

* lisp/net/mailcap.el (mailcap-parse-mailcaps): Place entries from
system-wide mailcap files after the values that are distributed
with Emacs, and the ones from ~/.mailcap before.
(mailcap-parse-mailcap): Take an optional `after' parameter to
achieve that.
(mailcap-add-mailcap-entry): Ditto.

Subject: Fix circular dependency for mm-decode

* lisp/gnus/mm-decode.el: Do not require shr.el at the top
of the file; `mm-shr' already requires shr.el in its body, and
this function is the only `mm-convert-shr-links' caller (Bug#31151).

* lisp/select.el (gui-get-selection): Doc fix.

; * doc/misc/url.texi (file/ftp): Remove stray '@end defopt'.

Do not destructively modify interprogram paste

* simple.el (kill-new, current-kill): Non-destructively reverse list
returned by interprogram-paste-function. (bug#31097)

Don't bind image commands on eww non-image links

* lisp/net/eww.el (eww-link-keymap): Only inherit the normal shr
keymap.
(eww-image-link-keymap): New keymap with the image bindings.
(eww-tag-a): Use the appropriate one on links (bug#30148).

Move utility function to mm-util.el

* lisp/gnus/mm-util.el (mm-images-in-region-p): Move from
mm-decode.el and renamed, since it is generally useful.

Make the url file: handler be less clever

* doc/misc/url.texi (file/ftp): Remove mention of the
url-directory-index-file variable, which is no longer consulted.

* lisp/url/url-file.el (url-file-build-filename): Remove the DWIM
code from the file: handler (bug#30195): It would look for
index.html in a directory if we asked it to fetch the directory.
Determining what to do in a directory should be left up to the
programs that use this low-level library.  If the library decides
to load a different file than we specified, then things start
falling apart, as demonstrated by this bug report.

Don't bind image commands on non-image links in Gnus

* lisp/gnus/mm-decode.el (mm--images-in-region-p): New utility
function.
(mm-convert-shr-links): Only use the shr image map on links that
contain images.  This avoids binding commands like `r' on links
that don't need it.

Revert "Add colors to faces that lack them."

This reverts commit 16748a5f6bd57ec0967ecb5e14ffe8af5f43d888.

From the discussion on the ding mailing list, I said:

I think the colours should be reverted back to what they were before the
change.  Normal text should be white on black (if you have a dark
background), and colours should be used to emphasise or de-emphasise
certain text.  Following that principle, normal Gnus groups should be
white, not ... er...  what are they now?  Teal?

Tweak the fonts applied to shr indentation

* lisp/net/shr.el (shr-fill-line): Don't use fonts (especially
link fonts) over indentation, because that's ugly..

Further tweak point placement on gnus-summary-select-article-buffer

* lisp/gnus/gnus-sum.el (gnus-summary-select-article-buffer):
Place point in the empty space between headers and body.

Tweak point placement in *Group* on `Q' exit

* lisp/gnus/gnus-sum.el (gnus-summary-exit-no-update): When
exiting the summary buffer with `Q', move point to the next unread
group (which is the same thing that happens on `q' exit.)

Tweak point placement in gnus-summary-select-article-buffer

* lisp/gnus/gnus-sum.el (gnus-summary-select-article-buffer):
Tweak where point is placed because when the user selects the
article buffer, it's probably to cite something or click on
something, and not do anything with the headers.

Compute erc line lengths correctly for utf-8 (etc.)

* lisp/erc/erc-backend.el (erc-split-line): Fold the lines
according to octet length, not the number of characters (bug#23047).

Clean up some defvoo doc strings

* lisp/gnus/nndiary.el: Remove "*" from doc strings from defvoo
elements (bug#23392).

* lisp/gnus/nndir.el: Ditto

* lisp/gnus/nndoc.el: Ditto.

* lisp/gnus/nnrss.el: Ditto.

* lisp/gnus/nnspool.el: Ditto.

* lisp/gnus/nntp.el: Ditto.

Further fix to eieio-persistent

* lisp/emacs-lisp/eieio-base.el (eieio-persistent-validate/fix-slot-value):
  Make handling of hash tables and vectors recursive. This is
  necessary because the write process, in `eieio-override-prin1' is
  also recursive. With any luck, this will be the last fix of its
  kind. If that's true, cherry-pick to Emacs 26.2 later on.

Make nnimap parse pathological spam headers better

* lisp/gnus/nnimap.el (nnimap-transform-headers): Unfold certain
pathological IMAP headers more correctly (bug#25502).  Perhaps
this function should be re-implemented.

; * doc/lispref/display.texi (Temporary Displays): Fix typos.

Fix syntax error in emacs-mime.texi in last check-in

Prefer settings from ~/.mailcap over system and Emacs settings

* doc/misc/emacs-mime.texi (mailcap): Document the variable and
how mailcap chooses which viewer to use.

* lisp/net/mailcap.el (mailcap-prefer-mailcap-viewers): New variable.
(mailcap-mime-info): Use it.

Fix bug in shr-urlify introduced in previous patch

* lisp/net/shr.el (shr-urlify): Not all URLs have domains, so
check for that before doing IDNA.

Make shr support inline <div>s

* lisp/net/shr.el (shr-tag-div): Support display: inline; for
<div>, since that's a very common thing (bug#25588).

Notify the user a bit more before clicking IDNA links

* lisp/net/shr.el (shr-urlify): Show the puny-encoded domain name
in the mouseover string (bug#25600).

(nnimap-sequence): Add comment

* lisp/gnus/nnimap.el (nnimap-sequence): Add comment.

(url-http): Ensure that the referrer is all-ASCII

* lisp/url/url-http.el (url-http): Ensure that the referrer is all-ASCII.

gnutls.el now needs punycode

* lisp/net/gnutls.el (puny): Require punycode.

Make Unicode domain names work again in URL after recent changes

* lisp/net/gnutls.el (open-gnutls-stream): IDNA-encode hostnames
before passing them on to gnutls for verification.

* lisp/net/network-stream.el (network-stream-open-starttls): Ditto.

* lisp/url/url-http.el (url-http--get-referer): Be IDNA-aware.
(url-http-create-request): Don't de-Unicodify host names, because
they may be IDNA names (that are later encoded).

* lisp/url/url-util.el (url-domain): Be IDNA-aware when doing
domain name computations.

Complete documentation of syntax flags by adding `c'

* doc/lispref/syntax.texi ("Syntax Table Internals"): Add entry for `c'
as `(1 lsh 23)'.

Fix typos and minor wording issues in ELisp manual

* doc/lispref/internals.texi (Writing Emacs Primitives):
* doc/lispref/display.texi (Temporary Displays): Fix typos.
* doc/lispref/text.texi (Filling, Changing Properties)
(Transposition): Clarify and fix typos.
* doc/lispref/positions.texi (Screen Lines): Improve wording.
* doc/lispref/modes.texi (Minor Mode Conventions)
(Font Lock Multiline): Fix typos.
* doc/lispref/variables.texi (Dynamic Binding Tips): Fix a
cross-reference.  Fix a typo.
* doc/lispref/sequences.texi (Sequence Functions): Fix typos.
(Bug#31143)

Update defcustom version for last patch to url-vars.el

* lisp/url/url-vars.el (url-lastloc-privacy-level): Update
defcustom version.

Use a separate history for the eww prompt

* lisp/net/eww.el (eww-prompt-history): A separate history
variable for the interactive eww prompt.
(eww): Use it.

Fix Bug#30246

* lisp/auth-source.el (auth-source-secrets-search): Do not
suppress creation.
(auth-source-secrets-create): Implement it.  (Bug#30246)

* lisp/net/secrets.el (secrets-debug): Set default to nil.

* test/lisp/auth-source-tests.el (secrets): Require it.
(auth-source-test-secrets-create-secret): New test.

Change gnutls-verify-error to be first-match

* doc/misc/url.texi (Customization): Describe the new user
option url-lastloc-privacy-level.

* lisp/net/eww.el (eww-render): Set url-current-lastloc to the
url we are rendering, to get the referer header right on
subsequent requests.

* lisp/url/url-http.el (url-http--get-referer): New function
to determine which referer to send, if any, considering the
users privacy settings and the target url we are visiting.
(url-http-referer): New variable keeping track of the referer
computed by url-http--get-referer
(url-http-create-request): Use url-http-referer instead of the
optional argument to set up the referer header.  Leave
checking of privacy settings to url-http--get-referer.
(url-http): Set up url-http-referer by using
url-http--get-referer.

* lisp/url/url-queue.el (url-queue): New struct member
context-buffer for keeping track of the context a queued job
started from.
(url-queue-retrieve): Store the current buffer in the queue
object.
(url-queue-start-retrieve): Make sure url-retrieve is called
in the context of the original buffer, if available.

* lisp/url/url-util.el (url-domain): New function to determine
the domain of a given URL.

* lisp/url/url-vars.el (url-current-lastloc): New variable to
keep track of the desired "last location" (referer header).
(url-lastloc-privacy-level): New custom setting for more
fine-grained control over how lastloc (referer) is sent to
servers (Bug#27012).

Make #anchors work again in eww

* lisp/net/eww.el (eww-render): When we have a #link link, then
url.el will say that we have a redirect to a non-#link link, so
get the anchor before url.el mangles the URL (bug#28441).
(eww-display-html): ... and don't get it here, because it's gone
by now.

Test URL: http://www.gnu.org/s/hyperbole/#summary

Merge branch 'emacs-26' of git.savannah.gnu.org:/srv/git/emacs into emacs-26

Avoid segfault in processes of type 'pipe'

* src/process.c (Fmake_pipe_process): Set up the decoding and
encoding buffers.  For the details, see
http://lists.gnu.org/archive/html/emacs-devel/2018-04/msg00295.html.

Doc fix after previous gnutls patch

* lisp/net/gnutls.el (gnutls-verify-error): Mention that the
matching is first-match (bug#29977).

Change gnutls-verify-error to be first-match

* lisp/net/gnutls.el (gnutls-boot-parameters): Convert to
first-match for gnutls-verify-error rather than any-match
(bug#29977).

Mention the new `shr-selected-link' face

Clean up the double Gnus section

When opening external links in eww, blink the link

* lisp/net/eww.el (eww-follow-link): Ditto.

* lisp/net/shr.el (shr-selected-link): New face (bug#25096).
(shr--blink-link): New function to blink links.
(shr--current-link-region): New utility function.
(shr-browse-url): Use it to blink external links.

Blinking the link allows the user to get immediate feedback that the
action has been performed.  Opening the external browser may take a
while, and may not be obvious that is going on.

Tweak nnimap sequence numbers to avoid reuse

* lisp/gnus/nnimap.el (nnimap-sequence): Start the sequence at a
higher number to avoid reusing the sequence number used by
`open-network-stream' (bug#30022).

Remove repetitions in documentation strings

* lisp/bindings.el (right-word): Remove repetition
(left-word): Likewise.

* lisp/image-mode.el (image-mode-as-hex): Likewise.

* lisp/cedet/semantic/tag-ls.el (semantic-tag-similar-p): Likewise.

* lisp/textmodes/reftex-vars.el (reftex-view-crossref-extra): Likewise

* lisp/gnus/gnus-art.el (gnus-article-prepare): Fix previous commit,
in which selecting the article window is not necessary (bug#25526).

Remove unused local variable

Treat 302 redirects as if they were 303 redirects

* lisp/url/url-http.el (url-http-parse-headers): Treat 302 as 303,
since this is what the standards recommend these days (bug#25703).
See https://en.wikipedia.org/wiki/List_of_HTTP_status_codes#3xx_Redirection

Make eww render <select> elements again

* lisp/net/eww.el (eww-tag-select): Actually render <select>
elements (bug#25703).

<label> shouldn't introduce a line break

* lisp/net/shr.el (shr-tag-label): Remove so that labels don't
break lines (because they shouldn't: They're usually part of a
selection interface) (bug#30557).

* lisp/gnus/gnus-art.el (gnus-article-prepare): Make sure the article
begins with the top of the header (bug#25526).

Tweak the eww readability function

* lisp/net/eww.el (eww-highest-readability): Require that the
readable bit is at least 100 words (bug#30445).

(dom-texts): Don't return contents of <script> as text

From: Lars Ingebrigtsen <larsi@gnus.org>

* lisp/dom.el (dom-texts): Don't return contents of <script> as
text, because it isn't and makes reasoning about textual parts
more difficult.

Support list of default values in completing-read-multiple

* lisp/emacs-lisp/crm.el (completing-read-multiple):
Consider head of DEF argument when specified as a list,
as per completing-read-default. (bug#30072)

From: Lars Ingebrigtsen <larsi@gnus.org>

* lisp/gnus/nnimap.el (nnimap-login): Allow anonymous logins
(bug#24704).

Copyright-paperwork-exempt: yes

Default message-forward-as-mime to nil

* doc/misc/gnus.texi (Summary Mail Commands): Ditto.

* doc/misc/message.texi (Forwarding): Note the new default.

* lisp/gnus/message.el (message-forward-as-mime): Default to nil
since it's been reported that many recipients can't read MIME
digest forwards (bug#24878).

Load w3m in Gnus if required

* lisp/gnus/gnus-art.el (gnus-article-show-images): Ensure that
w3m is loaded if the user requests that we use it.

Don't autoload function from w3m

* lisp/gnus/gnus-art.el (w3m-toggle-inline-images): Don't use
autoload for packages that may not be installed (bug#25604).