Expand contribution guidelines

Auto merge of #4547 - lukaslueg:installlisterror, r=alexcrichton

Improve error message for crippled .crates.toml

In case `.crates.toml` can't be parsed for some reason, the user is left wondering where to look. The problem is exasperated by the fact that `.cargo.toml` is a hidden file. Improve the error message during `install`/`uninstall`/`list` and point to the path of `.crates.toml`. A error message might now look like

> error: failed to parse crate metadata at `/home/foobar/.cargo/.crates.toml`
>
> Caused by:
>   invalid TOML found for metadata
>
> Caused by:
>   ...

A unit-test for a crippled `.cargo.toml` had been missing before, added that.

Auto merge of #4542 - equal-l2:sha256-crypto-hash, r=alexcrichton

Use crypto-hash to calculate SHA256

`crypto-hash` is an abstraction library for native hash libraries.
It uses CryptoAPI on Windows, CommonCrypto on macOS, and OpenSSL on *nix.

This PR will also remove `openssl` and `advapi32-sys` from dependencies since they are only used for calculating SHA256, which is superseded by `crypto-hash`.
(`crypto-hash` itself uses `openssl` and `advapi32-sys` though)

Improve error message for crippled .crates.toml

Auto merge of #4543 - nerdrew:master, r=matklad

teach zsh completion +{stable,beta,nightly}

e.g.: `cargo +nightly test`

teach zsh completion +{stable,beta,nightly}

e.g.: cargo +nightly test

Auto merge of #4541 - raytung:update-man-page, r=carols10cents

Recover lost man changes

Recover lost man changes per @carols10cents's comment in #2689

Fix compilation error

Use crypto-hash to calculate SHA256

Recover lost man changes

Auto merge of #4531 - lukaslueg:springclean, r=alexcrichton

Cleaning lints

More fixes and cleanups. There will be at least two more commits to come.

Reset unneeded lint changes

Auto merge of #4523 - dbrgn:badges-docs, r=matklad

Improve docs for build badges

The `repo` format wasn't clear to me. I also fixed a typo and clarified how the is-it-maintained badges are generated

More lint cleaning

Auto merge of #4530 - djc:update-deps, r=alexcrichton

Update dependencies

It would be nice to use openssl-0.9.19 in particular, since it supports
newer LibreSSL.

Not sure how this usually works, would it be better to only update openssl and related dependencies? I figured doing everything at once couldn't hurt, and it seems to pass tests locally at least.

Also, would it be feasible to backport this to the beta branch?

Auto merge of #4532 - copyninja:master, r=alexcrichton

Fix typo's in the cargo's output messages.

I'm forwarding  the patch we used in Debian to fix the typo's which were found in cargo's output messages.

Fix typo's in the cargo's output messages.

Update dependencies

It would be nice to use openssl-0.9.19 in particular, since it supports
newer LibreSSL.

Auto merge of #4528 - adrian5:patch-1, r=alexcrichton

Fix typo in doc

Auto merge of #4526 - lukaslueg:patch-2, r=matklad

Update CONTRIBUTING.md

Point out that code added to Cargo may raise the minimal version of Rust required. Cargo does not have a grace period where it has to compile on "stable -2" or anything like that.

Auto merge of #4525 - lukaslueg:springclean, r=alexcrichton

Cleaning lints

I've started to clean some minor defects in cargo. This is the first commit of possibly many.

Requesting advice if this is actually wanted; #cargo was positive.

Some things raise the minimum version of rust required to compile cargo. E.g. `assert_ne!(foo, bar)` instead of `assert!(foo != bar)` requires (iirc) rust 1.13. Any advice on that in particular?

Auto merge of #4521 - goffrie:master, r=alexcrichton

Use memoized hashes when hashing Fingerprint.

The recursive hashing of dependencies can cause exponential blowup. We
already have a memoized hash available, so use that, Merkle-tree-style.

Remove Github mention from CI badges docs

Fix typo in doc

Update CONTRIBUTING.md

Point out that code added to Cargo may raise the minimal version of Rust required. Cargo does not have a grace period where it has to compile on "stable -2" or anything like that.

Auto merge of #4481 - behnam:travis, r=alexcrichton

[travis] Enable cache for $HOME/.cargo

This should accelerate the `cargo install mdbook` step under `install`,
which is currently called on all linux+nightly setups.

https://github.com/rust-lang/cargo/blob/36ddeff03a31f710095cfbe49287503bb60e294d/.travis.yml#L24-L25

Cleaning lints

Clarify repository key format for build badges

Clarify how is-it-maintained badges are generated

Also, improve the format by breaking up the text into multiple
bullet-points.

Fix typo in Circle CI badge docs

[travis] Enable cache for $HOME/.cargo/bin/

This should accelerate the `cargo install mdbook` step under `install`,
which is currently called on all linux+nightly setups.

Use memoized hashes when hashing Fingerprint.

The recursive hashing of dependencies can cause exponential blowup. We
already have a memoized hash available, so use that, Merkle-tree-style.

Auto merge of #4519 - leavehouse:patch-1, r=alexcrichton

Clarify dependencies documentation

The snippet:

```
... but not `2.0`. `0.0.x` is not considered ...
```
Looks very similar to `... but not 2.0.0.0.x is not considered ...`, when rendered, which is confusing.

This adds a couple words to clarify.

Auto merge of #4520 - goffrie:master, r=alexcrichton

Don't visit the same unit multiple times.

This fixes some accidentally-exponential behaviour we were seeing in our
fairly large workspace. It brings a no-op cargo run from about 10
seconds to 0.3 seconds on my machine.

Also changes an association list to a hashmap because that was showing
up in profiles too.

Don't visit the same unit multiple times.

This fixes some accidentally-exponential behaviour we were seeing in our
fairly large workspace. It brings a no-op cargo run from about 10
seconds to 0.3 seconds on my machine.

Also changes an association list to a hashmap because that was showing
up in profiles too.

Clarify dependencies documentation

The snippet:

```
... but not `2.0`. `0.0.x` is not considered ...
```
Looks very similar to `... but not 2.0.0.0.x is not considered ...`, when rendered, which is confusing.

This adds a couple words to clarify.

Auto merge of #4515 - lukaslueg:issue1006, r=alexcrichton

Improve message for multiple links to native lib

Proposal for a fix to #1006, as advertised in my comment; as discussed briefly with alexcrichton on IRC.

In case multiple packages link to the same library, the error message is now

> error: More than one package links to native library `a`, which can only be linked once.
>
> Package a-sys v0.5.0 (file:///home/lukas/dev/issue1006test/a) links to native library `a`.
> (Dependency via foo v0.5.0 (file:///home/lukas/dev/issue1006test))
>
> Package b-sys v0.5.0 (file:///home/lukas/dev/issue1006test/a/b) also links to native library `a`.
> (Dependency via a-sys v0.5.0 (file:///home/lukas/dev/issue1006test/a) => foo v0.5.0 (file:///home/lukas/dev/issue1006test))
>
> Try updating or pinning your dependencies to ensure that native library `a` is only linked once.
>

In case the root-package itself is an offender:

> Package foo v0.5.0 (file:///home/lukas/dev/issue1006test) links to native library `a`.
> (This is the root-package)
>

IMHO the wording is much clearer now (the term "native library" and "package" are repeated on purpose); printing the whole dependency-chain from the offending package up to the root allows the user to at least figure out where the native library actually comes in.

Added a unit-test, which all pass. Please scrutinize this carefully, it's my first PR for cargo.

Further improve doubly-linked error-msg

Auto merge of #4517 - durka:patch-7, r=alexcrichton

[patch] slipped to 1.21, mark 2

Same as #4513, apparently it showed up in a few places.

Merge pull request #1 from durka/patch-8

update [patch] disclaimer in book

update [patch] disclaimer in book

[patch] slipped to 1.21, mark 2

Improve message for multiple links to native lib

If a native library is linked multiple times, present the user with a
clear error message, indicating the offending packages and their
dependency-chain.

Fixes #1006

Auto merge of #4513 - durka:patch-6, r=alexcrichton

[patch] slipped to 1.21

[patch] slipped to 1.21

Auto merge of #4496 - rwakulszowa:infer_from_subdirectories, r=matklad

Infer targets from subdirectories

Fixes #4086

I still have a few questions:
- should I add some tests for the old behaviour? It isn't really tested at the moment (no tests failed when I broke the implementation); I could refactor the tests to check for both single file and subdirectory inference
- I moved things around, mostly reusing the code from `inferred_bins` - hopefully I didn't break anything, but it won't hurt to double check :)
- Do we have something like servo's `tidy` check for coding style? I'm open for suggestions if something isn't formatted correctly
- Just a general one - should I rebase + squash commits every time I make subsequent changes to cargo?

Infer targets from subdirectories

Auto merge of #4494 - RalfJung:virtual, r=matklad

cargo_compile: iterate packages once, not three times

I forgot to push this into <https://github.com/rust-lang/cargo/pull/4492>

r? @matklad

use iterator combinators rather than for loops

Auto merge of #4501 - matklad:top-level-features, r=alexcrichton

Move cargo features to top-level

This should allow to add Cargo-features to virtual manifest as well.

I've not actually added support for features in virtual manifests just yet, because that will probably require some refactoring to avoid duplicating feature-related code between virtual and usual manifests.

r? @alexcrichton

Move cargo features to top-level

This should allow to add Cargo-features to virtual manifest as well.

Auto merge of #4493 - alexcrichton:verify-tarballs, r=matklad

Verify tarballs don't extract into other directories

Continuation of https://github.com/rust-lang/crates.io/pull/1054 except support on the Cargo side of things

cargo_compile: iterate packages once, not three times

Auto merge of #4478 - alexcrichton:less-fds, r=matklad

Periodically gc repos in Cargo

This commit is targeted at improving the long-term management of git checkouts
and git repositories. Currently every time data is fetched from crates.io
libgit2 will create a new pack file in the repository. These pack files
accumulate over time and end up causing pathological behavior if there's lots of
them, causing libgit2 to open many file descriptors all at once, possibly
blowing the system's file descriptor limits.

To alleviate this problem you typically run `git gc`, but libgit2 doesn't have
this implemented. Instead what Cargo now does is detect this situation and run
literally the command line tool `git gc` in a best-effort attempt to compact the
repo. Failing that, for example when git isn't installed, Cargo will remove the
entire repo and do a full checkout again.

At the same time this commit also generalizes this logic, plus the existing fast
path github logic, to all git repositories and not just the index. That way all
git repositories can benefit from the "github fast path" as well as the
compaction steps.

Closes #4403

Periodically gc repos in Cargo

This commit is targeted at improving the long-term management of git checkouts
and git repositories. Currently every time data is fetched from crates.io
libgit2 will create a new pack file in the repository. These pack files
accumulate over time and end up causing pathological behavior if there's lots of
them, causing libgit2 to open many file descriptors all at once, possibly
blowing the system's file descriptor limits.

To alleviate this problem you typically run `git gc`, but libgit2 doesn't have
this implemented. Instead what Cargo now does is detect this situation and run
literally the command line tool `git gc` in a best-effort attempt to compact the
repo. Failing that, for example when git isn't installed, Cargo will remove the
entire repo and do a full checkout again.

At the same time this commit also generalizes this logic, plus the existing fast
path github logic, to all git repositories and not just the index. That way all
git repositories can benefit from the "github fast path" as well as the
compaction steps.

Closes #4403

Auto merge of #4492 - RalfJung:virtual, r=matklad

Fix confusing error and docs wrt. virtual manifests

Fixes #3966

Contains updated version of #3967

Verify tarballs don't extract into other directories

get rid of Workspace::current() usage in cargo_{compile,doc}

fix confusing error for virtual manifest with no member

update --help text for new implicit --all behavior

Clarify docs on workspace members

Auto merge of #4489 - mattgathu:update_appveyor_badge_docs, r=alexcrichton

Update Appveyor badge docs

* indicate you can specify the appveyor project id if you want to use that instead

This PR is part of: https://github.com/rust-lang/crates.io/issues/693

Update Appveyor badge docs

* indicate you can specify the appveyor project id if you want to use that instead

This PR is part of: https://github.com/rust-lang/crates.io/issues/693

Auto merge of #4485 - integer32llc:clarify-config, r=alexcrichton

Clarify that .cargo/config files are unified

It wasn't immediately clear to me from the text on this page whether Cargo looks for these files and stops at the first one, or whether it looks for them all and puts them all together. I was pretty sure it was the latter, but I think these few more words would have made me feel more confident sooner :)

Clarify that .cargo/config files are unified

Auto merge of #4480 - integer32llc:explain-labels, r=matklad

Add an explanation of the labels

As requested @matklad! ❤️ Are there any questions you have about the labels that remain unanswered?

Document the relnotes label too

Add an explanation of the labels

Auto merge of #4469 - nipunn1313:workspace_features, r=alexcrichton

Hashed dependencies of metadata into the metadata of a lib

This fixes one part of #3620. To my understanding, the more fundamental fix is more challenging

Make `dep_targets` consistent throughout compilation

Previously it depended on dynamic state that was calculated throughout a
compilation which ended up causing different fingerprints showing up in a few
locations, so this makes the invocation deterministic throughout `cargo_rustc`.

DP Cache target_metadata. Update all the lifetimes

Cleanup debug statements

Refactor to share code from dep_targets. Fixes the plat-specific case

get doctests to pass

Hashed dependencies of metadata into the metadata of a lib

Auto merge of #4464 - matklad:document-all-the-things, r=alexcrichton

Mention sccache in the guide

Closes  #4307

Mention sccache in the guide

Auto merge of #4477 - alexcrichton:fix-out-of-bounds, r=matklad

Use poll instead of select to handle large fds

It may be the case that Cargo's running around with a lot of file descriptors,
and in this case we wouldn't be able to call `select` due to the file
descriptors being too large and not fitting in the bit array. This switches to
what the standard library is currently doing, using `poll`, which doesn't have
this limitations.

Auto merge of #4476 - behnam:book, r=alexcrichton

[doc/book] Move section content to */index.md

This gives a better over-all structure to the book, which we can also
follow for other books on <doc.rust-lang.org>.

Also, confirming fix for broken links with the latest (0.0.24) `mdbook`
release.

Auto merge of #4473 - wesleywiser:cyclical_features, r=matklad

Allow features to be cyclical

Fixes #3796

Auto merge of #3992 - alexcrichton:replace-git, r=matklad

Support vendoring git repositories

Currently the vendoring support in Cargo primarily only allows replacing
registry sources, e.g. crates.io. Other networked sources of code, such as git
repositories, cannot currently be replaced. The purpose of this commit is to
support vendoring of git dependencies to eventually have support implemented in
the `cargo-vendor` subcommand.

Support for vendoring git repositories required a few subtle changes:

* First and foremost, configuration for source replacement of a git repository
  was added. This looks similar to the `Cargo.toml` configuration of a git
  source.

* The restriction around checksum providing sources was relaxed. If a
  replacement source provides checksums but the replaced source doesn't then
  that's now considered ok unlike it being an error before.

* Lock files can be generated for crates.io crates against vendored sources, but
  lock files cannot be generated against git sources. A lock file must
  previously exist to make use of a vendored git source.

* The `package` field of `.cargo-checksum.json` is now optional, and it is
  intended to be omitted for git sources that are vendored.

Use poll instead of select to handle large fds

It may be the case that Cargo's running around with a lot of file descriptors,
and in this case we wouldn't be able to call `select` due to the file
descriptors being too large and not fitting in the bit array. This switches to
what the standard library is currently doing, using `poll`, which doesn't have
this limitations.

[doc/book] Move section content to */index.md

This gives a better over-all structure to the book, which we can also
follow for other books on <doc.rust-lang.org>.

Also, confirming fix for broken links with the latest (0.0.24) `mdbook`
release.

Allow features to be cyclical

Fixes #3796

Auto merge of #4472 - alexcrichton:update, r=matklad

Update dependencies

Just a usual `cargo update` plus moving over some major versions

Auto merge of #4461 - behnam:policies, r=alexcrichton

[doc] Redirect /policies.html to crates.io/policies

This relieves us from migrating the Package Policies document into the
new Cargo Manual mdbook.

Moved the content to `crates.io` repo in
<https://github.com/rust-lang/crates.io/pull/1033>.

NOTE: We should wait until that change goes live before landing this
one. I'll notify here when it's time to land.

Closes <https://github.com/rust-lang/crates.io/issues/1030>

[doc/book] Drop Policies link from Reference page

[doc/header] Update Policies URL

[doc] Redirect /policies.html to crates.io/policies

This relieves us from migrating the Package Policies document into the
new Cargo Manual mdbook.

Moved the content to `crates.io` repo in
<https://github.com/rust-lang/crates.io/pull/1033>.

NOTE: We should wait until that change goes live before landing this
one. I'll notify here when it's time to land.

Closes <https://github.com/rust-lang/crates.io/issues/1030>

Update dependencies

Just a usual `cargo update` plus moving over some major versions

Support vendoring git repositories

Currently the vendoring support in Cargo primarily only allows replacing
registry sources, e.g. crates.io. Other networked sources of code, such as git
repositories, cannot currently be replaced. The purpose of this commit is to
support vendoring of git dependencies to eventually have support implemented in
the `cargo-vendor` subcommand.

Support for vendoring git repositories required a few subtle changes:

* First and foremost, configuration for source replacement of a git repository
  was added. This looks similar to the `Cargo.toml` configuration of a git
  source.

* The restriction around checksum providing sources was relaxed. If a
  replacement source provides checksums but the replaced source doesn't then
  that's now considered ok unlike it being an error before.

* Lock files can be generated for crates.io crates against vendored sources, but
  lock files cannot be generated against git sources. A lock file must
  previously exist to make use of a vendored git source.

* The `package` field of `.cargo-checksum.json` is now optional, and it is
  intended to be omitted for git sources that are vendored.

Auto merge of #4467 - RalfJung:locked, r=alexcrichton

fix error message when --locked is passed but lockfile is outdated

The logic is currently the wrong way around, saying I passed `--frozen` when I really passed `--locked`.

I had no idea where to put the test...

fix error message when --locked is passed but lockfile is outdated

Auto merge of #4465 - matklad:yak-shaving, r=alexcrichton

Add CONTRIBUTING.md

r? @alexcrichton

Add CONTRIBUTING.md

Auto merge of #4462 - behnam:book-fixes, r=alexcrichton

[doc/book] Drop reference/policies.md and small fixes

We don't need to put `policies.md` in the book. See
<https://github.com/rust-lang/crates.io/issues/1030> for more.

Renaming `introduction.md` to `index.md` prevents creating two html
files (and URL) for one source.

The rest are small styling issues.

Tracker: <https://github.com/rust-lang/cargo/issues/4040>

[doc/book] Drop reference/policies.md and small fixes

We don't need to put `policies.md` in the book. See
<https://github.com/rust-lang/crates.io/issues/1030> for more.

Renaming `introduction.md` to `index.md` prevents creating two html
files (and URL) for one source.

The rest are small styling issues.

Tracker: <https://github.com/rust-lang/cargo/issues/4040>

Auto merge of #4457 - behnam:book-pub, r=alexcrichton

[doc] Publish book to gh-pages

Export mdBook into `target/doc/book/`, to make it accessible at <http://doc.crates.io/book/>

I have tested the changes on my repo (but when I had this commit on top of the other PR) locally. The result is at <http://code.behnam.es/rust-cargo/book/>.

Tracker: <https://github.com/rust-lang/cargo/issues/4040>

[doc/book] Rename crates-io.md to publishing.md

[doc] Add back heading to index.md