Partially revert dep changes in #5651

Some logic which was tweaked around the dependencies of build script targets was
tweaked slightly in a way that causes cargo to stack overflow by accientally
adding a dependency loop. This commit implements one of the strategies discussed
in #5711 to fix this situation.

The problem here is that when calculating the deps of a build script we need the
build scripts of *other* packages, but the exact profile is somewhat difficult
to guess at the moment we're generating our build script unit. To solve this the
dependencies towards other build scripts' executions is added in a different
pass after all other units have been assembled. At this point we should know for
sure that all build script executions are in the dependency graph, and we just
need to add a few more edges.

Closes #5708

Auto merge of #5687 - ehuss:beta-panic-rustdoc, r=alexcrichton

[BETA] Fix doctests linking too many libs.

Backport of #5651.

[BETA] Fix doctests linking too many libs.

Backport of #5651.

Auto merge of #5686 - alexcrichton:beta-next, r=alexcrichton

[beta] Fix `cargo install` using a workspace target dir

Backport of https://github.com/rust-lang/cargo/pull/5685

Fix `cargo install` using a workspace target dir

Closes #5662

Auto merge of #5671 - Mark-Simulacrum:backport-4be5a4486, r=alexcrichton

Fix avoiding a rebuild when moving around a workspace

This is a backport of https://github.com/rust-lang/cargo/pull/5669.

There's a case where Cargo will recompile a project even if the fingerprint
looks like it's fresh, when some output files are missing. This was intended to
cover the case where an output file was deleted manually or otherwise messed
with. The check here was a bit too eager, however. It checked not only the
actual output destination of the compiler but *also* the location that we hard
link the output file up to.

Due to recent changes in #5460 we don't always create the hard links for path
dependencies in the top-level dir, and this meant that if the library were
compiled and then tested later on the test may recompile the original library by
accident.

The fix in this commit is to cease looking for the hardlink if it exists or not.
This way we only check for the presence of the output file itself and only
recompile if that file is missing. The reason for this is that we
unconditionally relink files into place whether it's fresh or not, so we'll
always recreate the hard link anyway if it's missing.

cc rust-lang/rust#51717

r? @alexcrichton

Fix avoiding a rebuild when moving around a workspace

There's a case where Cargo will recompile a project even if the fingerprint
looks like it's fresh, when some output files are missing. This was intended to
cover the case where an output file was deleted manually or otherwise messed
with. The check here was a bit too eager, however. It checked not only the
actual output destination of the compiler but *also* the location that we hard
link the output file up to.

Due to recent changes in #5460 we don't always create the hard links for path
dependencies in the top-level dir, and this meant that if the library were
compiled and then tested later on the test may recompile the original library by
accident.

The fix in this commit is to cease looking for the hardlink if it exists or not.
This way we only check for the presence of the output file itself and only
recompile if that file is missing. The reason for this is that we
unconditionally relink files into place whether it's fresh or not, so we'll
always recreate the hard link anyway if it's missing.

cc rust-lang/rust#51717

Auto merge of #5603 - matklad:publish-nightly-features, r=matklad

Allow publishing crates with nightly features

closes #5427.

cc @rust-lang/cargo: I remember a vigorous debate over publishing crates with nightly Cargo features, but I can't recollect our exact plan of action. The discussion is logged here: https://paper.dropbox.com/doc/Unstable-Cargo-features-JBYMdsUYcO3FyW8Ubkjoz.

I think we just need to allow to publish crates with unstable cargo features, for the same reason we allow unstable rust features: you need explicit opt-in, even for deps. This is covered by Cargo tests: https://github.com/rust-lang/cargo/blob/9f097787b04b06cdde4fc42b26a531b22c1b37a6/tests/testsuite/cargo_features.rs#L115-L215.

I am not sure if we have ever implemented crates.io side of validation?

Auto merge of #5613 - oli-obk:master, r=matklad

Allow rustc bootstrap to use unstable features even though it's using a beta-cargo

This is the sane alternative to https://github.com/rust-lang/rust/pull/51322#issuecomment-394828839

cc @kennytm

Order can be important if cargo tests are run inside the rustc build system

Allow rustc bootstrap to use unstable features even though it's using a beta-cargo

Auto merge of #5607 - ehuss:config-rustc, r=matklad

Remove some minor, unused code.

I think this was left behind as part of #5359.

Remove some minor, unused code.

I think this was left behind as part of #5359.

Auto merge of #5604 - debris:issue_5602, r=matklad

fixed 5602, expose cached build script output in json output

fixes #5602

extracted duplicated chunk of code into `fn emit_build_output`, removed redundant line from `compiler_json_error_format` test

Auto merge of #5589 - boxdot:issue-5267, r=matklad

Clean error msg when lockfile contains duplicate packages.

Resolves #5267.

(Implemented at RustFest Paris `impl days`.)

Improve error message on duplicate packages in lockfile.

Move duplicate pkgs check to resolve builder.

fixed #5602, expose cached build script output in json output

Allow publishing crates with nightly features

Auto merge of #5506 - ehuss:config-profile, r=alexcrichton

Config Profiles (RFC 2282 Part 2)

Notes:
- `-Z config-profile` CLI option is required to use.
- Config values no longer reject mixed base types (integer, string, boolean) in order to support the mixed types in profiles.

Auto merge of #5599 - gibix:fix/4746, r=alexcrichton

fix #4746 and add test

fix #4746 and add test

Signed-off-by: gibix <gibix@riseup.net>

Use new config API.

Also, require "override" feature if used in a config.

Config Profiles (RFC 2282 Part 2)

Notes:
- `-Z config-profile` CLI option is required to use.
- Config values no longer reject mixed base types (integer, string, boolean) in order to support the mixed types in profiles.

Auto merge of #5552 - ehuss:config-serde, r=alexcrichton

Typed Config Access

This introduces a new API for accessing config values using serde to
automatically convert to a destination type.  By itself this shouldn't
introduce any behavioral changes (except for some slight wording changes to
error messages).  However, it unlocks the ability to use richer data types in
the future (such as `profile`, or `source`).  Example:

```rust
let p: Option<TomlProfile> = config.get("profile.dev")?;
```

Supports environment variables when fetching structs or maps.  Note that it can
support underscores in env var for struct field names, but not maps.  So for
example, "opt_level" works, but not "serde_json" (example:
`CARGO_PROFILE_DEV_OVERRIDES_serde_OPT_LEVEL`).  I don't have any ideas for a
workaround (though I feel this is an overuse of env vars).

It supports environment variables for lists.  The value in the env var will get
appended to anything in the config.  It uses TOML syntax, and currently only
supports strings.  Example:  `CARGO_FOO=['a', 'b']`.  I did *not* modify
`get_list` to avoid changing behavior, but that can easily be changed.

Auto merge of #5590 - esteve:libname-doc, r=matklad

Handle the case where the name of a library is different from the package's

Resolves #5568

Disable cargo doc --open tests on Windows and macOS.

Added two more tests: one where a package contains a library and a binary and another where it only contains a binary.

Auto merge of #5591 - simonasker:correct-command-paths, r=matklad

Correct command directory paths

r? @matklad

Use [/] instead of hardcoded / so that it's portable on Windows.

Don't pass --open as an argument.

Correct command directory paths

Added test where the name of the library is different from the package's.

Auto merge of #5584 - boxdot:master, r=matklad

Verify that src dir wasn't modified by build.rs when publishing

Fixes issue #5073.

Implemented during RustFest Paris `impl days`.

Fix test to work on Windows

Add more instructions to error message

A package will always contain at least one library or a binary.

Compare pkg ids based on their encoding.

This comparison is needed, since we want to figure out which packages
are duplicate in the lockfile. Package coming from different
registries will be different in the lockfile, but not local packages
with the same name and version but different path.

Clean error msg when lockfile contains duplicate packages.

Auto merge of #5587 - matklad:rustdoc-target, r=alexcrichton

Support `--target` argument in `cargo rustdoc`

We don't support `--target` in `cargo rustdoc`. Seems like an omission to me? We support it in `cargo rustc`. Discovered in https://github.com/rust-lang/cargo/pull/5543#issuecomment-392525154.

Support `--target` argument in `cargo rustdoc`

Use auto split argument in test

Provide more context when src files changed while packaging

Co-authored-by: boxdot <d@zerovolt.org>

Document that build scripts should not modify files outside OUT_DIR.

Co-authored-by: Gabriel Feron <feron.gabriel@gmail.com>

Add cargo --no-verify test when checking that src dir was not modified while publishing

Add test to check that publish fails when src directory was changed.

Co-authored-by: boxdot <d@zerovolt.org>

Verify that src dir was not modified by build.rs during publish.

Co-authored-by: Gabriel Feron <feron.gabriel@gmail.com>

Auto merge of #5574 - kornelski:names, r=matklad

A more complete example of authors

Documentation doesn't show how to specify author names or how to specify multiple authors.

Auto merge of #5570 - alexcrichton:fix-deadlock, r=matklad

Fix an issue of deadlock in Cargo

Currently Cargo can deadlock itself via file locks in somewhat obscure
scenarios. One way to trigger this scenario is by causing the index to fail
being created, for example through an invalid `init.templatedir` configuration.

This commit takes the strategy of solving two bugs:

* First, the deadlock is fixed. This is done by manually ensuring that the
  current deadlock doesn't happen by scheduling cached work to happen outside
  the scope of a lock.
* Second, the initialization of the registry's index is fixed. We turn off the
  usage of external templates as we don't want to use them for this internally
  managed repository anyway.

Closes #5551

Auto merge of #5581 - kngwyu:for-racer, r=alexcrichton

Add missing reexport for #5572

Sorry I forgot to change `mod.rs` in #5572

Auto merge of #5580 - ehuss:doc-build-plan, r=alexcrichton

Document unstable --build-plan

Add missing reexport for #5572

Document unstable --build-plan

Auto merge of #5578 - cardoe:extend-ci, r=alexcrichton

add GitLab CI to the CI docs

Cargo supports GitLab CI natively for CI badges so include a basic
example of how to use it in the CI section of the documentation.

add GitLab CI to the CI docs

Cargo supports GitLab CI natively for CI badges so include a basic
example of how to use it in the CI section of the documentation.

Auto merge of #5572 - kngwyu:for-racer, r=alexcrichton

Make add_overrides and get_resolved_packages pub

For https://github.com/racer-rust/racer/pull/855.
Now  we're planning to use cargo to resolve dependencies, but for RLS we can't write `Cargo.lock`.
So we have to call `resolve_with_previous` directly, and want to use these functions.

Auto merge of #5576 - matklad:revert-deps, r=alexcrichton

Revert "Auto merge of #5461 - matklad:meta-rename, r=alexcrichton"

This reverts commit d0d3cb5ac963eb8c3f83d079b6a547992cac2cc4, reversing
changes made to 757112c39f8a5a4f6ffa0b7e29d23a56f03fb931.

It is unclear if the design is right, see
https://github.com/rust-lang/cargo/pull/5558#issuecomment-391791164

Revert "Auto merge of #5461 - matklad:meta-rename, r=alexcrichton"

This reverts commit d0d3cb5ac963eb8c3f83d079b6a547992cac2cc4, reversing
changes made to 757112c39f8a5a4f6ffa0b7e29d23a56f03fb931.

It is unclear if the design is right, see
https://github.com/rust-lang/cargo/pull/5558#issuecomment-391791164

A more complete example of authors

Make add_overrides and get_resolved_packages pub

Fix an issue of deadlock in Cargo

Currently Cargo can deadlock itself via file locks in somewhat obscure
scenarios. One way to trigger this scenario is by causing the index to fail
being created, for example through an invalid `init.templatedir` configuration.

This commit takes the strategy of solving two bugs:

* First, the deadlock is fixed. This is done by manually ensuring that the
  current deadlock doesn't happen by scheduling cached work to happen outside
  the scope of a lock.
* Second, the initialization of the registry's index is fixed. We turn off the
  usage of external templates as we don't want to use them for this internally
  managed repository anyway.

Closes #5551

Auto merge of #5564 - mati865:metadata_fix, r=alexcrichton

Always replace metadata when replacing package

Fixes https://github.com/rust-lang/cargo/issues/4582

I'm having problem writing test for it.
The test should install binary, make commit and reinstall binary, this part is done.
To know if it was done properly we need to compare git revision of HEAD and installed binary and that's where the problems begin...

Always replace metadata when replacing package

Fixes https://github.com/rust-lang/cargo/issues/4582

Use `failure::Error` for ConfigError instead of a String.

Auto merge of #5556 - alexcrichton:fix, r=matklad

Copy `--all-features` request to all workspace members

This fixes an accidental regression introduced in #5012 where the
`--all-features` CLI flag was only propagated to the "main crate" as opposed to
all workspace packages. This behavior has [already been deemed][pr] as
"basically not what you want", but for now it's best to avoid the regression.

Closes #5518

[pr]: https://github.com/rust-lang/cargo/pull/5353

Auto merge of #5534 - matklad:feature-workflow, r=alexcrichton

Feature workflow

Docs based on todays discussion.

@dwijnand you seem to actually read the docs, so I am curious how do you feel about it? :)

We have a **lot** of feature-requests for Cargo, but we care about long-term maintainability and backwards comparability, so we stick to the conservative side of things. This leads to a situation when there are a lot of `C-feature-request` tagged issues on the repo, but only a fraction of those are "yeah, we definitely want that in Cargo", while most are "this **could** be useful, but we are not really sure if it belongs to Cargo", and we'd love to signal which issues are "it would be awesome if you implement this" and which are "you could try to implement this, but there's no guarantee that the PR will be merged".

Tweak the feature lifecycle notes

Some hints about feature lifecycle

Clarify the meaning of feature-related labels

Auto merge of #5563 - ehuss:cargotest-doc, r=alexcrichton

cargotest: Add some more docs

Hopefully this isn't too wordy.  This isn't intended for rustdoc output, but generally to be read in-editor.

cargotest: Add some more docs

Add `-Z advanced-env` feature flag.

Auto merge of #5559 - alexcrichton:update-core-foundation, r=alexcrichton

Update version of core-foundation crate

Update version of core-foundation crate

Cleanup, address some comments.

Simplify net.retry config.

Drop num_traits and rely on serde to handle numeric limits.

Auto merge of #5557 - ehuss:linux-cbfct, r=alexcrichton

Fix test failure in changing_bin_features_caches_targets for Linux.

Fixes rust-lang/rust#50962.

My theory is that while copying the binary, another thread forked with the fd
open.  The copy finishes and attempts to exec before the other child execs (and
closes the writeable fd).

I was able to easily repro this on linux.  I ran some stress tests of this fix
locally on linux and on appveyor, and was unable to trigger it again.

Fix test failure in changing_bin_features_caches_targets for Linux.

Fixes rust-lang/rust#50962.

My theory is that while copying the binary, another thread forked with the fd
open.  The copy finishes and attempts to exec before the other child execs (and
closes the writeable fd).

I was able to easily repro this on linux.  I ran some stress tests of this fix
locally on linux and on appveyor, and was unable to trigger it again.

Copy `--all-features` request to all workspace members

This fixes an accidental regression introduced in #5012 where the
`--all-features` CLI flag was only propagated to the "main crate" as opposed to
all workspace packages. This behavior has [already been deemed][pr] as
"basically not what you want", but for now it's best to avoid the regression.

Closes #5518

[pr]: https://github.com/rust-lang/cargo/pull/5353

Verify stderr output for warnings in test.

Typed Config Access

This introduces a new API for accessing config values using serde to
automatically convert to a destination type.  By itself this shouldn't
introduce any behavioral changes (except for some slight wording changes to
error messages).  However, it unlocks the ability to use richer data types in
the future (such as `profile`, or `source`).  Example:

```rust
let p: Option<TomlProfile> = config.get("profile.dev")?;
```

Supports environment variables when fetching structs or maps.  Note that it can
support underscores in env var for struct field names, but not maps.  So for
example, "opt_level" works, but not "serde_json" (example:
`CARGO_PROFILE_DEV_OVERRIDES_serde_OPT_LEVEL`).  I don't have any ideas for a
workaround (though I feel this is an overuse of env vars).

It supports environment variables for lists.  The value in the env var will get
appended to anything in the config.  It uses TOML syntax, and currently only
supports strings.  Example:  `CARGO_FOO=['a', 'b']`.  I did *not* modify
`get_list` to avoid changing behavior, but that can easily be changed.

Auto merge of #5541 - ehuss:fix-rustdoc-edition, r=alexcrichton

Fix passing --edition to rustdoc during doctests.

Fixes #5538

Fix passing --edition to rustdoc during doctests.

Fixes #5538

Auto merge of #5540 - ehuss:fix-build-plan-tests, r=alexcrichton

Fix tests when CARGO_TARGET_DIR is set.

Fixes #5536

Fix tests when CARGO_TARGET_DIR is set.

Fixes #5536

Auto merge of #5537 - eddyb:no-trans, r=matklad

Remove -Zno-trans test.

Needed for https://github.com/rust-lang/rust/pull/50615 (where the flag is now `-Zno-codegen`) - which revealed that the test shouldn't even exist anymore, and was accidentally added back (https://github.com/rust-lang/rust/pull/50615#issuecomment-388968326).

Remove -Zno-trans test.

Auto merge of #5535 - ehuss:ignore-test-tab, r=alexcrichton

Ignore <tab> in libtest output.

rust-lang/rust#50387 is changing the output from libtest which affected a few Cargo tests.

Ignore <tab> in libtest output.

rust-lang/rust#50387 is changing the output from libtest which affected a few Cargo tests.

Auto merge of #5533 - dwijnand:patch-1, r=matklad

Detail how to run locally-built nightly cargo

Documenting from https://gitter.im/rust-lang/cargo?at=5af6d407862c5e33e92bf2ca.

Apologies if this is documenting too much what is effectively rustup behaviour.

Let me know if it's time to replace this with links to rustup docs instead.

Detail how to run locally-built nightly cargo

Documenting from https://gitter.im/rust-lang/cargo?at=5af6d407862c5e33e92bf2ca.

Auto merge of #5527 - tcr:patch-1, r=alexcrichton

Point Source Replacement to the Overriding Dependencies section

This would've saved me a minute. This mirrors a similarly helpful caveat in [the [patch] section](https://doc.rust-lang.org/cargo/reference/manifest.html#the-patch-section).

Point Source Replacement to the Overriding Dependencies section

This would've saved me a minute. This mirrors a similarly helpful caveat in [the [patch] section](https://doc.rust-lang.org/cargo/reference/manifest.html#the-patch-section).

Auto merge of #5522 - DarkDrek:user_agent_option, r=alexcrichton

Add option to set user-agent

Fixes #5494

Add option to set user-agent

Fixes #5494

Auto merge of #5520 - alexcrichton:check-with-full-proc-macro, r=matklad

Fix mode generated in `maybe_lib`

The new `mode` for the library dependency is dependent on the library target
rather than the target which is the reason for the dependency on the library!

Closes rust-lang/rust#50640

Auto merge of #5519 - matthiaskrgr:typos, r=alexcrichton

NFC: fix a couple of typos, found by codespell.

Fix mode generated in `maybe_lib`

The new `mode` for the library dependency is dependent on the library target
rather than the target which is the reason for the dependency on the library!

Closes rust-lang/rust#50640