Less aggressively poison sources on builds

Discovered in #5257 the changes in #5215 were slightly too aggressively
poisoning sources to require updates, thinking that a manifest changed when it
actually hadn't.

Non-workspace-member path dependencies with optional/dev-dependencies
don't show up in the lock file, so the previous logic would recognize this and
think that the dependency missing from the lock file was just added and would
require a registry update.

The fix in this commit effectively just skips all of these dependencies in
non-workspace members. This means that this will be slightly buggy if an
optional dependency that's activated is added, but that's hopefully something we
can tackle later.

Closes #5257

Remove rustfmt from Travis

As discussed at the recent work week this is probably a bit too zealous at this
time, so let's hold off on it until it's either more stable or we figure out a
better way to deal with changes in rustfmt.

For now though it'll hopefully be easy to continue running rustfmt every so
often!

Auto merge of #5255 - matklad:rustdoc-features, r=alexcrichton

Restore --features args for cargo rustdoc

Closes https://github.com/rust-lang/cargo/issues/5254

Restore --features args for cargo rustdoc

It was accidentally omited when migrating to clap

Auto merge of #5252 - matklad:new-context-new, r=alexcrichton

Supply units to the context at the point of creation

This slightly reshuffles `Context` creation. The main benefit is that we know the set of units when we do `Context::new`, so we could use it to precalculate more things.

Supply units to the context at the point of creation

Auto merge of #5249 - alexcrichton:run-rustc-less, r=matklad

Run `rustc` for information fewer times

Currently if you pass `--target` the same as rustc's host Cargo will run `rustc`
on extra time to learn information, but we only need to run it once to learn
such information!

Run `rustc` for information fewer times

Currently if you pass `--target` the same as rustc's host Cargo will run `rustc`
on extra time to learn information, but we only need to run it once to learn
such information!

Auto merge of #5250 - rleungx:tweak-error-message, r=matklad

tweak error message

Closes #5238.

address comment

tweak error message

Auto merge of #5205 - gibix:i2773, r=alexcrichton

fix #2773 with new precise encode

Changed the precise encode from <pkg>=<precise> to <pkg>=<present_version>-><future_version> in order to check the correct requirements.

cc @lu-zero

Auto merge of #5228 - phil-opp:target-spec, r=alexcrichton

Add support for absolute target.json paths

Builds upon https://github.com/rust-lang/rust/pull/49019 with the goal to provide a solution to https://github.com/rust-lang/cargo/issues/4905.

This PR does two things:

~~1. It appends a hash of the target path to the target folder name if a `*.json` path is passed as `--target`, like it's done in https://github.com/rust-lang/rust/pull/49019. This helps differentiating targets with the same JSON file name and avoids sysroot clashes in `xargo`.~~ See https://github.com/rust-lang/cargo/pull/5228#discussion_r176827531
2. It canonicalizes the passed target path (if it's a `*.json` path), so that the path stays valid when building dependencies and setting the `RUST_TARGET_PATH` environment variable is no longer necessary.

Auto merge of #5244 - Eijebong:tempfile, r=alexcrichton

Replace tempdir by tempfile

The former has been deprecated in favor of the latter

Replace tempdir by tempfile

The former has been deprecated in favor of the latter

Auto merge of #5243 - alexcrichton:more-feature-sync, r=alexcrichton

More effort to only compile Cargo once

Hopefully one final change necessary for rust-lang/rust#49053

More effort to only compile Cargo once

Hopefully one final change necessary for rust-lang/rust#49053

Add custom target tests

Canonicalize paths passed as `--target`

Auto merge of #5232 - matklad:unit-map, r=alexcrichton

Refactor context to extract dependencies calculation to a separate mod

This makes unit dependency graph construction eager and moves it to a separate file.

Hopefully, this makes `Context` slightly easier to understand :)

Refactor context to extract dependencies calculation to a separate mod

Auto merge of #5239 - alexcrichton:remove-scoped-tls, r=matklad

Remove scoped_tls dependency

This is causing [conflicts] with rebuilding upstream in rust-lang/rust, so
remove this for now until we figure out a better solution.

[conflicts]: https://github.com/rust-lang/rust/pull/49053#issuecomment-375906970

Remove scoped_tls dependency

This is causing [conflicts] with rebuilding upstream in rust-lang/rust, so
remove this for now until we figure out a better solution.

[conflicts]: https://github.com/rust-lang/rust/pull/49053#issuecomment-375906970

add precise test

cargo fmt

fix typo , drop return and intermediate vector

cargo fmt

fix #2773 with new precise encode

Auto merge of #5213 - Eh2406:faster_resolver, r=alexcrichton

Faster resolver: use a inverse-index to not activate the causes of conflict

This adds a test for https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286 with two extensions that make it harder. It is the last reproducible and in the wild exponentially slow resolution (that I have found).

The problem in the test is `backtrack_trap0 = "*"` is a lot of ways of saying `constrained = ">=1.1.0, <=2.0.0"` but `constrained= "2.0.1"` is already picked. Only then to try and solve `constrained= "~1.0.0"` which is incompatible. Our parent knows that we have been poisoned, and wont try to activate us again.  Because of the order we evaluate deps we end up backtracking to where `constrained: 1.1.0` is set instead of our parent. And so the poisoning does not help. This is harder then https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286 because:

1. Having multiple semver compatible versions of constrained in play makes for a lot more bookkeeping. Specifically bookkeeping I forgot when I first submitted this PR.
2. The problematic dependencies are added deep in a combinatorial explosion of possibilities. So if we don't correctly handle caching that `backtrack_trap0 = "*"` is doomed then we will never finish looking thru the different possibilities for `level0 = "*"`

This PR also includes a proof of concept solution for the test, which proves that it does solve https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286. The added code is tricky to read. It also adds a `O(remaining_deps)` job to every activation on the happy path, slower if the `past_conflicting_activations` is not empty.

I'd like some brainstorming on better solutions.

address suggestions

Move caching to a support struct and file

add comments

remove some loops

test the new backtracking does all of its bookkeeping

maintain an inverse-index

problematic extension and solution

A slow and ugly solution, but it works.

Add a test for https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286

Auto merge of #5200 - klausi:minimal_versions, r=Eh2406

feat(resolver): Add CLI option to resolve minimal version dependencies

Fixes #4100

Test cases are still missing. We need to come up with a plan what cases we want to cover.

Thanks a lot to @Eh2406 for very helpful instructions to kick this off.

tests(resolver): Group integration test with other minimal version test

tests(resolver): Add integration test for -Z minimal-versions

fix(resolver): Preserve lock file when sorting for minimal versions, document tests

Auto merge of #5233 - lukaslueg:issue5229, r=matklad

Assert Dependency::name is never empty, prevent 'install ""' from crashing

An explicit `cargo install ""` would cause clap to pass an empty crate-name,
leading to a panic(). We now assert() that Dependency::name is never the
empty string and prevent the situation in the first place by not allowing
the crate-name to be empty for `install`.

Fixes #5229

Assert that Dependency::name is never empty, prevent 'install ""' from crashing

An explicit `cargo install ""` would cause clap to pass an empty crate-name,
leading to a panic(). We now assert() that Dependency::name is never the
empty string and prevent the situation in the first place by not allowing
the crate-name to be empty for `install`.

Fixes #5229

Auto merge of #5231 - matklad:simplify, r=alexcrichton

Simplify `build_map`

This doesn't change semantics, but helps us not to rebuild BuildScripts
twice, and makes sure that we fail with assert if somehow we get cyclic
deps.

r? @alexcrichton

Simplify `build_map`

This doesn't change semantics, but helps us not to rebuild BuildScripts
twice, and makes sure that we fail with assert if somehow we get cyclic
deps

Auto merge of #5230 - matthiaskrgr:newline, r=alexcrichton

add final linebreak to cargo default help message.

before:
patch:

I assume this is some kind of leftover from the clap transition. cc @matklad

add final linebreak to cargo default help message.

Auto merge of #5226 - jeehoonkang:doc-caret, r=alexcrichton

doc: Clarify the meaning of caret requirements

Closes #4910 (which is already closed, though 😄)

r? @alexcrichton

doc: Clarify the meaning of caret requirements

Closes #4910

Auto merge of #5225 - matthiaskrgr:revert_pr5223, r=alexcrichton

Revert "manifest: update default lto for release and bench to 'thin'."

This reverts commit e74ff4db13f2ae00245902cb5b496b3b39128653.

Turns out I was wrong, sorry for the noise.

Revert "manifest: update default lto for release and bench to 'thin'."

This reverts commit e74ff4db13f2ae00245902cb5b496b3b39128653.

Turns out I was wrong, sorry for the noise.

Auto merge of #5217 - matklad:known-crate-types, r=alexcrichton

Preprobe info for known crate type

Previously, we've calculated the set of crate types to learn about by
recursively walking the graph of units. However, to actually know
dependencies of a unit exactly, we must know target specific info, and
we don't know it at this moment (in fact, we are trying calculating it).

Note that crate-type calculation is already lazy, we don't have to calc
all crate-types upfront. So, let's just scrape this info once for
well-known crate types, and fill whatever is left lazily.

@alexcrichton would this approach work at all? I think it would, if `KNOWN_CRATE_TYPES` are all available for all target-tripples we support. Is it a valid assumption?

The larger picture is that I am trying to make unit dependency resolution eager and move it into the separate file. I even got something working, but I have to run dependency resolution three times, because it is not exactly idempotent for various reasons, including this target-info stuff :)

```
    cx.prepare()?;
    cx.build_unit_map(units.clone())?; // resolve dependencies
    cx.probe_target_info(&units)?;
    cx.build_unit_map(units.clone())?; // resolve again
    cx.build_used_in_plugin_map(&units)?;
    custom_build::build_map(&mut cx, &units)?;
    cx.build_unit_map(units.clone())?; // and resolve one final time :)
```

Auto merge of #5223 - matthiaskrgr:manifest_update, r=matklad

manifest: update default lto for release and bench to "thin"

[redacted]

manifest: update default lto for release and bench to 'thin'.

Auto merge of #5222 - AdamNiederer:patch-1, r=matklad

Add docstrings to CleanOptions

Add docstrings to CleanOptions

Auto merge of #5219 - mbrubeck:doc, r=alexcrichton

Fix usage text for cargo install

The current text was accidentally copied from `cargo init`.

Fix usage text for cargo install

The current text was accidentally copied from `cargo init`.

Auto merge of #5186 - infinity0:stricter-need-dev-deps, r=alexcrichton

Stricter need_dev_deps behaviour

The previous PR (#5012) contained an unnecessary work-around for behaviour of `--all-targets` that was misunderstood. This PR removes that work-around and adds some tests and comments to clarify the behaviour for future contributors, which may help to make easier a future fix for #5177 and #5178.

Auto merge of #5204 - lukaslueg:issue5199, r=alexcrichton

Do not allow crate-type or proc-macro for [[bin]]-targets

Fixes #5199

This simply disallows `proc-macro` and `crate-type` to be set to anything for binary targets. Is this the best way to go or does a warning about the unused setting suffice?

Preprobe info for known crate type

Previously, we've calculated the set of crate types to learn about by
recursively walking the graph of units. However, to actually know
dependencies of a unit exactly, we must know target specific info, and
we don't know it at this moment (in fact, we are trying calculating it).

Note that crate-type calculation is already lazy, we don't have to calc
all crate-types upfront. So, let's just scrape this info once for
well-known crate types, and fill whatever is left lazily.

docs(tests): Add comment

tests(resolver): Add test for minimum dependency versions

docs(resolver): Comment for what the minimal_versions flag does

feat(resolver): Add CLI option to resolve minimal version dependencies

Auto merge of #5215 - alexcrichton:update-version, r=matklad

Don't require `cargo update` when bumping versions

One historical annoyance I've always had with Cargo that I've found surprising
is that in some situations when you bump version numbers you'll have to end up
running `cargo update` later on to get everything to build. You get pretty wonky
error messages in this case as well saying a package doesn't exist when it
clearly does at a particular location!

I've had difficulty historically nailing down a test case for this but it looks
like we ironically already had one in our test suite and I also jury-rigged up
one from a case I ran into in the wild today.

Don't require `cargo update` when bumping versions

One historical annoyance I've always had with Cargo that I've found surprising
is that in some situations when you bump version numbers you'll have to end up
running `cargo update` later on to get everything to build. You get pretty wonky
error messages in this case as well saying a package doesn't exist when it
clearly does at a particular location!

I've had difficulty historically nailing down a test case for this but it looks
like we ironically already had one in our test suite and I also jury-rigged up
one from a case I ran into in the wild today.

Do not allow crate-type or proc-macro for [[bin]]-targets
in the current workspace.

Fixes #5199.

Auto merge of #5206 - lukaslueg:patch-1, r=matklad

Update CONTRIBUTING.md

Since a13a33c33b049a7b412f0cc80a7b166b0d58345c code is rejected during CI if `rustfmt` complains. Update the docs regarding that fact.

Auto merge of #5209 - matklad:no-way-we-havent-had-a-test-for-this, r=alexcrichton

Fix regression when passing arguments to subcommands

closes https://github.com/rust-lang/cargo/issues/5208

`.args(&args[1..])` was copied directly from the docopt implementation, but there, `args[0]` was the path to `cargo` and not the name of subcommand, ie, `args` were *original* arguments for Cargo as a whole.

Fix regression when passing arguments to subcommands

Auto merge of #5202 - matklad:paths, r=alexcrichton

Extract common code for dealing with path-valued arguments

Just a small refactoring to make sure all path arguments are treated in the same way.

Auto merge of #5195 - alexcrichton:resolver-docs, r=Eh2406

Add some documentation to the resolver

I spent a few hours yesterday re-teaching myself the resolver and wanted to add some comments along the way!

Auto merge of #5207 - matklad:clap-test, r=matklad

Regression tests for #5201

Better safe than sorry!

Add some documentation to the resolver

This is currently my best-effort attempt to document various portions of the
resolver with the logic that's been added recently. It at least helped me
understand a bit what was going on so I hope it can help others as well!

Regression tests for #5201

Better safe than sorry!

Extract common code for dealing with path-valued arguments

Update CONTRIBUTING.md

Since a13a33c33b049a7b412f0cc80a7b166b0d58345c code is rejected during CI if `rustfmt` complains. Update the docs regarding that fact.

Split tests, apparently `cargo clean` does not work well on windows

Auto merge of #5187 - Eh2406:faster_resolver, r=alexcrichton

Faster resolver: clean code and the `backtrack_stack`

This is a small extension to #5168 and is inspired by https://github.com/rust-lang/cargo/pull/4834#issuecomment-363518370

After #5168 these work (and don't on cargo from nightly.):
- `safe_core = "=0.22.4"`
- `safe_vault = "=0.13.2"`

But these don't work (and do on cargo from this PR.)
- `crust = "=0.24.0"`
- `elastic = "=0.3.0"`
- `elastic = "=0.4.0"`
- `elastic = "=0.5.0"`
- `safe_vault = "=0.14.0"`

It took some work to figure out why they are not working, and make a test case.

This PR remove use of `conflicting_activations` before it is extended with the conflicting from next.
https://github.com/rust-lang/cargo/pull/5187#issuecomment-373830919
However the `find_candidate(` is still needed so it now gets the conflicting from next before being called.

It often happens that the candidate whose child will fail leading to it's failure, will have older siblings that have already set up `backtrack_frame`s. The candidate knows that it's failure can not be saved by its siblings, but sometimes we activate the child anyway for the error messages. Unfortunately the child does not know that is uncles can't save it, so it backtracks to one of them. Leading to a combinatorial loop.

The solution is to clear the `backtrack_stack` if we are activating just for the error messages.

Edit original end of this message, no longer accurate.
#5168 means that when we find a permanent problem we will never **activate** its parent again. In practise there afften is a lot of work and `backtrack_frame`s between the problem and reactivating its parent. This PR removes `backtrack_frame`s where its parent and the problem are present. This means that when we find a permanent problem we will never **backtrack** into it again.

An alternative is to scan all cashed problems while backtracking, but this seemed more efficient.

When activating for the better error messages don't waste time on the other backtrack frames

When test backtracking include conflicts in `remaining_candidates`

Auto merge of #5197 - matklad:neater-tests, r=alexcrichton

Slightly improve ergonomics of writing Cargo tests

As discussed in https://github.com/rust-lang/cargo/pull/5196#discussion_r175110557

I've also employed this to some of the longer command-lines in our test suite :)

Slightly improve ergonomics of writing Cargo tests

Revert "Clean the `backtrack_stack` so we don't backtrack to a place with cashed bad activations"

remove duplicated adding to the cache

Auto merge of #5192 - matklad:hash-set-all-the-way-down, r=alexcrichton

Avoid intermediate vector

Just a microoptimization to avoid intermediate `Vec`

Avoid intermediate vector

Auto merge of #5196 - matklad:clapclapclap, r=alexcrichton

Fix a regression with parsing multivalue options

By default, clap interprets

```
cargo run --bin foo bar baz
```

as

```
cargo run --bin foo --bin bar --bin baz
```

This behavior is different from docopt and does not play nicely with
positional arguments at all. Luckily, clap has a flag to get the
behavior we want, it just not the default! It will become the default in
the next version of clap, but, until that time, we should be careful
when using the combination of `.long`, `.value_name` and
`.multiple(true)`, and don't forget to specify `.number_of_values(1)` as
well.

@alexcrichton I'd love to merge this fix before updating cargo at rust-lang/rust :)

Fix a regression with parsing multivalue options

By default, clap interprets

```
cargo run --bin foo bar baz
```

as

```
cargo run --bin foo --bin bar --bin baz
```

This behavior is different from docopt and does not play nicely with
positional arguments at all. Luckily, clap has a flag to get the
behavior we want, it just not the default! It will become the default in
the next version of clap, but, until that time, we should be careful
when using the combination of `.long`, `.value_name` and
`.multiple(true)`, and don't forget to specify `.number_of_values(1)` as
well.

Auto merge of #5193 - matklad:deny-warnings, r=alexcrichton

Deny warnings in tests

Deny warnings in tests

suggestions

Auto merge of #5190 - mbrubeck:doc, r=alexcrichton

Remove old note about pre-1.21 versions

None

Remove old note about pre-1.21 versions

Auto merge of #5188 - alexcrichton:urgh-again, r=matklad

Add a synthetic dependency on num-traits

Right now the rust-lang/rust integration is compiling Cargo twice on dist
builds, once for Cargo and once for the RLS. This is due to a dependency of
Cargo being recompiled with different features when used from the RLS or not.
For now paper over this problem with a synthetic dependency to prevent Cargo
from being compiled twice.

cargo +stable fmt

Add a synthetic dependency on num-traits

Right now the rust-lang/rust integration is compiling Cargo twice on dist
builds, once for Cargo and once for the RLS. This is due to a dependency of
Cargo being recompiled with different features when used from the RLS or not.
For now paper over this problem with a synthetic dependency to prevent Cargo
from being compiled twice.

add a test