Fix another issue of poisoning too eagerly

This commit extends the fix in #5288 by moving the logic added farther up in the
loop over package dependencies. This means that we won't recursively look at
optional/dev path dependencies which aren't members of the workspace. This
should fix the new issue that came up in #5257

Closes #5257

Auto merge of #5302 - Eh2406:MoreRc, r=alexcrichton

use more Rc in the part of resolver that gets cloned a lot 2

This is the same idea as https://github.com/rust-lang/cargo/pull/5118, I was looking at a profile and noted that ~5% of our time was sent dropping `HashMap<PackageId, HashSet<InternedString>>`. A quick rg and I found the culprit, we are cloning the set of features for every new `Context`. With some Rc we are now just cloning for each time we insert.

To benchmark I commented out line https://github.com/rust-lang/cargo/blob/b9aa315158fe4d8d63672a49200401922ef7385d/src/cargo/core/resolver/mod.rs#L453
the smallest change to get https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286 not to solve instantly.
Before 17000000 ticks, 90s, 188.889 ticks/ms
After 17000000 ticks, 73s, 232.877 ticks/ms

use make_mut for cleaner code

use more Rc in the part of resolver that gets cloned a lot

Auto merge of #5299 - ehuss:rustdoc-edition, r=matklad

Pass edition to rustdoc.

Fixes #5279.

Unpin nightly version in CI.

Removes temporary workaround for rust-lang/rust#49033.

Don't use .arg() in test.

Pass edition to rustdoc.

Fixes #5279.

Auto merge of #5280 - klausi:clippy-191-trvials, r=matklad

chore(clippy): Simplify minor stuff found by clippy

Executed clippy 0.0.191, fixed the trivial stuff.
Filed https://github.com/rust-lang-nursery/rust-clippy/issues/2615 for all the format_err!() false positives.

Auto merge of #5294 - memoryleak47:typo, r=alexcrichton

fixed a few typos

I detected them using https://github.com/memoryleak47/typo.

fixed a few typos

chore(clippy): Fix test assertion and simplify code in crates-io

chore(clippy): Simplify to Path.exists() and remove some more &

chore(clippy): Simplify minor stuff found by clippy

Auto merge of #5293 - Eh2406:InternMoreStrings, r=alexcrichton

Intern more strings

As pointed out in https://github.com/rust-lang/cargo/pull/5270#issuecomment-378372147, that clean up adds the mildly expensive `InternedString::new` to the hot path in the resolver.

The process of this PR is:
1. Find a `InternedString::new` in the hot path.
2. replace the argument of type `&str` that is passed along to `InternedString::new` with the type `InternedString`
3. add an `InternedString::new` to the callers until it type checked.
4. Repeat from step 1.

This stop if:
- It was traced back to something that was already an `InternedString`
- It was traced back to a `.to_string()` call
- It was in a persistent object creation

cc:
- @djc this is building on your work, I don't want to get in your way.
- @alexcrichton is this making things clearer and do you want to see a performance check?

Intern more strings
cargo +stable fmt

Auto merge of #5292 - djc:feature-requirements, r=alexcrichton

Revert serialization of features to string type

Accidentally broken during #5270 and only noticed after merge.

cc @matklad @Eh2406

Revert serialization of features to string type

Auto merge of #5270 - djc:feature-requirements, r=Eh2406

Introduce FeatureValue type to represent features table values

This is the next step towards #1286 (after #5258). The goal here is to have a central place in the code where feature strings are interpreted as (a) a feature, (b) a dependency or (c) a dependency/feature combo, and anchor that interpretation in the type system as an enum.

I've spent quite a bit of effort avoiding extra string allocations, complicating the code a bit; notice in particular the use of `Cow<str>` in `FeatureValue` variants, and the slight workaround in `Context::resolve_features()` and `build_requirements()`. I hope this is all okay.

cc @Eh2406

Extract function to build feature map for readability

Introduce FeatureValue enum for tracking feature types

Define FeatureMap type as an abstraction

Auto merge of #5290 - ehuss:lp-help, r=matklad

locate-project: Fix help description.

locate-project: Fix help description.

Auto merge of #5288 - alexcrichton:another-fix, r=matklad

Less aggressively poison sources on builds

Discovered in #5257 the changes in #5215 were slightly too aggressively
poisoning sources to require updates, thinking that a manifest changed when it
actually hadn't.

Non-workspace-member path dependencies with optional/dev-dependencies
don't show up in the lock file, so the previous logic would recognize this and
think that the dependency missing from the lock file was just added and would
require a registry update.

The fix in this commit effectively just skips all of these dependencies in
non-workspace members. This means that this will be slightly buggy if an
optional dependency that's activated is added, but that's hopefully something we
can tackle later.

Closes #5257

Auto merge of #5287 - matklad:safer-intern, r=Eh2406

Slightly improve InternedString

* Use `&'static str` instead of (ptr, len) pair to reduce unsafety.
* try make hash calculation O(1) instead of O(n), fail miserably,
  document findings.
* Rename `to_inner` -> `as_str()`.

Less aggressively poison sources on builds

Discovered in #5257 the changes in #5215 were slightly too aggressively
poisoning sources to require updates, thinking that a manifest changed when it
actually hadn't.

Non-workspace-member path dependencies with optional/dev-dependencies
don't show up in the lock file, so the previous logic would recognize this and
think that the dependency missing from the lock file was just added and would
require a registry update.

The fix in this commit effectively just skips all of these dependencies in
non-workspace members. This means that this will be slightly buggy if an
optional dependency that's activated is added, but that's hopefully something we
can tackle later.

Closes #5257

Slightly improve InternedString

* Use `&'static str` instead of (ptr, len) pair to reduce unsafety.
* try make hash calculation O(1) instead of O(n), fail miserably,
  document findings.
* Rename `to_inner` -> `as_str()`.

Auto merge of #5203 - matklad:out-dir, r=alexcrichton

cargo build --out-dir

This is intended to fix https://github.com/rust-lang/cargo/issues/4875. Very much work in progress, just to figure out how exactly `--out-dir` should work :)

The path of least resistance for implementing `out-dir` would be to just link everything from `target/debug` to the `out-dir`. However, the problem with this approach is that we link *too much* to the `target/debug`. For example, if you run `cargo build --bin foo`, you'll find not only the `foo` itself there, but also rlibs from the same workspace.

I think it's rather important not to copy extra stuff to out-dir, so it is implemented as a completely new parameter, which is threaded through various config structs and applies *only* to the top-level units (i.e, to the stuff user explicitly requested to compile on the command line).

I also plan to add platform specific tests here, to check that we get .pdb on windows and .dSYM on macs for various crate-types.

Because, in general, a single target may produce multiple files, `out-dir` has to be a directory, you can't directly specify the output *file*.

Note that artifacts are still generated to the `target` dir as well.

Also cc @nirbheek, I hope that this might be useful for Meson integration, because `--out-dir` should be more straightforward to use than `--message-format=json`.

The end result, for `cargo build --bin rustraytracer --out-dir out` on windows looks like this:


Note how we have fewer files in the `out` :)

r? @alexcrichton

Fix tests for mac

Auto merge of #5285 - matklad:create-all-the-dirs, r=alexcrichton

Replace home-grown create_dir_all with std::fs::create_dir_all

The old one is just the historical artifact, right?

Replace home-grown create_dir_all with std::fs::create_dir_all

Test out-dir edge cases

Feature gate `--out-dir`

Implement `--out-dir` option

Auto merge of #5283 - matklad:better-assertion, r=matklad

Make assertion more informative

This assertion triggers when I try to build Cargo simultaneosly on
linux host and windows VM via a shared folder, but it's not clear
what is going on.

Make assertion more informative

This assertion triggers when I try to build Cargo simultaneosly on
linux host and windows VM via a shared folder, but it's not clear
what is going on.

Auto merge of #5281 - matklad:cleanup, r=alexcrichton

Cleanup

Hopefully the last round of `conext` refactoring :-)

r? @alexcrichton

Replace triple with struct

Move filename logic to FileType

Rename TargetFileType -> FileFlavor

Make TargetInfo.cfg private

Extract target info

Auto merge of #5274 - klnusbaum:epoch_5214, r=alexcrichton

rename epoch to edition

Per issue #5214 let's rename all instances of epoch to Edition

Auto merge of #5259 - Mark-Simulacrum:seed-deserialize, r=alexcrichton

Remove thread local, replacing with DeserializeSeed

@dtolnay -- is this the right way to implement this? It seems *very* verbose, but I suppose that's to be expected...

r? @alexcrichton

Replace a triple with a struct for readability

Auto merge of #5278 - alexcrichton:no-rustfmt-ci, r=alexcrichton

Remove rustfmt from Travis

As discussed at the recent work week this is probably a bit too zealous at this
time, so let's hold off on it until it's either more stable or we figure out a
better way to deal with changes in rustfmt.

For now though it'll hopefully be easy to continue running rustfmt every so
often!

Remove rustfmt from Travis

As discussed at the recent work week this is probably a bit too zealous at this
time, so let's hold off on it until it's either more stable or we figure out a
better way to deal with changes in rustfmt.

For now though it'll hopefully be easy to continue running rustfmt every so
often!

Slightly better variable names

Auto merge of #5276 - klausi:main-dead-code, r=matklad

chore(cli): Remove dead code in main()

I think that if() has been left behind by accident and can be removed?

chore(cli): Remove dead code in main()

rename epoch to edition

Remove thread local, replacing with DeserializeSeed

Auto merge of #5271 - djc:interning-spelling, r=alexcrichton

Fix spelling errors in interning module

Fix spelling errors in interning module

Auto merge of #5269 - orestisf1993:issue-5265, r=matklad

cargo_new: remove redundant leading new lines from ignore files

Only add a leading new line in `.gitignore`/`.hgignore`/`.ignore` files when
the file existed before `cargo new`.

Fixes #5265.

cargo_new: remove redundant leading new lines from ignore files

Only add a leading new line in .gitignore/.hgignore/.ignore files when
the file existed before 'cargo new'.

Fixes #5265.

Auto merge of #5235 - klausi:Z-flag-docs, r=matklad

docs(Z-flags): Add description for each -Z flag in cargo help

Fixes #5155

There might be a more elaborate way of adding descriptions to available options and generating help text automatically. For now I think some static text is a good start.

tests(help): Fix assertion by using the full line text

tests(help): Add test for -Z help output

docs(Z-flags): Add description for each -Z flag in cargo -Z help

Auto merge of #5258 - djc:split-resolver, r=Eh2406

Split resolver module to make it more manageable

The `core::resolver` module is currently the largest in Cargo, at some 2000 lines. Here's an attempt at splitting it into more reasonable parts and reordering the code in it for better comprehensibility.

Splitting is done in three major steps:

* Move the `Resolve` type and its dependencies into a separate module (~220 lines)
* Move utility data types into a separate module (~400 lines)
* Move the `Context` type and its dependencies into a separate module (~400 lines)

This halves the size of the root module, which is then reordered to make it more readable.

(This is a yak-shaving expedition of sorts, in preparation for #1286.)

Reorder code in resolver module for better readability

Move resolver Context initialization into a method

Move resolver::Context into new resolver::context module

Move utility types from resolver into resolver::types

Move resolver::Resolve into a new resolver::resolve module

Auto merge of #5261 - djc:reformat, r=matklad

Fix formatting issues with cargo fmt

Noticed these unrelated formatting problems while working on #5258.

Fix formatting issues with cargo fmt

Auto merge of #5253 - matklad:unit-meta-2, r=alexcrichton

Introduce compilation files

Just another context refactoring

Auto merge of #5255 - matklad:rustdoc-features, r=alexcrichton

Restore --features args for cargo rustdoc

Closes https://github.com/rust-lang/cargo/issues/5254

Restore --features args for cargo rustdoc

It was accidentally omited when migrating to clap

Introduce compilation files

Auto merge of #5252 - matklad:new-context-new, r=alexcrichton

Supply units to the context at the point of creation

This slightly reshuffles `Context` creation. The main benefit is that we know the set of units when we do `Context::new`, so we could use it to precalculate more things.

Supply units to the context at the point of creation

Auto merge of #5249 - alexcrichton:run-rustc-less, r=matklad

Run `rustc` for information fewer times

Currently if you pass `--target` the same as rustc's host Cargo will run `rustc`
on extra time to learn information, but we only need to run it once to learn
such information!

Run `rustc` for information fewer times

Currently if you pass `--target` the same as rustc's host Cargo will run `rustc`
on extra time to learn information, but we only need to run it once to learn
such information!

Auto merge of #5250 - rleungx:tweak-error-message, r=matklad

tweak error message

Closes #5238.

address comment

tweak error message

Auto merge of #5205 - gibix:i2773, r=alexcrichton

fix #2773 with new precise encode

Changed the precise encode from <pkg>=<precise> to <pkg>=<present_version>-><future_version> in order to check the correct requirements.

cc @lu-zero

Auto merge of #5228 - phil-opp:target-spec, r=alexcrichton

Add support for absolute target.json paths

Builds upon https://github.com/rust-lang/rust/pull/49019 with the goal to provide a solution to https://github.com/rust-lang/cargo/issues/4905.

This PR does two things:

~~1. It appends a hash of the target path to the target folder name if a `*.json` path is passed as `--target`, like it's done in https://github.com/rust-lang/rust/pull/49019. This helps differentiating targets with the same JSON file name and avoids sysroot clashes in `xargo`.~~ See https://github.com/rust-lang/cargo/pull/5228#discussion_r176827531
2. It canonicalizes the passed target path (if it's a `*.json` path), so that the path stays valid when building dependencies and setting the `RUST_TARGET_PATH` environment variable is no longer necessary.

Auto merge of #5244 - Eijebong:tempfile, r=alexcrichton

Replace tempdir by tempfile

The former has been deprecated in favor of the latter

Replace tempdir by tempfile

The former has been deprecated in favor of the latter

Auto merge of #5243 - alexcrichton:more-feature-sync, r=alexcrichton

More effort to only compile Cargo once

Hopefully one final change necessary for rust-lang/rust#49053

More effort to only compile Cargo once

Hopefully one final change necessary for rust-lang/rust#49053

Add custom target tests

Canonicalize paths passed as `--target`

Auto merge of #5232 - matklad:unit-map, r=alexcrichton

Refactor context to extract dependencies calculation to a separate mod

This makes unit dependency graph construction eager and moves it to a separate file.

Hopefully, this makes `Context` slightly easier to understand :)

Refactor context to extract dependencies calculation to a separate mod

Auto merge of #5239 - alexcrichton:remove-scoped-tls, r=matklad

Remove scoped_tls dependency

This is causing [conflicts] with rebuilding upstream in rust-lang/rust, so
remove this for now until we figure out a better solution.

[conflicts]: https://github.com/rust-lang/rust/pull/49053#issuecomment-375906970

Remove scoped_tls dependency

This is causing [conflicts] with rebuilding upstream in rust-lang/rust, so
remove this for now until we figure out a better solution.

[conflicts]: https://github.com/rust-lang/rust/pull/49053#issuecomment-375906970

add precise test

cargo fmt

fix typo , drop return and intermediate vector

cargo fmt

fix #2773 with new precise encode

Auto merge of #5213 - Eh2406:faster_resolver, r=alexcrichton

Faster resolver: use a inverse-index to not activate the causes of conflict

This adds a test for https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286 with two extensions that make it harder. It is the last reproducible and in the wild exponentially slow resolution (that I have found).

The problem in the test is `backtrack_trap0 = "*"` is a lot of ways of saying `constrained = ">=1.1.0, <=2.0.0"` but `constrained= "2.0.1"` is already picked. Only then to try and solve `constrained= "~1.0.0"` which is incompatible. Our parent knows that we have been poisoned, and wont try to activate us again.  Because of the order we evaluate deps we end up backtracking to where `constrained: 1.1.0` is set instead of our parent. And so the poisoning does not help. This is harder then https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286 because:

1. Having multiple semver compatible versions of constrained in play makes for a lot more bookkeeping. Specifically bookkeeping I forgot when I first submitted this PR.
2. The problematic dependencies are added deep in a combinatorial explosion of possibilities. So if we don't correctly handle caching that `backtrack_trap0 = "*"` is doomed then we will never finish looking thru the different possibilities for `level0 = "*"`

This PR also includes a proof of concept solution for the test, which proves that it does solve https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286. The added code is tricky to read. It also adds a `O(remaining_deps)` job to every activation on the happy path, slower if the `past_conflicting_activations` is not empty.

I'd like some brainstorming on better solutions.

address suggestions

Move caching to a support struct and file