Remove requested_target() method from Context

Favor accessing cx.build_config directly.

Correct formatting with cargo fmt

Auto merge of #5353 - matklad:features, r=alexcrichton

New semantics for `--features` flag

Historically, feature-related flags like `--all-features`,
`--no-default-features` and `--features` operated on the *current*
package. That is, `cargo --package foo --feature feat` would activate
`feat` for the package at the current working directory, and not for the
`foo` package. `-Z package-features` flag implements the more obvious
semantics for this combination of flags. This changes behavior, and that
is why we want to start with an unstable opt-in. The changes are:

* `--feature` flag affects the selected package. It is an error to
  specify `--feature` with more than a single `-p`, or with `-p` outside
  workspace (the latter could work in theory, but would be hard to
  implement).

* `--all-features` and `--no-default-features` affect all selected
  packages, and not the one at cwd.

* The package in `cwd` is not implicitly enabled when doing feature
  selection. That is, `cargo build -Z package-features -p foo` could
  select *less* features for various packages than `cargo build -p foo`.

r? @alexcrichton

New semantics for `--features` flag

Historically, feature-related flags like `--all-features`,
`--no-default-features` and `--features` operated on the *current*
package. That is, `cargo --package foo --feature feat` would activate
`feat` for the package at the current working directory, and not for the
`foo` package. `-Z package-features` flag implements the more obvious
semantics for this combination of flags. This changes behavior, and that
is why we want to start with an unstable opt-in. The changes are:

* `--feature` flag affects the selected package. It is an error to
  specify `--feature` with more than a single `-p`, or with `-p` outside
  workspace (the latter could work in theory, but would be hard to
  implement).

* `--all-features` and `--no-default-features` affect all selected
  packages, and not the one at cwd.

* The package in `cwd` is not implicitly enabled when doing feature
  selection. That is, `cargo build -Z package-features -p foo` could
  select *less* features for various packages than `cargo build -p foo`.

Auto merge of #5350 - matklad:simplify-install, r=djc

Simplify install

Just a mechanical simplification.

Auto merge of #5352 - surma-dump:what-is-a-manifest, r=matklad

Mention Cargo.toml in manifest help description

I was looking for a CLI flag to pass a different TOML to cargo, but didn’t realize it’s called “manifest” from reading the help.

Remove parens

Mention Cargo.toml in manifest help description

Auto merge of #5346 - derekdreery:package_id_docs, r=matklad

Add docs

Just adds some docs matching what @matklad told me on irc :)

remove getter/setter docs

Cleanup formatting

Minor simplification

Auto merge of #5348 - djc:resolve-target-specific, r=alexcrichton

Have compilation context info available earlier in the build process

Eventually, I hope this will allow us to ignore platform-specific dependencies when irrelevant for the current build earlier in the process. This should save on extraneous errors. As is, this seems like it already decreases coupling in the code base.

Move compiler driver code from ops into core

Use relative dependencies inside cargo_rustc module

Use Unit type as interface to compilation

Move cargo_rustc::compile_targets() to Context::compile()

Hoist Context creation out of compile_targets()

Deliver units to compilation Context after initialization

Error out early on empty targets

Initialize BuildConfig in a single place

Inline single use variable binding

Process build configuration before resolving dependencies

Correct formatting with cargo fmt

Add docs

Auto merge of #5341 - dwijnand:test-help, r=alexcrichton

tweak test/bench's help around filtering & libtest

Attempt to bring more clarity about test/bench's filtering arg by
detailing the distinction and integration between cargo's test/bench and
libtest.

Also make sure to mention how to see libtest's help/usage message.

Fixes #5337

Feedback welcome.  Also, how do I auto-generate the man pages in
src/etc/man/?  I'm wasn't sure about the escaping to attempt manually
editing.

Auto merge of #5343 - dwijnand:contributing-fmt, r=matklad

add a rustfmt detail to CONTRIBUTING.md

stealing from the info in https://github.com/rust-lang/cargo/pull/5301#issuecomment-380389555

add a rustfmt detail to CONTRIBUTING.md

tweak test/bench's help around filtering & libtest

Attempt to bring more clarity about test/bench's filtering arg by
detailing the distinction and integration between cargo's test/bench and
libtest.

Also make sure to mention how to see libtest's help/usage message.

Fixes #5337

Auto merge of #5333 - dwijnand:warn-install-2018, r=matklad

Warn/error when cargo installing the cwd in 2015/2018

Fixes #5327

submitted for early review. feedback very welcome, I'm happy to iterate (and learn).

more cargo install usage adaptations in the same tests

adapt legitimate cargo install usage to avoid the new warning/error

add the inverse `is_not has_installed_exe` assertion

warn in 2015, error in 2018

re-implement by adding a few from_cwd args

found a way to reuse SourceId::for_path in SourceId::from_cwd

document SourceId::from_cwd

enable cargo edition feature & bump to 2018

Warn about cargo installing the cwd in 2018 edition

Fixes #5327

Auto merge of #5331 - dwijnand:contributing-fmt, r=matklad

Tweak rustfmt details in CONTRIBUTING.md

Closes #5329

Tweak rustfmt details in CONTRIBUTING.md

Closes #5329

Auto merge of #5328 - dwijnand:doc-links-key, r=matklad

Add a reference to the links key in the manifest docs

Fixes #4975

Add a references to the links key in the manifest docs

Fixes #4975

Auto merge of #5325 - dwijnand:patch-1, r=matklad

Fix link to I-nominated in CONTRIBUTING.md

Fix link to I-nominated in CONTRIBUTING.md

Auto merge of #5323 - matklad:document-good-stuff, r=alexcrichton

Document how to use Cargo's internal logging

I always forget the syntax for filtering by module, and I've learned about `CARGO_PROFILE` yesterday, so let's document these for other contributors as well :-)

Auto merge of #5318 - ehuss:unstable-docs, r=matklad

Add unstable documentation.

I kept most of these relatively brief with the intent that more complete
documentation would be added when a feature is stabilized.  I did my best to be
accurate, but I am unfamiliar with most of these features, so please let me know
if anything should change.

@matklad: I didn't fully understand the use case for `minimal-versions`, so I
didn't say much about it.  In particular, I didn't understand why one wouldn't
just use `~` or `=` semver requirements if you wanted to be careful about not
pulling in a newer version.  When someone says "1.0", aren't they explicitly
saying they want a newer version (up to 2.0) if it's available?  The example
in the RFC of switching a dependency to "=1.0" sounds like a breaking change
(essentially downgrading a dependency).

Update out-dir option for #5322.

Clarify -Z minimal-versions.

Add unstable documentation.

I kept most of these relatively brief with the intent that more complete
documentation would be added when a feature is stabilized.  I did my best to be
accurate, but I am unfamiliar with most of these features, so please let me know
if anything should change.

@matklad: I didn't fully understand the use case for `minimal-versions`, so I
didn't say much about it.  In particular, I didn't understand why one wouldn't
just use `~` or `=` semver requirements if you wanted to be careful about not
pulling in a newer version.  When someone says "1.0", aren't they explicitly
saying they want a newer version (up to 2.0) if it's available?  The example
in the RFC of switching a dependency to "=1.0" sounds like a breaking change
(essentially downgrading a dependency).

Auto merge of #5322 - matklad:correctly-use-unstable-options, r=alexcrichton

Properly use unstable options for out-dir

@alexcrichton how exactly are unstable CLI options supposed to be handled?

One can do `-Z unstable-options my-opt` (this is done for `registry`, and this pr uses the same approach for `out-dir`). Once can also do `-Z my-opt`. Doc comments say that `-Z my-opt=val` is also possible, but in reality it does not work.

This infra was inherited from `rustc`, which is a slightly different use-case, because it does not have subcommands. That is, if you do `-Z my-opt`, it is available for all subcommands, but does not show up in the help...

What do you think about having only `-Z unstable-options` to unlock all cli options? Or do we require a finer-graind granularity?

Somewhat related, we have a bunch of unstable options already... Do we have tracking issues for them, to know when the time comes to graduate them to stable?

Document how to use Cargo's internal logging

Auto merge of #5319 - matklad:fix-profiler, r=Eh2406

Don't print profiling information twice

It's important to `.clear` the messages so that we don't print them
again for the next "profiling session". It might be argued that really
we should have a single "profiling session" for Cargo, but we don't at
the moment.

And, while we are at it, let's lock stdout as well, so that we won't
get confused when Cargo becomes multi-threaded and prints profiling info
from several threads simultaneously.

Properly use unstable options for out-dir

Don't print profiling information twice

It's important to `.clear` the messages so that we don't print them
again for the next "profiling session". It might be argued that really
we should have a single "profiling session" for Cargo, but we don't at
the moment.

And, while we are at it, let's lock stdout as well, so that we won't
get confused when Cargo becomes multi-threaded and prints profiling info
from several threads simultaneously.

Auto merge of #5317 - konstin:patch-1, r=matklad

Add link to the sources of the book

It's quite hard to find the folder with the sources of the book, so I added the link to the introduction.

Add link to the sources of the book

It's quite hard to find the folder with the sources of the book, so I added the link to the introduction.

Auto merge of #5316 - matklad:profile-important-things, r=alexcrichton

Add profiling calls to stuff which is actually slow

So these two functions is what makes no-op build slow, so let's profile them to be able to track regressions better in the future.

Add profiling calls to stuff which is actually slow

Auto merge of #5314 - matklad:need-more-time, r=alexcrichton

Try to measure all time it takes to compile code

As @killercup noticed on IRC, no-op build by Cargo takes as much as 300 ms (on stable, beta and nightly), which seems unreasonable. However, Cargo wrongly reports ` Finished dev [unoptimized + debuginfo] target(s) in 0.0 secs`, and this might be the reason why we haven't noticed this before.

So let's try to measure time slightly better:

```
~/projects/rustraytracer master*
λ time cargo +stable build
    Finished dev [unoptimized + debuginfo] target(s) in 0.0 secs
cargo +stable build  0.16s user 0.02s system 94% cpu 0.195 total

~/projects/rustraytracer master*
λ time $c build # Cargo with this patch applied
    Finished dev [unoptimized + debuginfo] target(s) in 0.31 secs
$c build  0.30s user 0.02s system 96% cpu 0.330 total
```

r? @alexcrichton

Try to measure all time it takes to compile code

Auto merge of #5307 - alexcrichton:another-fix, r=matklad

Fix another issue of poisoning too eagerly

This commit extends the fix in #5288 by moving the logic added farther up in the
loop over package dependencies. This means that we won't recursively look at
optional/dev path dependencies which aren't members of the workspace. This
should fix the new issue that came up in #5257

Closes #5257

Fix another issue of poisoning too eagerly

This commit extends the fix in #5288 by moving the logic added farther up in the
loop over package dependencies. This means that we won't recursively look at
optional/dev path dependencies which aren't members of the workspace. This
should fix the new issue that came up in #5257

Closes #5257

Auto merge of #5302 - Eh2406:MoreRc, r=alexcrichton

use more Rc in the part of resolver that gets cloned a lot 2

This is the same idea as https://github.com/rust-lang/cargo/pull/5118, I was looking at a profile and noted that ~5% of our time was sent dropping `HashMap<PackageId, HashSet<InternedString>>`. A quick rg and I found the culprit, we are cloning the set of features for every new `Context`. With some Rc we are now just cloning for each time we insert.

To benchmark I commented out line https://github.com/rust-lang/cargo/blob/b9aa315158fe4d8d63672a49200401922ef7385d/src/cargo/core/resolver/mod.rs#L453
the smallest change to get https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286 not to solve instantly.
Before 17000000 ticks, 90s, 188.889 ticks/ms
After 17000000 ticks, 73s, 232.877 ticks/ms

use make_mut for cleaner code

use more Rc in the part of resolver that gets cloned a lot

Auto merge of #5299 - ehuss:rustdoc-edition, r=matklad

Pass edition to rustdoc.

Fixes #5279.

Unpin nightly version in CI.

Removes temporary workaround for rust-lang/rust#49033.

Don't use .arg() in test.

Pass edition to rustdoc.

Fixes #5279.

Auto merge of #5280 - klausi:clippy-191-trvials, r=matklad

chore(clippy): Simplify minor stuff found by clippy

Executed clippy 0.0.191, fixed the trivial stuff.
Filed https://github.com/rust-lang-nursery/rust-clippy/issues/2615 for all the format_err!() false positives.

Auto merge of #5294 - memoryleak47:typo, r=alexcrichton

fixed a few typos

I detected them using https://github.com/memoryleak47/typo.

fixed a few typos

chore(clippy): Fix test assertion and simplify code in crates-io

chore(clippy): Simplify to Path.exists() and remove some more &

chore(clippy): Simplify minor stuff found by clippy

Auto merge of #5293 - Eh2406:InternMoreStrings, r=alexcrichton

Intern more strings

As pointed out in https://github.com/rust-lang/cargo/pull/5270#issuecomment-378372147, that clean up adds the mildly expensive `InternedString::new` to the hot path in the resolver.

The process of this PR is:
1. Find a `InternedString::new` in the hot path.
2. replace the argument of type `&str` that is passed along to `InternedString::new` with the type `InternedString`
3. add an `InternedString::new` to the callers until it type checked.
4. Repeat from step 1.

This stop if:
- It was traced back to something that was already an `InternedString`
- It was traced back to a `.to_string()` call
- It was in a persistent object creation

cc:
- @djc this is building on your work, I don't want to get in your way.
- @alexcrichton is this making things clearer and do you want to see a performance check?

Intern more strings
cargo +stable fmt

Auto merge of #5292 - djc:feature-requirements, r=alexcrichton

Revert serialization of features to string type

Accidentally broken during #5270 and only noticed after merge.

cc @matklad @Eh2406

Revert serialization of features to string type

Auto merge of #5270 - djc:feature-requirements, r=Eh2406

Introduce FeatureValue type to represent features table values

This is the next step towards #1286 (after #5258). The goal here is to have a central place in the code where feature strings are interpreted as (a) a feature, (b) a dependency or (c) a dependency/feature combo, and anchor that interpretation in the type system as an enum.

I've spent quite a bit of effort avoiding extra string allocations, complicating the code a bit; notice in particular the use of `Cow<str>` in `FeatureValue` variants, and the slight workaround in `Context::resolve_features()` and `build_requirements()`. I hope this is all okay.

cc @Eh2406

Extract function to build feature map for readability

Introduce FeatureValue enum for tracking feature types

Define FeatureMap type as an abstraction

Auto merge of #5290 - ehuss:lp-help, r=matklad

locate-project: Fix help description.

locate-project: Fix help description.

Auto merge of #5288 - alexcrichton:another-fix, r=matklad

Less aggressively poison sources on builds

Discovered in #5257 the changes in #5215 were slightly too aggressively
poisoning sources to require updates, thinking that a manifest changed when it
actually hadn't.

Non-workspace-member path dependencies with optional/dev-dependencies
don't show up in the lock file, so the previous logic would recognize this and
think that the dependency missing from the lock file was just added and would
require a registry update.

The fix in this commit effectively just skips all of these dependencies in
non-workspace members. This means that this will be slightly buggy if an
optional dependency that's activated is added, but that's hopefully something we
can tackle later.

Closes #5257

Auto merge of #5287 - matklad:safer-intern, r=Eh2406

Slightly improve InternedString

* Use `&'static str` instead of (ptr, len) pair to reduce unsafety.
* try make hash calculation O(1) instead of O(n), fail miserably,
  document findings.
* Rename `to_inner` -> `as_str()`.

Less aggressively poison sources on builds

Discovered in #5257 the changes in #5215 were slightly too aggressively
poisoning sources to require updates, thinking that a manifest changed when it
actually hadn't.

Non-workspace-member path dependencies with optional/dev-dependencies
don't show up in the lock file, so the previous logic would recognize this and
think that the dependency missing from the lock file was just added and would
require a registry update.

The fix in this commit effectively just skips all of these dependencies in
non-workspace members. This means that this will be slightly buggy if an
optional dependency that's activated is added, but that's hopefully something we
can tackle later.

Closes #5257

Slightly improve InternedString

* Use `&'static str` instead of (ptr, len) pair to reduce unsafety.
* try make hash calculation O(1) instead of O(n), fail miserably,
  document findings.
* Rename `to_inner` -> `as_str()`.

Auto merge of #5203 - matklad:out-dir, r=alexcrichton

cargo build --out-dir

This is intended to fix https://github.com/rust-lang/cargo/issues/4875. Very much work in progress, just to figure out how exactly `--out-dir` should work :)

The path of least resistance for implementing `out-dir` would be to just link everything from `target/debug` to the `out-dir`. However, the problem with this approach is that we link *too much* to the `target/debug`. For example, if you run `cargo build --bin foo`, you'll find not only the `foo` itself there, but also rlibs from the same workspace.

I think it's rather important not to copy extra stuff to out-dir, so it is implemented as a completely new parameter, which is threaded through various config structs and applies *only* to the top-level units (i.e, to the stuff user explicitly requested to compile on the command line).

I also plan to add platform specific tests here, to check that we get .pdb on windows and .dSYM on macs for various crate-types.

Because, in general, a single target may produce multiple files, `out-dir` has to be a directory, you can't directly specify the output *file*.

Note that artifacts are still generated to the `target` dir as well.

Also cc @nirbheek, I hope that this might be useful for Meson integration, because `--out-dir` should be more straightforward to use than `--message-format=json`.

The end result, for `cargo build --bin rustraytracer --out-dir out` on windows looks like this:


Note how we have fewer files in the `out` :)

r? @alexcrichton

Fix tests for mac

Auto merge of #5285 - matklad:create-all-the-dirs, r=alexcrichton

Replace home-grown create_dir_all with std::fs::create_dir_all

The old one is just the historical artifact, right?

Replace home-grown create_dir_all with std::fs::create_dir_all

Test out-dir edge cases

Feature gate `--out-dir`

Implement `--out-dir` option

Auto merge of #5283 - matklad:better-assertion, r=matklad

Make assertion more informative

This assertion triggers when I try to build Cargo simultaneosly on
linux host and windows VM via a shared folder, but it's not clear
what is going on.

Make assertion more informative

This assertion triggers when I try to build Cargo simultaneosly on
linux host and windows VM via a shared folder, but it's not clear
what is going on.

Auto merge of #5281 - matklad:cleanup, r=alexcrichton

Cleanup

Hopefully the last round of `conext` refactoring :-)

r? @alexcrichton