Auto merge of #5288 - alexcrichton:another-fix, r=matklad

Less aggressively poison sources on builds

Discovered in #5257 the changes in #5215 were slightly too aggressively
poisoning sources to require updates, thinking that a manifest changed when it
actually hadn't.

Non-workspace-member path dependencies with optional/dev-dependencies
don't show up in the lock file, so the previous logic would recognize this and
think that the dependency missing from the lock file was just added and would
require a registry update.

The fix in this commit effectively just skips all of these dependencies in
non-workspace members. This means that this will be slightly buggy if an
optional dependency that's activated is added, but that's hopefully something we
can tackle later.

Closes #5257

Auto merge of #5287 - matklad:safer-intern, r=Eh2406

Slightly improve InternedString

* Use `&'static str` instead of (ptr, len) pair to reduce unsafety.
* try make hash calculation O(1) instead of O(n), fail miserably,
  document findings.
* Rename `to_inner` -> `as_str()`.

Less aggressively poison sources on builds

Discovered in #5257 the changes in #5215 were slightly too aggressively
poisoning sources to require updates, thinking that a manifest changed when it
actually hadn't.

Non-workspace-member path dependencies with optional/dev-dependencies
don't show up in the lock file, so the previous logic would recognize this and
think that the dependency missing from the lock file was just added and would
require a registry update.

The fix in this commit effectively just skips all of these dependencies in
non-workspace members. This means that this will be slightly buggy if an
optional dependency that's activated is added, but that's hopefully something we
can tackle later.

Closes #5257

Slightly improve InternedString

* Use `&'static str` instead of (ptr, len) pair to reduce unsafety.
* try make hash calculation O(1) instead of O(n), fail miserably,
  document findings.
* Rename `to_inner` -> `as_str()`.

Auto merge of #5203 - matklad:out-dir, r=alexcrichton

cargo build --out-dir

This is intended to fix https://github.com/rust-lang/cargo/issues/4875. Very much work in progress, just to figure out how exactly `--out-dir` should work :)

The path of least resistance for implementing `out-dir` would be to just link everything from `target/debug` to the `out-dir`. However, the problem with this approach is that we link *too much* to the `target/debug`. For example, if you run `cargo build --bin foo`, you'll find not only the `foo` itself there, but also rlibs from the same workspace.

I think it's rather important not to copy extra stuff to out-dir, so it is implemented as a completely new parameter, which is threaded through various config structs and applies *only* to the top-level units (i.e, to the stuff user explicitly requested to compile on the command line).

I also plan to add platform specific tests here, to check that we get .pdb on windows and .dSYM on macs for various crate-types.

Because, in general, a single target may produce multiple files, `out-dir` has to be a directory, you can't directly specify the output *file*.

Note that artifacts are still generated to the `target` dir as well.

Also cc @nirbheek, I hope that this might be useful for Meson integration, because `--out-dir` should be more straightforward to use than `--message-format=json`.

The end result, for `cargo build --bin rustraytracer --out-dir out` on windows looks like this:


Note how we have fewer files in the `out` :)

r? @alexcrichton

Fix tests for mac

Auto merge of #5285 - matklad:create-all-the-dirs, r=alexcrichton

Replace home-grown create_dir_all with std::fs::create_dir_all

The old one is just the historical artifact, right?

Replace home-grown create_dir_all with std::fs::create_dir_all

Test out-dir edge cases

Feature gate `--out-dir`

Implement `--out-dir` option

Auto merge of #5283 - matklad:better-assertion, r=matklad

Make assertion more informative

This assertion triggers when I try to build Cargo simultaneosly on
linux host and windows VM via a shared folder, but it's not clear
what is going on.

Make assertion more informative

This assertion triggers when I try to build Cargo simultaneosly on
linux host and windows VM via a shared folder, but it's not clear
what is going on.

Auto merge of #5281 - matklad:cleanup, r=alexcrichton

Cleanup

Hopefully the last round of `conext` refactoring :-)

r? @alexcrichton

Replace triple with struct

Move filename logic to FileType

Rename TargetFileType -> FileFlavor

Make TargetInfo.cfg private

Extract target info

Auto merge of #5274 - klnusbaum:epoch_5214, r=alexcrichton

rename epoch to edition

Per issue #5214 let's rename all instances of epoch to Edition

Auto merge of #5259 - Mark-Simulacrum:seed-deserialize, r=alexcrichton

Remove thread local, replacing with DeserializeSeed

@dtolnay -- is this the right way to implement this? It seems *very* verbose, but I suppose that's to be expected...

r? @alexcrichton

Replace a triple with a struct for readability

Auto merge of #5278 - alexcrichton:no-rustfmt-ci, r=alexcrichton

Remove rustfmt from Travis

As discussed at the recent work week this is probably a bit too zealous at this
time, so let's hold off on it until it's either more stable or we figure out a
better way to deal with changes in rustfmt.

For now though it'll hopefully be easy to continue running rustfmt every so
often!

Remove rustfmt from Travis

As discussed at the recent work week this is probably a bit too zealous at this
time, so let's hold off on it until it's either more stable or we figure out a
better way to deal with changes in rustfmt.

For now though it'll hopefully be easy to continue running rustfmt every so
often!

Slightly better variable names

Auto merge of #5276 - klausi:main-dead-code, r=matklad

chore(cli): Remove dead code in main()

I think that if() has been left behind by accident and can be removed?

chore(cli): Remove dead code in main()

rename epoch to edition

Remove thread local, replacing with DeserializeSeed

Auto merge of #5271 - djc:interning-spelling, r=alexcrichton

Fix spelling errors in interning module

Fix spelling errors in interning module

Auto merge of #5269 - orestisf1993:issue-5265, r=matklad

cargo_new: remove redundant leading new lines from ignore files

Only add a leading new line in `.gitignore`/`.hgignore`/`.ignore` files when
the file existed before `cargo new`.

Fixes #5265.

cargo_new: remove redundant leading new lines from ignore files

Only add a leading new line in .gitignore/.hgignore/.ignore files when
the file existed before 'cargo new'.

Fixes #5265.

Auto merge of #5235 - klausi:Z-flag-docs, r=matklad

docs(Z-flags): Add description for each -Z flag in cargo help

Fixes #5155

There might be a more elaborate way of adding descriptions to available options and generating help text automatically. For now I think some static text is a good start.

tests(help): Fix assertion by using the full line text

tests(help): Add test for -Z help output

docs(Z-flags): Add description for each -Z flag in cargo -Z help

Auto merge of #5258 - djc:split-resolver, r=Eh2406

Split resolver module to make it more manageable

The `core::resolver` module is currently the largest in Cargo, at some 2000 lines. Here's an attempt at splitting it into more reasonable parts and reordering the code in it for better comprehensibility.

Splitting is done in three major steps:

* Move the `Resolve` type and its dependencies into a separate module (~220 lines)
* Move utility data types into a separate module (~400 lines)
* Move the `Context` type and its dependencies into a separate module (~400 lines)

This halves the size of the root module, which is then reordered to make it more readable.

(This is a yak-shaving expedition of sorts, in preparation for #1286.)

Reorder code in resolver module for better readability

Move resolver Context initialization into a method

Move resolver::Context into new resolver::context module

Move utility types from resolver into resolver::types

Move resolver::Resolve into a new resolver::resolve module

Auto merge of #5261 - djc:reformat, r=matklad

Fix formatting issues with cargo fmt

Noticed these unrelated formatting problems while working on #5258.

Fix formatting issues with cargo fmt

Auto merge of #5253 - matklad:unit-meta-2, r=alexcrichton

Introduce compilation files

Just another context refactoring

Auto merge of #5255 - matklad:rustdoc-features, r=alexcrichton

Restore --features args for cargo rustdoc

Closes https://github.com/rust-lang/cargo/issues/5254

Restore --features args for cargo rustdoc

It was accidentally omited when migrating to clap

Introduce compilation files

Auto merge of #5252 - matklad:new-context-new, r=alexcrichton

Supply units to the context at the point of creation

This slightly reshuffles `Context` creation. The main benefit is that we know the set of units when we do `Context::new`, so we could use it to precalculate more things.

Supply units to the context at the point of creation

Auto merge of #5249 - alexcrichton:run-rustc-less, r=matklad

Run `rustc` for information fewer times

Currently if you pass `--target` the same as rustc's host Cargo will run `rustc`
on extra time to learn information, but we only need to run it once to learn
such information!

Run `rustc` for information fewer times

Currently if you pass `--target` the same as rustc's host Cargo will run `rustc`
on extra time to learn information, but we only need to run it once to learn
such information!

Auto merge of #5250 - rleungx:tweak-error-message, r=matklad

tweak error message

Closes #5238.

address comment

tweak error message

Auto merge of #5205 - gibix:i2773, r=alexcrichton

fix #2773 with new precise encode

Changed the precise encode from <pkg>=<precise> to <pkg>=<present_version>-><future_version> in order to check the correct requirements.

cc @lu-zero

Auto merge of #5228 - phil-opp:target-spec, r=alexcrichton

Add support for absolute target.json paths

Builds upon https://github.com/rust-lang/rust/pull/49019 with the goal to provide a solution to https://github.com/rust-lang/cargo/issues/4905.

This PR does two things:

~~1. It appends a hash of the target path to the target folder name if a `*.json` path is passed as `--target`, like it's done in https://github.com/rust-lang/rust/pull/49019. This helps differentiating targets with the same JSON file name and avoids sysroot clashes in `xargo`.~~ See https://github.com/rust-lang/cargo/pull/5228#discussion_r176827531
2. It canonicalizes the passed target path (if it's a `*.json` path), so that the path stays valid when building dependencies and setting the `RUST_TARGET_PATH` environment variable is no longer necessary.

Auto merge of #5244 - Eijebong:tempfile, r=alexcrichton

Replace tempdir by tempfile

The former has been deprecated in favor of the latter

Replace tempdir by tempfile

The former has been deprecated in favor of the latter

Auto merge of #5243 - alexcrichton:more-feature-sync, r=alexcrichton

More effort to only compile Cargo once

Hopefully one final change necessary for rust-lang/rust#49053

More effort to only compile Cargo once

Hopefully one final change necessary for rust-lang/rust#49053

Add custom target tests

Canonicalize paths passed as `--target`

Auto merge of #5232 - matklad:unit-map, r=alexcrichton

Refactor context to extract dependencies calculation to a separate mod

This makes unit dependency graph construction eager and moves it to a separate file.

Hopefully, this makes `Context` slightly easier to understand :)

Refactor context to extract dependencies calculation to a separate mod

Auto merge of #5239 - alexcrichton:remove-scoped-tls, r=matklad

Remove scoped_tls dependency

This is causing [conflicts] with rebuilding upstream in rust-lang/rust, so
remove this for now until we figure out a better solution.

[conflicts]: https://github.com/rust-lang/rust/pull/49053#issuecomment-375906970

Remove scoped_tls dependency

This is causing [conflicts] with rebuilding upstream in rust-lang/rust, so
remove this for now until we figure out a better solution.

[conflicts]: https://github.com/rust-lang/rust/pull/49053#issuecomment-375906970

add precise test

cargo fmt

fix typo , drop return and intermediate vector

cargo fmt

fix #2773 with new precise encode

Auto merge of #5213 - Eh2406:faster_resolver, r=alexcrichton

Faster resolver: use a inverse-index to not activate the causes of conflict

This adds a test for https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286 with two extensions that make it harder. It is the last reproducible and in the wild exponentially slow resolution (that I have found).

The problem in the test is `backtrack_trap0 = "*"` is a lot of ways of saying `constrained = ">=1.1.0, <=2.0.0"` but `constrained= "2.0.1"` is already picked. Only then to try and solve `constrained= "~1.0.0"` which is incompatible. Our parent knows that we have been poisoned, and wont try to activate us again.  Because of the order we evaluate deps we end up backtracking to where `constrained: 1.1.0` is set instead of our parent. And so the poisoning does not help. This is harder then https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286 because:

1. Having multiple semver compatible versions of constrained in play makes for a lot more bookkeeping. Specifically bookkeeping I forgot when I first submitted this PR.
2. The problematic dependencies are added deep in a combinatorial explosion of possibilities. So if we don't correctly handle caching that `backtrack_trap0 = "*"` is doomed then we will never finish looking thru the different possibilities for `level0 = "*"`

This PR also includes a proof of concept solution for the test, which proves that it does solve https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286. The added code is tricky to read. It also adds a `O(remaining_deps)` job to every activation on the happy path, slower if the `past_conflicting_activations` is not empty.

I'd like some brainstorming on better solutions.

address suggestions

Move caching to a support struct and file

add comments

remove some loops

test the new backtracking does all of its bookkeeping

maintain an inverse-index

problematic extension and solution

A slow and ugly solution, but it works.

Add a test for https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286

Auto merge of #5200 - klausi:minimal_versions, r=Eh2406

feat(resolver): Add CLI option to resolve minimal version dependencies

Fixes #4100

Test cases are still missing. We need to come up with a plan what cases we want to cover.

Thanks a lot to @Eh2406 for very helpful instructions to kick this off.

tests(resolver): Group integration test with other minimal version test

tests(resolver): Add integration test for -Z minimal-versions

fix(resolver): Preserve lock file when sorting for minimal versions, document tests

Auto merge of #5233 - lukaslueg:issue5229, r=matklad

Assert Dependency::name is never empty, prevent 'install ""' from crashing

An explicit `cargo install ""` would cause clap to pass an empty crate-name,
leading to a panic(). We now assert() that Dependency::name is never the
empty string and prevent the situation in the first place by not allowing
the crate-name to be empty for `install`.

Fixes #5229

Assert that Dependency::name is never empty, prevent 'install ""' from crashing

An explicit `cargo install ""` would cause clap to pass an empty crate-name,
leading to a panic(). We now assert() that Dependency::name is never the
empty string and prevent the situation in the first place by not allowing
the crate-name to be empty for `install`.

Fixes #5229

Auto merge of #5231 - matklad:simplify, r=alexcrichton

Simplify `build_map`

This doesn't change semantics, but helps us not to rebuild BuildScripts
twice, and makes sure that we fail with assert if somehow we get cyclic
deps.

r? @alexcrichton

Simplify `build_map`

This doesn't change semantics, but helps us not to rebuild BuildScripts
twice, and makes sure that we fail with assert if somehow we get cyclic
deps

Auto merge of #5230 - matthiaskrgr:newline, r=alexcrichton

add final linebreak to cargo default help message.

before:
patch:

I assume this is some kind of leftover from the clap transition. cc @matklad

add final linebreak to cargo default help message.

Auto merge of #5226 - jeehoonkang:doc-caret, r=alexcrichton

doc: Clarify the meaning of caret requirements

Closes #4910 (which is already closed, though 😄)

r? @alexcrichton

doc: Clarify the meaning of caret requirements

Closes #4910

Auto merge of #5225 - matthiaskrgr:revert_pr5223, r=alexcrichton

Revert "manifest: update default lto for release and bench to 'thin'."

This reverts commit e74ff4db13f2ae00245902cb5b496b3b39128653.

Turns out I was wrong, sorry for the noise.

Revert "manifest: update default lto for release and bench to 'thin'."

This reverts commit e74ff4db13f2ae00245902cb5b496b3b39128653.

Turns out I was wrong, sorry for the noise.

Auto merge of #5217 - matklad:known-crate-types, r=alexcrichton

Preprobe info for known crate type

Previously, we've calculated the set of crate types to learn about by
recursively walking the graph of units. However, to actually know
dependencies of a unit exactly, we must know target specific info, and
we don't know it at this moment (in fact, we are trying calculating it).

Note that crate-type calculation is already lazy, we don't have to calc
all crate-types upfront. So, let's just scrape this info once for
well-known crate types, and fill whatever is left lazily.

@alexcrichton would this approach work at all? I think it would, if `KNOWN_CRATE_TYPES` are all available for all target-tripples we support. Is it a valid assumption?

The larger picture is that I am trying to make unit dependency resolution eager and move it into the separate file. I even got something working, but I have to run dependency resolution three times, because it is not exactly idempotent for various reasons, including this target-info stuff :)

```
    cx.prepare()?;
    cx.build_unit_map(units.clone())?; // resolve dependencies
    cx.probe_target_info(&units)?;
    cx.build_unit_map(units.clone())?; // resolve again
    cx.build_used_in_plugin_map(&units)?;
    custom_build::build_map(&mut cx, &units)?;
    cx.build_unit_map(units.clone())?; // and resolve one final time :)
```

Auto merge of #5223 - matthiaskrgr:manifest_update, r=matklad

manifest: update default lto for release and bench to "thin"

[redacted]

manifest: update default lto for release and bench to 'thin'.