make build tests not depend on minutiæ of rustc output

This little patch arises from the maelstrom of my purity born of pain.

It's the pain of seeing rust-lang/rust#38103 in its perfect
crystalline beauty waste away on page four of
https://github.com/rust-lang/rust/pulls, waiting, ready, itching to
land, dying with anticipation to bring the light of clearer lint group
error messages to Rust users of all creeds and nations, only for its
promise to be cruelly blocked by the fateful, hateful hand of circular
dependency. For it is written in src/tools/cargotest/main.rs that the
Cargo tests must pass before the PR can receive Appveyor's blessing,
but the Cargo tests could not pass (because they depend on fine
details of the output that the PR is meant to change), and the Cargo
tests could not be changed (because updating the test expectation to
match the proposed new compiler output, would fail with the current
compiler).

The Gordian knot is cut in the bowels of cargotest's very notion of
comparison (of JSON objects) itself, by means of introducing a magic
string literal `"{...}"`, which can server as a wildcard for any JSON
sub-object.

And so it will be for the children, and the children's children, and
unto the 1.17.0 and 1.18.0 releases, that Cargo's build test
expectations will faithfully expect the exact JSON output by Cargo
itself, but the string literal `"{...}"` shall be a token upon the
JSON output by rustc, and when I see `"{...}"`, I will pass over you,
and the failure shall not be upon you.

And this day shall be unto you for a memorial.

Auto merge of #3609 - jmatraszek:build_proper_binary, r=alexcrichton

Fix building multiple binaries that do not have path spacified in Cargo.toml

When multiple binaries are specified in Cargo.toml, the binaries that do not have `path` specified are build from `src/main.rs`. Discovered here: https://github.com/rust-lang-nursery/thanks/pull/40#issuecomment-275493045.

This was caused by setting for a binary a main layout here https://github.com/rust-lang/cargo/blob/master/src/cargo/util/toml.rs#L478, which caused `normalize` to not fallback to default binary path here https://github.com/rust-lang/cargo/blob/master/src/cargo/util/toml.rs#L1149 (as `bin.path` was always `Some("/path/to/main.rs")`.

Added a test and fixed this by not using `layout.main()`, so right now for bins without `path` specified we fallback to default path inferred from bin's name (e.g. `src/bin/foo.rs`), test if the file exists and only if it doesn't -- fallback to `src/main.rs`.

I do not have any knowledge about Cargo's design, so I am not sure if this is the proper place to test for file existence.

Auto merge of #3562 - matklad:member-workspace, r=alexcrichton

Find workspace via `workspace_root` link in containing member

This PR proposes to change the logic for determining workspace members. Here are the algorithms we used previously for this:

# [RFC](https://github.com/rust-lang/rfcs/blob/master/text/1525-cargo-workspace.md)  flavor

If `[members]` key present, it compliantly defines the set of members. Otherwise, members are all (transitive) path dependencies.

The problem with this approach is that it violates convention over configuration principle: almost always you want a path dependency to be a member, even if there are some explicit members. Listing **all** path deps is just to much work.

# Original implementation

So, the actual algorithm **unconditionally** included path dependencies as memebers.

This is also problematic, because certain workspace configurations become impossible. In particular, you can't have a path dependency which is not a member of the workspace. This issue was reported in #3192.

# Current implementation

Current implementation (was merged couple of days ago) includes path dependency into the workspace only if is inside the workspace directory. This solves the problem in #3192 perfectly. However, some configuration are still impossible: you can't have a non-member path dependency inside a workspace directory. But the thinking is that if you don't want this path-dep to be a member, just don't put it inside the workspace directory.

There is another problem with current imlementation. Suppose you have an explicit member which lives alongside the workspace. Suppose this member has a path-dep which lives inside the member's folder. Under current implementation, this path-dep won't be a member of the workspace. It seems logical that it should be though (but we haven't received any actual bug reports yet)!

# Implementation in this PR

So, with this PR, the logic is as follows: members are explicit members + all path dependencies which reside under any of the explicit members.

Auto merge of #3004 - ehiggs:master, r=alexcrichton

Resubmission of templating PR (#1747)

This is a manual rebase of the older #1747 PR which was basically unrebasable due to the time it's been dormant.. This implements templating for Cargo and is basically the work of Greg Chapple (@gchp).

I'd love for this feature to move forward since it's really tedious to create all the directories (e.g. `src/bin`) and copy paste docopt examples which I then edit. Then implement the `main` program to delegate to the subcommands in `src/bin`, etc.

Auto merge of #3630 - alexcrichton:empty-version, r=alexcrichton

Fix empty 'version' file

This teaches the makefiles to construct the version string again so
it can be emitted to the 'version' file for packaging.

Fixes failing nightly builds.

Fix empty 'version' file

This teaches the makefiles to construct the version string again so
it can be emitted to the 'version' file for packaging.

Fixes failing nightly builds.

Fix metadata tests

Remove unused 'file' function.

Upgrade handlebars to 0.25.

Cargo templating for `new` and `init`

PR #3004 This is a resubmission of the PR #1747 (from scratch) which adds
support for templating in Cargo. The templates are implemented using the
handlebars crate (where the original PR used mustache).

Examples:
cargo new --template https://url/to/template somedir foo
cargo new --template https://url/to/templates --template-subdir somedir foo
cargo new --template ../path/to/template somedir foo

Auto merge of #3614 - matklad:simpler-cli-2, r=alexcrichton

Remove generic infrastrucure for printing json

Only a couple of command really use this features, so it's clearer just to print json right on the spot rather then return it though the call stack.

`CliResult` is now just a `Result<(), CliError>`.

Auto merge of #3618 - sbeckeriv:3473-new-subcommand-doc-update, r=alexcrichton

Update new command help doc

Resolves #3473

Dearest reviewer,

I hope that all is well in rustland. I was reviewing some open issues
and saw this update to the help text for the new command. I have added
the suggested help text from issue #3473. I formated to the message to
match the publish bin's job flag.

Thank you for your time,
Becker

Auto merge of #3606 - Susurrus:no_git_deps2, r=alexcrichton

Clarify error for repo-based dependencies when publishing.

Elaborate on the exact error cause and directions on how to resolve it.

Update new command help doc

Resolves #3473

Dearest reviewer,

I hope that all is well in rustland. I was reviewing some open issues
and saw this update to the help text for the new command. I have added
the suggested help text from issue #3473. I formated to the message to
match the publish bin's job flag.

Thank you for your time,
Becker

Remove generic infrastrucure for printing json

 Only a couple of command really use this features, so it's clearer just to print json right on the spot rather then return it though the call stack.

Clarify error for repo-based dependencies when publishing.

Specifically add a description of how to resolve the error.

Auto merge of #3608 - matklad:simple-cli, r=alexcrichton

Simplify cli-handling functions

This simplifies somewhat roundabout `main` in `bin/cargo.rs`.

Simplify cli-handling functions

Fix typo

Auto merge of #3604 - froydnj:rich-version-info, r=alexcrichton

implement `cargo --version --verbose`

As suggested in #3584.  This is a bit underwhelming, and I'm unsure if some of the complexity in froydnj/cargo@775c900 is really warranted, but this series gets the job done.  Sample output when building with `configure` and `make`:

```
froydnj@hawkeye:~/src/cargo.git$ target/x86_64-unknown-linux-gnu/release/cargo --version
cargo-0.17.0-dev (ae4a4d8 2017-01-27)
froydnj@hawkeye:~/src/cargo.git$ target/x86_64-unknown-linux-gnu/release/cargo --version --verbose
cargo-0.17.0-dev (ae4a4d8 2017-01-27)
release: 0.17.0
commit-hash: ae4a4d8fc55bf7eca3d974f953dc61729e4a40db
commit-date: 2017-01-27
```

Fix building multiple binaries

Add test

Auto merge of #3593 - Susurrus:master, r=alexcrichton

Improve error for dependencies that don't have the same source paths

I've added an additional test case which is how my project compiled. Part of the issue was that I didn't know that each dependency needs to use the same path for all build targets. The previous error message was unclear both in what was going on and how to resolve it. The new error message should be more clear.

This is tied to #3592.

Auto merge of #3557 - raphlinus:master, r=alexcrichton

Add dep-info generation

Work in progress: add a --dep-info flag to cargo build (and also
rustc) that outputs dependency information in a form compatible with
make and ninja, to a specified file. This will help in integrating
into other build systems.

Auto merge of #3590 - dgellow:fix-3536, r=alexcrichton

When an error occured in a JobQueue print it directly

Fix #3536

directly print error only if there is more than one job in the queue

Add simple tests, cleanup

Tests for existence for dep-info output in simple compilation cases.

Deletes the dep-info file if it fails (for example, if it can't find
one of the dep-info inputs).

make `cargo --version --verbose` print extra information

Fixes #3584.

remove CFG_RELEASE from the Makefile

The previous commit made this unused; much of the logic for assigning to
this variable now lives in Cargo itself.

export rich version information from cargo::version

To support `cargo --version --verbose`, ala rustc, we need more
information to be injected into cargo when it's built from the Makefile,
and a more explicit data structure to be returned from cargo::version.
We implement fmt::Display for our newly-created structure so clients
don't have to bother with the details of interpreting the structure if
all they want is a string.

Auto merge of #3603 - ehuss:patch-1, r=alexcrichton

Fix broken code block

It seems like the Markdown parser requires a blank line before a code block (otherwise it treats it like an inline span).

Fix broken code block

It seems like the Markdown parser requires a blank line before a code block (otherwise it treats it like an inline span).

Auto merge of #3600 - onur:fix-link, r=alexcrichton

Fix crates.io link under specifying dependencies

I just realized when I was replying to #2947, second crates.io link under "Specifying path dependencies" is not working.

And TBH the phrase in parentheses is unclear for me.

cc @carols10cents

Auto merge of #3598 - pornel:proxyconf, r=alexcrichton

Example proxy config

#3596

Auto merge of #3601 - alexcrichton:bump-openssl, r=brson

Update OpenSSL to 1.0.2k

Updates in accordance with the security advisory issued today.

Update OpenSSL to 1.0.2k

Updates in accordance with the security advisory issued today.

Fix crates.io link under specifying dependencies

Example proxy config

#3596

Auto merge of #3597 - Susurrus:badge_docs, r=alexcrichton

Add gitlab to the supported services for AppVeyor badges.

This is undocumented but supported behavior for AppVeyor. I have already done this with a crate I own and the badge works on both the AppVeyor and crates.io end.

Add gitlab to the supported services for AppVeyor badges.

This is undocumented but supported behavior for AppVeyor.

Add build script rerun-if-changed dependencies

Also pick up the rerun-if-changed dependencies from build scripts.

Buffer file writing for dep-info

Use BufWriter when generating .d files with dep-info, to avoid
excessive numbers of write syscalls.

More improvements

Use Context::target_filenames rather than trying to redo that.

Traverse path dependencies recursively, so we get transitive deps.

Use existing fingerprint parsing.

Improve error for dependencies that don't have the same source path for all build targets.

Auto merge of #3588 - birkenfeld:issue3587, r=alexcrichton

Show new version of package on overwrite error

Fixes #3587

remove newline after stacktrace

Show version of package to be installed (before potential overwrite errors)

Fixes #3587

Use handle_error instead of shell.error to print stack trace if in verbose

Auto merge of #3582 - KalitaAlexey:add-info-about-examples-as-libraries, r=alexcrichton

Added information about examples as libraries to the documentation

[Allow examples to be library](https://github.com/rust-lang/cargo/pull/3556) has been committed.
The PR adds information to the documentation.

When an error occured in a JobQueue print it directly

Fixed error

Track TargetKind::Example split

Add dep-info generation

Make cargo output a ".d" file containing dependency info (in a format
that make and ninja can consume) for each artifact it produces. This
will help in integrating into other build systems.

Auto merge of #3589 - mathstuf:repository-docs-clarify, r=alexcrichton

doc/manifest: clarify the meaning of the URLs

Fixed comments
[ci skip]

doc/manifest: clarify the meaning of the URLs

Added information about examples as libraries to the documentation

Auto merge of #3570 - integer32llc:fix-slug-link, r=alexcrichton

Link to the category slugs page from the docs instead

Oops, just noticed that I didn't change this link in the docs when we changed to specifying slugs for categories in `Cargo.toml` :-/

Auto merge of #3569 - malept:manifest-example-typo-fix, r=alexcrichton

Fix typo in badges section of example manifest

Extremely small typo I saw when I was looking at the new badges feature.

Link to the category slugs page from the docs instead

Auto merge of #3556 - KalitaAlexey:allow-examples-to-be-library, r=alexcrichton

Allow examples to be library

This PR allows to specify **crate-type** to an example in **Cargo.toml**.
After this PR an example's **crate-type** can be:

* lib
* rlib
* dylib
* proc-macro

Please look at src/cargo/core/manifest.rs:116 because I am not sure whether I done it right.

I haven't added any tests.
I'd like to add them if someone says me how to do that.

Fixes #2358.

Fix typo in badges section of example manifest

Auto merge of #3554 - bmwiedemann:patch-1, r=alexcrichton

make build reproducible

see https://reproducible-builds.org/ for why this is good
and https://wiki.debian.org/ReproducibleBuilds/TimestampsProposal#Bash_.2F_POSIX_shell for variants that also work on BSD

Merge branch 'master' into allow-examples-to-be-library

Auto merge of #3568 - alexcrichton:fix-small, r=alexcrichton

Update travis token and fix warning

Update travis token and fix warning

make build reproducible

by allowing build systems to use a constant date instead of the current one
see https://reproducible-builds.org/ for why this is good

This call is designed to work with both GNU date and BSD date implementations

Fixed the test

Fixed tests and removed the unnecessary comment

Auto merge of #3565 - integer32llc:fix-gh-pages, r=alexcrichton

Fix doc publishing: Remove $USER from the --user argument from pip install

[This looks to be the cause of why docs aren't publishing to gh-pages](https://travis-ci.org/rust-lang/cargo/jobs/193507734#L1059). I was able to publish the docs to [my repo's gh-pages](https://integer32llc.github.io/cargo/) with this change (and setting my own secure gh-token).

It looks like this problem got introduced [in this commit](https://github.com/rust-lang/cargo/commit/dc15ca5d202d6d10f6be45f388759a902723de6c). I don't really know python/pip, but `$USER` wasn't there before and [Travis' docs just say `--user`](https://docs.travis-ci.com/user/languages/python/#pip).

Remove $USER from the --user argument from pip install

Fixed tests

Auto merge of #3563 - alexcrichton:upload-docs-again, r=alexcrichton

Run full Travis builds on all non-PR branches

This'll result in duplicate work when merging, but otherwise we're not uploading
docs.

Run full Travis builds on all non-PR branches

This'll result in duplicate work when merging, but otherwise we're not uploading
docs.

Find workspace via `workspace_root` link in containing member

Auto merge of #3560 - KalitaAlexey:make-doc-subcommand-print-duration, r=alexcrichton

Made doc subcommand print duration

This PR makes `cargo doc` print duration.
Fixes #3016.

Made doc subcommand print duration

Auto merge of #3558 - matklad:fix-test, r=alexcrichton

Fix a test.

That's the test we've discussed in #3443

Added tests for building an example as a library

Fixed style issues

Fix a test.

Presumably, it should failed when it was first written, but Cargo does not do such validation yet.

Auto merge of #3552 - keeperofdakeys:proc-macro-doc-test, r=alexcrichton

Allow doc tests to run on proc macro crates

Fixes https://github.com/rust-lang/cargo/issues/3545

Since `--test` works for rustc, doctests should also work. Currently cargo isn't setup to run doctests for proc macro crates, this PR adds them to the list.

Currently rustdoc can run doctests for proc-macro crates, but the `phase_2_configure_and_expand` call` triggers the following warning:

```
the `#[proc_macro_derive]` attribute is only usable with crates of the `proc-macro` crate type
```

So perhaps this PR should wait until I've finished creating/testing the PR for rustc.

Auto merge of #3443 - matklad:path-dep-non-ws, r=alexcrichton

Path deps outside workspace are not members

closes #3192

This implements @Boscop suggestion: path dependencies pointing outside the workspace are never members.

Not sure that it handled #3192 fully: you can't exclude a path dependency within workspace. Not sure this is super useful though...

Add tests for doc testing proc macro crates

Auto merge of #3546 - integer32llc:badgers, r=alexcrichton

Upload Travis CI and Appveyor badge metadata specified in the manifest

This goes with rust-lang/crates.io#504. This has cargo upload badge metadata to crates.io on publish, and will print any warnings it gets back from crates.io about unknown badges or missing required badge attributes!

This will definitely cause some merge conflicts with #3301, I'll watch and fix whichever one gets merged 2nd :)

Upload badge metadata specified in the manifest

Merge branch 'master' of https://github.com/rust-lang/cargo into allow-examples-to-be-library

Allow examples to be libraries

Auto merge of #3301 - integer32llc:categories, r=alexcrichton

Upload categories specified in the manifest

This adds support for uploading categories to crates.io, if they are specified in the manifest.

This goes with rust-lang/crates.io#473. It should be fine to merge this PR either before or after that one; crates.io master doesn't care if the categories are in the metadata or not. With that PR, I was able to use this patch with cargo to add categories to a crate!

Allow doc tests to run on proc macro crates

Auto merge of #3542 - creativcoder:check-digit-name, r=alexcrichton

Add a check for names starting with a digit

According to Rust grammer https://doc.rust-lang.org/grammar.html#extern-crate-declarations for extern crate declarations, a crate name cannot start with a digit.

But, currently this rule is not upheld by `cargo new` as creating a project like:

`cargo new 2048` would create a project named 2048 which obviously won't compile with crate declaration like `extern crate 2048` by a consumer.

This obviously is a rare case in practice, but its always good to check i guess.

This PR adds a check to the `new` method and `bail`s out with a message for any names starting with a digit.

PS: I noticed it while making a 2048 puzzle game as a library so thought it would be nice to add this check :)

Add a check for names starting with a digit

More test for workspaces \w path dependencies

Document new rules about path deps in workspace

Path deps outside workspace are not members

closes #3192

Auto merge of #3534 - sfackler:opt-level, r=alexcrichton

Allow debuginfo level to be specified

`true` is mapped to `2`, which matches current behavior.

r? @alexcrichton

Allow debuginfo level to be specified

`true` is mapped to `2`, which matches current behavior.

Auto merge of #3533 - jtgeibel:3519-dev-target, r=alexcrichton

Rename debug target to dev in build output

This renames the debug target to dev in the build output for non-release
builds.  This includes the output of commands such as `cargo build`,
`cargo test`, and `cargo doc`.

Closes #3519

Auto merge of #3532 - alexcrichton:ignore, r=brson

Ignore spuriously failing Windows test

I really have no clue why this test is failing on Windows, and after months of
being unable to diagnose I'm tired of retrying PRs due to this failure. Let's
just ignore it on Windows.

Closes #3466

Auto merge of #3490 - alexcrichton:dev-dep-doc-test, r=brson

Fix cargo test --doc with dev-deps

Previously Cargo accidentally didn't pull in dev-dependencies due to the way
`cargo test --doc` was interpreted in terms of top-level targets. This PR
special cases this situation by ensuring that the doctest intention makes its
way all to the backend and the dependencies can be correctly calculated.

Closes #3422