Use conventions to specify the integration tests

Auto merge of #5152 - matklad:clap, r=alexcrichton

Clap

Reopening of #5129

So, looks like all tests are :green_apple: on my machine!

I definitely want to refactor it some more, and also manually checked that we haven't regressed any help messages, but all the major parts are in place already.

File per command

Use `avoid_dev_deps` for all commands

Fix spelling of quiet

Auto merge of #5167 - xftroxgpx:nosubmodules, r=matklad

Closes #5165

#5165

Closes #5165

Auto merge of #5164 - matthiaskrgr:redundant_dep, r=alexcrichton

remove "filetime 0.1" dependency from dev profile, filetime is already a regular dep

remove "filetime 0.1" dependency from dev profile, filetime is already a regular dependency.

Cleanups

Relax tests for windows

On windows, clap prints `cargo.exe` rather than just `cargo`.

Validate the limit argument

Tweak the help message

Move `index` & `registry` to `ArgMatchesExt`

Move `new_options` to `ArgMatchesExt`

Move `compile_options` to `ArgMatchesExt`

Make `target` option owned in various configs

Move some arg parsing to ArgMatchesExt

Introduce ArgMatchesExt trait

Inline `config_from_args`

Rename CommonArgs -> AppExt

Reorganize subcommands as a separate submodule

Move command_prelude to a separate file

Introduce command_prelude module

Auto merge of #5160 - ishitatsuyuki:patch-1, r=matklad

Remove unused import

Remove unused import

Auto merge of #5159 - ishitatsuyuki:patch-1, r=Mark-Simulacrum

Remove redundant recursion_limit

Now that we have migrate from error-chain to failure, we no longer need to extend it.

Remove redundant recursion_limit

Now that we have migrate from error-chain to failure, we no longer need to extend it.

Auto merge of #5126 - gilescope:cycle-error-message, r=alexcrichton

Error message for package "depends on itself" lists the packages in the cycle.

I got a cycle while trying to build someone else's code and cargo's error message didn't point me in the right direction, just mentioned there was a cycle. I thought we could be a bit more helpful.

Don't know what you think of {:#?} as the display but it seemed minimal code so I thought I'd start with that. I could compress the output to one package per line if preferred.

Clippy complains about unused in derived code.

Auto merge of #5157 - Eh2406:more_interning, r=alexcrichton

More interning

This is a forward approach to interning. Specifically `Dependency` and `PackageId` store their names as `InternedString`s and leave that value interned as long as possible. The alternative is to make a new `interned_name` function. The advantage of this approach is that a number of places in the code are doing `deb.name() == pid.name()` and are now using the fast pointer compare instead of the string compare, without the code needing to change. The disadvantage is that lots of places need to call `deref` with `&*` to convert to an `&str` and sum need to use `.to_inner()` to get a `&'static str`.

In a test on https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286
Before we got to 10000000 ticks in ~48 sec
After we got to 10000000 ticks in ~44 sec

delay calls to `to_inner`

Dependency.name to InternedString

Make command-line arguments owned

Validate that `jobs` argument is a number

Unwind stack for cli errors

PackageId.name to InternedString

Remove dead code

Remove docopt dependency

Fix after rebase

Fix typo

Remove dead code

Fix `--explain`

Support list subcommand

All tests are green :tada:

Support aliases

Fix more tests by updating error messages

Unignore test which now passes

Disable `cargo help -h`

Fix verify-project command

Support built-in aliases

Support external subcommands

Cleanup

Restore global initialization

Use exit code 1 for command line parsing errors

Note that while we use 101 in majority of cases, sometimes we use 1 as
well.

Fix some trivially fixable tests

Drop old commands

Move the rest of the commands to clap

Move uninstall to clap

Move test to clap

Move search to clap

Don't copy-paste index argument

Don't copy-paste package argument

Move rustdoc to clap

Move rustc to clap

Move run to clap

Move read-manifest to clap

Move publish to clap

Move pkgid to clap

Move package to clap

Move owner to clap

Move new to clap

Move metadata to clap

Move login to clap

Move locate-project to clap

Move install to clap

Specify frozen & locked for all commands simultaneously

Move init to clap

Move git-checkout to clap

Move generate-lockfile to clap

Move fetch to clap

Move doc to clap

Move clean to clap

Move check to clap

Temporarly ignore some tests

Port bench and build to clap

Switch to exhaustive matches in tests.

Auto merge of #5150 - Eh2406:more_interning, r=alexcrichton

More interning

This is a small part of the unsuccessful last commit of #5121, this part removes `InternedString::new` from the innerest of loops.

This is mostly a resubmission of #5147, that I accidentally deleted while bors was testing. This one has new commits, so github will take the resubition.

intern links attribute

Auto merge of #5147 - Eh2406:restucture, r=alexcrichton

restructure `Activations` for better clone

This builds on the work in #5121 When we last met we had:
5000000 ticks in ~48 sec, 0r 104k ticks/sec
This small change brings us to:
5000000 ticks in ~21 sec, 0r 238k ticks/sec
Edit: sorry for the large diff only the last commit is new. The rest are from #5121

restructure `Activations` for better clone

As pointed out by Jacob, we can display the ordered cycle in the error message.

Auto merge of #5121 - Eh2406:string_interning, r=alexcrichton

String interning

This builds on the work from #5118. This interns the strings in the part of resolver that gets cloned a lot.

In a test on https://github.com/rust-lang/cargo/issues/4810#issuecomment-357553286
Before we got to 1700000 ticks in ~(63 to 67) sec from #5118
After we got to 1700000 ticks in ~(42 to 45) sec

The interning code itself would be much better with a `leak` function that converts a `String` to a `&'static str`. Something like:
```rust
pub fn leek(s: String) -> &'static str {
    let ptr = s.as_ptr();
    let len = s.len();
    mem::forget(s);
    unsafe {
        let slice = slice::from_raw_parts(ptr, len);
        str::from_utf8(slice).unwrap()
    }
}
```
but "there is no unsafe in Cargo", and I am not the best at unsafe. So I just `to_string` and lived with the extra copy. Is there a better way to hand out references?

I assumed that `InternedString::new` world start appearing in profile result, and that we would want `PackageId`, and `Summary`, Et Al. to store the `InternedString`. That is why I put the interner in a shared folder. So far it is just used in the resolver. It may make sense for a lot more of the Strings to be interned, but with the extra copy... I have not explored it yet.

use `Deref` instead of an explicit function

use `into_boxed_str` to shrink before we leek

Auto merge of #5012 - infinity0:pr4988, r=alexcrichton

Don't require dev-dependencies when not needed in certain cases

Specifically, when running `cargo install` and add a flag for this behaviour in `cargo build`.

This closes #4988.

Work around #5134 for now

Auto merge of #5138 - alexcrichton:small-opt, r=matklad

Some small optimizations

Found an easy hot spot or two when profiling `./x.py build` in rust-lang/rust, although certainly still lots remaining.

Retain a vector instead of reallocating

No need to create a new version!

add unsafe

Auto merge of #5135 - matklad:drop-ignored-tests, r=alexcrichton

Drop ignored tests

r? @alexcrichton

These tests are ignored, so its better to remove them. `run` does not supports `--bins` argument, so I've left a single test that checks specifically for this.

cc https://github.com/rust-lang/cargo/pull/3901