hvm: Use main memory for video memory.

When creating an HVM domain, if e.g. another domain is created before
qemu allocates video memory, the extra 8MB memory ballooning is not
available any more, because it got consumed by the other domain.

This fixes it by taking video memory from the main memory:

- make hvmloader use e820_malloc to reserve some of the main memory
  and notify ioemu of its address through the Xen platform PCI card.
- add XENMAPSPACE_mfn to the xen_add_to_physmap memory op, to allow
  ioemu to move the MFNs between the original position and the PCI
  mapping, when LFB acceleration is disabled/enabled
- add a remove_from_physmap memory op, to allow ioemu to unmap it
  completely for the case of old guests with acceleration disabled.
- add xc_domain_memory_translate_gpfn_list to libxc to allow ioemu to
  get the MFNs of the video memory.
- have xend save the PCI memory space instead of ioemu: if a memory
  page is there, the guest can access it like usual memory, so xend
  can safely be responsible to save it.  The extra benefit is that
  live migration will apply the logdirty optimization there too.
- handle old saved images, populating the video memory from ioemu if
  really needed.

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

mini-os: Fix build failure with void* arithmetic.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

Fall back to a timer linked list when the timer heap overflows.
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

Use 'gcc -v 2>&1 | tail -1' to extract gcc version.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

xmalloc: Cannot be called in IRQ context so doesn't need IRQ-safe locking.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86: Signal softirq-context calibration with an actual first-class
softirq handle rather than kludging it with set_timer().

Should be faster and is definitely clearer. Also avoids us using
set_timer() in IRQ context (which is currently broken but soon won't
be).

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86: Assert in_irq() while processing guest-bound interrupts.

Actually a fair amount of infrastructure is onvolved these days, and
we'd like subsystems we call into know that we're in IRQ context so
they can handle that or BUG/ASSERT if appropriate.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

More precise regexp to extract version line from 'gcc -v'.

Reported by Robert Buchholz <rbu@gentoo.org>
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

mini-os: Add printf format checking to xenbus_printf

Reported-by: "Daniel P. Berrange" <berrange@redhat.com>
Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

ioemu-stubdom: drop --disable-gfx-check option, already added by qemu-xen tree

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

stubdom: support quotes in argument passing

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

stubdom: make munmap work in batches to fix stack overflow

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

xend: fix LinuxImageHandler debugging output

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

PyGRUB: fix menu flicker

To avoid flickers, PyGRUB has to avoid spurious ncurses refresh as
much as possible, in particular before the complete screen is drawn,
and eventually call doupdate last.

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

mini-os: make xenbus_read_integer and xenbus_printf take const strings

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

stubdom: drop debugging message

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

stubdom: add syslog functions

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

stubdom: add dummy pthread_mutexattr*

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

stubdom: int32_t is provided by stdint.h, not sys/types.h

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

x86 hvm: More checking around REP MOVS emulation.

Check for self-corrupting copies, and report hvm_copy errors to the
console log.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

vtd: do FLR before xc.domain_destroy()

When we "xm destroy" a guest with assigned devices, in
xen/common/domain.c:domain_kill(), we relinquish guest's memory first,
then invoke domain_destroy() -> complete_domain_destroy() ->
arch_domain_destroy() -> pci_release_devices()/iommu_domain_destroy().

Between relinquish_memory() and domain_destroy(), a device may be
issuing DMA request and access guest's relinquished  memory.

We can do_FLR() to quiesce devices before xc.domain_destroy().

Signed-off-by: Dexuan Cui <dexuan.cui@intel.com>

x86 hvm: Emulate RAM-to-RAM REP MOVS copies efficiently.
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

vtd: Fix ioapic interrupt remapping

Besides io_apic_write(), io_apic_modify() also writes to io apic RTE.
This patch adds an intercept to remap interrupt in io_apic_modify().

In io_apic_read_remap_rte(), 'mask' value of RTE should not affect the
return value, so remove its checking.

Finally, remove panic() when index overflows. Instead, print error
messages and report back the failure to upper level.

Signed-off-by: Weidong Han <weidong.han@intel.com>

xend: Avoid multiple assignments to same dict key in pci_convert_sxp_to_dict
Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

x86: Time rendezvous function does not need to disable/enable IRQs.
Since rendezvous happens within the IPI handler, no need to specify
'wait' to on_each_cpu().

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

hvmloader: Debug build incorporates HVM environment tests which must
pass for the HVM guest to successfully boot.

Currently only one test (REP INS across page boundaries) but more will
be added in future.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

xentrace: Fix typo in xentrace_formats file.
Signed-off-by: Yang Xiaowei <xiaowei.yang@intel.com>
Signed-off-by: Zhou Ting <ting.g.zhou@intel.com>

Added tag 3.3.0-branched for changeset 1e99ba54035623731bc7318a8357aa6a118c5da1

x86: fix l1_disallow_mask() for HVM guests with pass-thru devices.
Signed-off-by: Naoki Nishiguchi <nisiguti@jp.fujitsu.com>

PV-on-HVM: unmask_evtchn() must always use hypercall.
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

Update Xen version for 3.3.0-rc8-pre

Added tag 3.3.0-rc7 for changeset daf1193bcd11345d566a4747fe1f12c90b44452c

Update Xen version for 3.3.0-rc7

x86 hvm: Fix binary arithmetic in hvmemul_linear_to_phys().

PAGE_SIZE - (x & ~PAGE_MASK) is not equivalent to -x & ~PAGE_MASK

Also the early goto could be removed.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

Update Xen version for 3.3.0-rc7-pre

Added tag 3.3.0-rc6 for changeset bc372510f1794ee41a8b0501cc84f8a65d05e094

Update Xen version for 3.3.0-rc6

domctl: ssidref is not initialized if !XSM_ENABLE

The ssidref in getdomaininfo() is not initialized when XSM_ENABLE is
not defined. So, xentop might display a wrong value of ssid.

Signed-off-by: Kazuhiro Suzuki <kaz@jp.fujitsu.com>

x86: APs enable x2APIC only when BSP did so.
Signed-off-by: Jun Nakajima <jun.nakajikma@intel.com>

ioemu: Fix unmapping issue on hot-removing pass-thru device

Signed-off-by: Yuji Shimada <shimada-yxb@necst.nec.co.jp>

x86 hvm: Another clarifying comment in the HVM address translation emulation.
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86 hvm: Add clarifying comments about clipping repeated string
instructions to 4096 iterations.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86 hvm: Build fix: param is paddr_t not ulong.
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86, hvm: Observe EFLAGS.DF when performing segmentation checks and
address translations on multi-iteration string instructions.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86_emulate: Do not request emulation of REP instructions beyond the
point at which the index register (SI/DI) wraps. This can cause a
discontinuity in the address range accessed by the repeated
instruction.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

vtd: Don't do FLR when we create domain or hotplug device into guest.

VT-d hot-plug is done in such a way:  1) xend sends 'pci-ins' command
to ioemu via xenstore; 2) ioemu creates pass-through device and raises
SCI to guest OS; guest OS loads device driver, and device driver
initializes the hot-plugged device; 3) xend does FLR. There is a race
condition about 2) and 3). If 3) runs slow, we have troubles. Thanks
for Yuji Shimada's locating the issues.

We can work around the issues by not doing FLR when we create domain
or hotplug device into guest, namely, we only do FLR when we destroy
domain or hotplug device from guest.

Signed-off-by: Dexuan Cui <dexuan.cui@intel.com>
Signed-off-by: Dongxiao Xu <dongxiao.xu@intel.com>

xend: fixes a typo in the PIF class of the Xen-API code.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

x86: update ioport_quirks_tbl[] for the proliant DL7xx

Signed-off-by: Tim Deegan <Tim.Deegan@citrix.com>

Update Xen version for 3.3.0-rc6-pre

Added tag 3.3.0-rc5 for changeset b4dba6a0e97cb6dd080fa566468e3cc972c34d7a

Update Xen version for 3.3.0-rc5

x86, hvm: Fix softtsc for AMD-V

The softtsc code for AMD does not update the ip; enabling it on AMD-V
results in the domain spinning on the RDTSC instruction. The patch is
against xen-unstable 18331.

Signed-off-by: John Byrne <john.l.byrne@hp.com>

x86 shadow: Fix OOS typecounting.

From: Gianluca Guida <gianluca.guida@eu.citrix.com>
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

pv-grub: On x86_64, also build an x86_32 pv-grub

This requires suffixing obj directories and having grub compiled
outside sources.

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

Fix restore crash with certain guest memory sizes

This fixes a crash when restoring guests with certain memory sizes (eg
223MB).  The ROUNDUP in the call to memcpy, was the main offender, but
I didn't care for the inplace resizing of the p2m entries either.

Signed-off-by: Bruce Rogers <brogers@novell.com>

x86, shadow: Fix OOS on domain crash.

I couldn't reproduce the Nevada crash on my testbox, but this should
fix the first Xen crash that was seen in the Nevada HVM (bugzilla
#1322).

What I think most probably happened there is that the set_l2e call in
shadow_get_and_create_l1e() has tried to resync a page, but somehow we
weren't unable to remove the shadow (the real bug we should actually
look after). sh_resync() then removes the page from the OOS hash and
later in the page fault path we find the gw.l1mfn to be still OOS, so
we try to update the snapshot and the bug happens.

This should fix this and other unlikely (like sh_unsync() failing to
remove for hash collision the current gw.l1mfn) cases.

Signed-off-by: Gianluca Guida <gianluca.guida@eu.citrix.com>

[ia64] remove the runtime warning when hvmop_set_mem_type is used.

remove the runtime warning when HVMOP_set_mem_type is used.
But the hypercall just returns -ENOSYS. It isn't implemented yet.

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

merge with xen-unstable.hg

shadow: Fix BUILD_BUG_ON().
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

MSI-X: enhancement

Signed-off-by: Yu Zhao <yu.zhao@intel.com>

xend: Allow xenconsoled to be passed arguments at startup

Attached patch allows to pass arguments to xenconsoled
via XENCONSOLED_TRACE env. variable analogous to xenstored.

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

xend: Make sure that 'PV_kernel' config param is not blank when
assigning it to 'loader' param. This fixes a failure of 'xm create'
via xen-api.

Signed-off-by: Yosuke Iwamatsu <y-iwamatsu@ab.jp.nec.com>

x86: Simplify arch_virq_is_global().
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86: Fix shadow code's handling of p2m superpage changes

When a p2m superpage entry is shattered, it's important not to
unshadow any parts of the 2MB region that are still there afterwards.
Otherwise shattering a superpage that contains the guest's top-level
pagetable will cause the guest to be killed.

Signed-off-by: Tim Deegan <Tim.Deegan@citrix.com>

x86 shadow: Relax BUILD_BUG_ON() regarding struct sizes.
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86, shadow, oos: Remove overzealous warning and simplify code.
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86 mcheck: mce_disabled is not __initdata: it's referenced on S3 resume
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

vtd: Add checking on return value of init_vtd_hw()

This ensures correct actions will be taken if init_vtd_hw()
fails. Especially, when 'iommu=force' is used, Xen should not
boot if init_vtd_hw() fails.

Signed-off-by: Weidong Han <weidong.han@intel.com>

[IA64] fix vtlb flush

Live migration with uninitialized vcpu will crash xen by null pointer.

Signed-off-by: Kouya Shimura <kouya@jp.fujitsu.com>

Update Xen version for 3.3.0-rc5-pre

Added tag 3.3.0-rc4 for changeset 96d0a48e87ee46ba7b73e8c906a7e2e0baf60e2e

Update Xen version for 3.3.0-rc4

xend/xenapi: Initialize a VLAN PIF's record with the MAC and MTU size
of the created network interface

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Add guide to using the kexec and kdump facility in xen.

Signed-off-by: Simon Horman <horms@verge.net.au>

xend/xen-api: Have the VDI record return the security label

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

stubdom: for safety, tell lwip we use the heap in the event handler

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

page scrub: Serialise softirq with a new lock.
Avoids holding up acquiring page_scrub_lock in free_domheap_pages().

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

xend: Better support for legacy HVM config of ia64

On ia64, direct Linux boot is not supported, and 'Flash.fd' or
'guest_firmware.bin' has been used as a value of the 'kernel'
option. Cset:17016 ignores those strings and overrides them with
"/usr/lib/xen/boot/hvmloader".

Signed-off-by: Kazuhiro Suzuki <kaz@jp.fujitsu.com>
Signed-off-by: KUWAMURA Shin'ya <kuwa@jp.fujitsu.com>
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

Serialize scrubbing pages

I noticed that parallel scrubbing pages is not efficient
due to spinlock contention. (also memory bandwidth?)
Actually heap_lock becomes a bottleneck.

In my investigation, it often takes 1 millisec just to acquire
the lock on ia64 with 8cpus. It's very wasteful.

Signed-off-by: Kouya Shimura <kouya@jp.fujitsu.com>

x86, xenoprof: Add Nehalem to list of ppro cores

Straight port from Linus's tree:

commit 4b9f12a3779c548b68bc9af7d94030868ad3aa1b
Author: Linus Torvalds <torvalds@linux-foundation.org>
Date:   Thu Jul 24 17:29:00 2008 -0700

    x86/oprofile/nmi_int: add Nehalem to list of ppro cores

    ..otherwise oprofile will fall back on that poor timer interrupt.

    Also replace the unreadable chain of if-statements with a
    "switch()"
    statement instead. It generates better code, and is a lot clearer.

Signed-off-by: Linus Torvalds <torvalds@linux-foundation.org>
Signed-off-by: Markus Armbruster <armbru@redhat.com>

tools build: add cross-install to find the right "strip"

Signed-off-by: Aron Griffis <aron@hp.com>

merge with xen-unstable.hg

[IA64] Print ACPI signature before overwriting it

We're printing out the ACPI table signature after we overwrite it
with "OEMx".  Let's print it out before so we know that the table was.
Also limit print to 4 chars so we don't get garbage output.

Signed-off-by: Alex Williamson <alex.williamson@hp.com>

x86: adjust placement of pause insn in _raw_spin_lock()

React to lock becoming available as quickly as possible.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

x86: also show event upcall mask when dumping guest state

Signed-off-by: Jan Beulich <jbeulich@novell.com>
Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86: Update guest timestamps on frequency change.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

x86: Reduce restrictions on dom0_max_vcpus.
Place a BUILD_BUG_ON() in mm.c to replace one of the restrictions.

Signed-off-by: Keir Fraser <keir.fraser@citrix.com>

ia64: PV driver domains - ugly python hacks

x86 IOMMU support added a lot of assumptions about what PCI buses look
like and where to find bridge devices.  On ia64, we don't yet have
virtualization friendly IOMMUs, so for the moment, we just want to
keep "unsafe" PV PCI pass through working as well as it did in Xen
3.2. Looking at the code, it almost seems like x86 has thrown out
support for the old style driver domain.  Things that don't
necessarily work on every PCI compliant architecture:

      * You can't assume that just because there's a device at 01:01.0
        that there's also a bridge at 01:00.0 and blow-up when you
        don't find it.  On HP ia64 boxes, PCI root bridges are not
        necessarily exposed as a PCI device.  This pretty much means
        we can't call into any of the "FLR" code paths.
      * BAR alignment: it's hard to have BAR alignment when your page
        size is 16k.  This wasn't a requirement for previous PV driver
        domains, so I assume it's only for IOMMU support.

This is ugly, so I'm open to suggestions.  It seems that all of these
architecture checks could be replaced by checking some "iommu_present"
variable to test whether the extra requirements are necessary.

Signed-off-by: Alex Williamson <alex.williamson@hp.com>

prefix mini-os lists with minios_, drop QEMU_ prefix from QEMU_LIST_*

That permits to reduce the amount of difference with upstream.

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

ioemu: fix typo in serial emulation

There is a small bug on the serial emulation code that prevents kgdb
from working correctly over the serial.

Signed-off-by: Stefano Stabellini <stefano.stabellini@eu.citrix.com>

stubdom: turn off_t 64bit on x86

We can decide to make off_t 64bit instead of implementing the LFS
tricks.  Name corresponding functions foo64 to permit simple caml
programs linking.

Signed-off-by: Samuel Thibault <samuel.thibault@eu.citrix.com>

[IA64] Remove VT-i no opcode warning

I've never been sure why we have such a big scary warning around this,
when I have yet to see any system that does provide opcode decoding.
Let's remove it.

Signed-off-by: Alex Williamson <alex.williamson@hp.com>

[IA64] Cleanup ACPI checksum warnings

On bootup, I get a couple of these:

(XEN) ACPI Warning (tbutils-0219): Incorrect checksum in table [APIC] - CE, should be 04 [20070126]
(XEN) ACPI Warning (tbutils-0219): Incorrect checksum in table [APIC] - CE, should be 04 [20070126]

I don't remember seeing them before, but they're pretty easy to fix.
The problem is we update the lsapics, causing the checksum to be wrong,
then we look for platform interrupt sources, which spits out a warning,
and finally we look for the MADT again to fix the checksum, which also
prints a warning.  If we grab a pointer to the MADT before these, we can
update the checksum after each step and avoid the warnings.

Signed-off-by: Alex Williamson <alex.williamson@hp.com>

[IA64] backport EFI version warning fix

We have boxes that report EFI version 2.00 now, so adopt upstream linux
patch to only warn on versions less that 1.00.  Based on linux-2.6.git
873ec746158403af82c57ce26780166aafc159e1.

Signed-off-by: Alex Williamson <alex.williamson@hp.com>

[IA64] Fix PV driver domains - xen stubs

Stub out new hypercalls in the hypervisor.  The only odd one here is
map/unmap_pirq.  This seems to be for MSI support, which I don't believe
we currently support for driver domains, so this is actually similar to
the x86 code path.  The tools code doesn't allow us to return -ENOSYS
here :(

Signed-off-by: Alex Williamson <alex.williamson@hp.com>

Update Xen version for 3.3.0-rc4-pre

Added tag 3.3.0-rc3 for changeset 57fca3648f25dcc085ee380954342960a7979987

Update Xen version for 3.3.0-rc3

unmodified drivers: update README

update unmodified_drivers/linux-2.6/README.

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

xm: fix trivial typo. s/ciredump-restore/coredump-restart/

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>