[XEN] Add debug mode to xmalloc().

This detects programming mistakes such as:
 * double free
 * use after free
 * write beyond bounds of allocation

Signed-off-by: Keir Fraser <keir@xensource.com>

This patch addresses bugzilla #649, enabling `xm list' to display the
actual amount of memory allocated by a guest.  Also this patch:
  -  makes it more apparent that 'xm mem-set' has no effect on HVM's.
  -  show's that memory is changing if 'xm list' is issued while guest is
ballooning (w/o touching balloon driver)

Signed-off-by: Tommie McAfee <tommie.mcafee@unisys.com>

Add the Japanese keymap for VNC Server.

Signed-off-by: Takanori Kasai < kasai.takanori@jp.fujitsu.com >

fix xm-test configure.ac to not define RD_PATH which prevented env override

Signed-off-by: Ryan Harper <ryanh@us.ibm.com>

Update README.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix comment.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Add helper script for releasing xm-test binary ISOs.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Bump xm-test version to 1.1 to accommodate new devices.

Signed-off-by: Tony Breeds <tony@bakeyournoodle.com>

Allow the i386 ramdisk to be used on x86_64.  Part of a patch from Yu Ping Y.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Correct copy-n-paste error.

Also Whitespace cleanups.

Signed-off-by: Tony Breeds <tony@bakeyournoodle.com>

Add xvd devices to the initrd.

Signed-off-by: Tony Breeds <tony@bakeyournoodle.com>

Update all block tests to use the Xen Virtual Block Device (xvd) rather than IDEor SCSI.

This patch also modifies
09_block_attach_and_dettach_device_check_data_pos.py to force / to be
read-write otherwise the mkdir fails.

Also Whistspace cleanups.

Signed-off-by: Tony Breeds <tony@bakeyournoodle.com>

The XenDomain class does not respect the arch defaults where
as XmTestDomain does.  This part of the patch forces both HVM and
non-HVM tests to use XmTestDomain.  With appropriate changes to the
extraConfig arg.

On PPC we need to use the arch defaults to get the console setup
correctly.

Signed-off-by: Tony Breeds <tony@bakeyournoodle.com>

This fixes another missing part for x86-64 support in the xm testsuite.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[XEN] Put the non-GPL license text in each public header file.

This excludes arch-powerpc.h and xencomm.h which require
confirmation from the original authors that the existing GPL
text can be removed and replaced.

Original patch from: Mark Johnson <mark.johnson@sun.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Fix 64-bit build.

This required fiddling the asm constraints of the atomic bitops. It
seems gcc isn't entirely happy with "+m": the manual says that the
'+' modifier should be used only when a register constraint is
available.

Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] License clarification.
Signed-off-by: Keir Fraser <keir@xensource.com>

[SVM] Fix an interrupt race window in the do_launch/vmrun/vmexit loop for AMD-V.

There is also some comment cleanup in this patch.

This problem found by Virtual Iron (Dave Winchell), and patch also
provided by VI.

Signed-off-by: Tom Woller <thomas.woller@amd.com>
Signed-off-by: Dave Winchell <dwinchell@virtualiron.com>

[HVM] VIOAPIC and VPIC cleanups.
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM] VLAPIC cleanups. vlapic tsruct is statically contained
inside the vcpu structure.
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM] Replace shared-memory PIC state with a set-irq-level hypercall.
This simplifies the IRQ logic significantly and avoids the bogus
hvm_pic_assist() on domain resume path.

There is more work to be done here. At least:
 1. set-irq-level should really be set-interrupt-wire-level. Wire
    state needs to be distinguished from PIC (in particular, PIC IRR)
    state.
 2. Hypercalls can be batched in qemu and pushed down in one
    multicall.

Signed-off-by: Keir Fraser <keir@xensource.com>

[BLKTAP] No need for barrier when updating rsp_prod_pvt.
Signed-off-by: Keir Fraser <keir@xensource.com>

[LIBXC] Fix memory alloc/dealloc routines to return error properly.
Remove unnecessary decrease_reservation() from hvm builder.
Signed-off-by: Keir Fraser <keir@xensource.com>

[IA64] Build blktap driver by default.
Signed-off-by: Aron Griffis <aron@hp.com>

[BLKTAP] ia64 support
Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[BLKTAP] avoid race between tapdisk and xvd daemon with ufe_ring.
- Tapdisk updates rsp_cons by ioctl(). on the other hand xvd daemon
  reads rsp_cons in do_block_io_op() with RING_FULL().
  Copy request and memory barrier before updating rsp_cons.
- Tapdisk access req_prod_pvt with select(). on the other hand xvd
  daemon updates it in do_block_io_op().

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[BLKTAP] Various cleanups necessary for ia64 support.
- remove magic number 8 and 64.
  page size / sector size is 8 on x86, however on ia64 page size is
  16kb.
  blkring size is 64 on x86. however it's 128 on ia64.
- replace 0xFFFF with INVALID_GRANT_HANDLE
- don't map io ring into user space with uncachable.
  kernel access the page with cacable and tapdisk uses memory barrier
  so that it isn't necessary.
- remove printk warning and inserted new line.
- remove unused variable, page.
- add one BUG()

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

Enhance HVM xentrace:
1) VMX xentrace data are store in current vcpu instead physical CPU.
2) Log PIO data in xentrace.

Signed-off-by: Xin Li <xin.b.li@intel.com>

[XENAPI] Add 'image' field to xen_vbd_record, allowing an image to be
associated with the vbd. xend supports this field and the client
bindings need it to support existing images that are not under
control of an SR.

Signed-off-by: Jim Fehlig <jfehlig@novell.com>

[XEN] Remove unnecessary FORCE_CRASH() macro.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] When balancing idlers per socket/core, do it one at a time.
Signed-off-by: Emmanuel Ackaouy <ack@xensource.com>

[HVM][SVM] Turn off long mode (EFER.LMA) when CR0.PG==0.
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM][VMX] Disable IA32e mode in VM_ENTRY_CONTROLS when guest tries
to disable PG from LME mode.

Without this patch, the 64 Vista cannot boot.

Signed-off-by: Xiaohui Xin <xiaohui.xin@intel.com>
Signed-off-by: Xin Li <xin.b.li@intel.com>

[NET] back: Fix wrap to zero in transmit credit scheduler.
This could happen when credit_bytes == ~0UL (i.e., scheduling is 'disabled').
Signed-off-by: Kirk Allan <kallan@novell.com>

[HVM] MAke HVM hypercall table NR_hypercalls entries big.
Otherwise a buggy/malicious HVM guest can cause us to read
off the end of the table.
Signed-off-by: George Dunlap <gdunlap@xensource.com>

Trivial change to look in correct location for qemu-dm when using the debug wrapper on a 64 bit system.
Signed-off-by: Ben Thomas <ben@virtualiron.com>

PV-on-HVM: Fix PV-on-HVM drivers need maddr.h included for defn of maddr_t.
Signed-off-by: Takanori Kasai <Kasai.Takanori@jp.fujitsu.com>
Signed-off-by: Tsunehisa Doi <Doi.Tsunehisa@jp.fujitsu.com>

[LINUX] Use pfn_to_page instead of relying in memory assumptions

This makes usage agnostic wrt the memory model being used.

Signed-off-by: Glauber de Oliveira Costa <gcosta@redhat.com>

[HVM] Fix 64-bit HVM domain creation.
 1. vlapic must be initialised before VMX-specific init.
 2. various shadow tweaks (e.g., check d->vcpu[0] before use).
Signed-off-by: Keir Fraser <keir@xensource.com>

[SVM] Strip down svm_do_launch() pending complete removal.
Signed-off-by: Keir Fraser <keir@xensource.com>

[SVM] Move VMCB construction to VCPU creation time.
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM][SVM] Start moving SVM launch code to domain/vcpu initialisation.
This first patch is just enough to get SVM guests working again after
I broke SVM support earlier today.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Initial support for multi-core and multi-threaded CPU scheduling.
In multi-core and multi-threaded systems, not all idling "CPUs" are
equal: When there are idling execution vehicles, it's better to spread
VCPUs across sockets and cores before co-scheduling cores and threads.
Signed-off-by: Emmanuel Ackaouy <ack@xensource.com>

[XEN] Optimize credit scheduler load balancing logic
When looking for remote work, only look at or grab a remove CPU's
lock when this CPU is not idling.
Signed-off-by: Emmanuel Ackaouy <ack@xensource.com>

[HVM] Replace relinquish_resources() destructor hook with
separate vcpu and domain destructors that are called at the
point the domain is finally destroyed.
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM] Initialise AP TSC to same as BP TSC.
Signed-off-by: Keir Fraser <keir@xensource.com>

[VMX] Get rid of special vm_launch schedule tail.
This required various hacking, including getting rid
of implicit vcpu==current assumption in __vmwrite()
and a couple of tweaks to the shadow code.
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM] Move VMX VMCS initialisation to vcpu-initialisation time.
Simplify context initialisation (e.g., no need for selectors to
be given dummy non-zero values).
Signed-off-by: Keir Fraser <keir@xensource.com>

Catch IOError when using local configuration files, to give better diagnostics.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[XEN] Re-jig VCPU initialisation -- VMX init requires generic VCPU
fields to already be allocated. This has led to a general cleanup of
domain and vcpu initialisation and destruction.
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM] Be sure to nul terminate uuids in HVM SMBIOS tables.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

[LINUX] Don't use uint64_t parameter to gnttab_set_{,un}map_op() when
the upper 32 bits will never be used (i.e., i386 non-pae).
Signed-off-by: Jan Beulich <jbeulich@novell.com>

[XEN] Replace hvm_setup_platform() with hvm_domain_initialise()
and extra code in hvm_vcpu_initialise(). Remove 'apic' config
option -- HVM CPUs will always have an APIC (which should be
set up in virtual wire mode for backward compatibility, just as
in a real system).
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Do not halt on exceptions-with-interrupts-disabled and double faults.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Simplify domain shutdown -- no need to synchronously halt execution.

This avoids a possible deadlock on the per-domain 'big lock'.

No control tools depend on synchronous halting of execution (e.g.,
save/restore already expect that secondary CPUs were halted
synchronously under the control of the guest itself). This makes the
code rather less complex.

Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Avoid taking domain biglock in the page-fault handler.
This avoids deadlock situation with the shadow_lock.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEND] Fix xen_version and missing os import

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Cleanup HVM image shutdown watch and move readDom call away
from image.py

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] XendDomainInfo.refreshShutdown is called from image.py.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Fix HVM image shutdown.

Missed HVM image creation's hook into XendDomainInfo.

Signed-off-by: Alastair Tse <atse@xensource.com>

[HVM] More printk cleanups.
Signed-off-by: Keir Fraser <keir@xensource.com>

[LINUX] Clean up header includes (gnttab.h from fixmap.h).

include/asm-{i386,x86_64}/mach-xen/asm/fixmap.h was needlessly
including include/xen/gnttab.h. Removing this made necessary explicit
inclusion of that header in tpm_xen.c, the build of which should not
have succeeded on non-x86 architectures before.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

[BLKTAP] Fix gnttab unmap call to specify that address contains PTE.
Signed-off-by: Jan Beulich <jbeulich@novell.com>

[XEN] Fix shadow-lock macro backslash alignments.
Signed-off-by: Xin Li <xin.b.li@intel.com>

Merge

[XEND] Don't hide the 'type' SXP config item from HVM guests

Should allow network devices to properly initialised in HVM guests.

Signed-off-by: Alastair Tse <atse@xensource.com>

merge.

[XEN] Adjust logging levels of a few printk messages.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEND] Make sure lookups cause a refresh so xm list gets the latest
info.

Signed-off-by: Alastair Tse <atse@xensource.com>

Fix syntax error.

Signed-off-by: Steven Hand <steven@xensource.com>

[XEN] Fix log-level printk logic for multi-line and partial-line printks.
Add support for switching to print-all mode, and use this for
debug-key output.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Remove VGCF_hvm_guest, replace with XEN_DOMINF_hvm_guest.
Rename DOMFLAGS_* to XEN_DOMINF_*.
Clean up tools to deal with flags changes.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEND] Handle permission denied when calling xc.domain_getinfo

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND][XM] Restore old state string in xm.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEND] Silence Xen API debugging messages.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEN] Quieten down tracing when fail (quite expectedly) to map INVALID_MFN.
Signed-off-by: Keir Fraser <keir@xensource.com>

I found a small bug in xenmon.  Even if I gave xenmon a wrong
parameter, xenmon did not become an error.

This patch adds a checking of wrong parameter into xenmon.
If wrong parameter is given, xenmon shows the following error
messages.

usage: xenmon.py [options]

xenmon.py: error: No parameter required

Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

[XEN] Add 'loglvl' and 'guest_loglvl' boot parameters.

 <lvl> := none|error|warning|info|debug|all

 loglvl=<lvl_print_always>[/<lvl_print_ratelimit>]
  <lvl_print_always>: log level which is always printed
  <lvl_print_rlimit>: log level which is rate-limit printed

 'loglvl' applies to non-guest-related messages.
 'guest_loglvl' applies to guest-related messages.

 Defaults: loglvl=warning ; guest_loglvl=none/warning

Also clean up hvm_print_line().

Signed-off-by: Keir Fraser <keir@xensource.com>

Merge

[XEND] Reverting self.domains UUID indexing

Due to localhost migration, it is possible to have two VMs with the
same UUID on the same host. So instead, we revert back to XendDomain
where there are two lists, a "domains" of active domains indexed by
domid and a "managed_domains" which is a list of all domains whose
lifecycle is managed by Xend.

Signed-off-by: Alastair Tse <atse@xensource.com>

Dynamically link to libgcc on Solaris. Also clean up duplicate -Wall flags.
Signed-off-by: John Levon <john.levon@sun.com>

[BLKTAP] Fix Linux and Xen gnttab map operations when mapping into
PTEs above 4GB on PAE systems.
Signed-off-by: Steven Rostedt <srostedt@redhat.com>

[HVM] Clean up VCPU initialisation in Xen. No longer
parse HVM e820 tables in Xen (add some extra HVM parameters as a
cleaner alternative). Lots of code removal.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEND] Fix paused state being overriden by refreshShutdown

Signed-off-by: Alastair Tse <atse@xensource.com>

Merge with tip

[XEND][XM] Fixes for xm list output

Do not output image, security if they are empty
Change xm list slightly to be more informative about state.
Add back store_mfn and console_mfn to the SXP so save/restore can work
again.

Signed-off-by: Alastair Tse <atse@xensource.com>

[XEN] Better parameter checking for grant table copy operation.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

PV-on-HVM: Conditionally disable checksum offload for receive on some
older kernels.

On some older kernels the CHECKSUM_UNNECESSARY flag on received
skbuffs is not honoured by all subsystems, specifically netfilter
under 2.6.9-42.EL

To work around this we need to ensure that the correct checksum is
calculated at some point. We can cause the backend to do this for us
by advertising to the backend that we cannot support checksum offload.

The correlation of this issue with the presence of NETIF_F_TSO is not
100% but it is a good first approximation.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

PV-on-HVM: Tweak reboot.c to be compatible with older kernels.

call_usermodehelper_keys() was not available until 2.6.13 but since we
pass session_keyring as NULL we may as well use call_usermodehelper()
anyway.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

PV-on-HVM: Fix PV-on-HVM drivers for IA64.

Thanks to Kasai Takanori and Doi Tsunehisa for testing.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

PV-on-HVM: Use ln -nsf in mkbuildtree to avoid creating a symlink loop
if include/xen/interfaces already exists.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

[TOOLS] Paravirt guests have their memory allocated in the
libxenguest builder function.

Again, PPC and IA64 will need to do some fixing up.

Signed-off-by: Keir Fraser <keir@xensource.com>

[XEND] Compare result of blkdev_name_to_number() explicitly against None.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Fix credit scheduler cap mechanism not to over park VCPUs
We used to park a capped VCPU when it had ran its fair share, even
if the fair share was below its cap. With this change, make sure
we only park once a VCPU has overrun its actual cap.
We could also try to make the capping mechanism more accurate by
parking and unparking at a finer granularity (currently done on
30ms boundaries) but that'll be for a different time.
Signed-off-by: Emmanuel Ackaouy <ack@xensource.com>

[XEN] Fix x86/64 build.
Signed-off-by: Keir Fraser <keir@xensource.com>

Return the restored VM at the end of XendDomainInfo.restore.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[HVM] Move shadow initialisation into domain-creation hypercall.
Allocate HVM guest memory in the libxc builder function rather
than in xend. Clean up fall out from these changes.

Todo: Fix ia64. Move PV builder to same model (it should allocate the
memory rather than xend doing so -- then it can avoid using
xc_get_pfn_list()).

Signed-off-by: Keir Fraser <keir@xensource.com>

Print errno for each of the "Error when writing to state file" messages.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Return the domain renaming during migration.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

[HVM] HVM is now a flag parameter to domain-creation hypercall.
This cleans up HVM start-of-day in Xen and means that the
HVM status of a domain is maintained from cradle to grave.
Signed-off-by: Keir Fraser <keir@xensource.com>