Merge git://git.kernel.org/pub/scm/linux/kernel/git/sfrench/cifs-2.6
[linux-2.6] / arch / x86 / kernel / kvmclock.c
1 /*  KVM paravirtual clock driver. A clocksource implementation
2     Copyright (C) 2008 Glauber de Oliveira Costa, Red Hat Inc.
3
4     This program is free software; you can redistribute it and/or modify
5     it under the terms of the GNU General Public License as published by
6     the Free Software Foundation; either version 2 of the License, or
7     (at your option) any later version.
8
9     This program is distributed in the hope that it will be useful,
10     but WITHOUT ANY WARRANTY; without even the implied warranty of
11     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12     GNU General Public License for more details.
13
14     You should have received a copy of the GNU General Public License
15     along with this program; if not, write to the Free Software
16     Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
17 */
18
19 #include <linux/clocksource.h>
20 #include <linux/kvm_para.h>
21 #include <asm/arch_hooks.h>
22 #include <asm/msr.h>
23 #include <asm/apic.h>
24 #include <linux/percpu.h>
25 #include <asm/reboot.h>
26
27 #define KVM_SCALE 22
28
29 static int kvmclock = 1;
30
31 static int parse_no_kvmclock(char *arg)
32 {
33         kvmclock = 0;
34         return 0;
35 }
36 early_param("no-kvmclock", parse_no_kvmclock);
37
38 /* The hypervisor will put information about time periodically here */
39 static DEFINE_PER_CPU_SHARED_ALIGNED(struct kvm_vcpu_time_info, hv_clock);
40 #define get_clock(cpu, field) per_cpu(hv_clock, cpu).field
41
42 static inline u64 kvm_get_delta(u64 last_tsc)
43 {
44         int cpu = smp_processor_id();
45         u64 delta = native_read_tsc() - last_tsc;
46         return (delta * get_clock(cpu, tsc_to_system_mul)) >> KVM_SCALE;
47 }
48
49 static struct kvm_wall_clock wall_clock;
50 static cycle_t kvm_clock_read(void);
51 /*
52  * The wallclock is the time of day when we booted. Since then, some time may
53  * have elapsed since the hypervisor wrote the data. So we try to account for
54  * that with system time
55  */
56 static unsigned long kvm_get_wallclock(void)
57 {
58         u32 wc_sec, wc_nsec;
59         u64 delta;
60         struct timespec ts;
61         int version, nsec;
62         int low, high;
63
64         low = (int)__pa(&wall_clock);
65         high = ((u64)__pa(&wall_clock) >> 32);
66
67         delta = kvm_clock_read();
68
69         native_write_msr(MSR_KVM_WALL_CLOCK, low, high);
70         do {
71                 version = wall_clock.wc_version;
72                 rmb();
73                 wc_sec = wall_clock.wc_sec;
74                 wc_nsec = wall_clock.wc_nsec;
75                 rmb();
76         } while ((wall_clock.wc_version != version) || (version & 1));
77
78         delta = kvm_clock_read() - delta;
79         delta += wc_nsec;
80         nsec = do_div(delta, NSEC_PER_SEC);
81         set_normalized_timespec(&ts, wc_sec + delta, nsec);
82         /*
83          * Of all mechanisms of time adjustment I've tested, this one
84          * was the champion!
85          */
86         return ts.tv_sec + 1;
87 }
88
89 static int kvm_set_wallclock(unsigned long now)
90 {
91         return 0;
92 }
93
94 /*
95  * This is our read_clock function. The host puts an tsc timestamp each time
96  * it updates a new time. Without the tsc adjustment, we can have a situation
97  * in which a vcpu starts to run earlier (smaller system_time), but probes
98  * time later (compared to another vcpu), leading to backwards time
99  */
100 static cycle_t kvm_clock_read(void)
101 {
102         u64 last_tsc, now;
103         int cpu;
104
105         preempt_disable();
106         cpu = smp_processor_id();
107
108         last_tsc = get_clock(cpu, tsc_timestamp);
109         now = get_clock(cpu, system_time);
110
111         now += kvm_get_delta(last_tsc);
112         preempt_enable();
113
114         return now;
115 }
116 static struct clocksource kvm_clock = {
117         .name = "kvm-clock",
118         .read = kvm_clock_read,
119         .rating = 400,
120         .mask = CLOCKSOURCE_MASK(64),
121         .mult = 1 << KVM_SCALE,
122         .shift = KVM_SCALE,
123         .flags = CLOCK_SOURCE_IS_CONTINUOUS,
124 };
125
126 static int kvm_register_clock(void)
127 {
128         int cpu = smp_processor_id();
129         int low, high;
130         low = (int)__pa(&per_cpu(hv_clock, cpu)) | 1;
131         high = ((u64)__pa(&per_cpu(hv_clock, cpu)) >> 32);
132
133         return native_write_msr_safe(MSR_KVM_SYSTEM_TIME, low, high);
134 }
135
136 #ifdef CONFIG_X86_LOCAL_APIC
137 static void kvm_setup_secondary_clock(void)
138 {
139         /*
140          * Now that the first cpu already had this clocksource initialized,
141          * we shouldn't fail.
142          */
143         WARN_ON(kvm_register_clock());
144         /* ok, done with our trickery, call native */
145         setup_secondary_APIC_clock();
146 }
147 #endif
148
149 /*
150  * After the clock is registered, the host will keep writing to the
151  * registered memory location. If the guest happens to shutdown, this memory
152  * won't be valid. In cases like kexec, in which you install a new kernel, this
153  * means a random memory location will be kept being written. So before any
154  * kind of shutdown from our side, we unregister the clock by writting anything
155  * that does not have the 'enable' bit set in the msr
156  */
157 #ifdef CONFIG_KEXEC
158 static void kvm_crash_shutdown(struct pt_regs *regs)
159 {
160         native_write_msr_safe(MSR_KVM_SYSTEM_TIME, 0, 0);
161         native_machine_crash_shutdown(regs);
162 }
163 #endif
164
165 static void kvm_shutdown(void)
166 {
167         native_write_msr_safe(MSR_KVM_SYSTEM_TIME, 0, 0);
168         native_machine_shutdown();
169 }
170
171 void __init kvmclock_init(void)
172 {
173         if (!kvm_para_available())
174                 return;
175
176         if (kvmclock && kvm_para_has_feature(KVM_FEATURE_CLOCKSOURCE)) {
177                 if (kvm_register_clock())
178                         return;
179                 pv_time_ops.get_wallclock = kvm_get_wallclock;
180                 pv_time_ops.set_wallclock = kvm_set_wallclock;
181                 pv_time_ops.sched_clock = kvm_clock_read;
182 #ifdef CONFIG_X86_LOCAL_APIC
183                 pv_apic_ops.setup_secondary_clock = kvm_setup_secondary_clock;
184 #endif
185                 machine_ops.shutdown  = kvm_shutdown;
186 #ifdef CONFIG_KEXEC
187                 machine_ops.crash_shutdown  = kvm_crash_shutdown;
188 #endif
189                 clocksource_register(&kvm_clock);
190         }
191 }