Merge with rsync://fileserver/linux
[linux-2.6] / arch / i386 / kernel / time.c
1 /*
2  *  linux/arch/i386/kernel/time.c
3  *
4  *  Copyright (C) 1991, 1992, 1995  Linus Torvalds
5  *
6  * This file contains the PC-specific time handling details:
7  * reading the RTC at bootup, etc..
8  * 1994-07-02    Alan Modra
9  *      fixed set_rtc_mmss, fixed time.year for >= 2000, new mktime
10  * 1995-03-26    Markus Kuhn
11  *      fixed 500 ms bug at call to set_rtc_mmss, fixed DS12887
12  *      precision CMOS clock update
13  * 1996-05-03    Ingo Molnar
14  *      fixed time warps in do_[slow|fast]_gettimeoffset()
15  * 1997-09-10   Updated NTP code according to technical memorandum Jan '96
16  *              "A Kernel Model for Precision Timekeeping" by Dave Mills
17  * 1998-09-05    (Various)
18  *      More robust do_fast_gettimeoffset() algorithm implemented
19  *      (works with APM, Cyrix 6x86MX and Centaur C6),
20  *      monotonic gettimeofday() with fast_get_timeoffset(),
21  *      drift-proof precision TSC calibration on boot
22  *      (C. Scott Ananian <cananian@alumni.princeton.edu>, Andrew D.
23  *      Balsa <andrebalsa@altern.org>, Philip Gladstone <philip@raptor.com>;
24  *      ported from 2.0.35 Jumbo-9 by Michael Krause <m.krause@tu-harburg.de>).
25  * 1998-12-16    Andrea Arcangeli
26  *      Fixed Jumbo-9 code in 2.1.131: do_gettimeofday was missing 1 jiffy
27  *      because was not accounting lost_ticks.
28  * 1998-12-24 Copyright (C) 1998  Andrea Arcangeli
29  *      Fixed a xtime SMP race (we need the xtime_lock rw spinlock to
30  *      serialize accesses to xtime/lost_ticks).
31  */
32
33 #include <linux/errno.h>
34 #include <linux/sched.h>
35 #include <linux/kernel.h>
36 #include <linux/param.h>
37 #include <linux/string.h>
38 #include <linux/mm.h>
39 #include <linux/interrupt.h>
40 #include <linux/time.h>
41 #include <linux/delay.h>
42 #include <linux/init.h>
43 #include <linux/smp.h>
44 #include <linux/module.h>
45 #include <linux/sysdev.h>
46 #include <linux/bcd.h>
47 #include <linux/efi.h>
48 #include <linux/mca.h>
49
50 #include <asm/io.h>
51 #include <asm/smp.h>
52 #include <asm/irq.h>
53 #include <asm/msr.h>
54 #include <asm/delay.h>
55 #include <asm/mpspec.h>
56 #include <asm/uaccess.h>
57 #include <asm/processor.h>
58 #include <asm/timer.h>
59
60 #include "mach_time.h"
61
62 #include <linux/timex.h>
63 #include <linux/config.h>
64
65 #include <asm/hpet.h>
66
67 #include <asm/arch_hooks.h>
68
69 #include "io_ports.h"
70
71 extern spinlock_t i8259A_lock;
72 int pit_latch_buggy;              /* extern */
73
74 #include "do_timer.h"
75
76 u64 jiffies_64 = INITIAL_JIFFIES;
77
78 EXPORT_SYMBOL(jiffies_64);
79
80 unsigned int cpu_khz;   /* Detected as we calibrate the TSC */
81 EXPORT_SYMBOL(cpu_khz);
82
83 extern unsigned long wall_jiffies;
84
85 DEFINE_SPINLOCK(rtc_lock);
86 EXPORT_SYMBOL(rtc_lock);
87
88 DEFINE_SPINLOCK(i8253_lock);
89 EXPORT_SYMBOL(i8253_lock);
90
91 struct timer_opts *cur_timer = &timer_none;
92
93 /*
94  * This is a special lock that is owned by the CPU and holds the index
95  * register we are working with.  It is required for NMI access to the
96  * CMOS/RTC registers.  See include/asm-i386/mc146818rtc.h for details.
97  */
98 volatile unsigned long cmos_lock = 0;
99 EXPORT_SYMBOL(cmos_lock);
100
101 /* Routines for accessing the CMOS RAM/RTC. */
102 unsigned char rtc_cmos_read(unsigned char addr)
103 {
104         unsigned char val;
105         lock_cmos_prefix(addr);
106         outb_p(addr, RTC_PORT(0));
107         val = inb_p(RTC_PORT(1));
108         lock_cmos_suffix(addr);
109         return val;
110 }
111 EXPORT_SYMBOL(rtc_cmos_read);
112
113 void rtc_cmos_write(unsigned char val, unsigned char addr)
114 {
115         lock_cmos_prefix(addr);
116         outb_p(addr, RTC_PORT(0));
117         outb_p(val, RTC_PORT(1));
118         lock_cmos_suffix(addr);
119 }
120 EXPORT_SYMBOL(rtc_cmos_write);
121
122 /*
123  * This version of gettimeofday has microsecond resolution
124  * and better than microsecond precision on fast x86 machines with TSC.
125  */
126 void do_gettimeofday(struct timeval *tv)
127 {
128         unsigned long seq;
129         unsigned long usec, sec;
130         unsigned long max_ntp_tick;
131
132         do {
133                 unsigned long lost;
134
135                 seq = read_seqbegin(&xtime_lock);
136
137                 usec = cur_timer->get_offset();
138                 lost = jiffies - wall_jiffies;
139
140                 /*
141                  * If time_adjust is negative then NTP is slowing the clock
142                  * so make sure not to go into next possible interval.
143                  * Better to lose some accuracy than have time go backwards..
144                  */
145                 if (unlikely(time_adjust < 0)) {
146                         max_ntp_tick = (USEC_PER_SEC / HZ) - tickadj;
147                         usec = min(usec, max_ntp_tick);
148
149                         if (lost)
150                                 usec += lost * max_ntp_tick;
151                 }
152                 else if (unlikely(lost))
153                         usec += lost * (USEC_PER_SEC / HZ);
154
155                 sec = xtime.tv_sec;
156                 usec += (xtime.tv_nsec / 1000);
157         } while (read_seqretry(&xtime_lock, seq));
158
159         while (usec >= 1000000) {
160                 usec -= 1000000;
161                 sec++;
162         }
163
164         tv->tv_sec = sec;
165         tv->tv_usec = usec;
166 }
167
168 EXPORT_SYMBOL(do_gettimeofday);
169
170 int do_settimeofday(struct timespec *tv)
171 {
172         time_t wtm_sec, sec = tv->tv_sec;
173         long wtm_nsec, nsec = tv->tv_nsec;
174
175         if ((unsigned long)tv->tv_nsec >= NSEC_PER_SEC)
176                 return -EINVAL;
177
178         write_seqlock_irq(&xtime_lock);
179         /*
180          * This is revolting. We need to set "xtime" correctly. However, the
181          * value in this location is the value at the most recent update of
182          * wall time.  Discover what correction gettimeofday() would have
183          * made, and then undo it!
184          */
185         nsec -= cur_timer->get_offset() * NSEC_PER_USEC;
186         nsec -= (jiffies - wall_jiffies) * TICK_NSEC;
187
188         wtm_sec  = wall_to_monotonic.tv_sec + (xtime.tv_sec - sec);
189         wtm_nsec = wall_to_monotonic.tv_nsec + (xtime.tv_nsec - nsec);
190
191         set_normalized_timespec(&xtime, sec, nsec);
192         set_normalized_timespec(&wall_to_monotonic, wtm_sec, wtm_nsec);
193
194         time_adjust = 0;                /* stop active adjtime() */
195         time_status |= STA_UNSYNC;
196         time_maxerror = NTP_PHASE_LIMIT;
197         time_esterror = NTP_PHASE_LIMIT;
198         write_sequnlock_irq(&xtime_lock);
199         clock_was_set();
200         return 0;
201 }
202
203 EXPORT_SYMBOL(do_settimeofday);
204
205 static int set_rtc_mmss(unsigned long nowtime)
206 {
207         int retval;
208
209         WARN_ON(irqs_disabled());
210
211         /* gets recalled with irq locally disabled */
212         spin_lock_irq(&rtc_lock);
213         if (efi_enabled)
214                 retval = efi_set_rtc_mmss(nowtime);
215         else
216                 retval = mach_set_rtc_mmss(nowtime);
217         spin_unlock_irq(&rtc_lock);
218
219         return retval;
220 }
221
222
223 int timer_ack;
224
225 /* monotonic_clock(): returns # of nanoseconds passed since time_init()
226  *              Note: This function is required to return accurate
227  *              time even in the absence of multiple timer ticks.
228  */
229 unsigned long long monotonic_clock(void)
230 {
231         return cur_timer->monotonic_clock();
232 }
233 EXPORT_SYMBOL(monotonic_clock);
234
235 #if defined(CONFIG_SMP) && defined(CONFIG_FRAME_POINTER)
236 unsigned long profile_pc(struct pt_regs *regs)
237 {
238         unsigned long pc = instruction_pointer(regs);
239
240         if (in_lock_functions(pc))
241                 return *(unsigned long *)(regs->ebp + 4);
242
243         return pc;
244 }
245 EXPORT_SYMBOL(profile_pc);
246 #endif
247
248 /*
249  * timer_interrupt() needs to keep up the real-time clock,
250  * as well as call the "do_timer()" routine every clocktick
251  */
252 static inline void do_timer_interrupt(int irq, void *dev_id,
253                                         struct pt_regs *regs)
254 {
255 #ifdef CONFIG_X86_IO_APIC
256         if (timer_ack) {
257                 /*
258                  * Subtle, when I/O APICs are used we have to ack timer IRQ
259                  * manually to reset the IRR bit for do_slow_gettimeoffset().
260                  * This will also deassert NMI lines for the watchdog if run
261                  * on an 82489DX-based system.
262                  */
263                 spin_lock(&i8259A_lock);
264                 outb(0x0c, PIC_MASTER_OCW3);
265                 /* Ack the IRQ; AEOI will end it automatically. */
266                 inb(PIC_MASTER_POLL);
267                 spin_unlock(&i8259A_lock);
268         }
269 #endif
270
271         do_timer_interrupt_hook(regs);
272
273
274         if (MCA_bus) {
275                 /* The PS/2 uses level-triggered interrupts.  You can't
276                 turn them off, nor would you want to (any attempt to
277                 enable edge-triggered interrupts usually gets intercepted by a
278                 special hardware circuit).  Hence we have to acknowledge
279                 the timer interrupt.  Through some incredibly stupid
280                 design idea, the reset for IRQ 0 is done by setting the
281                 high bit of the PPI port B (0x61).  Note that some PS/2s,
282                 notably the 55SX, work fine if this is removed.  */
283
284                 irq = inb_p( 0x61 );    /* read the current state */
285                 outb_p( irq|0x80, 0x61 );       /* reset the IRQ */
286         }
287 }
288
289 /*
290  * This is the same as the above, except we _also_ save the current
291  * Time Stamp Counter value at the time of the timer interrupt, so that
292  * we later on can estimate the time of day more exactly.
293  */
294 irqreturn_t timer_interrupt(int irq, void *dev_id, struct pt_regs *regs)
295 {
296         /*
297          * Here we are in the timer irq handler. We just have irqs locally
298          * disabled but we don't know if the timer_bh is running on the other
299          * CPU. We need to avoid to SMP race with it. NOTE: we don' t need
300          * the irq version of write_lock because as just said we have irq
301          * locally disabled. -arca
302          */
303         write_seqlock(&xtime_lock);
304
305         cur_timer->mark_offset();
306  
307         do_timer_interrupt(irq, NULL, regs);
308
309         write_sequnlock(&xtime_lock);
310         return IRQ_HANDLED;
311 }
312
313 /* not static: needed by APM */
314 unsigned long get_cmos_time(void)
315 {
316         unsigned long retval;
317
318         spin_lock(&rtc_lock);
319
320         if (efi_enabled)
321                 retval = efi_get_time();
322         else
323                 retval = mach_get_cmos_time();
324
325         spin_unlock(&rtc_lock);
326
327         return retval;
328 }
329 EXPORT_SYMBOL(get_cmos_time);
330
331 static void sync_cmos_clock(unsigned long dummy);
332
333 static struct timer_list sync_cmos_timer =
334                                       TIMER_INITIALIZER(sync_cmos_clock, 0, 0);
335
336 static void sync_cmos_clock(unsigned long dummy)
337 {
338         struct timeval now, next;
339         int fail = 1;
340
341         /*
342          * If we have an externally synchronized Linux clock, then update
343          * CMOS clock accordingly every ~11 minutes. Set_rtc_mmss() has to be
344          * called as close as possible to 500 ms before the new second starts.
345          * This code is run on a timer.  If the clock is set, that timer
346          * may not expire at the correct time.  Thus, we adjust...
347          */
348         if ((time_status & STA_UNSYNC) != 0)
349                 /*
350                  * Not synced, exit, do not restart a timer (if one is
351                  * running, let it run out).
352                  */
353                 return;
354
355         do_gettimeofday(&now);
356         if (now.tv_usec >= USEC_AFTER - ((unsigned) TICK_SIZE) / 2 &&
357             now.tv_usec <= USEC_BEFORE + ((unsigned) TICK_SIZE) / 2)
358                 fail = set_rtc_mmss(now.tv_sec);
359
360         next.tv_usec = USEC_AFTER - now.tv_usec;
361         if (next.tv_usec <= 0)
362                 next.tv_usec += USEC_PER_SEC;
363
364         if (!fail)
365                 next.tv_sec = 659;
366         else
367                 next.tv_sec = 0;
368
369         if (next.tv_usec >= USEC_PER_SEC) {
370                 next.tv_sec++;
371                 next.tv_usec -= USEC_PER_SEC;
372         }
373         mod_timer(&sync_cmos_timer, jiffies + timeval_to_jiffies(&next));
374 }
375
376 void notify_arch_cmos_timer(void)
377 {
378         mod_timer(&sync_cmos_timer, jiffies + 1);
379 }
380
381 static long clock_cmos_diff, sleep_start;
382
383 static int timer_suspend(struct sys_device *dev, pm_message_t state)
384 {
385         /*
386          * Estimate time zone so that set_time can update the clock
387          */
388         clock_cmos_diff = -get_cmos_time();
389         clock_cmos_diff += get_seconds();
390         sleep_start = get_cmos_time();
391         return 0;
392 }
393
394 static int timer_resume(struct sys_device *dev)
395 {
396         unsigned long flags;
397         unsigned long sec;
398         unsigned long sleep_length;
399
400 #ifdef CONFIG_HPET_TIMER
401         if (is_hpet_enabled())
402                 hpet_reenable();
403 #endif
404         sec = get_cmos_time() + clock_cmos_diff;
405         sleep_length = (get_cmos_time() - sleep_start) * HZ;
406         write_seqlock_irqsave(&xtime_lock, flags);
407         xtime.tv_sec = sec;
408         xtime.tv_nsec = 0;
409         write_sequnlock_irqrestore(&xtime_lock, flags);
410         jiffies += sleep_length;
411         wall_jiffies += sleep_length;
412         return 0;
413 }
414
415 static struct sysdev_class timer_sysclass = {
416         .resume = timer_resume,
417         .suspend = timer_suspend,
418         set_kset_name("timer"),
419 };
420
421
422 /* XXX this driverfs stuff should probably go elsewhere later -john */
423 static struct sys_device device_timer = {
424         .id     = 0,
425         .cls    = &timer_sysclass,
426 };
427
428 static int time_init_device(void)
429 {
430         int error = sysdev_class_register(&timer_sysclass);
431         if (!error)
432                 error = sysdev_register(&device_timer);
433         return error;
434 }
435
436 device_initcall(time_init_device);
437
438 #ifdef CONFIG_HPET_TIMER
439 extern void (*late_time_init)(void);
440 /* Duplicate of time_init() below, with hpet_enable part added */
441 static void __init hpet_time_init(void)
442 {
443         xtime.tv_sec = get_cmos_time();
444         xtime.tv_nsec = (INITIAL_JIFFIES % HZ) * (NSEC_PER_SEC / HZ);
445         set_normalized_timespec(&wall_to_monotonic,
446                 -xtime.tv_sec, -xtime.tv_nsec);
447
448         if ((hpet_enable() >= 0) && hpet_use_timer) {
449                 printk("Using HPET for base-timer\n");
450         }
451
452         cur_timer = select_timer();
453         printk(KERN_INFO "Using %s for high-res timesource\n",cur_timer->name);
454
455         time_init_hook();
456 }
457 #endif
458
459 void __init time_init(void)
460 {
461 #ifdef CONFIG_HPET_TIMER
462         if (is_hpet_capable()) {
463                 /*
464                  * HPET initialization needs to do memory-mapped io. So, let
465                  * us do a late initialization after mem_init().
466                  */
467                 late_time_init = hpet_time_init;
468                 return;
469         }
470 #endif
471         xtime.tv_sec = get_cmos_time();
472         xtime.tv_nsec = (INITIAL_JIFFIES % HZ) * (NSEC_PER_SEC / HZ);
473         set_normalized_timespec(&wall_to_monotonic,
474                 -xtime.tv_sec, -xtime.tv_nsec);
475
476         cur_timer = select_timer();
477         printk(KERN_INFO "Using %s for high-res timesource\n",cur_timer->name);
478
479         time_init_hook();
480 }