Merge branch 'master' of master.kernel.org:/pub/scm/linux/kernel/git/linville/wireles...
[linux-2.6] / arch / x86 / lib / delay_32.c
1 /*
2  *      Precise Delay Loops for i386
3  *
4  *      Copyright (C) 1993 Linus Torvalds
5  *      Copyright (C) 1997 Martin Mares <mj@atrey.karlin.mff.cuni.cz>
6  *
7  *      The __delay function must _NOT_ be inlined as its execution time
8  *      depends wildly on alignment on many x86 processors. The additional
9  *      jump magic is needed to get the timing stable on all the CPU's
10  *      we have to worry about.
11  */
12
13 #include <linux/module.h>
14 #include <linux/sched.h>
15 #include <linux/timex.h>
16 #include <linux/preempt.h>
17 #include <linux/delay.h>
18 #include <linux/init.h>
19
20 #include <asm/processor.h>
21 #include <asm/delay.h>
22 #include <asm/timer.h>
23
24 #ifdef CONFIG_SMP
25 # include <asm/smp.h>
26 #endif
27
28 /* simple loop based delay: */
29 static void delay_loop(unsigned long loops)
30 {
31         int d0;
32
33         __asm__ __volatile__(
34                 "\tjmp 1f\n"
35                 ".align 16\n"
36                 "1:\tjmp 2f\n"
37                 ".align 16\n"
38                 "2:\tdecl %0\n\tjns 2b"
39                 :"=&a" (d0)
40                 :"0" (loops));
41 }
42
43 /* TSC based delay: */
44 static void delay_tsc(unsigned long loops)
45 {
46         unsigned long bclock, now;
47         int cpu;
48
49         preempt_disable();
50         cpu = smp_processor_id();
51         rdtscl(bclock);
52         for (;;) {
53                 rdtscl(now);
54                 if ((now - bclock) >= loops)
55                         break;
56
57                 /* Allow RT tasks to run */
58                 preempt_enable();
59                 rep_nop();
60                 preempt_disable();
61
62                 /*
63                  * It is possible that we moved to another CPU, and
64                  * since TSC's are per-cpu we need to calculate
65                  * that. The delay must guarantee that we wait "at
66                  * least" the amount of time. Being moved to another
67                  * CPU could make the wait longer but we just need to
68                  * make sure we waited long enough. Rebalance the
69                  * counter for this CPU.
70                  */
71                 if (unlikely(cpu != smp_processor_id())) {
72                         loops -= (now - bclock);
73                         cpu = smp_processor_id();
74                         rdtscl(bclock);
75                 }
76         }
77         preempt_enable();
78 }
79
80 /*
81  * Since we calibrate only once at boot, this
82  * function should be set once at boot and not changed
83  */
84 static void (*delay_fn)(unsigned long) = delay_loop;
85
86 void use_tsc_delay(void)
87 {
88         delay_fn = delay_tsc;
89 }
90
91 int __devinit read_current_timer(unsigned long *timer_val)
92 {
93         if (delay_fn == delay_tsc) {
94                 rdtscl(*timer_val);
95                 return 0;
96         }
97         return -1;
98 }
99
100 void __delay(unsigned long loops)
101 {
102         delay_fn(loops);
103 }
104
105 inline void __const_udelay(unsigned long xloops)
106 {
107         int d0;
108
109         xloops *= 4;
110         __asm__("mull %0"
111                 :"=d" (xloops), "=&a" (d0)
112                 :"1" (xloops), "0"
113                 (cpu_data(raw_smp_processor_id()).loops_per_jiffy * (HZ/4)));
114
115         __delay(++xloops);
116 }
117
118 void __udelay(unsigned long usecs)
119 {
120         __const_udelay(usecs * 0x000010c7); /* 2**32 / 1000000 (rounded up) */
121 }
122
123 void __ndelay(unsigned long nsecs)
124 {
125         __const_udelay(nsecs * 0x00005); /* 2**32 / 1000000000 (rounded up) */
126 }
127
128 EXPORT_SYMBOL(__delay);
129 EXPORT_SYMBOL(__const_udelay);
130 EXPORT_SYMBOL(__udelay);
131 EXPORT_SYMBOL(__ndelay);