Add new 'cond_resched_bkl()' helper function
[linux-2.6] / kernel / time.c
1 /*
2  *  linux/kernel/time.c
3  *
4  *  Copyright (C) 1991, 1992  Linus Torvalds
5  *
6  *  This file contains the interface functions for the various
7  *  time related system calls: time, stime, gettimeofday, settimeofday,
8  *                             adjtime
9  */
10 /*
11  * Modification history kernel/time.c
12  *
13  * 1993-09-02    Philip Gladstone
14  *      Created file with time related functions from sched.c and adjtimex()
15  * 1993-10-08    Torsten Duwe
16  *      adjtime interface update and CMOS clock write code
17  * 1995-08-13    Torsten Duwe
18  *      kernel PLL updated to 1994-12-13 specs (rfc-1589)
19  * 1999-01-16    Ulrich Windl
20  *      Introduced error checking for many cases in adjtimex().
21  *      Updated NTP code according to technical memorandum Jan '96
22  *      "A Kernel Model for Precision Timekeeping" by Dave Mills
23  *      Allow time_constant larger than MAXTC(6) for NTP v4 (MAXTC == 10)
24  *      (Even though the technical memorandum forbids it)
25  * 2004-07-14    Christoph Lameter
26  *      Added getnstimeofday to allow the posix timer functions to return
27  *      with nanosecond accuracy
28  */
29
30 #include <linux/module.h>
31 #include <linux/timex.h>
32 #include <linux/capability.h>
33 #include <linux/clocksource.h>
34 #include <linux/errno.h>
35 #include <linux/syscalls.h>
36 #include <linux/security.h>
37 #include <linux/fs.h>
38 #include <linux/slab.h>
39 #include <linux/math64.h>
40
41 #include <asm/uaccess.h>
42 #include <asm/unistd.h>
43
44 #include "timeconst.h"
45
46 /*
47  * The timezone where the local system is located.  Used as a default by some
48  * programs who obtain this value by using gettimeofday.
49  */
50 struct timezone sys_tz;
51
52 EXPORT_SYMBOL(sys_tz);
53
54 #ifdef __ARCH_WANT_SYS_TIME
55
56 /*
57  * sys_time() can be implemented in user-level using
58  * sys_gettimeofday().  Is this for backwards compatibility?  If so,
59  * why not move it into the appropriate arch directory (for those
60  * architectures that need it).
61  */
62 asmlinkage long sys_time(time_t __user * tloc)
63 {
64         time_t i = get_seconds();
65
66         if (tloc) {
67                 if (put_user(i,tloc))
68                         i = -EFAULT;
69         }
70         return i;
71 }
72
73 /*
74  * sys_stime() can be implemented in user-level using
75  * sys_settimeofday().  Is this for backwards compatibility?  If so,
76  * why not move it into the appropriate arch directory (for those
77  * architectures that need it).
78  */
79
80 asmlinkage long sys_stime(time_t __user *tptr)
81 {
82         struct timespec tv;
83         int err;
84
85         if (get_user(tv.tv_sec, tptr))
86                 return -EFAULT;
87
88         tv.tv_nsec = 0;
89
90         err = security_settime(&tv, NULL);
91         if (err)
92                 return err;
93
94         do_settimeofday(&tv);
95         return 0;
96 }
97
98 #endif /* __ARCH_WANT_SYS_TIME */
99
100 asmlinkage long sys_gettimeofday(struct timeval __user *tv,
101                                  struct timezone __user *tz)
102 {
103         if (likely(tv != NULL)) {
104                 struct timeval ktv;
105                 do_gettimeofday(&ktv);
106                 if (copy_to_user(tv, &ktv, sizeof(ktv)))
107                         return -EFAULT;
108         }
109         if (unlikely(tz != NULL)) {
110                 if (copy_to_user(tz, &sys_tz, sizeof(sys_tz)))
111                         return -EFAULT;
112         }
113         return 0;
114 }
115
116 /*
117  * Adjust the time obtained from the CMOS to be UTC time instead of
118  * local time.
119  *
120  * This is ugly, but preferable to the alternatives.  Otherwise we
121  * would either need to write a program to do it in /etc/rc (and risk
122  * confusion if the program gets run more than once; it would also be
123  * hard to make the program warp the clock precisely n hours)  or
124  * compile in the timezone information into the kernel.  Bad, bad....
125  *
126  *                                              - TYT, 1992-01-01
127  *
128  * The best thing to do is to keep the CMOS clock in universal time (UTC)
129  * as real UNIX machines always do it. This avoids all headaches about
130  * daylight saving times and warping kernel clocks.
131  */
132 static inline void warp_clock(void)
133 {
134         write_seqlock_irq(&xtime_lock);
135         wall_to_monotonic.tv_sec -= sys_tz.tz_minuteswest * 60;
136         xtime.tv_sec += sys_tz.tz_minuteswest * 60;
137         update_xtime_cache(0);
138         write_sequnlock_irq(&xtime_lock);
139         clock_was_set();
140 }
141
142 /*
143  * In case for some reason the CMOS clock has not already been running
144  * in UTC, but in some local time: The first time we set the timezone,
145  * we will warp the clock so that it is ticking UTC time instead of
146  * local time. Presumably, if someone is setting the timezone then we
147  * are running in an environment where the programs understand about
148  * timezones. This should be done at boot time in the /etc/rc script,
149  * as soon as possible, so that the clock can be set right. Otherwise,
150  * various programs will get confused when the clock gets warped.
151  */
152
153 int do_sys_settimeofday(struct timespec *tv, struct timezone *tz)
154 {
155         static int firsttime = 1;
156         int error = 0;
157
158         if (tv && !timespec_valid(tv))
159                 return -EINVAL;
160
161         error = security_settime(tv, tz);
162         if (error)
163                 return error;
164
165         if (tz) {
166                 /* SMP safe, global irq locking makes it work. */
167                 sys_tz = *tz;
168                 update_vsyscall_tz();
169                 if (firsttime) {
170                         firsttime = 0;
171                         if (!tv)
172                                 warp_clock();
173                 }
174         }
175         if (tv)
176         {
177                 /* SMP safe, again the code in arch/foo/time.c should
178                  * globally block out interrupts when it runs.
179                  */
180                 return do_settimeofday(tv);
181         }
182         return 0;
183 }
184
185 asmlinkage long sys_settimeofday(struct timeval __user *tv,
186                                 struct timezone __user *tz)
187 {
188         struct timeval user_tv;
189         struct timespec new_ts;
190         struct timezone new_tz;
191
192         if (tv) {
193                 if (copy_from_user(&user_tv, tv, sizeof(*tv)))
194                         return -EFAULT;
195                 new_ts.tv_sec = user_tv.tv_sec;
196                 new_ts.tv_nsec = user_tv.tv_usec * NSEC_PER_USEC;
197         }
198         if (tz) {
199                 if (copy_from_user(&new_tz, tz, sizeof(*tz)))
200                         return -EFAULT;
201         }
202
203         return do_sys_settimeofday(tv ? &new_ts : NULL, tz ? &new_tz : NULL);
204 }
205
206 asmlinkage long sys_adjtimex(struct timex __user *txc_p)
207 {
208         struct timex txc;               /* Local copy of parameter */
209         int ret;
210
211         /* Copy the user data space into the kernel copy
212          * structure. But bear in mind that the structures
213          * may change
214          */
215         if(copy_from_user(&txc, txc_p, sizeof(struct timex)))
216                 return -EFAULT;
217         ret = do_adjtimex(&txc);
218         return copy_to_user(txc_p, &txc, sizeof(struct timex)) ? -EFAULT : ret;
219 }
220
221 /**
222  * current_fs_time - Return FS time
223  * @sb: Superblock.
224  *
225  * Return the current time truncated to the time granularity supported by
226  * the fs.
227  */
228 struct timespec current_fs_time(struct super_block *sb)
229 {
230         struct timespec now = current_kernel_time();
231         return timespec_trunc(now, sb->s_time_gran);
232 }
233 EXPORT_SYMBOL(current_fs_time);
234
235 /*
236  * Convert jiffies to milliseconds and back.
237  *
238  * Avoid unnecessary multiplications/divisions in the
239  * two most common HZ cases:
240  */
241 unsigned int inline jiffies_to_msecs(const unsigned long j)
242 {
243 #if HZ <= MSEC_PER_SEC && !(MSEC_PER_SEC % HZ)
244         return (MSEC_PER_SEC / HZ) * j;
245 #elif HZ > MSEC_PER_SEC && !(HZ % MSEC_PER_SEC)
246         return (j + (HZ / MSEC_PER_SEC) - 1)/(HZ / MSEC_PER_SEC);
247 #else
248 # if BITS_PER_LONG == 32
249         return (HZ_TO_MSEC_MUL32 * j) >> HZ_TO_MSEC_SHR32;
250 # else
251         return (j * HZ_TO_MSEC_NUM) / HZ_TO_MSEC_DEN;
252 # endif
253 #endif
254 }
255 EXPORT_SYMBOL(jiffies_to_msecs);
256
257 unsigned int inline jiffies_to_usecs(const unsigned long j)
258 {
259 #if HZ <= USEC_PER_SEC && !(USEC_PER_SEC % HZ)
260         return (USEC_PER_SEC / HZ) * j;
261 #elif HZ > USEC_PER_SEC && !(HZ % USEC_PER_SEC)
262         return (j + (HZ / USEC_PER_SEC) - 1)/(HZ / USEC_PER_SEC);
263 #else
264 # if BITS_PER_LONG == 32
265         return (HZ_TO_USEC_MUL32 * j) >> HZ_TO_USEC_SHR32;
266 # else
267         return (j * HZ_TO_USEC_NUM) / HZ_TO_USEC_DEN;
268 # endif
269 #endif
270 }
271 EXPORT_SYMBOL(jiffies_to_usecs);
272
273 /**
274  * timespec_trunc - Truncate timespec to a granularity
275  * @t: Timespec
276  * @gran: Granularity in ns.
277  *
278  * Truncate a timespec to a granularity. gran must be smaller than a second.
279  * Always rounds down.
280  *
281  * This function should be only used for timestamps returned by
282  * current_kernel_time() or CURRENT_TIME, not with do_gettimeofday() because
283  * it doesn't handle the better resolution of the latter.
284  */
285 struct timespec timespec_trunc(struct timespec t, unsigned gran)
286 {
287         /*
288          * Division is pretty slow so avoid it for common cases.
289          * Currently current_kernel_time() never returns better than
290          * jiffies resolution. Exploit that.
291          */
292         if (gran <= jiffies_to_usecs(1) * 1000) {
293                 /* nothing */
294         } else if (gran == 1000000000) {
295                 t.tv_nsec = 0;
296         } else {
297                 t.tv_nsec -= t.tv_nsec % gran;
298         }
299         return t;
300 }
301 EXPORT_SYMBOL(timespec_trunc);
302
303 #ifndef CONFIG_GENERIC_TIME
304 /*
305  * Simulate gettimeofday using do_gettimeofday which only allows a timeval
306  * and therefore only yields usec accuracy
307  */
308 void getnstimeofday(struct timespec *tv)
309 {
310         struct timeval x;
311
312         do_gettimeofday(&x);
313         tv->tv_sec = x.tv_sec;
314         tv->tv_nsec = x.tv_usec * NSEC_PER_USEC;
315 }
316 EXPORT_SYMBOL_GPL(getnstimeofday);
317 #endif
318
319 /* Converts Gregorian date to seconds since 1970-01-01 00:00:00.
320  * Assumes input in normal date format, i.e. 1980-12-31 23:59:59
321  * => year=1980, mon=12, day=31, hour=23, min=59, sec=59.
322  *
323  * [For the Julian calendar (which was used in Russia before 1917,
324  * Britain & colonies before 1752, anywhere else before 1582,
325  * and is still in use by some communities) leave out the
326  * -year/100+year/400 terms, and add 10.]
327  *
328  * This algorithm was first published by Gauss (I think).
329  *
330  * WARNING: this function will overflow on 2106-02-07 06:28:16 on
331  * machines where long is 32-bit! (However, as time_t is signed, we
332  * will already get problems at other places on 2038-01-19 03:14:08)
333  */
334 unsigned long
335 mktime(const unsigned int year0, const unsigned int mon0,
336        const unsigned int day, const unsigned int hour,
337        const unsigned int min, const unsigned int sec)
338 {
339         unsigned int mon = mon0, year = year0;
340
341         /* 1..12 -> 11,12,1..10 */
342         if (0 >= (int) (mon -= 2)) {
343                 mon += 12;      /* Puts Feb last since it has leap day */
344                 year -= 1;
345         }
346
347         return ((((unsigned long)
348                   (year/4 - year/100 + year/400 + 367*mon/12 + day) +
349                   year*365 - 719499
350             )*24 + hour /* now have hours */
351           )*60 + min /* now have minutes */
352         )*60 + sec; /* finally seconds */
353 }
354
355 EXPORT_SYMBOL(mktime);
356
357 /**
358  * set_normalized_timespec - set timespec sec and nsec parts and normalize
359  *
360  * @ts:         pointer to timespec variable to be set
361  * @sec:        seconds to set
362  * @nsec:       nanoseconds to set
363  *
364  * Set seconds and nanoseconds field of a timespec variable and
365  * normalize to the timespec storage format
366  *
367  * Note: The tv_nsec part is always in the range of
368  *      0 <= tv_nsec < NSEC_PER_SEC
369  * For negative values only the tv_sec field is negative !
370  */
371 void set_normalized_timespec(struct timespec *ts, time_t sec, long nsec)
372 {
373         while (nsec >= NSEC_PER_SEC) {
374                 nsec -= NSEC_PER_SEC;
375                 ++sec;
376         }
377         while (nsec < 0) {
378                 nsec += NSEC_PER_SEC;
379                 --sec;
380         }
381         ts->tv_sec = sec;
382         ts->tv_nsec = nsec;
383 }
384 EXPORT_SYMBOL(set_normalized_timespec);
385
386 /**
387  * ns_to_timespec - Convert nanoseconds to timespec
388  * @nsec:       the nanoseconds value to be converted
389  *
390  * Returns the timespec representation of the nsec parameter.
391  */
392 struct timespec ns_to_timespec(const s64 nsec)
393 {
394         struct timespec ts;
395         s32 rem;
396
397         if (!nsec)
398                 return (struct timespec) {0, 0};
399
400         ts.tv_sec = div_s64_rem(nsec, NSEC_PER_SEC, &rem);
401         if (unlikely(rem < 0)) {
402                 ts.tv_sec--;
403                 rem += NSEC_PER_SEC;
404         }
405         ts.tv_nsec = rem;
406
407         return ts;
408 }
409 EXPORT_SYMBOL(ns_to_timespec);
410
411 /**
412  * ns_to_timeval - Convert nanoseconds to timeval
413  * @nsec:       the nanoseconds value to be converted
414  *
415  * Returns the timeval representation of the nsec parameter.
416  */
417 struct timeval ns_to_timeval(const s64 nsec)
418 {
419         struct timespec ts = ns_to_timespec(nsec);
420         struct timeval tv;
421
422         tv.tv_sec = ts.tv_sec;
423         tv.tv_usec = (suseconds_t) ts.tv_nsec / 1000;
424
425         return tv;
426 }
427 EXPORT_SYMBOL(ns_to_timeval);
428
429 /*
430  * When we convert to jiffies then we interpret incoming values
431  * the following way:
432  *
433  * - negative values mean 'infinite timeout' (MAX_JIFFY_OFFSET)
434  *
435  * - 'too large' values [that would result in larger than
436  *   MAX_JIFFY_OFFSET values] mean 'infinite timeout' too.
437  *
438  * - all other values are converted to jiffies by either multiplying
439  *   the input value by a factor or dividing it with a factor
440  *
441  * We must also be careful about 32-bit overflows.
442  */
443 unsigned long msecs_to_jiffies(const unsigned int m)
444 {
445         /*
446          * Negative value, means infinite timeout:
447          */
448         if ((int)m < 0)
449                 return MAX_JIFFY_OFFSET;
450
451 #if HZ <= MSEC_PER_SEC && !(MSEC_PER_SEC % HZ)
452         /*
453          * HZ is equal to or smaller than 1000, and 1000 is a nice
454          * round multiple of HZ, divide with the factor between them,
455          * but round upwards:
456          */
457         return (m + (MSEC_PER_SEC / HZ) - 1) / (MSEC_PER_SEC / HZ);
458 #elif HZ > MSEC_PER_SEC && !(HZ % MSEC_PER_SEC)
459         /*
460          * HZ is larger than 1000, and HZ is a nice round multiple of
461          * 1000 - simply multiply with the factor between them.
462          *
463          * But first make sure the multiplication result cannot
464          * overflow:
465          */
466         if (m > jiffies_to_msecs(MAX_JIFFY_OFFSET))
467                 return MAX_JIFFY_OFFSET;
468
469         return m * (HZ / MSEC_PER_SEC);
470 #else
471         /*
472          * Generic case - multiply, round and divide. But first
473          * check that if we are doing a net multiplication, that
474          * we wouldn't overflow:
475          */
476         if (HZ > MSEC_PER_SEC && m > jiffies_to_msecs(MAX_JIFFY_OFFSET))
477                 return MAX_JIFFY_OFFSET;
478
479         return (MSEC_TO_HZ_MUL32 * m + MSEC_TO_HZ_ADJ32)
480                 >> MSEC_TO_HZ_SHR32;
481 #endif
482 }
483 EXPORT_SYMBOL(msecs_to_jiffies);
484
485 unsigned long usecs_to_jiffies(const unsigned int u)
486 {
487         if (u > jiffies_to_usecs(MAX_JIFFY_OFFSET))
488                 return MAX_JIFFY_OFFSET;
489 #if HZ <= USEC_PER_SEC && !(USEC_PER_SEC % HZ)
490         return (u + (USEC_PER_SEC / HZ) - 1) / (USEC_PER_SEC / HZ);
491 #elif HZ > USEC_PER_SEC && !(HZ % USEC_PER_SEC)
492         return u * (HZ / USEC_PER_SEC);
493 #else
494         return (USEC_TO_HZ_MUL32 * u + USEC_TO_HZ_ADJ32)
495                 >> USEC_TO_HZ_SHR32;
496 #endif
497 }
498 EXPORT_SYMBOL(usecs_to_jiffies);
499
500 /*
501  * The TICK_NSEC - 1 rounds up the value to the next resolution.  Note
502  * that a remainder subtract here would not do the right thing as the
503  * resolution values don't fall on second boundries.  I.e. the line:
504  * nsec -= nsec % TICK_NSEC; is NOT a correct resolution rounding.
505  *
506  * Rather, we just shift the bits off the right.
507  *
508  * The >> (NSEC_JIFFIE_SC - SEC_JIFFIE_SC) converts the scaled nsec
509  * value to a scaled second value.
510  */
511 unsigned long
512 timespec_to_jiffies(const struct timespec *value)
513 {
514         unsigned long sec = value->tv_sec;
515         long nsec = value->tv_nsec + TICK_NSEC - 1;
516
517         if (sec >= MAX_SEC_IN_JIFFIES){
518                 sec = MAX_SEC_IN_JIFFIES;
519                 nsec = 0;
520         }
521         return (((u64)sec * SEC_CONVERSION) +
522                 (((u64)nsec * NSEC_CONVERSION) >>
523                  (NSEC_JIFFIE_SC - SEC_JIFFIE_SC))) >> SEC_JIFFIE_SC;
524
525 }
526 EXPORT_SYMBOL(timespec_to_jiffies);
527
528 void
529 jiffies_to_timespec(const unsigned long jiffies, struct timespec *value)
530 {
531         /*
532          * Convert jiffies to nanoseconds and separate with
533          * one divide.
534          */
535         u32 rem;
536         value->tv_sec = div_u64_rem((u64)jiffies * TICK_NSEC,
537                                     NSEC_PER_SEC, &rem);
538         value->tv_nsec = rem;
539 }
540 EXPORT_SYMBOL(jiffies_to_timespec);
541
542 /* Same for "timeval"
543  *
544  * Well, almost.  The problem here is that the real system resolution is
545  * in nanoseconds and the value being converted is in micro seconds.
546  * Also for some machines (those that use HZ = 1024, in-particular),
547  * there is a LARGE error in the tick size in microseconds.
548
549  * The solution we use is to do the rounding AFTER we convert the
550  * microsecond part.  Thus the USEC_ROUND, the bits to be shifted off.
551  * Instruction wise, this should cost only an additional add with carry
552  * instruction above the way it was done above.
553  */
554 unsigned long
555 timeval_to_jiffies(const struct timeval *value)
556 {
557         unsigned long sec = value->tv_sec;
558         long usec = value->tv_usec;
559
560         if (sec >= MAX_SEC_IN_JIFFIES){
561                 sec = MAX_SEC_IN_JIFFIES;
562                 usec = 0;
563         }
564         return (((u64)sec * SEC_CONVERSION) +
565                 (((u64)usec * USEC_CONVERSION + USEC_ROUND) >>
566                  (USEC_JIFFIE_SC - SEC_JIFFIE_SC))) >> SEC_JIFFIE_SC;
567 }
568 EXPORT_SYMBOL(timeval_to_jiffies);
569
570 void jiffies_to_timeval(const unsigned long jiffies, struct timeval *value)
571 {
572         /*
573          * Convert jiffies to nanoseconds and separate with
574          * one divide.
575          */
576         u32 rem;
577
578         value->tv_sec = div_u64_rem((u64)jiffies * TICK_NSEC,
579                                     NSEC_PER_SEC, &rem);
580         value->tv_usec = rem / NSEC_PER_USEC;
581 }
582 EXPORT_SYMBOL(jiffies_to_timeval);
583
584 /*
585  * Convert jiffies/jiffies_64 to clock_t and back.
586  */
587 clock_t jiffies_to_clock_t(long x)
588 {
589 #if (TICK_NSEC % (NSEC_PER_SEC / USER_HZ)) == 0
590 # if HZ < USER_HZ
591         return x * (USER_HZ / HZ);
592 # else
593         return x / (HZ / USER_HZ);
594 # endif
595 #else
596         return div_u64((u64)x * TICK_NSEC, NSEC_PER_SEC / USER_HZ);
597 #endif
598 }
599 EXPORT_SYMBOL(jiffies_to_clock_t);
600
601 unsigned long clock_t_to_jiffies(unsigned long x)
602 {
603 #if (HZ % USER_HZ)==0
604         if (x >= ~0UL / (HZ / USER_HZ))
605                 return ~0UL;
606         return x * (HZ / USER_HZ);
607 #else
608         /* Don't worry about loss of precision here .. */
609         if (x >= ~0UL / HZ * USER_HZ)
610                 return ~0UL;
611
612         /* .. but do try to contain it here */
613         return div_u64((u64)x * HZ, USER_HZ);
614 #endif
615 }
616 EXPORT_SYMBOL(clock_t_to_jiffies);
617
618 u64 jiffies_64_to_clock_t(u64 x)
619 {
620 #if (TICK_NSEC % (NSEC_PER_SEC / USER_HZ)) == 0
621 # if HZ < USER_HZ
622         x = div_u64(x * USER_HZ, HZ);
623 # elif HZ > USER_HZ
624         x = div_u64(x, HZ / USER_HZ);
625 # else
626         /* Nothing to do */
627 # endif
628 #else
629         /*
630          * There are better ways that don't overflow early,
631          * but even this doesn't overflow in hundreds of years
632          * in 64 bits, so..
633          */
634         x = div_u64(x * TICK_NSEC, (NSEC_PER_SEC / USER_HZ));
635 #endif
636         return x;
637 }
638 EXPORT_SYMBOL(jiffies_64_to_clock_t);
639
640 u64 nsec_to_clock_t(u64 x)
641 {
642 #if (NSEC_PER_SEC % USER_HZ) == 0
643         return div_u64(x, NSEC_PER_SEC / USER_HZ);
644 #elif (USER_HZ % 512) == 0
645         return div_u64(x * USER_HZ / 512, NSEC_PER_SEC / 512);
646 #else
647         /*
648          * max relative error 5.7e-8 (1.8s per year) for USER_HZ <= 1024,
649          * overflow after 64.99 years.
650          * exact for HZ=60, 72, 90, 120, 144, 180, 300, 600, 900, ...
651          */
652         return div_u64(x * 9, (9ull * NSEC_PER_SEC + (USER_HZ / 2)) / USER_HZ);
653 #endif
654 }
655
656 #if (BITS_PER_LONG < 64)
657 u64 get_jiffies_64(void)
658 {
659         unsigned long seq;
660         u64 ret;
661
662         do {
663                 seq = read_seqbegin(&xtime_lock);
664                 ret = jiffies_64;
665         } while (read_seqretry(&xtime_lock, seq));
666         return ret;
667 }
668 EXPORT_SYMBOL(get_jiffies_64);
669 #endif
670
671 EXPORT_SYMBOL(jiffies);