Merge master.kernel.org:/home/rmk/linux-2.6-serial
[linux-2.6] / arch / ia64 / ia32 / sys_ia32.c
1 /*
2  * sys_ia32.c: Conversion between 32bit and 64bit native syscalls. Derived from sys_sparc32.c.
3  *
4  * Copyright (C) 2000           VA Linux Co
5  * Copyright (C) 2000           Don Dugger <n0ano@valinux.com>
6  * Copyright (C) 1999           Arun Sharma <arun.sharma@intel.com>
7  * Copyright (C) 1997,1998      Jakub Jelinek (jj@sunsite.mff.cuni.cz)
8  * Copyright (C) 1997           David S. Miller (davem@caip.rutgers.edu)
9  * Copyright (C) 2000-2003, 2005 Hewlett-Packard Co
10  *      David Mosberger-Tang <davidm@hpl.hp.com>
11  * Copyright (C) 2004           Gordon Jin <gordon.jin@intel.com>
12  *
13  * These routines maintain argument size conversion between 32bit and 64bit
14  * environment.
15  */
16
17 #include <linux/config.h>
18 #include <linux/kernel.h>
19 #include <linux/syscalls.h>
20 #include <linux/sysctl.h>
21 #include <linux/sched.h>
22 #include <linux/fs.h>
23 #include <linux/file.h>
24 #include <linux/signal.h>
25 #include <linux/resource.h>
26 #include <linux/times.h>
27 #include <linux/utsname.h>
28 #include <linux/timex.h>
29 #include <linux/smp.h>
30 #include <linux/smp_lock.h>
31 #include <linux/sem.h>
32 #include <linux/msg.h>
33 #include <linux/mm.h>
34 #include <linux/shm.h>
35 #include <linux/slab.h>
36 #include <linux/uio.h>
37 #include <linux/nfs_fs.h>
38 #include <linux/quota.h>
39 #include <linux/syscalls.h>
40 #include <linux/sunrpc/svc.h>
41 #include <linux/nfsd/nfsd.h>
42 #include <linux/nfsd/cache.h>
43 #include <linux/nfsd/xdr.h>
44 #include <linux/nfsd/syscall.h>
45 #include <linux/poll.h>
46 #include <linux/eventpoll.h>
47 #include <linux/personality.h>
48 #include <linux/ptrace.h>
49 #include <linux/stat.h>
50 #include <linux/ipc.h>
51 #include <linux/capability.h>
52 #include <linux/compat.h>
53 #include <linux/vfs.h>
54 #include <linux/mman.h>
55 #include <linux/mutex.h>
56
57 #include <asm/intrinsics.h>
58 #include <asm/types.h>
59 #include <asm/uaccess.h>
60 #include <asm/unistd.h>
61
62 #include "ia32priv.h"
63
64 #include <net/scm.h>
65 #include <net/sock.h>
66
67 #define DEBUG   0
68
69 #if DEBUG
70 # define DBG(fmt...)    printk(KERN_DEBUG fmt)
71 #else
72 # define DBG(fmt...)
73 #endif
74
75 #define ROUND_UP(x,a)   ((__typeof__(x))(((unsigned long)(x) + ((a) - 1)) & ~((a) - 1)))
76
77 #define OFFSET4K(a)             ((a) & 0xfff)
78 #define PAGE_START(addr)        ((addr) & PAGE_MASK)
79 #define MINSIGSTKSZ_IA32        2048
80
81 #define high2lowuid(uid) ((uid) > 65535 ? 65534 : (uid))
82 #define high2lowgid(gid) ((gid) > 65535 ? 65534 : (gid))
83
84 /*
85  * Anything that modifies or inspects ia32 user virtual memory must hold this semaphore
86  * while doing so.
87  */
88 /* XXX make per-mm: */
89 static DEFINE_MUTEX(ia32_mmap_mutex);
90
91 asmlinkage long
92 sys32_execve (char __user *name, compat_uptr_t __user *argv, compat_uptr_t __user *envp,
93               struct pt_regs *regs)
94 {
95         long error;
96         char *filename;
97         unsigned long old_map_base, old_task_size, tssd;
98
99         filename = getname(name);
100         error = PTR_ERR(filename);
101         if (IS_ERR(filename))
102                 return error;
103
104         old_map_base  = current->thread.map_base;
105         old_task_size = current->thread.task_size;
106         tssd = ia64_get_kr(IA64_KR_TSSD);
107
108         /* we may be exec'ing a 64-bit process: reset map base, task-size, and io-base: */
109         current->thread.map_base  = DEFAULT_MAP_BASE;
110         current->thread.task_size = DEFAULT_TASK_SIZE;
111         ia64_set_kr(IA64_KR_IO_BASE, current->thread.old_iob);
112         ia64_set_kr(IA64_KR_TSSD, current->thread.old_k1);
113
114         error = compat_do_execve(filename, argv, envp, regs);
115         putname(filename);
116
117         if (error < 0) {
118                 /* oops, execve failed, switch back to old values... */
119                 ia64_set_kr(IA64_KR_IO_BASE, IA32_IOBASE);
120                 ia64_set_kr(IA64_KR_TSSD, tssd);
121                 current->thread.map_base  = old_map_base;
122                 current->thread.task_size = old_task_size;
123         }
124
125         return error;
126 }
127
128 int cp_compat_stat(struct kstat *stat, struct compat_stat __user *ubuf)
129 {
130         int err;
131
132         if ((u64) stat->size > MAX_NON_LFS ||
133             !old_valid_dev(stat->dev) ||
134             !old_valid_dev(stat->rdev))
135                 return -EOVERFLOW;
136
137         if (clear_user(ubuf, sizeof(*ubuf)))
138                 return -EFAULT;
139
140         err  = __put_user(old_encode_dev(stat->dev), &ubuf->st_dev);
141         err |= __put_user(stat->ino, &ubuf->st_ino);
142         err |= __put_user(stat->mode, &ubuf->st_mode);
143         err |= __put_user(stat->nlink, &ubuf->st_nlink);
144         err |= __put_user(high2lowuid(stat->uid), &ubuf->st_uid);
145         err |= __put_user(high2lowgid(stat->gid), &ubuf->st_gid);
146         err |= __put_user(old_encode_dev(stat->rdev), &ubuf->st_rdev);
147         err |= __put_user(stat->size, &ubuf->st_size);
148         err |= __put_user(stat->atime.tv_sec, &ubuf->st_atime);
149         err |= __put_user(stat->atime.tv_nsec, &ubuf->st_atime_nsec);
150         err |= __put_user(stat->mtime.tv_sec, &ubuf->st_mtime);
151         err |= __put_user(stat->mtime.tv_nsec, &ubuf->st_mtime_nsec);
152         err |= __put_user(stat->ctime.tv_sec, &ubuf->st_ctime);
153         err |= __put_user(stat->ctime.tv_nsec, &ubuf->st_ctime_nsec);
154         err |= __put_user(stat->blksize, &ubuf->st_blksize);
155         err |= __put_user(stat->blocks, &ubuf->st_blocks);
156         return err;
157 }
158
159 #if PAGE_SHIFT > IA32_PAGE_SHIFT
160
161
162 static int
163 get_page_prot (struct vm_area_struct *vma, unsigned long addr)
164 {
165         int prot = 0;
166
167         if (!vma || vma->vm_start > addr)
168                 return 0;
169
170         if (vma->vm_flags & VM_READ)
171                 prot |= PROT_READ;
172         if (vma->vm_flags & VM_WRITE)
173                 prot |= PROT_WRITE;
174         if (vma->vm_flags & VM_EXEC)
175                 prot |= PROT_EXEC;
176         return prot;
177 }
178
179 /*
180  * Map a subpage by creating an anonymous page that contains the union of the old page and
181  * the subpage.
182  */
183 static unsigned long
184 mmap_subpage (struct file *file, unsigned long start, unsigned long end, int prot, int flags,
185               loff_t off)
186 {
187         void *page = NULL;
188         struct inode *inode;
189         unsigned long ret = 0;
190         struct vm_area_struct *vma = find_vma(current->mm, start);
191         int old_prot = get_page_prot(vma, start);
192
193         DBG("mmap_subpage(file=%p,start=0x%lx,end=0x%lx,prot=%x,flags=%x,off=0x%llx)\n",
194             file, start, end, prot, flags, off);
195
196
197         /* Optimize the case where the old mmap and the new mmap are both anonymous */
198         if ((old_prot & PROT_WRITE) && (flags & MAP_ANONYMOUS) && !vma->vm_file) {
199                 if (clear_user((void __user *) start, end - start)) {
200                         ret = -EFAULT;
201                         goto out;
202                 }
203                 goto skip_mmap;
204         }
205
206         page = (void *) get_zeroed_page(GFP_KERNEL);
207         if (!page)
208                 return -ENOMEM;
209
210         if (old_prot)
211                 copy_from_user(page, (void __user *) PAGE_START(start), PAGE_SIZE);
212
213         down_write(&current->mm->mmap_sem);
214         {
215                 ret = do_mmap(NULL, PAGE_START(start), PAGE_SIZE, prot | PROT_WRITE,
216                               flags | MAP_FIXED | MAP_ANONYMOUS, 0);
217         }
218         up_write(&current->mm->mmap_sem);
219
220         if (IS_ERR((void *) ret))
221                 goto out;
222
223         if (old_prot) {
224                 /* copy back the old page contents.  */
225                 if (offset_in_page(start))
226                         copy_to_user((void __user *) PAGE_START(start), page,
227                                      offset_in_page(start));
228                 if (offset_in_page(end))
229                         copy_to_user((void __user *) end, page + offset_in_page(end),
230                                      PAGE_SIZE - offset_in_page(end));
231         }
232
233         if (!(flags & MAP_ANONYMOUS)) {
234                 /* read the file contents */
235                 inode = file->f_dentry->d_inode;
236                 if (!inode->i_fop || !file->f_op->read
237                     || ((*file->f_op->read)(file, (char __user *) start, end - start, &off) < 0))
238                 {
239                         ret = -EINVAL;
240                         goto out;
241                 }
242         }
243
244  skip_mmap:
245         if (!(prot & PROT_WRITE))
246                 ret = sys_mprotect(PAGE_START(start), PAGE_SIZE, prot | old_prot);
247   out:
248         if (page)
249                 free_page((unsigned long) page);
250         return ret;
251 }
252
253 /* SLAB cache for partial_page structures */
254 kmem_cache_t *partial_page_cachep;
255
256 /*
257  * init partial_page_list.
258  * return 0 means kmalloc fail.
259  */
260 struct partial_page_list*
261 ia32_init_pp_list(void)
262 {
263         struct partial_page_list *p;
264
265         if ((p = kmalloc(sizeof(*p), GFP_KERNEL)) == NULL)
266                 return p;
267         p->pp_head = NULL;
268         p->ppl_rb = RB_ROOT;
269         p->pp_hint = NULL;
270         atomic_set(&p->pp_count, 1);
271         return p;
272 }
273
274 /*
275  * Search for the partial page with @start in partial page list @ppl.
276  * If finds the partial page, return the found partial page.
277  * Else, return 0 and provide @pprev, @rb_link, @rb_parent to
278  * be used by later __ia32_insert_pp().
279  */
280 static struct partial_page *
281 __ia32_find_pp(struct partial_page_list *ppl, unsigned int start,
282         struct partial_page **pprev, struct rb_node ***rb_link,
283         struct rb_node **rb_parent)
284 {
285         struct partial_page *pp;
286         struct rb_node **__rb_link, *__rb_parent, *rb_prev;
287
288         pp = ppl->pp_hint;
289         if (pp && pp->base == start)
290                 return pp;
291
292         __rb_link = &ppl->ppl_rb.rb_node;
293         rb_prev = __rb_parent = NULL;
294
295         while (*__rb_link) {
296                 __rb_parent = *__rb_link;
297                 pp = rb_entry(__rb_parent, struct partial_page, pp_rb);
298
299                 if (pp->base == start) {
300                         ppl->pp_hint = pp;
301                         return pp;
302                 } else if (pp->base < start) {
303                         rb_prev = __rb_parent;
304                         __rb_link = &__rb_parent->rb_right;
305                 } else {
306                         __rb_link = &__rb_parent->rb_left;
307                 }
308         }
309
310         *rb_link = __rb_link;
311         *rb_parent = __rb_parent;
312         *pprev = NULL;
313         if (rb_prev)
314                 *pprev = rb_entry(rb_prev, struct partial_page, pp_rb);
315         return NULL;
316 }
317
318 /*
319  * insert @pp into @ppl.
320  */
321 static void
322 __ia32_insert_pp(struct partial_page_list *ppl, struct partial_page *pp,
323          struct partial_page *prev, struct rb_node **rb_link,
324         struct rb_node *rb_parent)
325 {
326         /* link list */
327         if (prev) {
328                 pp->next = prev->next;
329                 prev->next = pp;
330         } else {
331                 ppl->pp_head = pp;
332                 if (rb_parent)
333                         pp->next = rb_entry(rb_parent,
334                                 struct partial_page, pp_rb);
335                 else
336                         pp->next = NULL;
337         }
338
339         /* link rb */
340         rb_link_node(&pp->pp_rb, rb_parent, rb_link);
341         rb_insert_color(&pp->pp_rb, &ppl->ppl_rb);
342
343         ppl->pp_hint = pp;
344 }
345
346 /*
347  * delete @pp from partial page list @ppl.
348  */
349 static void
350 __ia32_delete_pp(struct partial_page_list *ppl, struct partial_page *pp,
351         struct partial_page *prev)
352 {
353         if (prev) {
354                 prev->next = pp->next;
355                 if (ppl->pp_hint == pp)
356                         ppl->pp_hint = prev;
357         } else {
358                 ppl->pp_head = pp->next;
359                 if (ppl->pp_hint == pp)
360                         ppl->pp_hint = pp->next;
361         }
362         rb_erase(&pp->pp_rb, &ppl->ppl_rb);
363         kmem_cache_free(partial_page_cachep, pp);
364 }
365
366 static struct partial_page *
367 __pp_prev(struct partial_page *pp)
368 {
369         struct rb_node *prev = rb_prev(&pp->pp_rb);
370         if (prev)
371                 return rb_entry(prev, struct partial_page, pp_rb);
372         else
373                 return NULL;
374 }
375
376 /*
377  * Delete partial pages with address between @start and @end.
378  * @start and @end are page aligned.
379  */
380 static void
381 __ia32_delete_pp_range(unsigned int start, unsigned int end)
382 {
383         struct partial_page *pp, *prev;
384         struct rb_node **rb_link, *rb_parent;
385
386         if (start >= end)
387                 return;
388
389         pp = __ia32_find_pp(current->thread.ppl, start, &prev,
390                                         &rb_link, &rb_parent);
391         if (pp)
392                 prev = __pp_prev(pp);
393         else {
394                 if (prev)
395                         pp = prev->next;
396                 else
397                         pp = current->thread.ppl->pp_head;
398         }
399
400         while (pp && pp->base < end) {
401                 struct partial_page *tmp = pp->next;
402                 __ia32_delete_pp(current->thread.ppl, pp, prev);
403                 pp = tmp;
404         }
405 }
406
407 /*
408  * Set the range between @start and @end in bitmap.
409  * @start and @end should be IA32 page aligned and in the same IA64 page.
410  */
411 static int
412 __ia32_set_pp(unsigned int start, unsigned int end, int flags)
413 {
414         struct partial_page *pp, *prev;
415         struct rb_node ** rb_link, *rb_parent;
416         unsigned int pstart, start_bit, end_bit, i;
417
418         pstart = PAGE_START(start);
419         start_bit = (start % PAGE_SIZE) / IA32_PAGE_SIZE;
420         end_bit = (end % PAGE_SIZE) / IA32_PAGE_SIZE;
421         if (end_bit == 0)
422                 end_bit = PAGE_SIZE / IA32_PAGE_SIZE;
423         pp = __ia32_find_pp(current->thread.ppl, pstart, &prev,
424                                         &rb_link, &rb_parent);
425         if (pp) {
426                 for (i = start_bit; i < end_bit; i++)
427                         set_bit(i, &pp->bitmap);
428                 /*
429                  * Check: if this partial page has been set to a full page,
430                  * then delete it.
431                  */
432                 if (find_first_zero_bit(&pp->bitmap, sizeof(pp->bitmap)*8) >=
433                                 PAGE_SIZE/IA32_PAGE_SIZE) {
434                         __ia32_delete_pp(current->thread.ppl, pp, __pp_prev(pp));
435                 }
436                 return 0;
437         }
438
439         /*
440          * MAP_FIXED may lead to overlapping mmap.
441          * In this case, the requested mmap area may already mmaped as a full
442          * page. So check vma before adding a new partial page.
443          */
444         if (flags & MAP_FIXED) {
445                 struct vm_area_struct *vma = find_vma(current->mm, pstart);
446                 if (vma && vma->vm_start <= pstart)
447                         return 0;
448         }
449
450         /* new a partial_page */
451         pp = kmem_cache_alloc(partial_page_cachep, GFP_KERNEL);
452         if (!pp)
453                 return -ENOMEM;
454         pp->base = pstart;
455         pp->bitmap = 0;
456         for (i=start_bit; i<end_bit; i++)
457                 set_bit(i, &(pp->bitmap));
458         pp->next = NULL;
459         __ia32_insert_pp(current->thread.ppl, pp, prev, rb_link, rb_parent);
460         return 0;
461 }
462
463 /*
464  * @start and @end should be IA32 page aligned, but don't need to be in the
465  * same IA64 page. Split @start and @end to make sure they're in the same IA64
466  * page, then call __ia32_set_pp().
467  */
468 static void
469 ia32_set_pp(unsigned int start, unsigned int end, int flags)
470 {
471         down_write(&current->mm->mmap_sem);
472         if (flags & MAP_FIXED) {
473                 /*
474                  * MAP_FIXED may lead to overlapping mmap. When this happens,
475                  * a series of complete IA64 pages results in deletion of
476                  * old partial pages in that range.
477                  */
478                 __ia32_delete_pp_range(PAGE_ALIGN(start), PAGE_START(end));
479         }
480
481         if (end < PAGE_ALIGN(start)) {
482                 __ia32_set_pp(start, end, flags);
483         } else {
484                 if (offset_in_page(start))
485                         __ia32_set_pp(start, PAGE_ALIGN(start), flags);
486                 if (offset_in_page(end))
487                         __ia32_set_pp(PAGE_START(end), end, flags);
488         }
489         up_write(&current->mm->mmap_sem);
490 }
491
492 /*
493  * Unset the range between @start and @end in bitmap.
494  * @start and @end should be IA32 page aligned and in the same IA64 page.
495  * After doing that, if the bitmap is 0, then free the page and return 1,
496  *      else return 0;
497  * If not find the partial page in the list, then
498  *      If the vma exists, then the full page is set to a partial page;
499  *      Else return -ENOMEM.
500  */
501 static int
502 __ia32_unset_pp(unsigned int start, unsigned int end)
503 {
504         struct partial_page *pp, *prev;
505         struct rb_node ** rb_link, *rb_parent;
506         unsigned int pstart, start_bit, end_bit, i;
507         struct vm_area_struct *vma;
508
509         pstart = PAGE_START(start);
510         start_bit = (start % PAGE_SIZE) / IA32_PAGE_SIZE;
511         end_bit = (end % PAGE_SIZE) / IA32_PAGE_SIZE;
512         if (end_bit == 0)
513                 end_bit = PAGE_SIZE / IA32_PAGE_SIZE;
514
515         pp = __ia32_find_pp(current->thread.ppl, pstart, &prev,
516                                         &rb_link, &rb_parent);
517         if (pp) {
518                 for (i = start_bit; i < end_bit; i++)
519                         clear_bit(i, &pp->bitmap);
520                 if (pp->bitmap == 0) {
521                         __ia32_delete_pp(current->thread.ppl, pp, __pp_prev(pp));
522                         return 1;
523                 }
524                 return 0;
525         }
526
527         vma = find_vma(current->mm, pstart);
528         if (!vma || vma->vm_start > pstart) {
529                 return -ENOMEM;
530         }
531
532         /* new a partial_page */
533         pp = kmem_cache_alloc(partial_page_cachep, GFP_KERNEL);
534         if (!pp)
535                 return -ENOMEM;
536         pp->base = pstart;
537         pp->bitmap = 0;
538         for (i = 0; i < start_bit; i++)
539                 set_bit(i, &(pp->bitmap));
540         for (i = end_bit; i < PAGE_SIZE / IA32_PAGE_SIZE; i++)
541                 set_bit(i, &(pp->bitmap));
542         pp->next = NULL;
543         __ia32_insert_pp(current->thread.ppl, pp, prev, rb_link, rb_parent);
544         return 0;
545 }
546
547 /*
548  * Delete pp between PAGE_ALIGN(start) and PAGE_START(end) by calling
549  * __ia32_delete_pp_range(). Unset possible partial pages by calling
550  * __ia32_unset_pp().
551  * The returned value see __ia32_unset_pp().
552  */
553 static int
554 ia32_unset_pp(unsigned int *startp, unsigned int *endp)
555 {
556         unsigned int start = *startp, end = *endp;
557         int ret = 0;
558
559         down_write(&current->mm->mmap_sem);
560
561         __ia32_delete_pp_range(PAGE_ALIGN(start), PAGE_START(end));
562
563         if (end < PAGE_ALIGN(start)) {
564                 ret = __ia32_unset_pp(start, end);
565                 if (ret == 1) {
566                         *startp = PAGE_START(start);
567                         *endp = PAGE_ALIGN(end);
568                 }
569                 if (ret == 0) {
570                         /* to shortcut sys_munmap() in sys32_munmap() */
571                         *startp = PAGE_START(start);
572                         *endp = PAGE_START(end);
573                 }
574         } else {
575                 if (offset_in_page(start)) {
576                         ret = __ia32_unset_pp(start, PAGE_ALIGN(start));
577                         if (ret == 1)
578                                 *startp = PAGE_START(start);
579                         if (ret == 0)
580                                 *startp = PAGE_ALIGN(start);
581                         if (ret < 0)
582                                 goto out;
583                 }
584                 if (offset_in_page(end)) {
585                         ret = __ia32_unset_pp(PAGE_START(end), end);
586                         if (ret == 1)
587                                 *endp = PAGE_ALIGN(end);
588                         if (ret == 0)
589                                 *endp = PAGE_START(end);
590                 }
591         }
592
593  out:
594         up_write(&current->mm->mmap_sem);
595         return ret;
596 }
597
598 /*
599  * Compare the range between @start and @end with bitmap in partial page.
600  * @start and @end should be IA32 page aligned and in the same IA64 page.
601  */
602 static int
603 __ia32_compare_pp(unsigned int start, unsigned int end)
604 {
605         struct partial_page *pp, *prev;
606         struct rb_node ** rb_link, *rb_parent;
607         unsigned int pstart, start_bit, end_bit, size;
608         unsigned int first_bit, next_zero_bit;  /* the first range in bitmap */
609
610         pstart = PAGE_START(start);
611
612         pp = __ia32_find_pp(current->thread.ppl, pstart, &prev,
613                                         &rb_link, &rb_parent);
614         if (!pp)
615                 return 1;
616
617         start_bit = (start % PAGE_SIZE) / IA32_PAGE_SIZE;
618         end_bit = (end % PAGE_SIZE) / IA32_PAGE_SIZE;
619         size = sizeof(pp->bitmap) * 8;
620         first_bit = find_first_bit(&pp->bitmap, size);
621         next_zero_bit = find_next_zero_bit(&pp->bitmap, size, first_bit);
622         if ((start_bit < first_bit) || (end_bit > next_zero_bit)) {
623                 /* exceeds the first range in bitmap */
624                 return -ENOMEM;
625         } else if ((start_bit == first_bit) && (end_bit == next_zero_bit)) {
626                 first_bit = find_next_bit(&pp->bitmap, size, next_zero_bit);
627                 if ((next_zero_bit < first_bit) && (first_bit < size))
628                         return 1;       /* has next range */
629                 else
630                         return 0;       /* no next range */
631         } else
632                 return 1;
633 }
634
635 /*
636  * @start and @end should be IA32 page aligned, but don't need to be in the
637  * same IA64 page. Split @start and @end to make sure they're in the same IA64
638  * page, then call __ia32_compare_pp().
639  *
640  * Take this as example: the range is the 1st and 2nd 4K page.
641  * Return 0 if they fit bitmap exactly, i.e. bitmap = 00000011;
642  * Return 1 if the range doesn't cover whole bitmap, e.g. bitmap = 00001111;
643  * Return -ENOMEM if the range exceeds the bitmap, e.g. bitmap = 00000001 or
644  *      bitmap = 00000101.
645  */
646 static int
647 ia32_compare_pp(unsigned int *startp, unsigned int *endp)
648 {
649         unsigned int start = *startp, end = *endp;
650         int retval = 0;
651
652         down_write(&current->mm->mmap_sem);
653
654         if (end < PAGE_ALIGN(start)) {
655                 retval = __ia32_compare_pp(start, end);
656                 if (retval == 0) {
657                         *startp = PAGE_START(start);
658                         *endp = PAGE_ALIGN(end);
659                 }
660         } else {
661                 if (offset_in_page(start)) {
662                         retval = __ia32_compare_pp(start,
663                                                    PAGE_ALIGN(start));
664                         if (retval == 0)
665                                 *startp = PAGE_START(start);
666                         if (retval < 0)
667                                 goto out;
668                 }
669                 if (offset_in_page(end)) {
670                         retval = __ia32_compare_pp(PAGE_START(end), end);
671                         if (retval == 0)
672                                 *endp = PAGE_ALIGN(end);
673                 }
674         }
675
676  out:
677         up_write(&current->mm->mmap_sem);
678         return retval;
679 }
680
681 static void
682 __ia32_drop_pp_list(struct partial_page_list *ppl)
683 {
684         struct partial_page *pp = ppl->pp_head;
685
686         while (pp) {
687                 struct partial_page *next = pp->next;
688                 kmem_cache_free(partial_page_cachep, pp);
689                 pp = next;
690         }
691
692         kfree(ppl);
693 }
694
695 void
696 ia32_drop_partial_page_list(struct task_struct *task)
697 {
698         struct partial_page_list* ppl = task->thread.ppl;
699
700         if (ppl && atomic_dec_and_test(&ppl->pp_count))
701                 __ia32_drop_pp_list(ppl);
702 }
703
704 /*
705  * Copy current->thread.ppl to ppl (already initialized).
706  */
707 static int
708 __ia32_copy_pp_list(struct partial_page_list *ppl)
709 {
710         struct partial_page *pp, *tmp, *prev;
711         struct rb_node **rb_link, *rb_parent;
712
713         ppl->pp_head = NULL;
714         ppl->pp_hint = NULL;
715         ppl->ppl_rb = RB_ROOT;
716         rb_link = &ppl->ppl_rb.rb_node;
717         rb_parent = NULL;
718         prev = NULL;
719
720         for (pp = current->thread.ppl->pp_head; pp; pp = pp->next) {
721                 tmp = kmem_cache_alloc(partial_page_cachep, GFP_KERNEL);
722                 if (!tmp)
723                         return -ENOMEM;
724                 *tmp = *pp;
725                 __ia32_insert_pp(ppl, tmp, prev, rb_link, rb_parent);
726                 prev = tmp;
727                 rb_link = &tmp->pp_rb.rb_right;
728                 rb_parent = &tmp->pp_rb;
729         }
730         return 0;
731 }
732
733 int
734 ia32_copy_partial_page_list(struct task_struct *p, unsigned long clone_flags)
735 {
736         int retval = 0;
737
738         if (clone_flags & CLONE_VM) {
739                 atomic_inc(&current->thread.ppl->pp_count);
740                 p->thread.ppl = current->thread.ppl;
741         } else {
742                 p->thread.ppl = ia32_init_pp_list();
743                 if (!p->thread.ppl)
744                         return -ENOMEM;
745                 down_write(&current->mm->mmap_sem);
746                 {
747                         retval = __ia32_copy_pp_list(p->thread.ppl);
748                 }
749                 up_write(&current->mm->mmap_sem);
750         }
751
752         return retval;
753 }
754
755 static unsigned long
756 emulate_mmap (struct file *file, unsigned long start, unsigned long len, int prot, int flags,
757               loff_t off)
758 {
759         unsigned long tmp, end, pend, pstart, ret, is_congruent, fudge = 0;
760         struct inode *inode;
761         loff_t poff;
762
763         end = start + len;
764         pstart = PAGE_START(start);
765         pend = PAGE_ALIGN(end);
766
767         if (flags & MAP_FIXED) {
768                 ia32_set_pp((unsigned int)start, (unsigned int)end, flags);
769                 if (start > pstart) {
770                         if (flags & MAP_SHARED)
771                                 printk(KERN_INFO
772                                        "%s(%d): emulate_mmap() can't share head (addr=0x%lx)\n",
773                                        current->comm, current->pid, start);
774                         ret = mmap_subpage(file, start, min(PAGE_ALIGN(start), end), prot, flags,
775                                            off);
776                         if (IS_ERR((void *) ret))
777                                 return ret;
778                         pstart += PAGE_SIZE;
779                         if (pstart >= pend)
780                                 goto out;       /* done */
781                 }
782                 if (end < pend) {
783                         if (flags & MAP_SHARED)
784                                 printk(KERN_INFO
785                                        "%s(%d): emulate_mmap() can't share tail (end=0x%lx)\n",
786                                        current->comm, current->pid, end);
787                         ret = mmap_subpage(file, max(start, PAGE_START(end)), end, prot, flags,
788                                            (off + len) - offset_in_page(end));
789                         if (IS_ERR((void *) ret))
790                                 return ret;
791                         pend -= PAGE_SIZE;
792                         if (pstart >= pend)
793                                 goto out;       /* done */
794                 }
795         } else {
796                 /*
797                  * If a start address was specified, use it if the entire rounded out area
798                  * is available.
799                  */
800                 if (start && !pstart)
801                         fudge = 1;      /* handle case of mapping to range (0,PAGE_SIZE) */
802                 tmp = arch_get_unmapped_area(file, pstart - fudge, pend - pstart, 0, flags);
803                 if (tmp != pstart) {
804                         pstart = tmp;
805                         start = pstart + offset_in_page(off);   /* make start congruent with off */
806                         end = start + len;
807                         pend = PAGE_ALIGN(end);
808                 }
809         }
810
811         poff = off + (pstart - start);  /* note: (pstart - start) may be negative */
812         is_congruent = (flags & MAP_ANONYMOUS) || (offset_in_page(poff) == 0);
813
814         if ((flags & MAP_SHARED) && !is_congruent)
815                 printk(KERN_INFO "%s(%d): emulate_mmap() can't share contents of incongruent mmap "
816                        "(addr=0x%lx,off=0x%llx)\n", current->comm, current->pid, start, off);
817
818         DBG("mmap_body: mapping [0x%lx-0x%lx) %s with poff 0x%llx\n", pstart, pend,
819             is_congruent ? "congruent" : "not congruent", poff);
820
821         down_write(&current->mm->mmap_sem);
822         {
823                 if (!(flags & MAP_ANONYMOUS) && is_congruent)
824                         ret = do_mmap(file, pstart, pend - pstart, prot, flags | MAP_FIXED, poff);
825                 else
826                         ret = do_mmap(NULL, pstart, pend - pstart,
827                                       prot | ((flags & MAP_ANONYMOUS) ? 0 : PROT_WRITE),
828                                       flags | MAP_FIXED | MAP_ANONYMOUS, 0);
829         }
830         up_write(&current->mm->mmap_sem);
831
832         if (IS_ERR((void *) ret))
833                 return ret;
834
835         if (!is_congruent) {
836                 /* read the file contents */
837                 inode = file->f_dentry->d_inode;
838                 if (!inode->i_fop || !file->f_op->read
839                     || ((*file->f_op->read)(file, (char __user *) pstart, pend - pstart, &poff)
840                         < 0))
841                 {
842                         sys_munmap(pstart, pend - pstart);
843                         return -EINVAL;
844                 }
845                 if (!(prot & PROT_WRITE) && sys_mprotect(pstart, pend - pstart, prot) < 0)
846                         return -EINVAL;
847         }
848
849         if (!(flags & MAP_FIXED))
850                 ia32_set_pp((unsigned int)start, (unsigned int)end, flags);
851 out:
852         return start;
853 }
854
855 #endif /* PAGE_SHIFT > IA32_PAGE_SHIFT */
856
857 static inline unsigned int
858 get_prot32 (unsigned int prot)
859 {
860         if (prot & PROT_WRITE)
861                 /* on x86, PROT_WRITE implies PROT_READ which implies PROT_EEC */
862                 prot |= PROT_READ | PROT_WRITE | PROT_EXEC;
863         else if (prot & (PROT_READ | PROT_EXEC))
864                 /* on x86, there is no distinction between PROT_READ and PROT_EXEC */
865                 prot |= (PROT_READ | PROT_EXEC);
866
867         return prot;
868 }
869
870 unsigned long
871 ia32_do_mmap (struct file *file, unsigned long addr, unsigned long len, int prot, int flags,
872               loff_t offset)
873 {
874         DBG("ia32_do_mmap(file=%p,addr=0x%lx,len=0x%lx,prot=%x,flags=%x,offset=0x%llx)\n",
875             file, addr, len, prot, flags, offset);
876
877         if (file && (!file->f_op || !file->f_op->mmap))
878                 return -ENODEV;
879
880         len = IA32_PAGE_ALIGN(len);
881         if (len == 0)
882                 return addr;
883
884         if (len > IA32_PAGE_OFFSET || addr > IA32_PAGE_OFFSET - len)
885         {
886                 if (flags & MAP_FIXED)
887                         return -ENOMEM;
888                 else
889                 return -EINVAL;
890         }
891
892         if (OFFSET4K(offset))
893                 return -EINVAL;
894
895         prot = get_prot32(prot);
896
897 #if PAGE_SHIFT > IA32_PAGE_SHIFT
898         mutex_lock(&ia32_mmap_mutex);
899         {
900                 addr = emulate_mmap(file, addr, len, prot, flags, offset);
901         }
902         mutex_unlock(&ia32_mmap_mutex);
903 #else
904         down_write(&current->mm->mmap_sem);
905         {
906                 addr = do_mmap(file, addr, len, prot, flags, offset);
907         }
908         up_write(&current->mm->mmap_sem);
909 #endif
910         DBG("ia32_do_mmap: returning 0x%lx\n", addr);
911         return addr;
912 }
913
914 /*
915  * Linux/i386 didn't use to be able to handle more than 4 system call parameters, so these
916  * system calls used a memory block for parameter passing..
917  */
918
919 struct mmap_arg_struct {
920         unsigned int addr;
921         unsigned int len;
922         unsigned int prot;
923         unsigned int flags;
924         unsigned int fd;
925         unsigned int offset;
926 };
927
928 asmlinkage long
929 sys32_mmap (struct mmap_arg_struct __user *arg)
930 {
931         struct mmap_arg_struct a;
932         struct file *file = NULL;
933         unsigned long addr;
934         int flags;
935
936         if (copy_from_user(&a, arg, sizeof(a)))
937                 return -EFAULT;
938
939         if (OFFSET4K(a.offset))
940                 return -EINVAL;
941
942         flags = a.flags;
943
944         flags &= ~(MAP_EXECUTABLE | MAP_DENYWRITE);
945         if (!(flags & MAP_ANONYMOUS)) {
946                 file = fget(a.fd);
947                 if (!file)
948                         return -EBADF;
949         }
950
951         addr = ia32_do_mmap(file, a.addr, a.len, a.prot, flags, a.offset);
952
953         if (file)
954                 fput(file);
955         return addr;
956 }
957
958 asmlinkage long
959 sys32_mmap2 (unsigned int addr, unsigned int len, unsigned int prot, unsigned int flags,
960              unsigned int fd, unsigned int pgoff)
961 {
962         struct file *file = NULL;
963         unsigned long retval;
964
965         flags &= ~(MAP_EXECUTABLE | MAP_DENYWRITE);
966         if (!(flags & MAP_ANONYMOUS)) {
967                 file = fget(fd);
968                 if (!file)
969                         return -EBADF;
970         }
971
972         retval = ia32_do_mmap(file, addr, len, prot, flags,
973                               (unsigned long) pgoff << IA32_PAGE_SHIFT);
974
975         if (file)
976                 fput(file);
977         return retval;
978 }
979
980 asmlinkage long
981 sys32_munmap (unsigned int start, unsigned int len)
982 {
983         unsigned int end = start + len;
984         long ret;
985
986 #if PAGE_SHIFT <= IA32_PAGE_SHIFT
987         ret = sys_munmap(start, end - start);
988 #else
989         if (OFFSET4K(start))
990                 return -EINVAL;
991
992         end = IA32_PAGE_ALIGN(end);
993         if (start >= end)
994                 return -EINVAL;
995
996         ret = ia32_unset_pp(&start, &end);
997         if (ret < 0)
998                 return ret;
999
1000         if (start >= end)
1001                 return 0;
1002
1003         mutex_lock(&ia32_mmap_mutex);
1004         ret = sys_munmap(start, end - start);
1005         mutex_unlock(&ia32_mmap_mutex);
1006 #endif
1007         return ret;
1008 }
1009
1010 #if PAGE_SHIFT > IA32_PAGE_SHIFT
1011
1012 /*
1013  * When mprotect()ing a partial page, we set the permission to the union of the old
1014  * settings and the new settings.  In other words, it's only possible to make access to a
1015  * partial page less restrictive.
1016  */
1017 static long
1018 mprotect_subpage (unsigned long address, int new_prot)
1019 {
1020         int old_prot;
1021         struct vm_area_struct *vma;
1022
1023         if (new_prot == PROT_NONE)
1024                 return 0;               /* optimize case where nothing changes... */
1025         vma = find_vma(current->mm, address);
1026         old_prot = get_page_prot(vma, address);
1027         return sys_mprotect(address, PAGE_SIZE, new_prot | old_prot);
1028 }
1029
1030 #endif /* PAGE_SHIFT > IA32_PAGE_SHIFT */
1031
1032 asmlinkage long
1033 sys32_mprotect (unsigned int start, unsigned int len, int prot)
1034 {
1035         unsigned int end = start + len;
1036 #if PAGE_SHIFT > IA32_PAGE_SHIFT
1037         long retval = 0;
1038 #endif
1039
1040         prot = get_prot32(prot);
1041
1042 #if PAGE_SHIFT <= IA32_PAGE_SHIFT
1043         return sys_mprotect(start, end - start, prot);
1044 #else
1045         if (OFFSET4K(start))
1046                 return -EINVAL;
1047
1048         end = IA32_PAGE_ALIGN(end);
1049         if (end < start)
1050                 return -EINVAL;
1051
1052         retval = ia32_compare_pp(&start, &end);
1053
1054         if (retval < 0)
1055                 return retval;
1056
1057         mutex_lock(&ia32_mmap_mutex);
1058         {
1059                 if (offset_in_page(start)) {
1060                         /* start address is 4KB aligned but not page aligned. */
1061                         retval = mprotect_subpage(PAGE_START(start), prot);
1062                         if (retval < 0)
1063                                 goto out;
1064
1065                         start = PAGE_ALIGN(start);
1066                         if (start >= end)
1067                                 goto out;       /* retval is already zero... */
1068                 }
1069
1070                 if (offset_in_page(end)) {
1071                         /* end address is 4KB aligned but not page aligned. */
1072                         retval = mprotect_subpage(PAGE_START(end), prot);
1073                         if (retval < 0)
1074                                 goto out;
1075
1076                         end = PAGE_START(end);
1077                 }
1078                 retval = sys_mprotect(start, end - start, prot);
1079         }
1080   out:
1081         mutex_unlock(&ia32_mmap_mutex);
1082         return retval;
1083 #endif
1084 }
1085
1086 asmlinkage long
1087 sys32_mremap (unsigned int addr, unsigned int old_len, unsigned int new_len,
1088                 unsigned int flags, unsigned int new_addr)
1089 {
1090         long ret;
1091
1092 #if PAGE_SHIFT <= IA32_PAGE_SHIFT
1093         ret = sys_mremap(addr, old_len, new_len, flags, new_addr);
1094 #else
1095         unsigned int old_end, new_end;
1096
1097         if (OFFSET4K(addr))
1098                 return -EINVAL;
1099
1100         old_len = IA32_PAGE_ALIGN(old_len);
1101         new_len = IA32_PAGE_ALIGN(new_len);
1102         old_end = addr + old_len;
1103         new_end = addr + new_len;
1104
1105         if (!new_len)
1106                 return -EINVAL;
1107
1108         if ((flags & MREMAP_FIXED) && (OFFSET4K(new_addr)))
1109                 return -EINVAL;
1110
1111         if (old_len >= new_len) {
1112                 ret = sys32_munmap(addr + new_len, old_len - new_len);
1113                 if (ret && old_len != new_len)
1114                         return ret;
1115                 ret = addr;
1116                 if (!(flags & MREMAP_FIXED) || (new_addr == addr))
1117                         return ret;
1118                 old_len = new_len;
1119         }
1120
1121         addr = PAGE_START(addr);
1122         old_len = PAGE_ALIGN(old_end) - addr;
1123         new_len = PAGE_ALIGN(new_end) - addr;
1124
1125         mutex_lock(&ia32_mmap_mutex);
1126         ret = sys_mremap(addr, old_len, new_len, flags, new_addr);
1127         mutex_unlock(&ia32_mmap_mutex);
1128
1129         if ((ret >= 0) && (old_len < new_len)) {
1130                 /* mremap expanded successfully */
1131                 ia32_set_pp(old_end, new_end, flags);
1132         }
1133 #endif
1134         return ret;
1135 }
1136
1137 asmlinkage long
1138 sys32_pipe (int __user *fd)
1139 {
1140         int retval;
1141         int fds[2];
1142
1143         retval = do_pipe(fds);
1144         if (retval)
1145                 goto out;
1146         if (copy_to_user(fd, fds, sizeof(fds)))
1147                 retval = -EFAULT;
1148   out:
1149         return retval;
1150 }
1151
1152 static inline long
1153 get_tv32 (struct timeval *o, struct compat_timeval __user *i)
1154 {
1155         return (!access_ok(VERIFY_READ, i, sizeof(*i)) ||
1156                 (__get_user(o->tv_sec, &i->tv_sec) | __get_user(o->tv_usec, &i->tv_usec)));
1157 }
1158
1159 static inline long
1160 put_tv32 (struct compat_timeval __user *o, struct timeval *i)
1161 {
1162         return (!access_ok(VERIFY_WRITE, o, sizeof(*o)) ||
1163                 (__put_user(i->tv_sec, &o->tv_sec) | __put_user(i->tv_usec, &o->tv_usec)));
1164 }
1165
1166 asmlinkage unsigned long
1167 sys32_alarm (unsigned int seconds)
1168 {
1169         return alarm_setitimer(seconds);
1170 }
1171
1172 /* Translations due to time_t size differences.  Which affects all
1173    sorts of things, like timeval and itimerval.  */
1174
1175 extern struct timezone sys_tz;
1176
1177 asmlinkage long
1178 sys32_gettimeofday (struct compat_timeval __user *tv, struct timezone __user *tz)
1179 {
1180         if (tv) {
1181                 struct timeval ktv;
1182                 do_gettimeofday(&ktv);
1183                 if (put_tv32(tv, &ktv))
1184                         return -EFAULT;
1185         }
1186         if (tz) {
1187                 if (copy_to_user(tz, &sys_tz, sizeof(sys_tz)))
1188                         return -EFAULT;
1189         }
1190         return 0;
1191 }
1192
1193 asmlinkage long
1194 sys32_settimeofday (struct compat_timeval __user *tv, struct timezone __user *tz)
1195 {
1196         struct timeval ktv;
1197         struct timespec kts;
1198         struct timezone ktz;
1199
1200         if (tv) {
1201                 if (get_tv32(&ktv, tv))
1202                         return -EFAULT;
1203                 kts.tv_sec = ktv.tv_sec;
1204                 kts.tv_nsec = ktv.tv_usec * 1000;
1205         }
1206         if (tz) {
1207                 if (copy_from_user(&ktz, tz, sizeof(ktz)))
1208                         return -EFAULT;
1209         }
1210
1211         return do_sys_settimeofday(tv ? &kts : NULL, tz ? &ktz : NULL);
1212 }
1213
1214 struct getdents32_callback {
1215         struct compat_dirent __user *current_dir;
1216         struct compat_dirent __user *previous;
1217         int count;
1218         int error;
1219 };
1220
1221 struct readdir32_callback {
1222         struct old_linux32_dirent __user * dirent;
1223         int count;
1224 };
1225
1226 static int
1227 filldir32 (void *__buf, const char *name, int namlen, loff_t offset, ino_t ino,
1228            unsigned int d_type)
1229 {
1230         struct compat_dirent __user * dirent;
1231         struct getdents32_callback * buf = (struct getdents32_callback *) __buf;
1232         int reclen = ROUND_UP(offsetof(struct compat_dirent, d_name) + namlen + 1, 4);
1233
1234         buf->error = -EINVAL;   /* only used if we fail.. */
1235         if (reclen > buf->count)
1236                 return -EINVAL;
1237         buf->error = -EFAULT;   /* only used if we fail.. */
1238         dirent = buf->previous;
1239         if (dirent)
1240                 if (put_user(offset, &dirent->d_off))
1241                         return -EFAULT;
1242         dirent = buf->current_dir;
1243         buf->previous = dirent;
1244         if (put_user(ino, &dirent->d_ino)
1245             || put_user(reclen, &dirent->d_reclen)
1246             || copy_to_user(dirent->d_name, name, namlen)
1247             || put_user(0, dirent->d_name + namlen))
1248                 return -EFAULT;
1249         dirent = (struct compat_dirent __user *) ((char __user *) dirent + reclen);
1250         buf->current_dir = dirent;
1251         buf->count -= reclen;
1252         return 0;
1253 }
1254
1255 asmlinkage long
1256 sys32_getdents (unsigned int fd, struct compat_dirent __user *dirent, unsigned int count)
1257 {
1258         struct file * file;
1259         struct compat_dirent __user * lastdirent;
1260         struct getdents32_callback buf;
1261         int error;
1262
1263         error = -EBADF;
1264         file = fget(fd);
1265         if (!file)
1266                 goto out;
1267
1268         buf.current_dir = dirent;
1269         buf.previous = NULL;
1270         buf.count = count;
1271         buf.error = 0;
1272
1273         error = vfs_readdir(file, filldir32, &buf);
1274         if (error < 0)
1275                 goto out_putf;
1276         error = buf.error;
1277         lastdirent = buf.previous;
1278         if (lastdirent) {
1279                 error = -EINVAL;
1280                 if (put_user(file->f_pos, &lastdirent->d_off))
1281                         goto out_putf;
1282                 error = count - buf.count;
1283         }
1284
1285 out_putf:
1286         fput(file);
1287 out:
1288         return error;
1289 }
1290
1291 static int
1292 fillonedir32 (void * __buf, const char * name, int namlen, loff_t offset, ino_t ino,
1293               unsigned int d_type)
1294 {
1295         struct readdir32_callback * buf = (struct readdir32_callback *) __buf;
1296         struct old_linux32_dirent __user * dirent;
1297
1298         if (buf->count)
1299                 return -EINVAL;
1300         buf->count++;
1301         dirent = buf->dirent;
1302         if (put_user(ino, &dirent->d_ino)
1303             || put_user(offset, &dirent->d_offset)
1304             || put_user(namlen, &dirent->d_namlen)
1305             || copy_to_user(dirent->d_name, name, namlen)
1306             || put_user(0, dirent->d_name + namlen))
1307                 return -EFAULT;
1308         return 0;
1309 }
1310
1311 asmlinkage long
1312 sys32_readdir (unsigned int fd, void __user *dirent, unsigned int count)
1313 {
1314         int error;
1315         struct file * file;
1316         struct readdir32_callback buf;
1317
1318         error = -EBADF;
1319         file = fget(fd);
1320         if (!file)
1321                 goto out;
1322
1323         buf.count = 0;
1324         buf.dirent = dirent;
1325
1326         error = vfs_readdir(file, fillonedir32, &buf);
1327         if (error >= 0)
1328                 error = buf.count;
1329         fput(file);
1330 out:
1331         return error;
1332 }
1333
1334 struct sel_arg_struct {
1335         unsigned int n;
1336         unsigned int inp;
1337         unsigned int outp;
1338         unsigned int exp;
1339         unsigned int tvp;
1340 };
1341
1342 asmlinkage long
1343 sys32_old_select (struct sel_arg_struct __user *arg)
1344 {
1345         struct sel_arg_struct a;
1346
1347         if (copy_from_user(&a, arg, sizeof(a)))
1348                 return -EFAULT;
1349         return compat_sys_select(a.n, compat_ptr(a.inp), compat_ptr(a.outp),
1350                                  compat_ptr(a.exp), compat_ptr(a.tvp));
1351 }
1352
1353 #define SEMOP            1
1354 #define SEMGET           2
1355 #define SEMCTL           3
1356 #define SEMTIMEDOP       4
1357 #define MSGSND          11
1358 #define MSGRCV          12
1359 #define MSGGET          13
1360 #define MSGCTL          14
1361 #define SHMAT           21
1362 #define SHMDT           22
1363 #define SHMGET          23
1364 #define SHMCTL          24
1365
1366 asmlinkage long
1367 sys32_ipc(u32 call, int first, int second, int third, u32 ptr, u32 fifth)
1368 {
1369         int version;
1370
1371         version = call >> 16; /* hack for backward compatibility */
1372         call &= 0xffff;
1373
1374         switch (call) {
1375               case SEMTIMEDOP:
1376                 if (fifth)
1377                         return compat_sys_semtimedop(first, compat_ptr(ptr),
1378                                 second, compat_ptr(fifth));
1379                 /* else fall through for normal semop() */
1380               case SEMOP:
1381                 /* struct sembuf is the same on 32 and 64bit :)) */
1382                 return sys_semtimedop(first, compat_ptr(ptr), second,
1383                                       NULL);
1384               case SEMGET:
1385                 return sys_semget(first, second, third);
1386               case SEMCTL:
1387                 return compat_sys_semctl(first, second, third, compat_ptr(ptr));
1388
1389               case MSGSND:
1390                 return compat_sys_msgsnd(first, second, third, compat_ptr(ptr));
1391               case MSGRCV:
1392                 return compat_sys_msgrcv(first, second, fifth, third, version, compat_ptr(ptr));
1393               case MSGGET:
1394                 return sys_msgget((key_t) first, second);
1395               case MSGCTL:
1396                 return compat_sys_msgctl(first, second, compat_ptr(ptr));
1397
1398               case SHMAT:
1399                 return compat_sys_shmat(first, second, third, version, compat_ptr(ptr));
1400                 break;
1401               case SHMDT:
1402                 return sys_shmdt(compat_ptr(ptr));
1403               case SHMGET:
1404                 return sys_shmget(first, (unsigned)second, third);
1405               case SHMCTL:
1406                 return compat_sys_shmctl(first, second, compat_ptr(ptr));
1407
1408               default:
1409                 return -ENOSYS;
1410         }
1411         return -EINVAL;
1412 }
1413
1414 asmlinkage long
1415 compat_sys_wait4 (compat_pid_t pid, compat_uint_t * stat_addr, int options,
1416                  struct compat_rusage *ru);
1417
1418 asmlinkage long
1419 sys32_waitpid (int pid, unsigned int *stat_addr, int options)
1420 {
1421         return compat_sys_wait4(pid, stat_addr, options, NULL);
1422 }
1423
1424 static unsigned int
1425 ia32_peek (struct task_struct *child, unsigned long addr, unsigned int *val)
1426 {
1427         size_t copied;
1428         unsigned int ret;
1429
1430         copied = access_process_vm(child, addr, val, sizeof(*val), 0);
1431         return (copied != sizeof(ret)) ? -EIO : 0;
1432 }
1433
1434 static unsigned int
1435 ia32_poke (struct task_struct *child, unsigned long addr, unsigned int val)
1436 {
1437
1438         if (access_process_vm(child, addr, &val, sizeof(val), 1) != sizeof(val))
1439                 return -EIO;
1440         return 0;
1441 }
1442
1443 /*
1444  *  The order in which registers are stored in the ptrace regs structure
1445  */
1446 #define PT_EBX  0
1447 #define PT_ECX  1
1448 #define PT_EDX  2
1449 #define PT_ESI  3
1450 #define PT_EDI  4
1451 #define PT_EBP  5
1452 #define PT_EAX  6
1453 #define PT_DS   7
1454 #define PT_ES   8
1455 #define PT_FS   9
1456 #define PT_GS   10
1457 #define PT_ORIG_EAX 11
1458 #define PT_EIP  12
1459 #define PT_CS   13
1460 #define PT_EFL  14
1461 #define PT_UESP 15
1462 #define PT_SS   16
1463
1464 static unsigned int
1465 getreg (struct task_struct *child, int regno)
1466 {
1467         struct pt_regs *child_regs;
1468
1469         child_regs = task_pt_regs(child);
1470         switch (regno / sizeof(int)) {
1471               case PT_EBX: return child_regs->r11;
1472               case PT_ECX: return child_regs->r9;
1473               case PT_EDX: return child_regs->r10;
1474               case PT_ESI: return child_regs->r14;
1475               case PT_EDI: return child_regs->r15;
1476               case PT_EBP: return child_regs->r13;
1477               case PT_EAX: return child_regs->r8;
1478               case PT_ORIG_EAX: return child_regs->r1; /* see dispatch_to_ia32_handler() */
1479               case PT_EIP: return child_regs->cr_iip;
1480               case PT_UESP: return child_regs->r12;
1481               case PT_EFL: return child->thread.eflag;
1482               case PT_DS: case PT_ES: case PT_FS: case PT_GS: case PT_SS:
1483                 return __USER_DS;
1484               case PT_CS: return __USER_CS;
1485               default:
1486                 printk(KERN_ERR "ia32.getreg(): unknown register %d\n", regno);
1487                 break;
1488         }
1489         return 0;
1490 }
1491
1492 static void
1493 putreg (struct task_struct *child, int regno, unsigned int value)
1494 {
1495         struct pt_regs *child_regs;
1496
1497         child_regs = task_pt_regs(child);
1498         switch (regno / sizeof(int)) {
1499               case PT_EBX: child_regs->r11 = value; break;
1500               case PT_ECX: child_regs->r9 = value; break;
1501               case PT_EDX: child_regs->r10 = value; break;
1502               case PT_ESI: child_regs->r14 = value; break;
1503               case PT_EDI: child_regs->r15 = value; break;
1504               case PT_EBP: child_regs->r13 = value; break;
1505               case PT_EAX: child_regs->r8 = value; break;
1506               case PT_ORIG_EAX: child_regs->r1 = value; break;
1507               case PT_EIP: child_regs->cr_iip = value; break;
1508               case PT_UESP: child_regs->r12 = value; break;
1509               case PT_EFL: child->thread.eflag = value; break;
1510               case PT_DS: case PT_ES: case PT_FS: case PT_GS: case PT_SS:
1511                 if (value != __USER_DS)
1512                         printk(KERN_ERR
1513                                "ia32.putreg: attempt to set invalid segment register %d = %x\n",
1514                                regno, value);
1515                 break;
1516               case PT_CS:
1517                 if (value != __USER_CS)
1518                         printk(KERN_ERR
1519                                "ia32.putreg: attempt to to set invalid segment register %d = %x\n",
1520                                regno, value);
1521                 break;
1522               default:
1523                 printk(KERN_ERR "ia32.putreg: unknown register %d\n", regno);
1524                 break;
1525         }
1526 }
1527
1528 static void
1529 put_fpreg (int regno, struct _fpreg_ia32 __user *reg, struct pt_regs *ptp,
1530            struct switch_stack *swp, int tos)
1531 {
1532         struct _fpreg_ia32 *f;
1533         char buf[32];
1534
1535         f = (struct _fpreg_ia32 *)(((unsigned long)buf + 15) & ~15);
1536         if ((regno += tos) >= 8)
1537                 regno -= 8;
1538         switch (regno) {
1539               case 0:
1540                 ia64f2ia32f(f, &ptp->f8);
1541                 break;
1542               case 1:
1543                 ia64f2ia32f(f, &ptp->f9);
1544                 break;
1545               case 2:
1546                 ia64f2ia32f(f, &ptp->f10);
1547                 break;
1548               case 3:
1549                 ia64f2ia32f(f, &ptp->f11);
1550                 break;
1551               case 4:
1552               case 5:
1553               case 6:
1554               case 7:
1555                 ia64f2ia32f(f, &swp->f12 + (regno - 4));
1556                 break;
1557         }
1558         copy_to_user(reg, f, sizeof(*reg));
1559 }
1560
1561 static void
1562 get_fpreg (int regno, struct _fpreg_ia32 __user *reg, struct pt_regs *ptp,
1563            struct switch_stack *swp, int tos)
1564 {
1565
1566         if ((regno += tos) >= 8)
1567                 regno -= 8;
1568         switch (regno) {
1569               case 0:
1570                 copy_from_user(&ptp->f8, reg, sizeof(*reg));
1571                 break;
1572               case 1:
1573                 copy_from_user(&ptp->f9, reg, sizeof(*reg));
1574                 break;
1575               case 2:
1576                 copy_from_user(&ptp->f10, reg, sizeof(*reg));
1577                 break;
1578               case 3:
1579                 copy_from_user(&ptp->f11, reg, sizeof(*reg));
1580                 break;
1581               case 4:
1582               case 5:
1583               case 6:
1584               case 7:
1585                 copy_from_user(&swp->f12 + (regno - 4), reg, sizeof(*reg));
1586                 break;
1587         }
1588         return;
1589 }
1590
1591 int
1592 save_ia32_fpstate (struct task_struct *tsk, struct ia32_user_i387_struct __user *save)
1593 {
1594         struct switch_stack *swp;
1595         struct pt_regs *ptp;
1596         int i, tos;
1597
1598         if (!access_ok(VERIFY_WRITE, save, sizeof(*save)))
1599                 return -EFAULT;
1600
1601         __put_user(tsk->thread.fcr & 0xffff, &save->cwd);
1602         __put_user(tsk->thread.fsr & 0xffff, &save->swd);
1603         __put_user((tsk->thread.fsr>>16) & 0xffff, &save->twd);
1604         __put_user(tsk->thread.fir, &save->fip);
1605         __put_user((tsk->thread.fir>>32) & 0xffff, &save->fcs);
1606         __put_user(tsk->thread.fdr, &save->foo);
1607         __put_user((tsk->thread.fdr>>32) & 0xffff, &save->fos);
1608
1609         /*
1610          *  Stack frames start with 16-bytes of temp space
1611          */
1612         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1613         ptp = task_pt_regs(tsk);
1614         tos = (tsk->thread.fsr >> 11) & 7;
1615         for (i = 0; i < 8; i++)
1616                 put_fpreg(i, &save->st_space[i], ptp, swp, tos);
1617         return 0;
1618 }
1619
1620 static int
1621 restore_ia32_fpstate (struct task_struct *tsk, struct ia32_user_i387_struct __user *save)
1622 {
1623         struct switch_stack *swp;
1624         struct pt_regs *ptp;
1625         int i, tos;
1626         unsigned int fsrlo, fsrhi, num32;
1627
1628         if (!access_ok(VERIFY_READ, save, sizeof(*save)))
1629                 return(-EFAULT);
1630
1631         __get_user(num32, (unsigned int __user *)&save->cwd);
1632         tsk->thread.fcr = (tsk->thread.fcr & (~0x1f3f)) | (num32 & 0x1f3f);
1633         __get_user(fsrlo, (unsigned int __user *)&save->swd);
1634         __get_user(fsrhi, (unsigned int __user *)&save->twd);
1635         num32 = (fsrhi << 16) | fsrlo;
1636         tsk->thread.fsr = (tsk->thread.fsr & (~0xffffffff)) | num32;
1637         __get_user(num32, (unsigned int __user *)&save->fip);
1638         tsk->thread.fir = (tsk->thread.fir & (~0xffffffff)) | num32;
1639         __get_user(num32, (unsigned int __user *)&save->foo);
1640         tsk->thread.fdr = (tsk->thread.fdr & (~0xffffffff)) | num32;
1641
1642         /*
1643          *  Stack frames start with 16-bytes of temp space
1644          */
1645         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1646         ptp = task_pt_regs(tsk);
1647         tos = (tsk->thread.fsr >> 11) & 7;
1648         for (i = 0; i < 8; i++)
1649                 get_fpreg(i, &save->st_space[i], ptp, swp, tos);
1650         return 0;
1651 }
1652
1653 int
1654 save_ia32_fpxstate (struct task_struct *tsk, struct ia32_user_fxsr_struct __user *save)
1655 {
1656         struct switch_stack *swp;
1657         struct pt_regs *ptp;
1658         int i, tos;
1659         unsigned long mxcsr=0;
1660         unsigned long num128[2];
1661
1662         if (!access_ok(VERIFY_WRITE, save, sizeof(*save)))
1663                 return -EFAULT;
1664
1665         __put_user(tsk->thread.fcr & 0xffff, &save->cwd);
1666         __put_user(tsk->thread.fsr & 0xffff, &save->swd);
1667         __put_user((tsk->thread.fsr>>16) & 0xffff, &save->twd);
1668         __put_user(tsk->thread.fir, &save->fip);
1669         __put_user((tsk->thread.fir>>32) & 0xffff, &save->fcs);
1670         __put_user(tsk->thread.fdr, &save->foo);
1671         __put_user((tsk->thread.fdr>>32) & 0xffff, &save->fos);
1672
1673         /*
1674          *  Stack frames start with 16-bytes of temp space
1675          */
1676         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1677         ptp = task_pt_regs(tsk);
1678         tos = (tsk->thread.fsr >> 11) & 7;
1679         for (i = 0; i < 8; i++)
1680                 put_fpreg(i, (struct _fpreg_ia32 __user *)&save->st_space[4*i], ptp, swp, tos);
1681
1682         mxcsr = ((tsk->thread.fcr>>32) & 0xff80) | ((tsk->thread.fsr>>32) & 0x3f);
1683         __put_user(mxcsr & 0xffff, &save->mxcsr);
1684         for (i = 0; i < 8; i++) {
1685                 memcpy(&(num128[0]), &(swp->f16) + i*2, sizeof(unsigned long));
1686                 memcpy(&(num128[1]), &(swp->f17) + i*2, sizeof(unsigned long));
1687                 copy_to_user(&save->xmm_space[0] + 4*i, num128, sizeof(struct _xmmreg_ia32));
1688         }
1689         return 0;
1690 }
1691
1692 static int
1693 restore_ia32_fpxstate (struct task_struct *tsk, struct ia32_user_fxsr_struct __user *save)
1694 {
1695         struct switch_stack *swp;
1696         struct pt_regs *ptp;
1697         int i, tos;
1698         unsigned int fsrlo, fsrhi, num32;
1699         int mxcsr;
1700         unsigned long num64;
1701         unsigned long num128[2];
1702
1703         if (!access_ok(VERIFY_READ, save, sizeof(*save)))
1704                 return(-EFAULT);
1705
1706         __get_user(num32, (unsigned int __user *)&save->cwd);
1707         tsk->thread.fcr = (tsk->thread.fcr & (~0x1f3f)) | (num32 & 0x1f3f);
1708         __get_user(fsrlo, (unsigned int __user *)&save->swd);
1709         __get_user(fsrhi, (unsigned int __user *)&save->twd);
1710         num32 = (fsrhi << 16) | fsrlo;
1711         tsk->thread.fsr = (tsk->thread.fsr & (~0xffffffff)) | num32;
1712         __get_user(num32, (unsigned int __user *)&save->fip);
1713         tsk->thread.fir = (tsk->thread.fir & (~0xffffffff)) | num32;
1714         __get_user(num32, (unsigned int __user *)&save->foo);
1715         tsk->thread.fdr = (tsk->thread.fdr & (~0xffffffff)) | num32;
1716
1717         /*
1718          *  Stack frames start with 16-bytes of temp space
1719          */
1720         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1721         ptp = task_pt_regs(tsk);
1722         tos = (tsk->thread.fsr >> 11) & 7;
1723         for (i = 0; i < 8; i++)
1724         get_fpreg(i, (struct _fpreg_ia32 __user *)&save->st_space[4*i], ptp, swp, tos);
1725
1726         __get_user(mxcsr, (unsigned int __user *)&save->mxcsr);
1727         num64 = mxcsr & 0xff10;
1728         tsk->thread.fcr = (tsk->thread.fcr & (~0xff1000000000UL)) | (num64<<32);
1729         num64 = mxcsr & 0x3f;
1730         tsk->thread.fsr = (tsk->thread.fsr & (~0x3f00000000UL)) | (num64<<32);
1731
1732         for (i = 0; i < 8; i++) {
1733                 copy_from_user(num128, &save->xmm_space[0] + 4*i, sizeof(struct _xmmreg_ia32));
1734                 memcpy(&(swp->f16) + i*2, &(num128[0]), sizeof(unsigned long));
1735                 memcpy(&(swp->f17) + i*2, &(num128[1]), sizeof(unsigned long));
1736         }
1737         return 0;
1738 }
1739
1740 asmlinkage long
1741 sys32_ptrace (int request, pid_t pid, unsigned int addr, unsigned int data)
1742 {
1743         struct task_struct *child;
1744         unsigned int value, tmp;
1745         long i, ret;
1746
1747         lock_kernel();
1748         if (request == PTRACE_TRACEME) {
1749                 ret = ptrace_traceme();
1750                 goto out;
1751         }
1752
1753         child = ptrace_get_task_struct(pid);
1754         if (IS_ERR(child)) {
1755                 ret = PTR_ERR(child);
1756                 goto out;
1757         }
1758
1759         if (request == PTRACE_ATTACH) {
1760                 ret = sys_ptrace(request, pid, addr, data);
1761                 goto out_tsk;
1762         }
1763
1764         ret = ptrace_check_attach(child, request == PTRACE_KILL);
1765         if (ret < 0)
1766                 goto out_tsk;
1767
1768         switch (request) {
1769               case PTRACE_PEEKTEXT:
1770               case PTRACE_PEEKDATA:     /* read word at location addr */
1771                 ret = ia32_peek(child, addr, &value);
1772                 if (ret == 0)
1773                         ret = put_user(value, (unsigned int __user *) compat_ptr(data));
1774                 else
1775                         ret = -EIO;
1776                 goto out_tsk;
1777
1778               case PTRACE_POKETEXT:
1779               case PTRACE_POKEDATA:     /* write the word at location addr */
1780                 ret = ia32_poke(child, addr, data);
1781                 goto out_tsk;
1782
1783               case PTRACE_PEEKUSR:      /* read word at addr in USER area */
1784                 ret = -EIO;
1785                 if ((addr & 3) || addr > 17*sizeof(int))
1786                         break;
1787
1788                 tmp = getreg(child, addr);
1789                 if (!put_user(tmp, (unsigned int __user *) compat_ptr(data)))
1790                         ret = 0;
1791                 break;
1792
1793               case PTRACE_POKEUSR:      /* write word at addr in USER area */
1794                 ret = -EIO;
1795                 if ((addr & 3) || addr > 17*sizeof(int))
1796                         break;
1797
1798                 putreg(child, addr, data);
1799                 ret = 0;
1800                 break;
1801
1802               case IA32_PTRACE_GETREGS:
1803                 if (!access_ok(VERIFY_WRITE, compat_ptr(data), 17*sizeof(int))) {
1804                         ret = -EIO;
1805                         break;
1806                 }
1807                 for (i = 0; i < (int) (17*sizeof(int)); i += sizeof(int) ) {
1808                         put_user(getreg(child, i), (unsigned int __user *) compat_ptr(data));
1809                         data += sizeof(int);
1810                 }
1811                 ret = 0;
1812                 break;
1813
1814               case IA32_PTRACE_SETREGS:
1815                 if (!access_ok(VERIFY_READ, compat_ptr(data), 17*sizeof(int))) {
1816                         ret = -EIO;
1817                         break;
1818                 }
1819                 for (i = 0; i < (int) (17*sizeof(int)); i += sizeof(int) ) {
1820                         get_user(tmp, (unsigned int __user *) compat_ptr(data));
1821                         putreg(child, i, tmp);
1822                         data += sizeof(int);
1823                 }
1824                 ret = 0;
1825                 break;
1826
1827               case IA32_PTRACE_GETFPREGS:
1828                 ret = save_ia32_fpstate(child, (struct ia32_user_i387_struct __user *)
1829                                         compat_ptr(data));
1830                 break;
1831
1832               case IA32_PTRACE_GETFPXREGS:
1833                 ret = save_ia32_fpxstate(child, (struct ia32_user_fxsr_struct __user *)
1834                                          compat_ptr(data));
1835                 break;
1836
1837               case IA32_PTRACE_SETFPREGS:
1838                 ret = restore_ia32_fpstate(child, (struct ia32_user_i387_struct __user *)
1839                                            compat_ptr(data));
1840                 break;
1841
1842               case IA32_PTRACE_SETFPXREGS:
1843                 ret = restore_ia32_fpxstate(child, (struct ia32_user_fxsr_struct __user *)
1844                                             compat_ptr(data));
1845                 break;
1846
1847               case PTRACE_GETEVENTMSG:   
1848                 ret = put_user(child->ptrace_message, (unsigned int __user *) compat_ptr(data));
1849                 break;
1850
1851               case PTRACE_SYSCALL:      /* continue, stop after next syscall */
1852               case PTRACE_CONT:         /* restart after signal. */
1853               case PTRACE_KILL:
1854               case PTRACE_SINGLESTEP:   /* execute chile for one instruction */
1855               case PTRACE_DETACH:       /* detach a process */
1856                 ret = sys_ptrace(request, pid, addr, data);
1857                 break;
1858
1859               default:
1860                 ret = ptrace_request(child, request, addr, data);
1861                 break;
1862
1863         }
1864   out_tsk:
1865         put_task_struct(child);
1866   out:
1867         unlock_kernel();
1868         return ret;
1869 }
1870
1871 typedef struct {
1872         unsigned int    ss_sp;
1873         unsigned int    ss_flags;
1874         unsigned int    ss_size;
1875 } ia32_stack_t;
1876
1877 asmlinkage long
1878 sys32_sigaltstack (ia32_stack_t __user *uss32, ia32_stack_t __user *uoss32,
1879                    long arg2, long arg3, long arg4, long arg5, long arg6,
1880                    long arg7, struct pt_regs pt)
1881 {
1882         stack_t uss, uoss;
1883         ia32_stack_t buf32;
1884         int ret;
1885         mm_segment_t old_fs = get_fs();
1886
1887         if (uss32) {
1888                 if (copy_from_user(&buf32, uss32, sizeof(ia32_stack_t)))
1889                         return -EFAULT;
1890                 uss.ss_sp = (void __user *) (long) buf32.ss_sp;
1891                 uss.ss_flags = buf32.ss_flags;
1892                 /* MINSIGSTKSZ is different for ia32 vs ia64. We lie here to pass the
1893                    check and set it to the user requested value later */
1894                 if ((buf32.ss_flags != SS_DISABLE) && (buf32.ss_size < MINSIGSTKSZ_IA32)) {
1895                         ret = -ENOMEM;
1896                         goto out;
1897                 }
1898                 uss.ss_size = MINSIGSTKSZ;
1899         }
1900         set_fs(KERNEL_DS);
1901         ret = do_sigaltstack(uss32 ? (stack_t __user *) &uss : NULL,
1902                              (stack_t __user *) &uoss, pt.r12);
1903         current->sas_ss_size = buf32.ss_size;
1904         set_fs(old_fs);
1905 out:
1906         if (ret < 0)
1907                 return(ret);
1908         if (uoss32) {
1909                 buf32.ss_sp = (long __user) uoss.ss_sp;
1910                 buf32.ss_flags = uoss.ss_flags;
1911                 buf32.ss_size = uoss.ss_size;
1912                 if (copy_to_user(uoss32, &buf32, sizeof(ia32_stack_t)))
1913                         return -EFAULT;
1914         }
1915         return ret;
1916 }
1917
1918 asmlinkage int
1919 sys32_pause (void)
1920 {
1921         current->state = TASK_INTERRUPTIBLE;
1922         schedule();
1923         return -ERESTARTNOHAND;
1924 }
1925
1926 asmlinkage int
1927 sys32_msync (unsigned int start, unsigned int len, int flags)
1928 {
1929         unsigned int addr;
1930
1931         if (OFFSET4K(start))
1932                 return -EINVAL;
1933         addr = PAGE_START(start);
1934         return sys_msync(addr, len + (start - addr), flags);
1935 }
1936
1937 struct sysctl32 {
1938         unsigned int    name;
1939         int             nlen;
1940         unsigned int    oldval;
1941         unsigned int    oldlenp;
1942         unsigned int    newval;
1943         unsigned int    newlen;
1944         unsigned int    __unused[4];
1945 };
1946
1947 #ifdef CONFIG_SYSCTL
1948 asmlinkage long
1949 sys32_sysctl (struct sysctl32 __user *args)
1950 {
1951         struct sysctl32 a32;
1952         mm_segment_t old_fs = get_fs ();
1953         void __user *oldvalp, *newvalp;
1954         size_t oldlen;
1955         int __user *namep;
1956         long ret;
1957
1958         if (copy_from_user(&a32, args, sizeof(a32)))
1959                 return -EFAULT;
1960
1961         /*
1962          * We need to pre-validate these because we have to disable address checking
1963          * before calling do_sysctl() because of OLDLEN but we can't run the risk of the
1964          * user specifying bad addresses here.  Well, since we're dealing with 32 bit
1965          * addresses, we KNOW that access_ok() will always succeed, so this is an
1966          * expensive NOP, but so what...
1967          */
1968         namep = (int __user *) compat_ptr(a32.name);
1969         oldvalp = compat_ptr(a32.oldval);
1970         newvalp = compat_ptr(a32.newval);
1971
1972         if ((oldvalp && get_user(oldlen, (int __user *) compat_ptr(a32.oldlenp)))
1973             || !access_ok(VERIFY_WRITE, namep, 0)
1974             || !access_ok(VERIFY_WRITE, oldvalp, 0)
1975             || !access_ok(VERIFY_WRITE, newvalp, 0))
1976                 return -EFAULT;
1977
1978         set_fs(KERNEL_DS);
1979         lock_kernel();
1980         ret = do_sysctl(namep, a32.nlen, oldvalp, (size_t __user *) &oldlen,
1981                         newvalp, (size_t) a32.newlen);
1982         unlock_kernel();
1983         set_fs(old_fs);
1984
1985         if (oldvalp && put_user (oldlen, (int __user *) compat_ptr(a32.oldlenp)))
1986                 return -EFAULT;
1987
1988         return ret;
1989 }
1990 #endif
1991
1992 asmlinkage long
1993 sys32_newuname (struct new_utsname __user *name)
1994 {
1995         int ret = sys_newuname(name);
1996
1997         if (!ret)
1998                 if (copy_to_user(name->machine, "i686\0\0\0", 8))
1999                         ret = -EFAULT;
2000         return ret;
2001 }
2002
2003 asmlinkage long
2004 sys32_getresuid16 (u16 __user *ruid, u16 __user *euid, u16 __user *suid)
2005 {
2006         uid_t a, b, c;
2007         int ret;
2008         mm_segment_t old_fs = get_fs();
2009
2010         set_fs(KERNEL_DS);
2011         ret = sys_getresuid((uid_t __user *) &a, (uid_t __user *) &b, (uid_t __user *) &c);
2012         set_fs(old_fs);
2013
2014         if (put_user(a, ruid) || put_user(b, euid) || put_user(c, suid))
2015                 return -EFAULT;
2016         return ret;
2017 }
2018
2019 asmlinkage long
2020 sys32_getresgid16 (u16 __user *rgid, u16 __user *egid, u16 __user *sgid)
2021 {
2022         gid_t a, b, c;
2023         int ret;
2024         mm_segment_t old_fs = get_fs();
2025
2026         set_fs(KERNEL_DS);
2027         ret = sys_getresgid((gid_t __user *) &a, (gid_t __user *) &b, (gid_t __user *) &c);
2028         set_fs(old_fs);
2029
2030         if (ret)
2031                 return ret;
2032
2033         return put_user(a, rgid) | put_user(b, egid) | put_user(c, sgid);
2034 }
2035
2036 asmlinkage long
2037 sys32_lseek (unsigned int fd, int offset, unsigned int whence)
2038 {
2039         /* Sign-extension of "offset" is important here... */
2040         return sys_lseek(fd, offset, whence);
2041 }
2042
2043 static int
2044 groups16_to_user(short __user *grouplist, struct group_info *group_info)
2045 {
2046         int i;
2047         short group;
2048
2049         for (i = 0; i < group_info->ngroups; i++) {
2050                 group = (short)GROUP_AT(group_info, i);
2051                 if (put_user(group, grouplist+i))
2052                         return -EFAULT;
2053         }
2054
2055         return 0;
2056 }
2057
2058 static int
2059 groups16_from_user(struct group_info *group_info, short __user *grouplist)
2060 {
2061         int i;
2062         short group;
2063
2064         for (i = 0; i < group_info->ngroups; i++) {
2065                 if (get_user(group, grouplist+i))
2066                         return  -EFAULT;
2067                 GROUP_AT(group_info, i) = (gid_t)group;
2068         }
2069
2070         return 0;
2071 }
2072
2073 asmlinkage long
2074 sys32_getgroups16 (int gidsetsize, short __user *grouplist)
2075 {
2076         int i;
2077
2078         if (gidsetsize < 0)
2079                 return -EINVAL;
2080
2081         get_group_info(current->group_info);
2082         i = current->group_info->ngroups;
2083         if (gidsetsize) {
2084                 if (i > gidsetsize) {
2085                         i = -EINVAL;
2086                         goto out;
2087                 }
2088                 if (groups16_to_user(grouplist, current->group_info)) {
2089                         i = -EFAULT;
2090                         goto out;
2091                 }
2092         }
2093 out:
2094         put_group_info(current->group_info);
2095         return i;
2096 }
2097
2098 asmlinkage long
2099 sys32_setgroups16 (int gidsetsize, short __user *grouplist)
2100 {
2101         struct group_info *group_info;
2102         int retval;
2103
2104         if (!capable(CAP_SETGID))
2105                 return -EPERM;
2106         if ((unsigned)gidsetsize > NGROUPS_MAX)
2107                 return -EINVAL;
2108
2109         group_info = groups_alloc(gidsetsize);
2110         if (!group_info)
2111                 return -ENOMEM;
2112         retval = groups16_from_user(group_info, grouplist);
2113         if (retval) {
2114                 put_group_info(group_info);
2115                 return retval;
2116         }
2117
2118         retval = set_current_groups(group_info);
2119         put_group_info(group_info);
2120
2121         return retval;
2122 }
2123
2124 asmlinkage long
2125 sys32_truncate64 (unsigned int path, unsigned int len_lo, unsigned int len_hi)
2126 {
2127         return sys_truncate(compat_ptr(path), ((unsigned long) len_hi << 32) | len_lo);
2128 }
2129
2130 asmlinkage long
2131 sys32_ftruncate64 (int fd, unsigned int len_lo, unsigned int len_hi)
2132 {
2133         return sys_ftruncate(fd, ((unsigned long) len_hi << 32) | len_lo);
2134 }
2135
2136 static int
2137 putstat64 (struct stat64 __user *ubuf, struct kstat *kbuf)
2138 {
2139         int err;
2140         u64 hdev;
2141
2142         if (clear_user(ubuf, sizeof(*ubuf)))
2143                 return -EFAULT;
2144
2145         hdev = huge_encode_dev(kbuf->dev);
2146         err  = __put_user(hdev, (u32 __user*)&ubuf->st_dev);
2147         err |= __put_user(hdev >> 32, ((u32 __user*)&ubuf->st_dev) + 1);
2148         err |= __put_user(kbuf->ino, &ubuf->__st_ino);
2149         err |= __put_user(kbuf->ino, &ubuf->st_ino_lo);
2150         err |= __put_user(kbuf->ino >> 32, &ubuf->st_ino_hi);
2151         err |= __put_user(kbuf->mode, &ubuf->st_mode);
2152         err |= __put_user(kbuf->nlink, &ubuf->st_nlink);
2153         err |= __put_user(kbuf->uid, &ubuf->st_uid);
2154         err |= __put_user(kbuf->gid, &ubuf->st_gid);
2155         hdev = huge_encode_dev(kbuf->rdev);
2156         err  = __put_user(hdev, (u32 __user*)&ubuf->st_rdev);
2157         err |= __put_user(hdev >> 32, ((u32 __user*)&ubuf->st_rdev) + 1);
2158         err |= __put_user(kbuf->size, &ubuf->st_size_lo);
2159         err |= __put_user((kbuf->size >> 32), &ubuf->st_size_hi);
2160         err |= __put_user(kbuf->atime.tv_sec, &ubuf->st_atime);
2161         err |= __put_user(kbuf->atime.tv_nsec, &ubuf->st_atime_nsec);
2162         err |= __put_user(kbuf->mtime.tv_sec, &ubuf->st_mtime);
2163         err |= __put_user(kbuf->mtime.tv_nsec, &ubuf->st_mtime_nsec);
2164         err |= __put_user(kbuf->ctime.tv_sec, &ubuf->st_ctime);
2165         err |= __put_user(kbuf->ctime.tv_nsec, &ubuf->st_ctime_nsec);
2166         err |= __put_user(kbuf->blksize, &ubuf->st_blksize);
2167         err |= __put_user(kbuf->blocks, &ubuf->st_blocks);
2168         return err;
2169 }
2170
2171 asmlinkage long
2172 sys32_stat64 (char __user *filename, struct stat64 __user *statbuf)
2173 {
2174         struct kstat s;
2175         long ret = vfs_stat(filename, &s);
2176         if (!ret)
2177                 ret = putstat64(statbuf, &s);
2178         return ret;
2179 }
2180
2181 asmlinkage long
2182 sys32_lstat64 (char __user *filename, struct stat64 __user *statbuf)
2183 {
2184         struct kstat s;
2185         long ret = vfs_lstat(filename, &s);
2186         if (!ret)
2187                 ret = putstat64(statbuf, &s);
2188         return ret;
2189 }
2190
2191 asmlinkage long
2192 sys32_fstat64 (unsigned int fd, struct stat64 __user *statbuf)
2193 {
2194         struct kstat s;
2195         long ret = vfs_fstat(fd, &s);
2196         if (!ret)
2197                 ret = putstat64(statbuf, &s);
2198         return ret;
2199 }
2200
2201 struct sysinfo32 {
2202         s32 uptime;
2203         u32 loads[3];
2204         u32 totalram;
2205         u32 freeram;
2206         u32 sharedram;
2207         u32 bufferram;
2208         u32 totalswap;
2209         u32 freeswap;
2210         u16 procs;
2211         u16 pad;
2212         u32 totalhigh;
2213         u32 freehigh;
2214         u32 mem_unit;
2215         char _f[8];
2216 };
2217
2218 asmlinkage long
2219 sys32_sysinfo (struct sysinfo32 __user *info)
2220 {
2221         struct sysinfo s;
2222         long ret, err;
2223         int bitcount = 0;
2224         mm_segment_t old_fs = get_fs();
2225
2226         set_fs(KERNEL_DS);
2227         ret = sys_sysinfo((struct sysinfo __user *) &s);
2228         set_fs(old_fs);
2229         /* Check to see if any memory value is too large for 32-bit and
2230          * scale down if needed.
2231          */
2232         if ((s.totalram >> 32) || (s.totalswap >> 32)) {
2233                 while (s.mem_unit < PAGE_SIZE) {
2234                         s.mem_unit <<= 1;
2235                         bitcount++;
2236                 }
2237                 s.totalram >>= bitcount;
2238                 s.freeram >>= bitcount;
2239                 s.sharedram >>= bitcount;
2240                 s.bufferram >>= bitcount;
2241                 s.totalswap >>= bitcount;
2242                 s.freeswap >>= bitcount;
2243                 s.totalhigh >>= bitcount;
2244                 s.freehigh >>= bitcount;
2245         }
2246
2247         if (!access_ok(VERIFY_WRITE, info, sizeof(*info)))
2248                 return -EFAULT;
2249
2250         err  = __put_user(s.uptime, &info->uptime);
2251         err |= __put_user(s.loads[0], &info->loads[0]);
2252         err |= __put_user(s.loads[1], &info->loads[1]);
2253         err |= __put_user(s.loads[2], &info->loads[2]);
2254         err |= __put_user(s.totalram, &info->totalram);
2255         err |= __put_user(s.freeram, &info->freeram);
2256         err |= __put_user(s.sharedram, &info->sharedram);
2257         err |= __put_user(s.bufferram, &info->bufferram);
2258         err |= __put_user(s.totalswap, &info->totalswap);
2259         err |= __put_user(s.freeswap, &info->freeswap);
2260         err |= __put_user(s.procs, &info->procs);
2261         err |= __put_user (s.totalhigh, &info->totalhigh);
2262         err |= __put_user (s.freehigh, &info->freehigh);
2263         err |= __put_user (s.mem_unit, &info->mem_unit);
2264         if (err)
2265                 return -EFAULT;
2266         return ret;
2267 }
2268
2269 asmlinkage long
2270 sys32_sched_rr_get_interval (pid_t pid, struct compat_timespec __user *interval)
2271 {
2272         mm_segment_t old_fs = get_fs();
2273         struct timespec t;
2274         long ret;
2275
2276         set_fs(KERNEL_DS);
2277         ret = sys_sched_rr_get_interval(pid, (struct timespec __user *) &t);
2278         set_fs(old_fs);
2279         if (put_compat_timespec(&t, interval))
2280                 return -EFAULT;
2281         return ret;
2282 }
2283
2284 asmlinkage long
2285 sys32_pread (unsigned int fd, void __user *buf, unsigned int count, u32 pos_lo, u32 pos_hi)
2286 {
2287         return sys_pread64(fd, buf, count, ((unsigned long) pos_hi << 32) | pos_lo);
2288 }
2289
2290 asmlinkage long
2291 sys32_pwrite (unsigned int fd, void __user *buf, unsigned int count, u32 pos_lo, u32 pos_hi)
2292 {
2293         return sys_pwrite64(fd, buf, count, ((unsigned long) pos_hi << 32) | pos_lo);
2294 }
2295
2296 asmlinkage long
2297 sys32_sendfile (int out_fd, int in_fd, int __user *offset, unsigned int count)
2298 {
2299         mm_segment_t old_fs = get_fs();
2300         long ret;
2301         off_t of;
2302
2303         if (offset && get_user(of, offset))
2304                 return -EFAULT;
2305
2306         set_fs(KERNEL_DS);
2307         ret = sys_sendfile(out_fd, in_fd, offset ? (off_t __user *) &of : NULL, count);
2308         set_fs(old_fs);
2309
2310         if (offset && put_user(of, offset))
2311                 return -EFAULT;
2312
2313         return ret;
2314 }
2315
2316 asmlinkage long
2317 sys32_personality (unsigned int personality)
2318 {
2319         long ret;
2320
2321         if (current->personality == PER_LINUX32 && personality == PER_LINUX)
2322                 personality = PER_LINUX32;
2323         ret = sys_personality(personality);
2324         if (ret == PER_LINUX32)
2325                 ret = PER_LINUX;
2326         return ret;
2327 }
2328
2329 asmlinkage unsigned long
2330 sys32_brk (unsigned int brk)
2331 {
2332         unsigned long ret, obrk;
2333         struct mm_struct *mm = current->mm;
2334
2335         obrk = mm->brk;
2336         ret = sys_brk(brk);
2337         if (ret < obrk)
2338                 clear_user(compat_ptr(ret), PAGE_ALIGN(ret) - ret);
2339         return ret;
2340 }
2341
2342 /* Structure for ia32 emulation on ia64 */
2343 struct epoll_event32
2344 {
2345         u32 events;
2346         u32 data[2];
2347 };
2348
2349 asmlinkage long
2350 sys32_epoll_ctl(int epfd, int op, int fd, struct epoll_event32 __user *event)
2351 {
2352         mm_segment_t old_fs = get_fs();
2353         struct epoll_event event64;
2354         int error;
2355         u32 data_halfword;
2356
2357         if (!access_ok(VERIFY_READ, event, sizeof(struct epoll_event32)))
2358                 return -EFAULT;
2359
2360         __get_user(event64.events, &event->events);
2361         __get_user(data_halfword, &event->data[0]);
2362         event64.data = data_halfword;
2363         __get_user(data_halfword, &event->data[1]);
2364         event64.data |= (u64)data_halfword << 32;
2365
2366         set_fs(KERNEL_DS);
2367         error = sys_epoll_ctl(epfd, op, fd, (struct epoll_event __user *) &event64);
2368         set_fs(old_fs);
2369
2370         return error;
2371 }
2372
2373 asmlinkage long
2374 sys32_epoll_wait(int epfd, struct epoll_event32 __user * events, int maxevents,
2375                  int timeout)
2376 {
2377         struct epoll_event *events64 = NULL;
2378         mm_segment_t old_fs = get_fs();
2379         int numevents, size;
2380         int evt_idx;
2381         int do_free_pages = 0;
2382
2383         if (maxevents <= 0) {
2384                 return -EINVAL;
2385         }
2386
2387         /* Verify that the area passed by the user is writeable */
2388         if (!access_ok(VERIFY_WRITE, events, maxevents * sizeof(struct epoll_event32)))
2389                 return -EFAULT;
2390
2391         /*
2392          * Allocate space for the intermediate copy.  If the space needed
2393          * is large enough to cause kmalloc to fail, then try again with
2394          * __get_free_pages.
2395          */
2396         size = maxevents * sizeof(struct epoll_event);
2397         events64 = kmalloc(size, GFP_KERNEL);
2398         if (events64 == NULL) {
2399                 events64 = (struct epoll_event *)
2400                                 __get_free_pages(GFP_KERNEL, get_order(size));
2401                 if (events64 == NULL)
2402                         return -ENOMEM;
2403                 do_free_pages = 1;
2404         }
2405
2406         /* Do the system call */
2407         set_fs(KERNEL_DS); /* copy_to/from_user should work on kernel mem*/
2408         numevents = sys_epoll_wait(epfd, (struct epoll_event __user *) events64,
2409                                    maxevents, timeout);
2410         set_fs(old_fs);
2411
2412         /* Don't modify userspace memory if we're returning an error */
2413         if (numevents > 0) {
2414                 /* Translate the 64-bit structures back into the 32-bit
2415                    structures */
2416                 for (evt_idx = 0; evt_idx < numevents; evt_idx++) {
2417                         __put_user(events64[evt_idx].events,
2418                                    &events[evt_idx].events);
2419                         __put_user((u32)events64[evt_idx].data,
2420                                    &events[evt_idx].data[0]);
2421                         __put_user((u32)(events64[evt_idx].data >> 32),
2422                                    &events[evt_idx].data[1]);
2423                 }
2424         }
2425
2426         if (do_free_pages)
2427                 free_pages((unsigned long) events64, get_order(size));
2428         else
2429                 kfree(events64);
2430         return numevents;
2431 }
2432
2433 /*
2434  * Get a yet unused TLS descriptor index.
2435  */
2436 static int
2437 get_free_idx (void)
2438 {
2439         struct thread_struct *t = &current->thread;
2440         int idx;
2441
2442         for (idx = 0; idx < GDT_ENTRY_TLS_ENTRIES; idx++)
2443                 if (desc_empty(t->tls_array + idx))
2444                         return idx + GDT_ENTRY_TLS_MIN;
2445         return -ESRCH;
2446 }
2447
2448 /*
2449  * Set a given TLS descriptor:
2450  */
2451 asmlinkage int
2452 sys32_set_thread_area (struct ia32_user_desc __user *u_info)
2453 {
2454         struct thread_struct *t = &current->thread;
2455         struct ia32_user_desc info;
2456         struct desc_struct *desc;
2457         int cpu, idx;
2458
2459         if (copy_from_user(&info, u_info, sizeof(info)))
2460                 return -EFAULT;
2461         idx = info.entry_number;
2462
2463         /*
2464          * index -1 means the kernel should try to find and allocate an empty descriptor:
2465          */
2466         if (idx == -1) {
2467                 idx = get_free_idx();
2468                 if (idx < 0)
2469                         return idx;
2470                 if (put_user(idx, &u_info->entry_number))
2471                         return -EFAULT;
2472         }
2473
2474         if (idx < GDT_ENTRY_TLS_MIN || idx > GDT_ENTRY_TLS_MAX)
2475                 return -EINVAL;
2476
2477         desc = t->tls_array + idx - GDT_ENTRY_TLS_MIN;
2478
2479         cpu = smp_processor_id();
2480
2481         if (LDT_empty(&info)) {
2482                 desc->a = 0;
2483                 desc->b = 0;
2484         } else {
2485                 desc->a = LDT_entry_a(&info);
2486                 desc->b = LDT_entry_b(&info);
2487         }
2488         load_TLS(t, cpu);
2489         return 0;
2490 }
2491
2492 /*
2493  * Get the current Thread-Local Storage area:
2494  */
2495
2496 #define GET_BASE(desc) (                        \
2497         (((desc)->a >> 16) & 0x0000ffff) |      \
2498         (((desc)->b << 16) & 0x00ff0000) |      \
2499         ( (desc)->b        & 0xff000000)   )
2500
2501 #define GET_LIMIT(desc) (                       \
2502         ((desc)->a & 0x0ffff) |                 \
2503          ((desc)->b & 0xf0000) )
2504
2505 #define GET_32BIT(desc)         (((desc)->b >> 22) & 1)
2506 #define GET_CONTENTS(desc)      (((desc)->b >> 10) & 3)
2507 #define GET_WRITABLE(desc)      (((desc)->b >>  9) & 1)
2508 #define GET_LIMIT_PAGES(desc)   (((desc)->b >> 23) & 1)
2509 #define GET_PRESENT(desc)       (((desc)->b >> 15) & 1)
2510 #define GET_USEABLE(desc)       (((desc)->b >> 20) & 1)
2511
2512 asmlinkage int
2513 sys32_get_thread_area (struct ia32_user_desc __user *u_info)
2514 {
2515         struct ia32_user_desc info;
2516         struct desc_struct *desc;
2517         int idx;
2518
2519         if (get_user(idx, &u_info->entry_number))
2520                 return -EFAULT;
2521         if (idx < GDT_ENTRY_TLS_MIN || idx > GDT_ENTRY_TLS_MAX)
2522                 return -EINVAL;
2523
2524         desc = current->thread.tls_array + idx - GDT_ENTRY_TLS_MIN;
2525
2526         info.entry_number = idx;
2527         info.base_addr = GET_BASE(desc);
2528         info.limit = GET_LIMIT(desc);
2529         info.seg_32bit = GET_32BIT(desc);
2530         info.contents = GET_CONTENTS(desc);
2531         info.read_exec_only = !GET_WRITABLE(desc);
2532         info.limit_in_pages = GET_LIMIT_PAGES(desc);
2533         info.seg_not_present = !GET_PRESENT(desc);
2534         info.useable = GET_USEABLE(desc);
2535
2536         if (copy_to_user(u_info, &info, sizeof(info)))
2537                 return -EFAULT;
2538         return 0;
2539 }
2540
2541 long sys32_fadvise64_64(int fd, __u32 offset_low, __u32 offset_high, 
2542                         __u32 len_low, __u32 len_high, int advice)
2543
2544         return sys_fadvise64_64(fd,
2545                                (((u64)offset_high)<<32) | offset_low,
2546                                (((u64)len_high)<<32) | len_low,
2547                                advice); 
2548
2549
2550 #ifdef  NOTYET  /* UNTESTED FOR IA64 FROM HERE DOWN */
2551
2552 asmlinkage long sys32_setreuid(compat_uid_t ruid, compat_uid_t euid)
2553 {
2554         uid_t sruid, seuid;
2555
2556         sruid = (ruid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)ruid);
2557         seuid = (euid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)euid);
2558         return sys_setreuid(sruid, seuid);
2559 }
2560
2561 asmlinkage long
2562 sys32_setresuid(compat_uid_t ruid, compat_uid_t euid,
2563                 compat_uid_t suid)
2564 {
2565         uid_t sruid, seuid, ssuid;
2566
2567         sruid = (ruid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)ruid);
2568         seuid = (euid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)euid);
2569         ssuid = (suid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)suid);
2570         return sys_setresuid(sruid, seuid, ssuid);
2571 }
2572
2573 asmlinkage long
2574 sys32_setregid(compat_gid_t rgid, compat_gid_t egid)
2575 {
2576         gid_t srgid, segid;
2577
2578         srgid = (rgid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)rgid);
2579         segid = (egid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)egid);
2580         return sys_setregid(srgid, segid);
2581 }
2582
2583 asmlinkage long
2584 sys32_setresgid(compat_gid_t rgid, compat_gid_t egid,
2585                 compat_gid_t sgid)
2586 {
2587         gid_t srgid, segid, ssgid;
2588
2589         srgid = (rgid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)rgid);
2590         segid = (egid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)egid);
2591         ssgid = (sgid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)sgid);
2592         return sys_setresgid(srgid, segid, ssgid);
2593 }
2594
2595 /* Handle adjtimex compatibility. */
2596
2597 struct timex32 {
2598         u32 modes;
2599         s32 offset, freq, maxerror, esterror;
2600         s32 status, constant, precision, tolerance;
2601         struct compat_timeval time;
2602         s32 tick;
2603         s32 ppsfreq, jitter, shift, stabil;
2604         s32 jitcnt, calcnt, errcnt, stbcnt;
2605         s32  :32; s32  :32; s32  :32; s32  :32;
2606         s32  :32; s32  :32; s32  :32; s32  :32;
2607         s32  :32; s32  :32; s32  :32; s32  :32;
2608 };
2609
2610 extern int do_adjtimex(struct timex *);
2611
2612 asmlinkage long
2613 sys32_adjtimex(struct timex32 *utp)
2614 {
2615         struct timex txc;
2616         int ret;
2617
2618         memset(&txc, 0, sizeof(struct timex));
2619
2620         if(get_user(txc.modes, &utp->modes) ||
2621            __get_user(txc.offset, &utp->offset) ||
2622            __get_user(txc.freq, &utp->freq) ||
2623            __get_user(txc.maxerror, &utp->maxerror) ||
2624            __get_user(txc.esterror, &utp->esterror) ||
2625            __get_user(txc.status, &utp->status) ||
2626            __get_user(txc.constant, &utp->constant) ||
2627            __get_user(txc.precision, &utp->precision) ||
2628            __get_user(txc.tolerance, &utp->tolerance) ||
2629            __get_user(txc.time.tv_sec, &utp->time.tv_sec) ||
2630            __get_user(txc.time.tv_usec, &utp->time.tv_usec) ||
2631            __get_user(txc.tick, &utp->tick) ||
2632            __get_user(txc.ppsfreq, &utp->ppsfreq) ||
2633            __get_user(txc.jitter, &utp->jitter) ||
2634            __get_user(txc.shift, &utp->shift) ||
2635            __get_user(txc.stabil, &utp->stabil) ||
2636            __get_user(txc.jitcnt, &utp->jitcnt) ||
2637            __get_user(txc.calcnt, &utp->calcnt) ||
2638            __get_user(txc.errcnt, &utp->errcnt) ||
2639            __get_user(txc.stbcnt, &utp->stbcnt))
2640                 return -EFAULT;
2641
2642         ret = do_adjtimex(&txc);
2643
2644         if(put_user(txc.modes, &utp->modes) ||
2645            __put_user(txc.offset, &utp->offset) ||
2646            __put_user(txc.freq, &utp->freq) ||
2647            __put_user(txc.maxerror, &utp->maxerror) ||
2648            __put_user(txc.esterror, &utp->esterror) ||
2649            __put_user(txc.status, &utp->status) ||
2650            __put_user(txc.constant, &utp->constant) ||
2651            __put_user(txc.precision, &utp->precision) ||
2652            __put_user(txc.tolerance, &utp->tolerance) ||
2653            __put_user(txc.time.tv_sec, &utp->time.tv_sec) ||
2654            __put_user(txc.time.tv_usec, &utp->time.tv_usec) ||
2655            __put_user(txc.tick, &utp->tick) ||
2656            __put_user(txc.ppsfreq, &utp->ppsfreq) ||
2657            __put_user(txc.jitter, &utp->jitter) ||
2658            __put_user(txc.shift, &utp->shift) ||
2659            __put_user(txc.stabil, &utp->stabil) ||
2660            __put_user(txc.jitcnt, &utp->jitcnt) ||
2661            __put_user(txc.calcnt, &utp->calcnt) ||
2662            __put_user(txc.errcnt, &utp->errcnt) ||
2663            __put_user(txc.stbcnt, &utp->stbcnt))
2664                 ret = -EFAULT;
2665
2666         return ret;
2667 }
2668 #endif /* NOTYET */