Merge branch 'master' into upstream
[linux-2.6] / arch / ia64 / ia32 / sys_ia32.c
1 /*
2  * sys_ia32.c: Conversion between 32bit and 64bit native syscalls. Derived from sys_sparc32.c.
3  *
4  * Copyright (C) 2000           VA Linux Co
5  * Copyright (C) 2000           Don Dugger <n0ano@valinux.com>
6  * Copyright (C) 1999           Arun Sharma <arun.sharma@intel.com>
7  * Copyright (C) 1997,1998      Jakub Jelinek (jj@sunsite.mff.cuni.cz)
8  * Copyright (C) 1997           David S. Miller (davem@caip.rutgers.edu)
9  * Copyright (C) 2000-2003, 2005 Hewlett-Packard Co
10  *      David Mosberger-Tang <davidm@hpl.hp.com>
11  * Copyright (C) 2004           Gordon Jin <gordon.jin@intel.com>
12  *
13  * These routines maintain argument size conversion between 32bit and 64bit
14  * environment.
15  */
16
17 #include <linux/config.h>
18 #include <linux/kernel.h>
19 #include <linux/syscalls.h>
20 #include <linux/sysctl.h>
21 #include <linux/sched.h>
22 #include <linux/fs.h>
23 #include <linux/file.h>
24 #include <linux/signal.h>
25 #include <linux/resource.h>
26 #include <linux/times.h>
27 #include <linux/utsname.h>
28 #include <linux/smp.h>
29 #include <linux/smp_lock.h>
30 #include <linux/sem.h>
31 #include <linux/msg.h>
32 #include <linux/mm.h>
33 #include <linux/shm.h>
34 #include <linux/slab.h>
35 #include <linux/uio.h>
36 #include <linux/nfs_fs.h>
37 #include <linux/quota.h>
38 #include <linux/syscalls.h>
39 #include <linux/sunrpc/svc.h>
40 #include <linux/nfsd/nfsd.h>
41 #include <linux/nfsd/cache.h>
42 #include <linux/nfsd/xdr.h>
43 #include <linux/nfsd/syscall.h>
44 #include <linux/poll.h>
45 #include <linux/eventpoll.h>
46 #include <linux/personality.h>
47 #include <linux/ptrace.h>
48 #include <linux/stat.h>
49 #include <linux/ipc.h>
50 #include <linux/capability.h>
51 #include <linux/compat.h>
52 #include <linux/vfs.h>
53 #include <linux/mman.h>
54 #include <linux/mutex.h>
55
56 #include <asm/intrinsics.h>
57 #include <asm/types.h>
58 #include <asm/uaccess.h>
59 #include <asm/unistd.h>
60
61 #include "ia32priv.h"
62
63 #include <net/scm.h>
64 #include <net/sock.h>
65
66 #define DEBUG   0
67
68 #if DEBUG
69 # define DBG(fmt...)    printk(KERN_DEBUG fmt)
70 #else
71 # define DBG(fmt...)
72 #endif
73
74 #define ROUND_UP(x,a)   ((__typeof__(x))(((unsigned long)(x) + ((a) - 1)) & ~((a) - 1)))
75
76 #define OFFSET4K(a)             ((a) & 0xfff)
77 #define PAGE_START(addr)        ((addr) & PAGE_MASK)
78 #define MINSIGSTKSZ_IA32        2048
79
80 #define high2lowuid(uid) ((uid) > 65535 ? 65534 : (uid))
81 #define high2lowgid(gid) ((gid) > 65535 ? 65534 : (gid))
82
83 /*
84  * Anything that modifies or inspects ia32 user virtual memory must hold this semaphore
85  * while doing so.
86  */
87 /* XXX make per-mm: */
88 static DEFINE_MUTEX(ia32_mmap_mutex);
89
90 asmlinkage long
91 sys32_execve (char __user *name, compat_uptr_t __user *argv, compat_uptr_t __user *envp,
92               struct pt_regs *regs)
93 {
94         long error;
95         char *filename;
96         unsigned long old_map_base, old_task_size, tssd;
97
98         filename = getname(name);
99         error = PTR_ERR(filename);
100         if (IS_ERR(filename))
101                 return error;
102
103         old_map_base  = current->thread.map_base;
104         old_task_size = current->thread.task_size;
105         tssd = ia64_get_kr(IA64_KR_TSSD);
106
107         /* we may be exec'ing a 64-bit process: reset map base, task-size, and io-base: */
108         current->thread.map_base  = DEFAULT_MAP_BASE;
109         current->thread.task_size = DEFAULT_TASK_SIZE;
110         ia64_set_kr(IA64_KR_IO_BASE, current->thread.old_iob);
111         ia64_set_kr(IA64_KR_TSSD, current->thread.old_k1);
112
113         error = compat_do_execve(filename, argv, envp, regs);
114         putname(filename);
115
116         if (error < 0) {
117                 /* oops, execve failed, switch back to old values... */
118                 ia64_set_kr(IA64_KR_IO_BASE, IA32_IOBASE);
119                 ia64_set_kr(IA64_KR_TSSD, tssd);
120                 current->thread.map_base  = old_map_base;
121                 current->thread.task_size = old_task_size;
122         }
123
124         return error;
125 }
126
127 int cp_compat_stat(struct kstat *stat, struct compat_stat __user *ubuf)
128 {
129         int err;
130
131         if ((u64) stat->size > MAX_NON_LFS ||
132             !old_valid_dev(stat->dev) ||
133             !old_valid_dev(stat->rdev))
134                 return -EOVERFLOW;
135
136         if (clear_user(ubuf, sizeof(*ubuf)))
137                 return -EFAULT;
138
139         err  = __put_user(old_encode_dev(stat->dev), &ubuf->st_dev);
140         err |= __put_user(stat->ino, &ubuf->st_ino);
141         err |= __put_user(stat->mode, &ubuf->st_mode);
142         err |= __put_user(stat->nlink, &ubuf->st_nlink);
143         err |= __put_user(high2lowuid(stat->uid), &ubuf->st_uid);
144         err |= __put_user(high2lowgid(stat->gid), &ubuf->st_gid);
145         err |= __put_user(old_encode_dev(stat->rdev), &ubuf->st_rdev);
146         err |= __put_user(stat->size, &ubuf->st_size);
147         err |= __put_user(stat->atime.tv_sec, &ubuf->st_atime);
148         err |= __put_user(stat->atime.tv_nsec, &ubuf->st_atime_nsec);
149         err |= __put_user(stat->mtime.tv_sec, &ubuf->st_mtime);
150         err |= __put_user(stat->mtime.tv_nsec, &ubuf->st_mtime_nsec);
151         err |= __put_user(stat->ctime.tv_sec, &ubuf->st_ctime);
152         err |= __put_user(stat->ctime.tv_nsec, &ubuf->st_ctime_nsec);
153         err |= __put_user(stat->blksize, &ubuf->st_blksize);
154         err |= __put_user(stat->blocks, &ubuf->st_blocks);
155         return err;
156 }
157
158 #if PAGE_SHIFT > IA32_PAGE_SHIFT
159
160
161 static int
162 get_page_prot (struct vm_area_struct *vma, unsigned long addr)
163 {
164         int prot = 0;
165
166         if (!vma || vma->vm_start > addr)
167                 return 0;
168
169         if (vma->vm_flags & VM_READ)
170                 prot |= PROT_READ;
171         if (vma->vm_flags & VM_WRITE)
172                 prot |= PROT_WRITE;
173         if (vma->vm_flags & VM_EXEC)
174                 prot |= PROT_EXEC;
175         return prot;
176 }
177
178 /*
179  * Map a subpage by creating an anonymous page that contains the union of the old page and
180  * the subpage.
181  */
182 static unsigned long
183 mmap_subpage (struct file *file, unsigned long start, unsigned long end, int prot, int flags,
184               loff_t off)
185 {
186         void *page = NULL;
187         struct inode *inode;
188         unsigned long ret = 0;
189         struct vm_area_struct *vma = find_vma(current->mm, start);
190         int old_prot = get_page_prot(vma, start);
191
192         DBG("mmap_subpage(file=%p,start=0x%lx,end=0x%lx,prot=%x,flags=%x,off=0x%llx)\n",
193             file, start, end, prot, flags, off);
194
195
196         /* Optimize the case where the old mmap and the new mmap are both anonymous */
197         if ((old_prot & PROT_WRITE) && (flags & MAP_ANONYMOUS) && !vma->vm_file) {
198                 if (clear_user((void __user *) start, end - start)) {
199                         ret = -EFAULT;
200                         goto out;
201                 }
202                 goto skip_mmap;
203         }
204
205         page = (void *) get_zeroed_page(GFP_KERNEL);
206         if (!page)
207                 return -ENOMEM;
208
209         if (old_prot)
210                 copy_from_user(page, (void __user *) PAGE_START(start), PAGE_SIZE);
211
212         down_write(&current->mm->mmap_sem);
213         {
214                 ret = do_mmap(NULL, PAGE_START(start), PAGE_SIZE, prot | PROT_WRITE,
215                               flags | MAP_FIXED | MAP_ANONYMOUS, 0);
216         }
217         up_write(&current->mm->mmap_sem);
218
219         if (IS_ERR((void *) ret))
220                 goto out;
221
222         if (old_prot) {
223                 /* copy back the old page contents.  */
224                 if (offset_in_page(start))
225                         copy_to_user((void __user *) PAGE_START(start), page,
226                                      offset_in_page(start));
227                 if (offset_in_page(end))
228                         copy_to_user((void __user *) end, page + offset_in_page(end),
229                                      PAGE_SIZE - offset_in_page(end));
230         }
231
232         if (!(flags & MAP_ANONYMOUS)) {
233                 /* read the file contents */
234                 inode = file->f_dentry->d_inode;
235                 if (!inode->i_fop || !file->f_op->read
236                     || ((*file->f_op->read)(file, (char __user *) start, end - start, &off) < 0))
237                 {
238                         ret = -EINVAL;
239                         goto out;
240                 }
241         }
242
243  skip_mmap:
244         if (!(prot & PROT_WRITE))
245                 ret = sys_mprotect(PAGE_START(start), PAGE_SIZE, prot | old_prot);
246   out:
247         if (page)
248                 free_page((unsigned long) page);
249         return ret;
250 }
251
252 /* SLAB cache for partial_page structures */
253 kmem_cache_t *partial_page_cachep;
254
255 /*
256  * init partial_page_list.
257  * return 0 means kmalloc fail.
258  */
259 struct partial_page_list*
260 ia32_init_pp_list(void)
261 {
262         struct partial_page_list *p;
263
264         if ((p = kmalloc(sizeof(*p), GFP_KERNEL)) == NULL)
265                 return p;
266         p->pp_head = NULL;
267         p->ppl_rb = RB_ROOT;
268         p->pp_hint = NULL;
269         atomic_set(&p->pp_count, 1);
270         return p;
271 }
272
273 /*
274  * Search for the partial page with @start in partial page list @ppl.
275  * If finds the partial page, return the found partial page.
276  * Else, return 0 and provide @pprev, @rb_link, @rb_parent to
277  * be used by later __ia32_insert_pp().
278  */
279 static struct partial_page *
280 __ia32_find_pp(struct partial_page_list *ppl, unsigned int start,
281         struct partial_page **pprev, struct rb_node ***rb_link,
282         struct rb_node **rb_parent)
283 {
284         struct partial_page *pp;
285         struct rb_node **__rb_link, *__rb_parent, *rb_prev;
286
287         pp = ppl->pp_hint;
288         if (pp && pp->base == start)
289                 return pp;
290
291         __rb_link = &ppl->ppl_rb.rb_node;
292         rb_prev = __rb_parent = NULL;
293
294         while (*__rb_link) {
295                 __rb_parent = *__rb_link;
296                 pp = rb_entry(__rb_parent, struct partial_page, pp_rb);
297
298                 if (pp->base == start) {
299                         ppl->pp_hint = pp;
300                         return pp;
301                 } else if (pp->base < start) {
302                         rb_prev = __rb_parent;
303                         __rb_link = &__rb_parent->rb_right;
304                 } else {
305                         __rb_link = &__rb_parent->rb_left;
306                 }
307         }
308
309         *rb_link = __rb_link;
310         *rb_parent = __rb_parent;
311         *pprev = NULL;
312         if (rb_prev)
313                 *pprev = rb_entry(rb_prev, struct partial_page, pp_rb);
314         return NULL;
315 }
316
317 /*
318  * insert @pp into @ppl.
319  */
320 static void
321 __ia32_insert_pp(struct partial_page_list *ppl, struct partial_page *pp,
322          struct partial_page *prev, struct rb_node **rb_link,
323         struct rb_node *rb_parent)
324 {
325         /* link list */
326         if (prev) {
327                 pp->next = prev->next;
328                 prev->next = pp;
329         } else {
330                 ppl->pp_head = pp;
331                 if (rb_parent)
332                         pp->next = rb_entry(rb_parent,
333                                 struct partial_page, pp_rb);
334                 else
335                         pp->next = NULL;
336         }
337
338         /* link rb */
339         rb_link_node(&pp->pp_rb, rb_parent, rb_link);
340         rb_insert_color(&pp->pp_rb, &ppl->ppl_rb);
341
342         ppl->pp_hint = pp;
343 }
344
345 /*
346  * delete @pp from partial page list @ppl.
347  */
348 static void
349 __ia32_delete_pp(struct partial_page_list *ppl, struct partial_page *pp,
350         struct partial_page *prev)
351 {
352         if (prev) {
353                 prev->next = pp->next;
354                 if (ppl->pp_hint == pp)
355                         ppl->pp_hint = prev;
356         } else {
357                 ppl->pp_head = pp->next;
358                 if (ppl->pp_hint == pp)
359                         ppl->pp_hint = pp->next;
360         }
361         rb_erase(&pp->pp_rb, &ppl->ppl_rb);
362         kmem_cache_free(partial_page_cachep, pp);
363 }
364
365 static struct partial_page *
366 __pp_prev(struct partial_page *pp)
367 {
368         struct rb_node *prev = rb_prev(&pp->pp_rb);
369         if (prev)
370                 return rb_entry(prev, struct partial_page, pp_rb);
371         else
372                 return NULL;
373 }
374
375 /*
376  * Delete partial pages with address between @start and @end.
377  * @start and @end are page aligned.
378  */
379 static void
380 __ia32_delete_pp_range(unsigned int start, unsigned int end)
381 {
382         struct partial_page *pp, *prev;
383         struct rb_node **rb_link, *rb_parent;
384
385         if (start >= end)
386                 return;
387
388         pp = __ia32_find_pp(current->thread.ppl, start, &prev,
389                                         &rb_link, &rb_parent);
390         if (pp)
391                 prev = __pp_prev(pp);
392         else {
393                 if (prev)
394                         pp = prev->next;
395                 else
396                         pp = current->thread.ppl->pp_head;
397         }
398
399         while (pp && pp->base < end) {
400                 struct partial_page *tmp = pp->next;
401                 __ia32_delete_pp(current->thread.ppl, pp, prev);
402                 pp = tmp;
403         }
404 }
405
406 /*
407  * Set the range between @start and @end in bitmap.
408  * @start and @end should be IA32 page aligned and in the same IA64 page.
409  */
410 static int
411 __ia32_set_pp(unsigned int start, unsigned int end, int flags)
412 {
413         struct partial_page *pp, *prev;
414         struct rb_node ** rb_link, *rb_parent;
415         unsigned int pstart, start_bit, end_bit, i;
416
417         pstart = PAGE_START(start);
418         start_bit = (start % PAGE_SIZE) / IA32_PAGE_SIZE;
419         end_bit = (end % PAGE_SIZE) / IA32_PAGE_SIZE;
420         if (end_bit == 0)
421                 end_bit = PAGE_SIZE / IA32_PAGE_SIZE;
422         pp = __ia32_find_pp(current->thread.ppl, pstart, &prev,
423                                         &rb_link, &rb_parent);
424         if (pp) {
425                 for (i = start_bit; i < end_bit; i++)
426                         set_bit(i, &pp->bitmap);
427                 /*
428                  * Check: if this partial page has been set to a full page,
429                  * then delete it.
430                  */
431                 if (find_first_zero_bit(&pp->bitmap, sizeof(pp->bitmap)*8) >=
432                                 PAGE_SIZE/IA32_PAGE_SIZE) {
433                         __ia32_delete_pp(current->thread.ppl, pp, __pp_prev(pp));
434                 }
435                 return 0;
436         }
437
438         /*
439          * MAP_FIXED may lead to overlapping mmap.
440          * In this case, the requested mmap area may already mmaped as a full
441          * page. So check vma before adding a new partial page.
442          */
443         if (flags & MAP_FIXED) {
444                 struct vm_area_struct *vma = find_vma(current->mm, pstart);
445                 if (vma && vma->vm_start <= pstart)
446                         return 0;
447         }
448
449         /* new a partial_page */
450         pp = kmem_cache_alloc(partial_page_cachep, GFP_KERNEL);
451         if (!pp)
452                 return -ENOMEM;
453         pp->base = pstart;
454         pp->bitmap = 0;
455         for (i=start_bit; i<end_bit; i++)
456                 set_bit(i, &(pp->bitmap));
457         pp->next = NULL;
458         __ia32_insert_pp(current->thread.ppl, pp, prev, rb_link, rb_parent);
459         return 0;
460 }
461
462 /*
463  * @start and @end should be IA32 page aligned, but don't need to be in the
464  * same IA64 page. Split @start and @end to make sure they're in the same IA64
465  * page, then call __ia32_set_pp().
466  */
467 static void
468 ia32_set_pp(unsigned int start, unsigned int end, int flags)
469 {
470         down_write(&current->mm->mmap_sem);
471         if (flags & MAP_FIXED) {
472                 /*
473                  * MAP_FIXED may lead to overlapping mmap. When this happens,
474                  * a series of complete IA64 pages results in deletion of
475                  * old partial pages in that range.
476                  */
477                 __ia32_delete_pp_range(PAGE_ALIGN(start), PAGE_START(end));
478         }
479
480         if (end < PAGE_ALIGN(start)) {
481                 __ia32_set_pp(start, end, flags);
482         } else {
483                 if (offset_in_page(start))
484                         __ia32_set_pp(start, PAGE_ALIGN(start), flags);
485                 if (offset_in_page(end))
486                         __ia32_set_pp(PAGE_START(end), end, flags);
487         }
488         up_write(&current->mm->mmap_sem);
489 }
490
491 /*
492  * Unset the range between @start and @end in bitmap.
493  * @start and @end should be IA32 page aligned and in the same IA64 page.
494  * After doing that, if the bitmap is 0, then free the page and return 1,
495  *      else return 0;
496  * If not find the partial page in the list, then
497  *      If the vma exists, then the full page is set to a partial page;
498  *      Else return -ENOMEM.
499  */
500 static int
501 __ia32_unset_pp(unsigned int start, unsigned int end)
502 {
503         struct partial_page *pp, *prev;
504         struct rb_node ** rb_link, *rb_parent;
505         unsigned int pstart, start_bit, end_bit, i;
506         struct vm_area_struct *vma;
507
508         pstart = PAGE_START(start);
509         start_bit = (start % PAGE_SIZE) / IA32_PAGE_SIZE;
510         end_bit = (end % PAGE_SIZE) / IA32_PAGE_SIZE;
511         if (end_bit == 0)
512                 end_bit = PAGE_SIZE / IA32_PAGE_SIZE;
513
514         pp = __ia32_find_pp(current->thread.ppl, pstart, &prev,
515                                         &rb_link, &rb_parent);
516         if (pp) {
517                 for (i = start_bit; i < end_bit; i++)
518                         clear_bit(i, &pp->bitmap);
519                 if (pp->bitmap == 0) {
520                         __ia32_delete_pp(current->thread.ppl, pp, __pp_prev(pp));
521                         return 1;
522                 }
523                 return 0;
524         }
525
526         vma = find_vma(current->mm, pstart);
527         if (!vma || vma->vm_start > pstart) {
528                 return -ENOMEM;
529         }
530
531         /* new a partial_page */
532         pp = kmem_cache_alloc(partial_page_cachep, GFP_KERNEL);
533         if (!pp)
534                 return -ENOMEM;
535         pp->base = pstart;
536         pp->bitmap = 0;
537         for (i = 0; i < start_bit; i++)
538                 set_bit(i, &(pp->bitmap));
539         for (i = end_bit; i < PAGE_SIZE / IA32_PAGE_SIZE; i++)
540                 set_bit(i, &(pp->bitmap));
541         pp->next = NULL;
542         __ia32_insert_pp(current->thread.ppl, pp, prev, rb_link, rb_parent);
543         return 0;
544 }
545
546 /*
547  * Delete pp between PAGE_ALIGN(start) and PAGE_START(end) by calling
548  * __ia32_delete_pp_range(). Unset possible partial pages by calling
549  * __ia32_unset_pp().
550  * The returned value see __ia32_unset_pp().
551  */
552 static int
553 ia32_unset_pp(unsigned int *startp, unsigned int *endp)
554 {
555         unsigned int start = *startp, end = *endp;
556         int ret = 0;
557
558         down_write(&current->mm->mmap_sem);
559
560         __ia32_delete_pp_range(PAGE_ALIGN(start), PAGE_START(end));
561
562         if (end < PAGE_ALIGN(start)) {
563                 ret = __ia32_unset_pp(start, end);
564                 if (ret == 1) {
565                         *startp = PAGE_START(start);
566                         *endp = PAGE_ALIGN(end);
567                 }
568                 if (ret == 0) {
569                         /* to shortcut sys_munmap() in sys32_munmap() */
570                         *startp = PAGE_START(start);
571                         *endp = PAGE_START(end);
572                 }
573         } else {
574                 if (offset_in_page(start)) {
575                         ret = __ia32_unset_pp(start, PAGE_ALIGN(start));
576                         if (ret == 1)
577                                 *startp = PAGE_START(start);
578                         if (ret == 0)
579                                 *startp = PAGE_ALIGN(start);
580                         if (ret < 0)
581                                 goto out;
582                 }
583                 if (offset_in_page(end)) {
584                         ret = __ia32_unset_pp(PAGE_START(end), end);
585                         if (ret == 1)
586                                 *endp = PAGE_ALIGN(end);
587                         if (ret == 0)
588                                 *endp = PAGE_START(end);
589                 }
590         }
591
592  out:
593         up_write(&current->mm->mmap_sem);
594         return ret;
595 }
596
597 /*
598  * Compare the range between @start and @end with bitmap in partial page.
599  * @start and @end should be IA32 page aligned and in the same IA64 page.
600  */
601 static int
602 __ia32_compare_pp(unsigned int start, unsigned int end)
603 {
604         struct partial_page *pp, *prev;
605         struct rb_node ** rb_link, *rb_parent;
606         unsigned int pstart, start_bit, end_bit, size;
607         unsigned int first_bit, next_zero_bit;  /* the first range in bitmap */
608
609         pstart = PAGE_START(start);
610
611         pp = __ia32_find_pp(current->thread.ppl, pstart, &prev,
612                                         &rb_link, &rb_parent);
613         if (!pp)
614                 return 1;
615
616         start_bit = (start % PAGE_SIZE) / IA32_PAGE_SIZE;
617         end_bit = (end % PAGE_SIZE) / IA32_PAGE_SIZE;
618         size = sizeof(pp->bitmap) * 8;
619         first_bit = find_first_bit(&pp->bitmap, size);
620         next_zero_bit = find_next_zero_bit(&pp->bitmap, size, first_bit);
621         if ((start_bit < first_bit) || (end_bit > next_zero_bit)) {
622                 /* exceeds the first range in bitmap */
623                 return -ENOMEM;
624         } else if ((start_bit == first_bit) && (end_bit == next_zero_bit)) {
625                 first_bit = find_next_bit(&pp->bitmap, size, next_zero_bit);
626                 if ((next_zero_bit < first_bit) && (first_bit < size))
627                         return 1;       /* has next range */
628                 else
629                         return 0;       /* no next range */
630         } else
631                 return 1;
632 }
633
634 /*
635  * @start and @end should be IA32 page aligned, but don't need to be in the
636  * same IA64 page. Split @start and @end to make sure they're in the same IA64
637  * page, then call __ia32_compare_pp().
638  *
639  * Take this as example: the range is the 1st and 2nd 4K page.
640  * Return 0 if they fit bitmap exactly, i.e. bitmap = 00000011;
641  * Return 1 if the range doesn't cover whole bitmap, e.g. bitmap = 00001111;
642  * Return -ENOMEM if the range exceeds the bitmap, e.g. bitmap = 00000001 or
643  *      bitmap = 00000101.
644  */
645 static int
646 ia32_compare_pp(unsigned int *startp, unsigned int *endp)
647 {
648         unsigned int start = *startp, end = *endp;
649         int retval = 0;
650
651         down_write(&current->mm->mmap_sem);
652
653         if (end < PAGE_ALIGN(start)) {
654                 retval = __ia32_compare_pp(start, end);
655                 if (retval == 0) {
656                         *startp = PAGE_START(start);
657                         *endp = PAGE_ALIGN(end);
658                 }
659         } else {
660                 if (offset_in_page(start)) {
661                         retval = __ia32_compare_pp(start,
662                                                    PAGE_ALIGN(start));
663                         if (retval == 0)
664                                 *startp = PAGE_START(start);
665                         if (retval < 0)
666                                 goto out;
667                 }
668                 if (offset_in_page(end)) {
669                         retval = __ia32_compare_pp(PAGE_START(end), end);
670                         if (retval == 0)
671                                 *endp = PAGE_ALIGN(end);
672                 }
673         }
674
675  out:
676         up_write(&current->mm->mmap_sem);
677         return retval;
678 }
679
680 static void
681 __ia32_drop_pp_list(struct partial_page_list *ppl)
682 {
683         struct partial_page *pp = ppl->pp_head;
684
685         while (pp) {
686                 struct partial_page *next = pp->next;
687                 kmem_cache_free(partial_page_cachep, pp);
688                 pp = next;
689         }
690
691         kfree(ppl);
692 }
693
694 void
695 ia32_drop_partial_page_list(struct task_struct *task)
696 {
697         struct partial_page_list* ppl = task->thread.ppl;
698
699         if (ppl && atomic_dec_and_test(&ppl->pp_count))
700                 __ia32_drop_pp_list(ppl);
701 }
702
703 /*
704  * Copy current->thread.ppl to ppl (already initialized).
705  */
706 static int
707 __ia32_copy_pp_list(struct partial_page_list *ppl)
708 {
709         struct partial_page *pp, *tmp, *prev;
710         struct rb_node **rb_link, *rb_parent;
711
712         ppl->pp_head = NULL;
713         ppl->pp_hint = NULL;
714         ppl->ppl_rb = RB_ROOT;
715         rb_link = &ppl->ppl_rb.rb_node;
716         rb_parent = NULL;
717         prev = NULL;
718
719         for (pp = current->thread.ppl->pp_head; pp; pp = pp->next) {
720                 tmp = kmem_cache_alloc(partial_page_cachep, GFP_KERNEL);
721                 if (!tmp)
722                         return -ENOMEM;
723                 *tmp = *pp;
724                 __ia32_insert_pp(ppl, tmp, prev, rb_link, rb_parent);
725                 prev = tmp;
726                 rb_link = &tmp->pp_rb.rb_right;
727                 rb_parent = &tmp->pp_rb;
728         }
729         return 0;
730 }
731
732 int
733 ia32_copy_partial_page_list(struct task_struct *p, unsigned long clone_flags)
734 {
735         int retval = 0;
736
737         if (clone_flags & CLONE_VM) {
738                 atomic_inc(&current->thread.ppl->pp_count);
739                 p->thread.ppl = current->thread.ppl;
740         } else {
741                 p->thread.ppl = ia32_init_pp_list();
742                 if (!p->thread.ppl)
743                         return -ENOMEM;
744                 down_write(&current->mm->mmap_sem);
745                 {
746                         retval = __ia32_copy_pp_list(p->thread.ppl);
747                 }
748                 up_write(&current->mm->mmap_sem);
749         }
750
751         return retval;
752 }
753
754 static unsigned long
755 emulate_mmap (struct file *file, unsigned long start, unsigned long len, int prot, int flags,
756               loff_t off)
757 {
758         unsigned long tmp, end, pend, pstart, ret, is_congruent, fudge = 0;
759         struct inode *inode;
760         loff_t poff;
761
762         end = start + len;
763         pstart = PAGE_START(start);
764         pend = PAGE_ALIGN(end);
765
766         if (flags & MAP_FIXED) {
767                 ia32_set_pp((unsigned int)start, (unsigned int)end, flags);
768                 if (start > pstart) {
769                         if (flags & MAP_SHARED)
770                                 printk(KERN_INFO
771                                        "%s(%d): emulate_mmap() can't share head (addr=0x%lx)\n",
772                                        current->comm, current->pid, start);
773                         ret = mmap_subpage(file, start, min(PAGE_ALIGN(start), end), prot, flags,
774                                            off);
775                         if (IS_ERR((void *) ret))
776                                 return ret;
777                         pstart += PAGE_SIZE;
778                         if (pstart >= pend)
779                                 goto out;       /* done */
780                 }
781                 if (end < pend) {
782                         if (flags & MAP_SHARED)
783                                 printk(KERN_INFO
784                                        "%s(%d): emulate_mmap() can't share tail (end=0x%lx)\n",
785                                        current->comm, current->pid, end);
786                         ret = mmap_subpage(file, max(start, PAGE_START(end)), end, prot, flags,
787                                            (off + len) - offset_in_page(end));
788                         if (IS_ERR((void *) ret))
789                                 return ret;
790                         pend -= PAGE_SIZE;
791                         if (pstart >= pend)
792                                 goto out;       /* done */
793                 }
794         } else {
795                 /*
796                  * If a start address was specified, use it if the entire rounded out area
797                  * is available.
798                  */
799                 if (start && !pstart)
800                         fudge = 1;      /* handle case of mapping to range (0,PAGE_SIZE) */
801                 tmp = arch_get_unmapped_area(file, pstart - fudge, pend - pstart, 0, flags);
802                 if (tmp != pstart) {
803                         pstart = tmp;
804                         start = pstart + offset_in_page(off);   /* make start congruent with off */
805                         end = start + len;
806                         pend = PAGE_ALIGN(end);
807                 }
808         }
809
810         poff = off + (pstart - start);  /* note: (pstart - start) may be negative */
811         is_congruent = (flags & MAP_ANONYMOUS) || (offset_in_page(poff) == 0);
812
813         if ((flags & MAP_SHARED) && !is_congruent)
814                 printk(KERN_INFO "%s(%d): emulate_mmap() can't share contents of incongruent mmap "
815                        "(addr=0x%lx,off=0x%llx)\n", current->comm, current->pid, start, off);
816
817         DBG("mmap_body: mapping [0x%lx-0x%lx) %s with poff 0x%llx\n", pstart, pend,
818             is_congruent ? "congruent" : "not congruent", poff);
819
820         down_write(&current->mm->mmap_sem);
821         {
822                 if (!(flags & MAP_ANONYMOUS) && is_congruent)
823                         ret = do_mmap(file, pstart, pend - pstart, prot, flags | MAP_FIXED, poff);
824                 else
825                         ret = do_mmap(NULL, pstart, pend - pstart,
826                                       prot | ((flags & MAP_ANONYMOUS) ? 0 : PROT_WRITE),
827                                       flags | MAP_FIXED | MAP_ANONYMOUS, 0);
828         }
829         up_write(&current->mm->mmap_sem);
830
831         if (IS_ERR((void *) ret))
832                 return ret;
833
834         if (!is_congruent) {
835                 /* read the file contents */
836                 inode = file->f_dentry->d_inode;
837                 if (!inode->i_fop || !file->f_op->read
838                     || ((*file->f_op->read)(file, (char __user *) pstart, pend - pstart, &poff)
839                         < 0))
840                 {
841                         sys_munmap(pstart, pend - pstart);
842                         return -EINVAL;
843                 }
844                 if (!(prot & PROT_WRITE) && sys_mprotect(pstart, pend - pstart, prot) < 0)
845                         return -EINVAL;
846         }
847
848         if (!(flags & MAP_FIXED))
849                 ia32_set_pp((unsigned int)start, (unsigned int)end, flags);
850 out:
851         return start;
852 }
853
854 #endif /* PAGE_SHIFT > IA32_PAGE_SHIFT */
855
856 static inline unsigned int
857 get_prot32 (unsigned int prot)
858 {
859         if (prot & PROT_WRITE)
860                 /* on x86, PROT_WRITE implies PROT_READ which implies PROT_EEC */
861                 prot |= PROT_READ | PROT_WRITE | PROT_EXEC;
862         else if (prot & (PROT_READ | PROT_EXEC))
863                 /* on x86, there is no distinction between PROT_READ and PROT_EXEC */
864                 prot |= (PROT_READ | PROT_EXEC);
865
866         return prot;
867 }
868
869 unsigned long
870 ia32_do_mmap (struct file *file, unsigned long addr, unsigned long len, int prot, int flags,
871               loff_t offset)
872 {
873         DBG("ia32_do_mmap(file=%p,addr=0x%lx,len=0x%lx,prot=%x,flags=%x,offset=0x%llx)\n",
874             file, addr, len, prot, flags, offset);
875
876         if (file && (!file->f_op || !file->f_op->mmap))
877                 return -ENODEV;
878
879         len = IA32_PAGE_ALIGN(len);
880         if (len == 0)
881                 return addr;
882
883         if (len > IA32_PAGE_OFFSET || addr > IA32_PAGE_OFFSET - len)
884         {
885                 if (flags & MAP_FIXED)
886                         return -ENOMEM;
887                 else
888                 return -EINVAL;
889         }
890
891         if (OFFSET4K(offset))
892                 return -EINVAL;
893
894         prot = get_prot32(prot);
895
896 #if PAGE_SHIFT > IA32_PAGE_SHIFT
897         mutex_lock(&ia32_mmap_mutex);
898         {
899                 addr = emulate_mmap(file, addr, len, prot, flags, offset);
900         }
901         mutex_unlock(&ia32_mmap_mutex);
902 #else
903         down_write(&current->mm->mmap_sem);
904         {
905                 addr = do_mmap(file, addr, len, prot, flags, offset);
906         }
907         up_write(&current->mm->mmap_sem);
908 #endif
909         DBG("ia32_do_mmap: returning 0x%lx\n", addr);
910         return addr;
911 }
912
913 /*
914  * Linux/i386 didn't use to be able to handle more than 4 system call parameters, so these
915  * system calls used a memory block for parameter passing..
916  */
917
918 struct mmap_arg_struct {
919         unsigned int addr;
920         unsigned int len;
921         unsigned int prot;
922         unsigned int flags;
923         unsigned int fd;
924         unsigned int offset;
925 };
926
927 asmlinkage long
928 sys32_mmap (struct mmap_arg_struct __user *arg)
929 {
930         struct mmap_arg_struct a;
931         struct file *file = NULL;
932         unsigned long addr;
933         int flags;
934
935         if (copy_from_user(&a, arg, sizeof(a)))
936                 return -EFAULT;
937
938         if (OFFSET4K(a.offset))
939                 return -EINVAL;
940
941         flags = a.flags;
942
943         flags &= ~(MAP_EXECUTABLE | MAP_DENYWRITE);
944         if (!(flags & MAP_ANONYMOUS)) {
945                 file = fget(a.fd);
946                 if (!file)
947                         return -EBADF;
948         }
949
950         addr = ia32_do_mmap(file, a.addr, a.len, a.prot, flags, a.offset);
951
952         if (file)
953                 fput(file);
954         return addr;
955 }
956
957 asmlinkage long
958 sys32_mmap2 (unsigned int addr, unsigned int len, unsigned int prot, unsigned int flags,
959              unsigned int fd, unsigned int pgoff)
960 {
961         struct file *file = NULL;
962         unsigned long retval;
963
964         flags &= ~(MAP_EXECUTABLE | MAP_DENYWRITE);
965         if (!(flags & MAP_ANONYMOUS)) {
966                 file = fget(fd);
967                 if (!file)
968                         return -EBADF;
969         }
970
971         retval = ia32_do_mmap(file, addr, len, prot, flags,
972                               (unsigned long) pgoff << IA32_PAGE_SHIFT);
973
974         if (file)
975                 fput(file);
976         return retval;
977 }
978
979 asmlinkage long
980 sys32_munmap (unsigned int start, unsigned int len)
981 {
982         unsigned int end = start + len;
983         long ret;
984
985 #if PAGE_SHIFT <= IA32_PAGE_SHIFT
986         ret = sys_munmap(start, end - start);
987 #else
988         if (OFFSET4K(start))
989                 return -EINVAL;
990
991         end = IA32_PAGE_ALIGN(end);
992         if (start >= end)
993                 return -EINVAL;
994
995         ret = ia32_unset_pp(&start, &end);
996         if (ret < 0)
997                 return ret;
998
999         if (start >= end)
1000                 return 0;
1001
1002         mutex_lock(&ia32_mmap_mutex);
1003         ret = sys_munmap(start, end - start);
1004         mutex_unlock(&ia32_mmap_mutex);
1005 #endif
1006         return ret;
1007 }
1008
1009 #if PAGE_SHIFT > IA32_PAGE_SHIFT
1010
1011 /*
1012  * When mprotect()ing a partial page, we set the permission to the union of the old
1013  * settings and the new settings.  In other words, it's only possible to make access to a
1014  * partial page less restrictive.
1015  */
1016 static long
1017 mprotect_subpage (unsigned long address, int new_prot)
1018 {
1019         int old_prot;
1020         struct vm_area_struct *vma;
1021
1022         if (new_prot == PROT_NONE)
1023                 return 0;               /* optimize case where nothing changes... */
1024         vma = find_vma(current->mm, address);
1025         old_prot = get_page_prot(vma, address);
1026         return sys_mprotect(address, PAGE_SIZE, new_prot | old_prot);
1027 }
1028
1029 #endif /* PAGE_SHIFT > IA32_PAGE_SHIFT */
1030
1031 asmlinkage long
1032 sys32_mprotect (unsigned int start, unsigned int len, int prot)
1033 {
1034         unsigned int end = start + len;
1035 #if PAGE_SHIFT > IA32_PAGE_SHIFT
1036         long retval = 0;
1037 #endif
1038
1039         prot = get_prot32(prot);
1040
1041 #if PAGE_SHIFT <= IA32_PAGE_SHIFT
1042         return sys_mprotect(start, end - start, prot);
1043 #else
1044         if (OFFSET4K(start))
1045                 return -EINVAL;
1046
1047         end = IA32_PAGE_ALIGN(end);
1048         if (end < start)
1049                 return -EINVAL;
1050
1051         retval = ia32_compare_pp(&start, &end);
1052
1053         if (retval < 0)
1054                 return retval;
1055
1056         mutex_lock(&ia32_mmap_mutex);
1057         {
1058                 if (offset_in_page(start)) {
1059                         /* start address is 4KB aligned but not page aligned. */
1060                         retval = mprotect_subpage(PAGE_START(start), prot);
1061                         if (retval < 0)
1062                                 goto out;
1063
1064                         start = PAGE_ALIGN(start);
1065                         if (start >= end)
1066                                 goto out;       /* retval is already zero... */
1067                 }
1068
1069                 if (offset_in_page(end)) {
1070                         /* end address is 4KB aligned but not page aligned. */
1071                         retval = mprotect_subpage(PAGE_START(end), prot);
1072                         if (retval < 0)
1073                                 goto out;
1074
1075                         end = PAGE_START(end);
1076                 }
1077                 retval = sys_mprotect(start, end - start, prot);
1078         }
1079   out:
1080         mutex_unlock(&ia32_mmap_mutex);
1081         return retval;
1082 #endif
1083 }
1084
1085 asmlinkage long
1086 sys32_mremap (unsigned int addr, unsigned int old_len, unsigned int new_len,
1087                 unsigned int flags, unsigned int new_addr)
1088 {
1089         long ret;
1090
1091 #if PAGE_SHIFT <= IA32_PAGE_SHIFT
1092         ret = sys_mremap(addr, old_len, new_len, flags, new_addr);
1093 #else
1094         unsigned int old_end, new_end;
1095
1096         if (OFFSET4K(addr))
1097                 return -EINVAL;
1098
1099         old_len = IA32_PAGE_ALIGN(old_len);
1100         new_len = IA32_PAGE_ALIGN(new_len);
1101         old_end = addr + old_len;
1102         new_end = addr + new_len;
1103
1104         if (!new_len)
1105                 return -EINVAL;
1106
1107         if ((flags & MREMAP_FIXED) && (OFFSET4K(new_addr)))
1108                 return -EINVAL;
1109
1110         if (old_len >= new_len) {
1111                 ret = sys32_munmap(addr + new_len, old_len - new_len);
1112                 if (ret && old_len != new_len)
1113                         return ret;
1114                 ret = addr;
1115                 if (!(flags & MREMAP_FIXED) || (new_addr == addr))
1116                         return ret;
1117                 old_len = new_len;
1118         }
1119
1120         addr = PAGE_START(addr);
1121         old_len = PAGE_ALIGN(old_end) - addr;
1122         new_len = PAGE_ALIGN(new_end) - addr;
1123
1124         mutex_lock(&ia32_mmap_mutex);
1125         ret = sys_mremap(addr, old_len, new_len, flags, new_addr);
1126         mutex_unlock(&ia32_mmap_mutex);
1127
1128         if ((ret >= 0) && (old_len < new_len)) {
1129                 /* mremap expanded successfully */
1130                 ia32_set_pp(old_end, new_end, flags);
1131         }
1132 #endif
1133         return ret;
1134 }
1135
1136 asmlinkage long
1137 sys32_pipe (int __user *fd)
1138 {
1139         int retval;
1140         int fds[2];
1141
1142         retval = do_pipe(fds);
1143         if (retval)
1144                 goto out;
1145         if (copy_to_user(fd, fds, sizeof(fds)))
1146                 retval = -EFAULT;
1147   out:
1148         return retval;
1149 }
1150
1151 static inline long
1152 get_tv32 (struct timeval *o, struct compat_timeval __user *i)
1153 {
1154         return (!access_ok(VERIFY_READ, i, sizeof(*i)) ||
1155                 (__get_user(o->tv_sec, &i->tv_sec) | __get_user(o->tv_usec, &i->tv_usec)));
1156 }
1157
1158 static inline long
1159 put_tv32 (struct compat_timeval __user *o, struct timeval *i)
1160 {
1161         return (!access_ok(VERIFY_WRITE, o, sizeof(*o)) ||
1162                 (__put_user(i->tv_sec, &o->tv_sec) | __put_user(i->tv_usec, &o->tv_usec)));
1163 }
1164
1165 asmlinkage unsigned long
1166 sys32_alarm (unsigned int seconds)
1167 {
1168         return alarm_setitimer(seconds);
1169 }
1170
1171 /* Translations due to time_t size differences.  Which affects all
1172    sorts of things, like timeval and itimerval.  */
1173
1174 extern struct timezone sys_tz;
1175
1176 asmlinkage long
1177 sys32_gettimeofday (struct compat_timeval __user *tv, struct timezone __user *tz)
1178 {
1179         if (tv) {
1180                 struct timeval ktv;
1181                 do_gettimeofday(&ktv);
1182                 if (put_tv32(tv, &ktv))
1183                         return -EFAULT;
1184         }
1185         if (tz) {
1186                 if (copy_to_user(tz, &sys_tz, sizeof(sys_tz)))
1187                         return -EFAULT;
1188         }
1189         return 0;
1190 }
1191
1192 asmlinkage long
1193 sys32_settimeofday (struct compat_timeval __user *tv, struct timezone __user *tz)
1194 {
1195         struct timeval ktv;
1196         struct timespec kts;
1197         struct timezone ktz;
1198
1199         if (tv) {
1200                 if (get_tv32(&ktv, tv))
1201                         return -EFAULT;
1202                 kts.tv_sec = ktv.tv_sec;
1203                 kts.tv_nsec = ktv.tv_usec * 1000;
1204         }
1205         if (tz) {
1206                 if (copy_from_user(&ktz, tz, sizeof(ktz)))
1207                         return -EFAULT;
1208         }
1209
1210         return do_sys_settimeofday(tv ? &kts : NULL, tz ? &ktz : NULL);
1211 }
1212
1213 struct getdents32_callback {
1214         struct compat_dirent __user *current_dir;
1215         struct compat_dirent __user *previous;
1216         int count;
1217         int error;
1218 };
1219
1220 struct readdir32_callback {
1221         struct old_linux32_dirent __user * dirent;
1222         int count;
1223 };
1224
1225 static int
1226 filldir32 (void *__buf, const char *name, int namlen, loff_t offset, ino_t ino,
1227            unsigned int d_type)
1228 {
1229         struct compat_dirent __user * dirent;
1230         struct getdents32_callback * buf = (struct getdents32_callback *) __buf;
1231         int reclen = ROUND_UP(offsetof(struct compat_dirent, d_name) + namlen + 1, 4);
1232
1233         buf->error = -EINVAL;   /* only used if we fail.. */
1234         if (reclen > buf->count)
1235                 return -EINVAL;
1236         buf->error = -EFAULT;   /* only used if we fail.. */
1237         dirent = buf->previous;
1238         if (dirent)
1239                 if (put_user(offset, &dirent->d_off))
1240                         return -EFAULT;
1241         dirent = buf->current_dir;
1242         buf->previous = dirent;
1243         if (put_user(ino, &dirent->d_ino)
1244             || put_user(reclen, &dirent->d_reclen)
1245             || copy_to_user(dirent->d_name, name, namlen)
1246             || put_user(0, dirent->d_name + namlen))
1247                 return -EFAULT;
1248         dirent = (struct compat_dirent __user *) ((char __user *) dirent + reclen);
1249         buf->current_dir = dirent;
1250         buf->count -= reclen;
1251         return 0;
1252 }
1253
1254 asmlinkage long
1255 sys32_getdents (unsigned int fd, struct compat_dirent __user *dirent, unsigned int count)
1256 {
1257         struct file * file;
1258         struct compat_dirent __user * lastdirent;
1259         struct getdents32_callback buf;
1260         int error;
1261
1262         error = -EBADF;
1263         file = fget(fd);
1264         if (!file)
1265                 goto out;
1266
1267         buf.current_dir = dirent;
1268         buf.previous = NULL;
1269         buf.count = count;
1270         buf.error = 0;
1271
1272         error = vfs_readdir(file, filldir32, &buf);
1273         if (error < 0)
1274                 goto out_putf;
1275         error = buf.error;
1276         lastdirent = buf.previous;
1277         if (lastdirent) {
1278                 error = -EINVAL;
1279                 if (put_user(file->f_pos, &lastdirent->d_off))
1280                         goto out_putf;
1281                 error = count - buf.count;
1282         }
1283
1284 out_putf:
1285         fput(file);
1286 out:
1287         return error;
1288 }
1289
1290 static int
1291 fillonedir32 (void * __buf, const char * name, int namlen, loff_t offset, ino_t ino,
1292               unsigned int d_type)
1293 {
1294         struct readdir32_callback * buf = (struct readdir32_callback *) __buf;
1295         struct old_linux32_dirent __user * dirent;
1296
1297         if (buf->count)
1298                 return -EINVAL;
1299         buf->count++;
1300         dirent = buf->dirent;
1301         if (put_user(ino, &dirent->d_ino)
1302             || put_user(offset, &dirent->d_offset)
1303             || put_user(namlen, &dirent->d_namlen)
1304             || copy_to_user(dirent->d_name, name, namlen)
1305             || put_user(0, dirent->d_name + namlen))
1306                 return -EFAULT;
1307         return 0;
1308 }
1309
1310 asmlinkage long
1311 sys32_readdir (unsigned int fd, void __user *dirent, unsigned int count)
1312 {
1313         int error;
1314         struct file * file;
1315         struct readdir32_callback buf;
1316
1317         error = -EBADF;
1318         file = fget(fd);
1319         if (!file)
1320                 goto out;
1321
1322         buf.count = 0;
1323         buf.dirent = dirent;
1324
1325         error = vfs_readdir(file, fillonedir32, &buf);
1326         if (error >= 0)
1327                 error = buf.count;
1328         fput(file);
1329 out:
1330         return error;
1331 }
1332
1333 struct sel_arg_struct {
1334         unsigned int n;
1335         unsigned int inp;
1336         unsigned int outp;
1337         unsigned int exp;
1338         unsigned int tvp;
1339 };
1340
1341 asmlinkage long
1342 sys32_old_select (struct sel_arg_struct __user *arg)
1343 {
1344         struct sel_arg_struct a;
1345
1346         if (copy_from_user(&a, arg, sizeof(a)))
1347                 return -EFAULT;
1348         return compat_sys_select(a.n, compat_ptr(a.inp), compat_ptr(a.outp),
1349                                  compat_ptr(a.exp), compat_ptr(a.tvp));
1350 }
1351
1352 #define SEMOP            1
1353 #define SEMGET           2
1354 #define SEMCTL           3
1355 #define SEMTIMEDOP       4
1356 #define MSGSND          11
1357 #define MSGRCV          12
1358 #define MSGGET          13
1359 #define MSGCTL          14
1360 #define SHMAT           21
1361 #define SHMDT           22
1362 #define SHMGET          23
1363 #define SHMCTL          24
1364
1365 asmlinkage long
1366 sys32_ipc(u32 call, int first, int second, int third, u32 ptr, u32 fifth)
1367 {
1368         int version;
1369
1370         version = call >> 16; /* hack for backward compatibility */
1371         call &= 0xffff;
1372
1373         switch (call) {
1374               case SEMTIMEDOP:
1375                 if (fifth)
1376                         return compat_sys_semtimedop(first, compat_ptr(ptr),
1377                                 second, compat_ptr(fifth));
1378                 /* else fall through for normal semop() */
1379               case SEMOP:
1380                 /* struct sembuf is the same on 32 and 64bit :)) */
1381                 return sys_semtimedop(first, compat_ptr(ptr), second,
1382                                       NULL);
1383               case SEMGET:
1384                 return sys_semget(first, second, third);
1385               case SEMCTL:
1386                 return compat_sys_semctl(first, second, third, compat_ptr(ptr));
1387
1388               case MSGSND:
1389                 return compat_sys_msgsnd(first, second, third, compat_ptr(ptr));
1390               case MSGRCV:
1391                 return compat_sys_msgrcv(first, second, fifth, third, version, compat_ptr(ptr));
1392               case MSGGET:
1393                 return sys_msgget((key_t) first, second);
1394               case MSGCTL:
1395                 return compat_sys_msgctl(first, second, compat_ptr(ptr));
1396
1397               case SHMAT:
1398                 return compat_sys_shmat(first, second, third, version, compat_ptr(ptr));
1399                 break;
1400               case SHMDT:
1401                 return sys_shmdt(compat_ptr(ptr));
1402               case SHMGET:
1403                 return sys_shmget(first, (unsigned)second, third);
1404               case SHMCTL:
1405                 return compat_sys_shmctl(first, second, compat_ptr(ptr));
1406
1407               default:
1408                 return -ENOSYS;
1409         }
1410         return -EINVAL;
1411 }
1412
1413 asmlinkage long
1414 compat_sys_wait4 (compat_pid_t pid, compat_uint_t * stat_addr, int options,
1415                  struct compat_rusage *ru);
1416
1417 asmlinkage long
1418 sys32_waitpid (int pid, unsigned int *stat_addr, int options)
1419 {
1420         return compat_sys_wait4(pid, stat_addr, options, NULL);
1421 }
1422
1423 static unsigned int
1424 ia32_peek (struct task_struct *child, unsigned long addr, unsigned int *val)
1425 {
1426         size_t copied;
1427         unsigned int ret;
1428
1429         copied = access_process_vm(child, addr, val, sizeof(*val), 0);
1430         return (copied != sizeof(ret)) ? -EIO : 0;
1431 }
1432
1433 static unsigned int
1434 ia32_poke (struct task_struct *child, unsigned long addr, unsigned int val)
1435 {
1436
1437         if (access_process_vm(child, addr, &val, sizeof(val), 1) != sizeof(val))
1438                 return -EIO;
1439         return 0;
1440 }
1441
1442 /*
1443  *  The order in which registers are stored in the ptrace regs structure
1444  */
1445 #define PT_EBX  0
1446 #define PT_ECX  1
1447 #define PT_EDX  2
1448 #define PT_ESI  3
1449 #define PT_EDI  4
1450 #define PT_EBP  5
1451 #define PT_EAX  6
1452 #define PT_DS   7
1453 #define PT_ES   8
1454 #define PT_FS   9
1455 #define PT_GS   10
1456 #define PT_ORIG_EAX 11
1457 #define PT_EIP  12
1458 #define PT_CS   13
1459 #define PT_EFL  14
1460 #define PT_UESP 15
1461 #define PT_SS   16
1462
1463 static unsigned int
1464 getreg (struct task_struct *child, int regno)
1465 {
1466         struct pt_regs *child_regs;
1467
1468         child_regs = task_pt_regs(child);
1469         switch (regno / sizeof(int)) {
1470               case PT_EBX: return child_regs->r11;
1471               case PT_ECX: return child_regs->r9;
1472               case PT_EDX: return child_regs->r10;
1473               case PT_ESI: return child_regs->r14;
1474               case PT_EDI: return child_regs->r15;
1475               case PT_EBP: return child_regs->r13;
1476               case PT_EAX: return child_regs->r8;
1477               case PT_ORIG_EAX: return child_regs->r1; /* see dispatch_to_ia32_handler() */
1478               case PT_EIP: return child_regs->cr_iip;
1479               case PT_UESP: return child_regs->r12;
1480               case PT_EFL: return child->thread.eflag;
1481               case PT_DS: case PT_ES: case PT_FS: case PT_GS: case PT_SS:
1482                 return __USER_DS;
1483               case PT_CS: return __USER_CS;
1484               default:
1485                 printk(KERN_ERR "ia32.getreg(): unknown register %d\n", regno);
1486                 break;
1487         }
1488         return 0;
1489 }
1490
1491 static void
1492 putreg (struct task_struct *child, int regno, unsigned int value)
1493 {
1494         struct pt_regs *child_regs;
1495
1496         child_regs = task_pt_regs(child);
1497         switch (regno / sizeof(int)) {
1498               case PT_EBX: child_regs->r11 = value; break;
1499               case PT_ECX: child_regs->r9 = value; break;
1500               case PT_EDX: child_regs->r10 = value; break;
1501               case PT_ESI: child_regs->r14 = value; break;
1502               case PT_EDI: child_regs->r15 = value; break;
1503               case PT_EBP: child_regs->r13 = value; break;
1504               case PT_EAX: child_regs->r8 = value; break;
1505               case PT_ORIG_EAX: child_regs->r1 = value; break;
1506               case PT_EIP: child_regs->cr_iip = value; break;
1507               case PT_UESP: child_regs->r12 = value; break;
1508               case PT_EFL: child->thread.eflag = value; break;
1509               case PT_DS: case PT_ES: case PT_FS: case PT_GS: case PT_SS:
1510                 if (value != __USER_DS)
1511                         printk(KERN_ERR
1512                                "ia32.putreg: attempt to set invalid segment register %d = %x\n",
1513                                regno, value);
1514                 break;
1515               case PT_CS:
1516                 if (value != __USER_CS)
1517                         printk(KERN_ERR
1518                                "ia32.putreg: attempt to to set invalid segment register %d = %x\n",
1519                                regno, value);
1520                 break;
1521               default:
1522                 printk(KERN_ERR "ia32.putreg: unknown register %d\n", regno);
1523                 break;
1524         }
1525 }
1526
1527 static void
1528 put_fpreg (int regno, struct _fpreg_ia32 __user *reg, struct pt_regs *ptp,
1529            struct switch_stack *swp, int tos)
1530 {
1531         struct _fpreg_ia32 *f;
1532         char buf[32];
1533
1534         f = (struct _fpreg_ia32 *)(((unsigned long)buf + 15) & ~15);
1535         if ((regno += tos) >= 8)
1536                 regno -= 8;
1537         switch (regno) {
1538               case 0:
1539                 ia64f2ia32f(f, &ptp->f8);
1540                 break;
1541               case 1:
1542                 ia64f2ia32f(f, &ptp->f9);
1543                 break;
1544               case 2:
1545                 ia64f2ia32f(f, &ptp->f10);
1546                 break;
1547               case 3:
1548                 ia64f2ia32f(f, &ptp->f11);
1549                 break;
1550               case 4:
1551               case 5:
1552               case 6:
1553               case 7:
1554                 ia64f2ia32f(f, &swp->f12 + (regno - 4));
1555                 break;
1556         }
1557         copy_to_user(reg, f, sizeof(*reg));
1558 }
1559
1560 static void
1561 get_fpreg (int regno, struct _fpreg_ia32 __user *reg, struct pt_regs *ptp,
1562            struct switch_stack *swp, int tos)
1563 {
1564
1565         if ((regno += tos) >= 8)
1566                 regno -= 8;
1567         switch (regno) {
1568               case 0:
1569                 copy_from_user(&ptp->f8, reg, sizeof(*reg));
1570                 break;
1571               case 1:
1572                 copy_from_user(&ptp->f9, reg, sizeof(*reg));
1573                 break;
1574               case 2:
1575                 copy_from_user(&ptp->f10, reg, sizeof(*reg));
1576                 break;
1577               case 3:
1578                 copy_from_user(&ptp->f11, reg, sizeof(*reg));
1579                 break;
1580               case 4:
1581               case 5:
1582               case 6:
1583               case 7:
1584                 copy_from_user(&swp->f12 + (regno - 4), reg, sizeof(*reg));
1585                 break;
1586         }
1587         return;
1588 }
1589
1590 int
1591 save_ia32_fpstate (struct task_struct *tsk, struct ia32_user_i387_struct __user *save)
1592 {
1593         struct switch_stack *swp;
1594         struct pt_regs *ptp;
1595         int i, tos;
1596
1597         if (!access_ok(VERIFY_WRITE, save, sizeof(*save)))
1598                 return -EFAULT;
1599
1600         __put_user(tsk->thread.fcr & 0xffff, &save->cwd);
1601         __put_user(tsk->thread.fsr & 0xffff, &save->swd);
1602         __put_user((tsk->thread.fsr>>16) & 0xffff, &save->twd);
1603         __put_user(tsk->thread.fir, &save->fip);
1604         __put_user((tsk->thread.fir>>32) & 0xffff, &save->fcs);
1605         __put_user(tsk->thread.fdr, &save->foo);
1606         __put_user((tsk->thread.fdr>>32) & 0xffff, &save->fos);
1607
1608         /*
1609          *  Stack frames start with 16-bytes of temp space
1610          */
1611         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1612         ptp = task_pt_regs(tsk);
1613         tos = (tsk->thread.fsr >> 11) & 7;
1614         for (i = 0; i < 8; i++)
1615                 put_fpreg(i, &save->st_space[i], ptp, swp, tos);
1616         return 0;
1617 }
1618
1619 static int
1620 restore_ia32_fpstate (struct task_struct *tsk, struct ia32_user_i387_struct __user *save)
1621 {
1622         struct switch_stack *swp;
1623         struct pt_regs *ptp;
1624         int i, tos;
1625         unsigned int fsrlo, fsrhi, num32;
1626
1627         if (!access_ok(VERIFY_READ, save, sizeof(*save)))
1628                 return(-EFAULT);
1629
1630         __get_user(num32, (unsigned int __user *)&save->cwd);
1631         tsk->thread.fcr = (tsk->thread.fcr & (~0x1f3f)) | (num32 & 0x1f3f);
1632         __get_user(fsrlo, (unsigned int __user *)&save->swd);
1633         __get_user(fsrhi, (unsigned int __user *)&save->twd);
1634         num32 = (fsrhi << 16) | fsrlo;
1635         tsk->thread.fsr = (tsk->thread.fsr & (~0xffffffff)) | num32;
1636         __get_user(num32, (unsigned int __user *)&save->fip);
1637         tsk->thread.fir = (tsk->thread.fir & (~0xffffffff)) | num32;
1638         __get_user(num32, (unsigned int __user *)&save->foo);
1639         tsk->thread.fdr = (tsk->thread.fdr & (~0xffffffff)) | num32;
1640
1641         /*
1642          *  Stack frames start with 16-bytes of temp space
1643          */
1644         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1645         ptp = task_pt_regs(tsk);
1646         tos = (tsk->thread.fsr >> 11) & 7;
1647         for (i = 0; i < 8; i++)
1648                 get_fpreg(i, &save->st_space[i], ptp, swp, tos);
1649         return 0;
1650 }
1651
1652 int
1653 save_ia32_fpxstate (struct task_struct *tsk, struct ia32_user_fxsr_struct __user *save)
1654 {
1655         struct switch_stack *swp;
1656         struct pt_regs *ptp;
1657         int i, tos;
1658         unsigned long mxcsr=0;
1659         unsigned long num128[2];
1660
1661         if (!access_ok(VERIFY_WRITE, save, sizeof(*save)))
1662                 return -EFAULT;
1663
1664         __put_user(tsk->thread.fcr & 0xffff, &save->cwd);
1665         __put_user(tsk->thread.fsr & 0xffff, &save->swd);
1666         __put_user((tsk->thread.fsr>>16) & 0xffff, &save->twd);
1667         __put_user(tsk->thread.fir, &save->fip);
1668         __put_user((tsk->thread.fir>>32) & 0xffff, &save->fcs);
1669         __put_user(tsk->thread.fdr, &save->foo);
1670         __put_user((tsk->thread.fdr>>32) & 0xffff, &save->fos);
1671
1672         /*
1673          *  Stack frames start with 16-bytes of temp space
1674          */
1675         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1676         ptp = task_pt_regs(tsk);
1677         tos = (tsk->thread.fsr >> 11) & 7;
1678         for (i = 0; i < 8; i++)
1679                 put_fpreg(i, (struct _fpreg_ia32 __user *)&save->st_space[4*i], ptp, swp, tos);
1680
1681         mxcsr = ((tsk->thread.fcr>>32) & 0xff80) | ((tsk->thread.fsr>>32) & 0x3f);
1682         __put_user(mxcsr & 0xffff, &save->mxcsr);
1683         for (i = 0; i < 8; i++) {
1684                 memcpy(&(num128[0]), &(swp->f16) + i*2, sizeof(unsigned long));
1685                 memcpy(&(num128[1]), &(swp->f17) + i*2, sizeof(unsigned long));
1686                 copy_to_user(&save->xmm_space[0] + 4*i, num128, sizeof(struct _xmmreg_ia32));
1687         }
1688         return 0;
1689 }
1690
1691 static int
1692 restore_ia32_fpxstate (struct task_struct *tsk, struct ia32_user_fxsr_struct __user *save)
1693 {
1694         struct switch_stack *swp;
1695         struct pt_regs *ptp;
1696         int i, tos;
1697         unsigned int fsrlo, fsrhi, num32;
1698         int mxcsr;
1699         unsigned long num64;
1700         unsigned long num128[2];
1701
1702         if (!access_ok(VERIFY_READ, save, sizeof(*save)))
1703                 return(-EFAULT);
1704
1705         __get_user(num32, (unsigned int __user *)&save->cwd);
1706         tsk->thread.fcr = (tsk->thread.fcr & (~0x1f3f)) | (num32 & 0x1f3f);
1707         __get_user(fsrlo, (unsigned int __user *)&save->swd);
1708         __get_user(fsrhi, (unsigned int __user *)&save->twd);
1709         num32 = (fsrhi << 16) | fsrlo;
1710         tsk->thread.fsr = (tsk->thread.fsr & (~0xffffffff)) | num32;
1711         __get_user(num32, (unsigned int __user *)&save->fip);
1712         tsk->thread.fir = (tsk->thread.fir & (~0xffffffff)) | num32;
1713         __get_user(num32, (unsigned int __user *)&save->foo);
1714         tsk->thread.fdr = (tsk->thread.fdr & (~0xffffffff)) | num32;
1715
1716         /*
1717          *  Stack frames start with 16-bytes of temp space
1718          */
1719         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1720         ptp = task_pt_regs(tsk);
1721         tos = (tsk->thread.fsr >> 11) & 7;
1722         for (i = 0; i < 8; i++)
1723         get_fpreg(i, (struct _fpreg_ia32 __user *)&save->st_space[4*i], ptp, swp, tos);
1724
1725         __get_user(mxcsr, (unsigned int __user *)&save->mxcsr);
1726         num64 = mxcsr & 0xff10;
1727         tsk->thread.fcr = (tsk->thread.fcr & (~0xff1000000000UL)) | (num64<<32);
1728         num64 = mxcsr & 0x3f;
1729         tsk->thread.fsr = (tsk->thread.fsr & (~0x3f00000000UL)) | (num64<<32);
1730
1731         for (i = 0; i < 8; i++) {
1732                 copy_from_user(num128, &save->xmm_space[0] + 4*i, sizeof(struct _xmmreg_ia32));
1733                 memcpy(&(swp->f16) + i*2, &(num128[0]), sizeof(unsigned long));
1734                 memcpy(&(swp->f17) + i*2, &(num128[1]), sizeof(unsigned long));
1735         }
1736         return 0;
1737 }
1738
1739 asmlinkage long
1740 sys32_ptrace (int request, pid_t pid, unsigned int addr, unsigned int data)
1741 {
1742         struct task_struct *child;
1743         unsigned int value, tmp;
1744         long i, ret;
1745
1746         lock_kernel();
1747         if (request == PTRACE_TRACEME) {
1748                 ret = ptrace_traceme();
1749                 goto out;
1750         }
1751
1752         child = ptrace_get_task_struct(pid);
1753         if (IS_ERR(child)) {
1754                 ret = PTR_ERR(child);
1755                 goto out;
1756         }
1757
1758         if (request == PTRACE_ATTACH) {
1759                 ret = sys_ptrace(request, pid, addr, data);
1760                 goto out_tsk;
1761         }
1762
1763         ret = ptrace_check_attach(child, request == PTRACE_KILL);
1764         if (ret < 0)
1765                 goto out_tsk;
1766
1767         switch (request) {
1768               case PTRACE_PEEKTEXT:
1769               case PTRACE_PEEKDATA:     /* read word at location addr */
1770                 ret = ia32_peek(child, addr, &value);
1771                 if (ret == 0)
1772                         ret = put_user(value, (unsigned int __user *) compat_ptr(data));
1773                 else
1774                         ret = -EIO;
1775                 goto out_tsk;
1776
1777               case PTRACE_POKETEXT:
1778               case PTRACE_POKEDATA:     /* write the word at location addr */
1779                 ret = ia32_poke(child, addr, data);
1780                 goto out_tsk;
1781
1782               case PTRACE_PEEKUSR:      /* read word at addr in USER area */
1783                 ret = -EIO;
1784                 if ((addr & 3) || addr > 17*sizeof(int))
1785                         break;
1786
1787                 tmp = getreg(child, addr);
1788                 if (!put_user(tmp, (unsigned int __user *) compat_ptr(data)))
1789                         ret = 0;
1790                 break;
1791
1792               case PTRACE_POKEUSR:      /* write word at addr in USER area */
1793                 ret = -EIO;
1794                 if ((addr & 3) || addr > 17*sizeof(int))
1795                         break;
1796
1797                 putreg(child, addr, data);
1798                 ret = 0;
1799                 break;
1800
1801               case IA32_PTRACE_GETREGS:
1802                 if (!access_ok(VERIFY_WRITE, compat_ptr(data), 17*sizeof(int))) {
1803                         ret = -EIO;
1804                         break;
1805                 }
1806                 for (i = 0; i < (int) (17*sizeof(int)); i += sizeof(int) ) {
1807                         put_user(getreg(child, i), (unsigned int __user *) compat_ptr(data));
1808                         data += sizeof(int);
1809                 }
1810                 ret = 0;
1811                 break;
1812
1813               case IA32_PTRACE_SETREGS:
1814                 if (!access_ok(VERIFY_READ, compat_ptr(data), 17*sizeof(int))) {
1815                         ret = -EIO;
1816                         break;
1817                 }
1818                 for (i = 0; i < (int) (17*sizeof(int)); i += sizeof(int) ) {
1819                         get_user(tmp, (unsigned int __user *) compat_ptr(data));
1820                         putreg(child, i, tmp);
1821                         data += sizeof(int);
1822                 }
1823                 ret = 0;
1824                 break;
1825
1826               case IA32_PTRACE_GETFPREGS:
1827                 ret = save_ia32_fpstate(child, (struct ia32_user_i387_struct __user *)
1828                                         compat_ptr(data));
1829                 break;
1830
1831               case IA32_PTRACE_GETFPXREGS:
1832                 ret = save_ia32_fpxstate(child, (struct ia32_user_fxsr_struct __user *)
1833                                          compat_ptr(data));
1834                 break;
1835
1836               case IA32_PTRACE_SETFPREGS:
1837                 ret = restore_ia32_fpstate(child, (struct ia32_user_i387_struct __user *)
1838                                            compat_ptr(data));
1839                 break;
1840
1841               case IA32_PTRACE_SETFPXREGS:
1842                 ret = restore_ia32_fpxstate(child, (struct ia32_user_fxsr_struct __user *)
1843                                             compat_ptr(data));
1844                 break;
1845
1846               case PTRACE_GETEVENTMSG:   
1847                 ret = put_user(child->ptrace_message, (unsigned int __user *) compat_ptr(data));
1848                 break;
1849
1850               case PTRACE_SYSCALL:      /* continue, stop after next syscall */
1851               case PTRACE_CONT:         /* restart after signal. */
1852               case PTRACE_KILL:
1853               case PTRACE_SINGLESTEP:   /* execute chile for one instruction */
1854               case PTRACE_DETACH:       /* detach a process */
1855                 ret = sys_ptrace(request, pid, addr, data);
1856                 break;
1857
1858               default:
1859                 ret = ptrace_request(child, request, addr, data);
1860                 break;
1861
1862         }
1863   out_tsk:
1864         put_task_struct(child);
1865   out:
1866         unlock_kernel();
1867         return ret;
1868 }
1869
1870 typedef struct {
1871         unsigned int    ss_sp;
1872         unsigned int    ss_flags;
1873         unsigned int    ss_size;
1874 } ia32_stack_t;
1875
1876 asmlinkage long
1877 sys32_sigaltstack (ia32_stack_t __user *uss32, ia32_stack_t __user *uoss32,
1878                    long arg2, long arg3, long arg4, long arg5, long arg6,
1879                    long arg7, struct pt_regs pt)
1880 {
1881         stack_t uss, uoss;
1882         ia32_stack_t buf32;
1883         int ret;
1884         mm_segment_t old_fs = get_fs();
1885
1886         if (uss32) {
1887                 if (copy_from_user(&buf32, uss32, sizeof(ia32_stack_t)))
1888                         return -EFAULT;
1889                 uss.ss_sp = (void __user *) (long) buf32.ss_sp;
1890                 uss.ss_flags = buf32.ss_flags;
1891                 /* MINSIGSTKSZ is different for ia32 vs ia64. We lie here to pass the
1892                    check and set it to the user requested value later */
1893                 if ((buf32.ss_flags != SS_DISABLE) && (buf32.ss_size < MINSIGSTKSZ_IA32)) {
1894                         ret = -ENOMEM;
1895                         goto out;
1896                 }
1897                 uss.ss_size = MINSIGSTKSZ;
1898         }
1899         set_fs(KERNEL_DS);
1900         ret = do_sigaltstack(uss32 ? (stack_t __user *) &uss : NULL,
1901                              (stack_t __user *) &uoss, pt.r12);
1902         current->sas_ss_size = buf32.ss_size;
1903         set_fs(old_fs);
1904 out:
1905         if (ret < 0)
1906                 return(ret);
1907         if (uoss32) {
1908                 buf32.ss_sp = (long __user) uoss.ss_sp;
1909                 buf32.ss_flags = uoss.ss_flags;
1910                 buf32.ss_size = uoss.ss_size;
1911                 if (copy_to_user(uoss32, &buf32, sizeof(ia32_stack_t)))
1912                         return -EFAULT;
1913         }
1914         return ret;
1915 }
1916
1917 asmlinkage int
1918 sys32_pause (void)
1919 {
1920         current->state = TASK_INTERRUPTIBLE;
1921         schedule();
1922         return -ERESTARTNOHAND;
1923 }
1924
1925 asmlinkage int
1926 sys32_msync (unsigned int start, unsigned int len, int flags)
1927 {
1928         unsigned int addr;
1929
1930         if (OFFSET4K(start))
1931                 return -EINVAL;
1932         addr = PAGE_START(start);
1933         return sys_msync(addr, len + (start - addr), flags);
1934 }
1935
1936 struct sysctl32 {
1937         unsigned int    name;
1938         int             nlen;
1939         unsigned int    oldval;
1940         unsigned int    oldlenp;
1941         unsigned int    newval;
1942         unsigned int    newlen;
1943         unsigned int    __unused[4];
1944 };
1945
1946 #ifdef CONFIG_SYSCTL
1947 asmlinkage long
1948 sys32_sysctl (struct sysctl32 __user *args)
1949 {
1950         struct sysctl32 a32;
1951         mm_segment_t old_fs = get_fs ();
1952         void __user *oldvalp, *newvalp;
1953         size_t oldlen;
1954         int __user *namep;
1955         long ret;
1956
1957         if (copy_from_user(&a32, args, sizeof(a32)))
1958                 return -EFAULT;
1959
1960         /*
1961          * We need to pre-validate these because we have to disable address checking
1962          * before calling do_sysctl() because of OLDLEN but we can't run the risk of the
1963          * user specifying bad addresses here.  Well, since we're dealing with 32 bit
1964          * addresses, we KNOW that access_ok() will always succeed, so this is an
1965          * expensive NOP, but so what...
1966          */
1967         namep = (int __user *) compat_ptr(a32.name);
1968         oldvalp = compat_ptr(a32.oldval);
1969         newvalp = compat_ptr(a32.newval);
1970
1971         if ((oldvalp && get_user(oldlen, (int __user *) compat_ptr(a32.oldlenp)))
1972             || !access_ok(VERIFY_WRITE, namep, 0)
1973             || !access_ok(VERIFY_WRITE, oldvalp, 0)
1974             || !access_ok(VERIFY_WRITE, newvalp, 0))
1975                 return -EFAULT;
1976
1977         set_fs(KERNEL_DS);
1978         lock_kernel();
1979         ret = do_sysctl(namep, a32.nlen, oldvalp, (size_t __user *) &oldlen,
1980                         newvalp, (size_t) a32.newlen);
1981         unlock_kernel();
1982         set_fs(old_fs);
1983
1984         if (oldvalp && put_user (oldlen, (int __user *) compat_ptr(a32.oldlenp)))
1985                 return -EFAULT;
1986
1987         return ret;
1988 }
1989 #endif
1990
1991 asmlinkage long
1992 sys32_newuname (struct new_utsname __user *name)
1993 {
1994         int ret = sys_newuname(name);
1995
1996         if (!ret)
1997                 if (copy_to_user(name->machine, "i686\0\0\0", 8))
1998                         ret = -EFAULT;
1999         return ret;
2000 }
2001
2002 asmlinkage long
2003 sys32_getresuid16 (u16 __user *ruid, u16 __user *euid, u16 __user *suid)
2004 {
2005         uid_t a, b, c;
2006         int ret;
2007         mm_segment_t old_fs = get_fs();
2008
2009         set_fs(KERNEL_DS);
2010         ret = sys_getresuid((uid_t __user *) &a, (uid_t __user *) &b, (uid_t __user *) &c);
2011         set_fs(old_fs);
2012
2013         if (put_user(a, ruid) || put_user(b, euid) || put_user(c, suid))
2014                 return -EFAULT;
2015         return ret;
2016 }
2017
2018 asmlinkage long
2019 sys32_getresgid16 (u16 __user *rgid, u16 __user *egid, u16 __user *sgid)
2020 {
2021         gid_t a, b, c;
2022         int ret;
2023         mm_segment_t old_fs = get_fs();
2024
2025         set_fs(KERNEL_DS);
2026         ret = sys_getresgid((gid_t __user *) &a, (gid_t __user *) &b, (gid_t __user *) &c);
2027         set_fs(old_fs);
2028
2029         if (ret)
2030                 return ret;
2031
2032         return put_user(a, rgid) | put_user(b, egid) | put_user(c, sgid);
2033 }
2034
2035 asmlinkage long
2036 sys32_lseek (unsigned int fd, int offset, unsigned int whence)
2037 {
2038         /* Sign-extension of "offset" is important here... */
2039         return sys_lseek(fd, offset, whence);
2040 }
2041
2042 static int
2043 groups16_to_user(short __user *grouplist, struct group_info *group_info)
2044 {
2045         int i;
2046         short group;
2047
2048         for (i = 0; i < group_info->ngroups; i++) {
2049                 group = (short)GROUP_AT(group_info, i);
2050                 if (put_user(group, grouplist+i))
2051                         return -EFAULT;
2052         }
2053
2054         return 0;
2055 }
2056
2057 static int
2058 groups16_from_user(struct group_info *group_info, short __user *grouplist)
2059 {
2060         int i;
2061         short group;
2062
2063         for (i = 0; i < group_info->ngroups; i++) {
2064                 if (get_user(group, grouplist+i))
2065                         return  -EFAULT;
2066                 GROUP_AT(group_info, i) = (gid_t)group;
2067         }
2068
2069         return 0;
2070 }
2071
2072 asmlinkage long
2073 sys32_getgroups16 (int gidsetsize, short __user *grouplist)
2074 {
2075         int i;
2076
2077         if (gidsetsize < 0)
2078                 return -EINVAL;
2079
2080         get_group_info(current->group_info);
2081         i = current->group_info->ngroups;
2082         if (gidsetsize) {
2083                 if (i > gidsetsize) {
2084                         i = -EINVAL;
2085                         goto out;
2086                 }
2087                 if (groups16_to_user(grouplist, current->group_info)) {
2088                         i = -EFAULT;
2089                         goto out;
2090                 }
2091         }
2092 out:
2093         put_group_info(current->group_info);
2094         return i;
2095 }
2096
2097 asmlinkage long
2098 sys32_setgroups16 (int gidsetsize, short __user *grouplist)
2099 {
2100         struct group_info *group_info;
2101         int retval;
2102
2103         if (!capable(CAP_SETGID))
2104                 return -EPERM;
2105         if ((unsigned)gidsetsize > NGROUPS_MAX)
2106                 return -EINVAL;
2107
2108         group_info = groups_alloc(gidsetsize);
2109         if (!group_info)
2110                 return -ENOMEM;
2111         retval = groups16_from_user(group_info, grouplist);
2112         if (retval) {
2113                 put_group_info(group_info);
2114                 return retval;
2115         }
2116
2117         retval = set_current_groups(group_info);
2118         put_group_info(group_info);
2119
2120         return retval;
2121 }
2122
2123 asmlinkage long
2124 sys32_truncate64 (unsigned int path, unsigned int len_lo, unsigned int len_hi)
2125 {
2126         return sys_truncate(compat_ptr(path), ((unsigned long) len_hi << 32) | len_lo);
2127 }
2128
2129 asmlinkage long
2130 sys32_ftruncate64 (int fd, unsigned int len_lo, unsigned int len_hi)
2131 {
2132         return sys_ftruncate(fd, ((unsigned long) len_hi << 32) | len_lo);
2133 }
2134
2135 static int
2136 putstat64 (struct stat64 __user *ubuf, struct kstat *kbuf)
2137 {
2138         int err;
2139         u64 hdev;
2140
2141         if (clear_user(ubuf, sizeof(*ubuf)))
2142                 return -EFAULT;
2143
2144         hdev = huge_encode_dev(kbuf->dev);
2145         err  = __put_user(hdev, (u32 __user*)&ubuf->st_dev);
2146         err |= __put_user(hdev >> 32, ((u32 __user*)&ubuf->st_dev) + 1);
2147         err |= __put_user(kbuf->ino, &ubuf->__st_ino);
2148         err |= __put_user(kbuf->ino, &ubuf->st_ino_lo);
2149         err |= __put_user(kbuf->ino >> 32, &ubuf->st_ino_hi);
2150         err |= __put_user(kbuf->mode, &ubuf->st_mode);
2151         err |= __put_user(kbuf->nlink, &ubuf->st_nlink);
2152         err |= __put_user(kbuf->uid, &ubuf->st_uid);
2153         err |= __put_user(kbuf->gid, &ubuf->st_gid);
2154         hdev = huge_encode_dev(kbuf->rdev);
2155         err  = __put_user(hdev, (u32 __user*)&ubuf->st_rdev);
2156         err |= __put_user(hdev >> 32, ((u32 __user*)&ubuf->st_rdev) + 1);
2157         err |= __put_user(kbuf->size, &ubuf->st_size_lo);
2158         err |= __put_user((kbuf->size >> 32), &ubuf->st_size_hi);
2159         err |= __put_user(kbuf->atime.tv_sec, &ubuf->st_atime);
2160         err |= __put_user(kbuf->atime.tv_nsec, &ubuf->st_atime_nsec);
2161         err |= __put_user(kbuf->mtime.tv_sec, &ubuf->st_mtime);
2162         err |= __put_user(kbuf->mtime.tv_nsec, &ubuf->st_mtime_nsec);
2163         err |= __put_user(kbuf->ctime.tv_sec, &ubuf->st_ctime);
2164         err |= __put_user(kbuf->ctime.tv_nsec, &ubuf->st_ctime_nsec);
2165         err |= __put_user(kbuf->blksize, &ubuf->st_blksize);
2166         err |= __put_user(kbuf->blocks, &ubuf->st_blocks);
2167         return err;
2168 }
2169
2170 asmlinkage long
2171 sys32_stat64 (char __user *filename, struct stat64 __user *statbuf)
2172 {
2173         struct kstat s;
2174         long ret = vfs_stat(filename, &s);
2175         if (!ret)
2176                 ret = putstat64(statbuf, &s);
2177         return ret;
2178 }
2179
2180 asmlinkage long
2181 sys32_lstat64 (char __user *filename, struct stat64 __user *statbuf)
2182 {
2183         struct kstat s;
2184         long ret = vfs_lstat(filename, &s);
2185         if (!ret)
2186                 ret = putstat64(statbuf, &s);
2187         return ret;
2188 }
2189
2190 asmlinkage long
2191 sys32_fstat64 (unsigned int fd, struct stat64 __user *statbuf)
2192 {
2193         struct kstat s;
2194         long ret = vfs_fstat(fd, &s);
2195         if (!ret)
2196                 ret = putstat64(statbuf, &s);
2197         return ret;
2198 }
2199
2200 struct sysinfo32 {
2201         s32 uptime;
2202         u32 loads[3];
2203         u32 totalram;
2204         u32 freeram;
2205         u32 sharedram;
2206         u32 bufferram;
2207         u32 totalswap;
2208         u32 freeswap;
2209         u16 procs;
2210         u16 pad;
2211         u32 totalhigh;
2212         u32 freehigh;
2213         u32 mem_unit;
2214         char _f[8];
2215 };
2216
2217 asmlinkage long
2218 sys32_sysinfo (struct sysinfo32 __user *info)
2219 {
2220         struct sysinfo s;
2221         long ret, err;
2222         int bitcount = 0;
2223         mm_segment_t old_fs = get_fs();
2224
2225         set_fs(KERNEL_DS);
2226         ret = sys_sysinfo((struct sysinfo __user *) &s);
2227         set_fs(old_fs);
2228         /* Check to see if any memory value is too large for 32-bit and
2229          * scale down if needed.
2230          */
2231         if ((s.totalram >> 32) || (s.totalswap >> 32)) {
2232                 while (s.mem_unit < PAGE_SIZE) {
2233                         s.mem_unit <<= 1;
2234                         bitcount++;
2235                 }
2236                 s.totalram >>= bitcount;
2237                 s.freeram >>= bitcount;
2238                 s.sharedram >>= bitcount;
2239                 s.bufferram >>= bitcount;
2240                 s.totalswap >>= bitcount;
2241                 s.freeswap >>= bitcount;
2242                 s.totalhigh >>= bitcount;
2243                 s.freehigh >>= bitcount;
2244         }
2245
2246         if (!access_ok(VERIFY_WRITE, info, sizeof(*info)))
2247                 return -EFAULT;
2248
2249         err  = __put_user(s.uptime, &info->uptime);
2250         err |= __put_user(s.loads[0], &info->loads[0]);
2251         err |= __put_user(s.loads[1], &info->loads[1]);
2252         err |= __put_user(s.loads[2], &info->loads[2]);
2253         err |= __put_user(s.totalram, &info->totalram);
2254         err |= __put_user(s.freeram, &info->freeram);
2255         err |= __put_user(s.sharedram, &info->sharedram);
2256         err |= __put_user(s.bufferram, &info->bufferram);
2257         err |= __put_user(s.totalswap, &info->totalswap);
2258         err |= __put_user(s.freeswap, &info->freeswap);
2259         err |= __put_user(s.procs, &info->procs);
2260         err |= __put_user (s.totalhigh, &info->totalhigh);
2261         err |= __put_user (s.freehigh, &info->freehigh);
2262         err |= __put_user (s.mem_unit, &info->mem_unit);
2263         if (err)
2264                 return -EFAULT;
2265         return ret;
2266 }
2267
2268 asmlinkage long
2269 sys32_sched_rr_get_interval (pid_t pid, struct compat_timespec __user *interval)
2270 {
2271         mm_segment_t old_fs = get_fs();
2272         struct timespec t;
2273         long ret;
2274
2275         set_fs(KERNEL_DS);
2276         ret = sys_sched_rr_get_interval(pid, (struct timespec __user *) &t);
2277         set_fs(old_fs);
2278         if (put_compat_timespec(&t, interval))
2279                 return -EFAULT;
2280         return ret;
2281 }
2282
2283 asmlinkage long
2284 sys32_pread (unsigned int fd, void __user *buf, unsigned int count, u32 pos_lo, u32 pos_hi)
2285 {
2286         return sys_pread64(fd, buf, count, ((unsigned long) pos_hi << 32) | pos_lo);
2287 }
2288
2289 asmlinkage long
2290 sys32_pwrite (unsigned int fd, void __user *buf, unsigned int count, u32 pos_lo, u32 pos_hi)
2291 {
2292         return sys_pwrite64(fd, buf, count, ((unsigned long) pos_hi << 32) | pos_lo);
2293 }
2294
2295 asmlinkage long
2296 sys32_sendfile (int out_fd, int in_fd, int __user *offset, unsigned int count)
2297 {
2298         mm_segment_t old_fs = get_fs();
2299         long ret;
2300         off_t of;
2301
2302         if (offset && get_user(of, offset))
2303                 return -EFAULT;
2304
2305         set_fs(KERNEL_DS);
2306         ret = sys_sendfile(out_fd, in_fd, offset ? (off_t __user *) &of : NULL, count);
2307         set_fs(old_fs);
2308
2309         if (offset && put_user(of, offset))
2310                 return -EFAULT;
2311
2312         return ret;
2313 }
2314
2315 asmlinkage long
2316 sys32_personality (unsigned int personality)
2317 {
2318         long ret;
2319
2320         if (current->personality == PER_LINUX32 && personality == PER_LINUX)
2321                 personality = PER_LINUX32;
2322         ret = sys_personality(personality);
2323         if (ret == PER_LINUX32)
2324                 ret = PER_LINUX;
2325         return ret;
2326 }
2327
2328 asmlinkage unsigned long
2329 sys32_brk (unsigned int brk)
2330 {
2331         unsigned long ret, obrk;
2332         struct mm_struct *mm = current->mm;
2333
2334         obrk = mm->brk;
2335         ret = sys_brk(brk);
2336         if (ret < obrk)
2337                 clear_user(compat_ptr(ret), PAGE_ALIGN(ret) - ret);
2338         return ret;
2339 }
2340
2341 /* Structure for ia32 emulation on ia64 */
2342 struct epoll_event32
2343 {
2344         u32 events;
2345         u32 data[2];
2346 };
2347
2348 asmlinkage long
2349 sys32_epoll_ctl(int epfd, int op, int fd, struct epoll_event32 __user *event)
2350 {
2351         mm_segment_t old_fs = get_fs();
2352         struct epoll_event event64;
2353         int error;
2354         u32 data_halfword;
2355
2356         if (!access_ok(VERIFY_READ, event, sizeof(struct epoll_event32)))
2357                 return -EFAULT;
2358
2359         __get_user(event64.events, &event->events);
2360         __get_user(data_halfword, &event->data[0]);
2361         event64.data = data_halfword;
2362         __get_user(data_halfword, &event->data[1]);
2363         event64.data |= (u64)data_halfword << 32;
2364
2365         set_fs(KERNEL_DS);
2366         error = sys_epoll_ctl(epfd, op, fd, (struct epoll_event __user *) &event64);
2367         set_fs(old_fs);
2368
2369         return error;
2370 }
2371
2372 asmlinkage long
2373 sys32_epoll_wait(int epfd, struct epoll_event32 __user * events, int maxevents,
2374                  int timeout)
2375 {
2376         struct epoll_event *events64 = NULL;
2377         mm_segment_t old_fs = get_fs();
2378         int numevents, size;
2379         int evt_idx;
2380         int do_free_pages = 0;
2381
2382         if (maxevents <= 0) {
2383                 return -EINVAL;
2384         }
2385
2386         /* Verify that the area passed by the user is writeable */
2387         if (!access_ok(VERIFY_WRITE, events, maxevents * sizeof(struct epoll_event32)))
2388                 return -EFAULT;
2389
2390         /*
2391          * Allocate space for the intermediate copy.  If the space needed
2392          * is large enough to cause kmalloc to fail, then try again with
2393          * __get_free_pages.
2394          */
2395         size = maxevents * sizeof(struct epoll_event);
2396         events64 = kmalloc(size, GFP_KERNEL);
2397         if (events64 == NULL) {
2398                 events64 = (struct epoll_event *)
2399                                 __get_free_pages(GFP_KERNEL, get_order(size));
2400                 if (events64 == NULL)
2401                         return -ENOMEM;
2402                 do_free_pages = 1;
2403         }
2404
2405         /* Do the system call */
2406         set_fs(KERNEL_DS); /* copy_to/from_user should work on kernel mem*/
2407         numevents = sys_epoll_wait(epfd, (struct epoll_event __user *) events64,
2408                                    maxevents, timeout);
2409         set_fs(old_fs);
2410
2411         /* Don't modify userspace memory if we're returning an error */
2412         if (numevents > 0) {
2413                 /* Translate the 64-bit structures back into the 32-bit
2414                    structures */
2415                 for (evt_idx = 0; evt_idx < numevents; evt_idx++) {
2416                         __put_user(events64[evt_idx].events,
2417                                    &events[evt_idx].events);
2418                         __put_user((u32)events64[evt_idx].data,
2419                                    &events[evt_idx].data[0]);
2420                         __put_user((u32)(events64[evt_idx].data >> 32),
2421                                    &events[evt_idx].data[1]);
2422                 }
2423         }
2424
2425         if (do_free_pages)
2426                 free_pages((unsigned long) events64, get_order(size));
2427         else
2428                 kfree(events64);
2429         return numevents;
2430 }
2431
2432 /*
2433  * Get a yet unused TLS descriptor index.
2434  */
2435 static int
2436 get_free_idx (void)
2437 {
2438         struct thread_struct *t = &current->thread;
2439         int idx;
2440
2441         for (idx = 0; idx < GDT_ENTRY_TLS_ENTRIES; idx++)
2442                 if (desc_empty(t->tls_array + idx))
2443                         return idx + GDT_ENTRY_TLS_MIN;
2444         return -ESRCH;
2445 }
2446
2447 /*
2448  * Set a given TLS descriptor:
2449  */
2450 asmlinkage int
2451 sys32_set_thread_area (struct ia32_user_desc __user *u_info)
2452 {
2453         struct thread_struct *t = &current->thread;
2454         struct ia32_user_desc info;
2455         struct desc_struct *desc;
2456         int cpu, idx;
2457
2458         if (copy_from_user(&info, u_info, sizeof(info)))
2459                 return -EFAULT;
2460         idx = info.entry_number;
2461
2462         /*
2463          * index -1 means the kernel should try to find and allocate an empty descriptor:
2464          */
2465         if (idx == -1) {
2466                 idx = get_free_idx();
2467                 if (idx < 0)
2468                         return idx;
2469                 if (put_user(idx, &u_info->entry_number))
2470                         return -EFAULT;
2471         }
2472
2473         if (idx < GDT_ENTRY_TLS_MIN || idx > GDT_ENTRY_TLS_MAX)
2474                 return -EINVAL;
2475
2476         desc = t->tls_array + idx - GDT_ENTRY_TLS_MIN;
2477
2478         cpu = smp_processor_id();
2479
2480         if (LDT_empty(&info)) {
2481                 desc->a = 0;
2482                 desc->b = 0;
2483         } else {
2484                 desc->a = LDT_entry_a(&info);
2485                 desc->b = LDT_entry_b(&info);
2486         }
2487         load_TLS(t, cpu);
2488         return 0;
2489 }
2490
2491 /*
2492  * Get the current Thread-Local Storage area:
2493  */
2494
2495 #define GET_BASE(desc) (                        \
2496         (((desc)->a >> 16) & 0x0000ffff) |      \
2497         (((desc)->b << 16) & 0x00ff0000) |      \
2498         ( (desc)->b        & 0xff000000)   )
2499
2500 #define GET_LIMIT(desc) (                       \
2501         ((desc)->a & 0x0ffff) |                 \
2502          ((desc)->b & 0xf0000) )
2503
2504 #define GET_32BIT(desc)         (((desc)->b >> 22) & 1)
2505 #define GET_CONTENTS(desc)      (((desc)->b >> 10) & 3)
2506 #define GET_WRITABLE(desc)      (((desc)->b >>  9) & 1)
2507 #define GET_LIMIT_PAGES(desc)   (((desc)->b >> 23) & 1)
2508 #define GET_PRESENT(desc)       (((desc)->b >> 15) & 1)
2509 #define GET_USEABLE(desc)       (((desc)->b >> 20) & 1)
2510
2511 asmlinkage int
2512 sys32_get_thread_area (struct ia32_user_desc __user *u_info)
2513 {
2514         struct ia32_user_desc info;
2515         struct desc_struct *desc;
2516         int idx;
2517
2518         if (get_user(idx, &u_info->entry_number))
2519                 return -EFAULT;
2520         if (idx < GDT_ENTRY_TLS_MIN || idx > GDT_ENTRY_TLS_MAX)
2521                 return -EINVAL;
2522
2523         desc = current->thread.tls_array + idx - GDT_ENTRY_TLS_MIN;
2524
2525         info.entry_number = idx;
2526         info.base_addr = GET_BASE(desc);
2527         info.limit = GET_LIMIT(desc);
2528         info.seg_32bit = GET_32BIT(desc);
2529         info.contents = GET_CONTENTS(desc);
2530         info.read_exec_only = !GET_WRITABLE(desc);
2531         info.limit_in_pages = GET_LIMIT_PAGES(desc);
2532         info.seg_not_present = !GET_PRESENT(desc);
2533         info.useable = GET_USEABLE(desc);
2534
2535         if (copy_to_user(u_info, &info, sizeof(info)))
2536                 return -EFAULT;
2537         return 0;
2538 }
2539
2540 long sys32_fadvise64_64(int fd, __u32 offset_low, __u32 offset_high, 
2541                         __u32 len_low, __u32 len_high, int advice)
2542
2543         return sys_fadvise64_64(fd,
2544                                (((u64)offset_high)<<32) | offset_low,
2545                                (((u64)len_high)<<32) | len_low,
2546                                advice); 
2547
2548
2549 #ifdef  NOTYET  /* UNTESTED FOR IA64 FROM HERE DOWN */
2550
2551 asmlinkage long sys32_setreuid(compat_uid_t ruid, compat_uid_t euid)
2552 {
2553         uid_t sruid, seuid;
2554
2555         sruid = (ruid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)ruid);
2556         seuid = (euid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)euid);
2557         return sys_setreuid(sruid, seuid);
2558 }
2559
2560 asmlinkage long
2561 sys32_setresuid(compat_uid_t ruid, compat_uid_t euid,
2562                 compat_uid_t suid)
2563 {
2564         uid_t sruid, seuid, ssuid;
2565
2566         sruid = (ruid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)ruid);
2567         seuid = (euid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)euid);
2568         ssuid = (suid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)suid);
2569         return sys_setresuid(sruid, seuid, ssuid);
2570 }
2571
2572 asmlinkage long
2573 sys32_setregid(compat_gid_t rgid, compat_gid_t egid)
2574 {
2575         gid_t srgid, segid;
2576
2577         srgid = (rgid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)rgid);
2578         segid = (egid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)egid);
2579         return sys_setregid(srgid, segid);
2580 }
2581
2582 asmlinkage long
2583 sys32_setresgid(compat_gid_t rgid, compat_gid_t egid,
2584                 compat_gid_t sgid)
2585 {
2586         gid_t srgid, segid, ssgid;
2587
2588         srgid = (rgid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)rgid);
2589         segid = (egid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)egid);
2590         ssgid = (sgid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)sgid);
2591         return sys_setresgid(srgid, segid, ssgid);
2592 }
2593 #endif /* NOTYET */