git.oblomov.eu Git - linux-2.6/blob - arch/x86/ia32/ia32entry.S

   1 /*
   2  * Compatibility mode system call entry point for x86-64.
   3  *
   4  * Copyright 2000-2002 Andi Kleen, SuSE Labs.
   5  */
   6
   7 #include <asm/dwarf2.h>
   8 #include <asm/calling.h>
   9 #include <asm/asm-offsets.h>
  10 #include <asm/current.h>
  11 #include <asm/errno.h>
  12 #include <asm/ia32_unistd.h>
  13 #include <asm/thread_info.h>
  14 #include <asm/segment.h>
  15 #include <asm/irqflags.h>
  16 #include <linux/linkage.h>
  17
  18 #define IA32_NR_syscalls ((ia32_syscall_end - ia32_sys_call_table)/8)
  19
  20         .macro IA32_ARG_FIXUP noebp=0
  21         movl    %edi,%r8d
  22         .if \noebp
  23         .else
  24         movl    %ebp,%r9d
  25         .endif
  26         xchg    %ecx,%esi
  27         movl    %ebx,%edi
  28         movl    %edx,%edx       /* zero extension */
  29         .endm
  30
  31         /* clobbers %eax */
  32         .macro  CLEAR_RREGS
  33         xorl    %eax,%eax
  34         movq    %rax,R11(%rsp)
  35         movq    %rax,R10(%rsp)
  36         movq    %rax,R9(%rsp)
  37         movq    %rax,R8(%rsp)
  38         .endm
  39
  40         .macro LOAD_ARGS32 offset
  41         movl \offset(%rsp),%r11d
  42         movl \offset+8(%rsp),%r10d
  43         movl \offset+16(%rsp),%r9d
  44         movl \offset+24(%rsp),%r8d
  45         movl \offset+40(%rsp),%ecx
  46         movl \offset+48(%rsp),%edx
  47         movl \offset+56(%rsp),%esi
  48         movl \offset+64(%rsp),%edi
  49         movl \offset+72(%rsp),%eax
  50         .endm
  51
  52         .macro CFI_STARTPROC32 simple
  53         CFI_STARTPROC   \simple
  54         CFI_UNDEFINED   r8
  55         CFI_UNDEFINED   r9
  56         CFI_UNDEFINED   r10
  57         CFI_UNDEFINED   r11
  58         CFI_UNDEFINED   r12
  59         CFI_UNDEFINED   r13
  60         CFI_UNDEFINED   r14
  61         CFI_UNDEFINED   r15
  62         .endm
  63
  64 #ifdef CONFIG_PARAVIRT
  65 ENTRY(native_usergs_sysret32)
  66         swapgs
  67         sysretl
  68 ENDPROC(native_usergs_sysret32)
  69
  70 ENTRY(native_irq_enable_sysexit)
  71         swapgs
  72         sti
  73         sysexit
  74 ENDPROC(native_irq_enable_sysexit)
  75 #endif
  76
  77 /*
  78  * 32bit SYSENTER instruction entry.
  79  *
  80  * Arguments:
  81  * %eax System call number.
  82  * %ebx Arg1
  83  * %ecx Arg2
  84  * %edx Arg3
  85  * %esi Arg4
  86  * %edi Arg5
  87  * %ebp user stack
  88  * 0(%ebp) Arg6
  89  *
  90  * Interrupts off.
  91  *
  92  * This is purely a fast path. For anything complicated we use the int 0x80
  93  * path below.  Set up a complete hardware stack frame to share code
  94  * with the int 0x80 path.
  95  */
  96 ENTRY(ia32_sysenter_target)
  97         CFI_STARTPROC32 simple
  98         CFI_SIGNAL_FRAME
  99         CFI_DEF_CFA     rsp,0
 100         CFI_REGISTER    rsp,rbp
 101         SWAPGS_UNSAFE_STACK
 102         movq    %gs:pda_kernelstack, %rsp
 103         addq    $(PDA_STACKOFFSET),%rsp
 104         /*
 105          * No need to follow this irqs on/off section: the syscall
 106          * disabled irqs, here we enable it straight after entry:
 107          */
 108         ENABLE_INTERRUPTS(CLBR_NONE)
 109         movl    %ebp,%ebp               /* zero extension */
 110         pushq   $__USER32_DS
 111         CFI_ADJUST_CFA_OFFSET 8
 112         /*CFI_REL_OFFSET ss,0*/
 113         pushq   %rbp
 114         CFI_ADJUST_CFA_OFFSET 8
 115         CFI_REL_OFFSET rsp,0
 116         pushfq
 117         CFI_ADJUST_CFA_OFFSET 8
 118         /*CFI_REL_OFFSET rflags,0*/
 119         movl    8*3-THREAD_SIZE+TI_sysenter_return(%rsp), %r10d
 120         CFI_REGISTER rip,r10
 121         pushq   $__USER32_CS
 122         CFI_ADJUST_CFA_OFFSET 8
 123         /*CFI_REL_OFFSET cs,0*/
 124         movl    %eax, %eax
 125         pushq   %r10
 126         CFI_ADJUST_CFA_OFFSET 8
 127         CFI_REL_OFFSET rip,0
 128         pushq   %rax
 129         CFI_ADJUST_CFA_OFFSET 8
 130         cld
 131         SAVE_ARGS 0,0,1
 132         /* no need to do an access_ok check here because rbp has been
 133            32bit zero extended */
 134 1:      movl    (%rbp),%r9d
 135         .section __ex_table,"a"
 136         .quad 1b,ia32_badarg
 137         .previous
 138         GET_THREAD_INFO(%r10)
 139         orl    $TS_COMPAT,TI_status(%r10)
 140         testl  $(_TIF_SYSCALL_TRACE|_TIF_SYSCALL_AUDIT|_TIF_SECCOMP), \
 141                  TI_flags(%r10)
 142         CFI_REMEMBER_STATE
 143         jnz  sysenter_tracesys
 144 sysenter_do_call:
 145         cmpl    $(IA32_NR_syscalls-1),%eax
 146         ja      ia32_badsys
 147         IA32_ARG_FIXUP 1
 148         call    *ia32_sys_call_table(,%rax,8)
 149         movq    %rax,RAX-ARGOFFSET(%rsp)
 150         GET_THREAD_INFO(%r10)
 151         DISABLE_INTERRUPTS(CLBR_NONE)
 152         TRACE_IRQS_OFF
 153         testl   $_TIF_ALLWORK_MASK,TI_flags(%r10)
 154         jnz     int_ret_from_sys_call
 155         andl    $~TS_COMPAT,TI_status(%r10)
 156         /* clear IF, that popfq doesn't enable interrupts early */
 157         andl  $~0x200,EFLAGS-R11(%rsp)
 158         movl    RIP-R11(%rsp),%edx              /* User %eip */
 159         CFI_REGISTER rip,rdx
 160         RESTORE_ARGS 1,24,1,1,1,1
 161         popfq
 162         CFI_ADJUST_CFA_OFFSET -8
 163         /*CFI_RESTORE rflags*/
 164         popq    %rcx                            /* User %esp */
 165         CFI_ADJUST_CFA_OFFSET -8
 166         CFI_REGISTER rsp,rcx
 167         TRACE_IRQS_ON
 168         ENABLE_INTERRUPTS_SYSEXIT32
 169
 170 sysenter_tracesys:
 171         CFI_RESTORE_STATE
 172         xchgl   %r9d,%ebp
 173         SAVE_REST
 174         CLEAR_RREGS
 175         movq    %r9,R9(%rsp)
 176         movq    $-ENOSYS,RAX(%rsp)/* ptrace can change this for a bad syscall */
 177         movq    %rsp,%rdi        /* &pt_regs -> arg1 */
 178         call    syscall_trace_enter
 179         LOAD_ARGS32 ARGOFFSET  /* reload args from stack in case ptrace changed it */
 180         RESTORE_REST
 181         xchgl   %ebp,%r9d
 182         cmpl    $(IA32_NR_syscalls-1),%eax
 183         ja      int_ret_from_sys_call /* sysenter_tracesys has set RAX(%rsp) */
 184         jmp     sysenter_do_call
 185         CFI_ENDPROC
 186 ENDPROC(ia32_sysenter_target)
 187
 188 /*
 189  * 32bit SYSCALL instruction entry.
 190  *
 191  * Arguments:
 192  * %eax System call number.
 193  * %ebx Arg1
 194  * %ecx return EIP
 195  * %edx Arg3
 196  * %esi Arg4
 197  * %edi Arg5
 198  * %ebp Arg2    [note: not saved in the stack frame, should not be touched]
 199  * %esp user stack
 200  * 0(%esp) Arg6
 201  *
 202  * Interrupts off.
 203  *
 204  * This is purely a fast path. For anything complicated we use the int 0x80
 205  * path below.  Set up a complete hardware stack frame to share code
 206  * with the int 0x80 path.
 207  */
 208 ENTRY(ia32_cstar_target)
 209         CFI_STARTPROC32 simple
 210         CFI_SIGNAL_FRAME
 211         CFI_DEF_CFA     rsp,PDA_STACKOFFSET
 212         CFI_REGISTER    rip,rcx
 213         /*CFI_REGISTER  rflags,r11*/
 214         SWAPGS_UNSAFE_STACK
 215         movl    %esp,%r8d
 216         CFI_REGISTER    rsp,r8
 217         movq    %gs:pda_kernelstack,%rsp
 218         /*
 219          * No need to follow this irqs on/off section: the syscall
 220          * disabled irqs and here we enable it straight after entry:
 221          */
 222         ENABLE_INTERRUPTS(CLBR_NONE)
 223         SAVE_ARGS 8,1,1
 224         movl    %eax,%eax       /* zero extension */
 225         movq    %rax,ORIG_RAX-ARGOFFSET(%rsp)
 226         movq    %rcx,RIP-ARGOFFSET(%rsp)
 227         CFI_REL_OFFSET rip,RIP-ARGOFFSET
 228         movq    %rbp,RCX-ARGOFFSET(%rsp) /* this lies slightly to ptrace */
 229         movl    %ebp,%ecx
 230         movq    $__USER32_CS,CS-ARGOFFSET(%rsp)
 231         movq    $__USER32_DS,SS-ARGOFFSET(%rsp)
 232         movq    %r11,EFLAGS-ARGOFFSET(%rsp)
 233         /*CFI_REL_OFFSET rflags,EFLAGS-ARGOFFSET*/
 234         movq    %r8,RSP-ARGOFFSET(%rsp)
 235         CFI_REL_OFFSET rsp,RSP-ARGOFFSET
 236         /* no need to do an access_ok check here because r8 has been
 237            32bit zero extended */
 238         /* hardware stack frame is complete now */
 239 1:      movl    (%r8),%r9d
 240         .section __ex_table,"a"
 241         .quad 1b,ia32_badarg
 242         .previous
 243         GET_THREAD_INFO(%r10)
 244         orl   $TS_COMPAT,TI_status(%r10)
 245         testl $(_TIF_SYSCALL_TRACE|_TIF_SYSCALL_AUDIT|_TIF_SECCOMP), \
 246                 TI_flags(%r10)
 247         CFI_REMEMBER_STATE
 248         jnz   cstar_tracesys
 249 cstar_do_call:
 250         cmpl $IA32_NR_syscalls-1,%eax
 251         ja  ia32_badsys
 252         IA32_ARG_FIXUP 1
 253         call *ia32_sys_call_table(,%rax,8)
 254         movq %rax,RAX-ARGOFFSET(%rsp)
 255         GET_THREAD_INFO(%r10)
 256         DISABLE_INTERRUPTS(CLBR_NONE)
 257         TRACE_IRQS_OFF
 258         testl $_TIF_ALLWORK_MASK,TI_flags(%r10)
 259         jnz  int_ret_from_sys_call
 260         andl $~TS_COMPAT,TI_status(%r10)
 261         RESTORE_ARGS 1,-ARG_SKIP,1,1,1
 262         movl RIP-ARGOFFSET(%rsp),%ecx
 263         CFI_REGISTER rip,rcx
 264         movl EFLAGS-ARGOFFSET(%rsp),%r11d
 265         /*CFI_REGISTER rflags,r11*/
 266         TRACE_IRQS_ON
 267         movl RSP-ARGOFFSET(%rsp),%esp
 268         CFI_RESTORE rsp
 269         USERGS_SYSRET32
 270
 271 cstar_tracesys:
 272         CFI_RESTORE_STATE
 273         xchgl %r9d,%ebp
 274         SAVE_REST
 275         CLEAR_RREGS
 276         movq %r9,R9(%rsp)
 277         movq $-ENOSYS,RAX(%rsp) /* ptrace can change this for a bad syscall */
 278         movq %rsp,%rdi        /* &pt_regs -> arg1 */
 279         call syscall_trace_enter
 280         LOAD_ARGS32 ARGOFFSET  /* reload args from stack in case ptrace changed it */
 281         RESTORE_REST
 282         xchgl %ebp,%r9d
 283         movl RSP-ARGOFFSET(%rsp), %r8d
 284         cmpl $(IA32_NR_syscalls-1),%eax
 285         ja int_ret_from_sys_call /* cstar_tracesys has set RAX(%rsp) */
 286         jmp cstar_do_call
 287 END(ia32_cstar_target)
 288
 289 ia32_badarg:
 290         movq $-EFAULT,%rax
 291         jmp ia32_sysret
 292         CFI_ENDPROC
 293
 294 /*
 295  * Emulated IA32 system calls via int 0x80.
 296  *
 297  * Arguments:
 298  * %eax System call number.
 299  * %ebx Arg1
 300  * %ecx Arg2
 301  * %edx Arg3
 302  * %esi Arg4
 303  * %edi Arg5
 304  * %ebp Arg6    [note: not saved in the stack frame, should not be touched]
 305  *
 306  * Notes:
 307  * Uses the same stack frame as the x86-64 version.
 308  * All registers except %eax must be saved (but ptrace may violate that)
 309  * Arguments are zero extended. For system calls that want sign extension and
 310  * take long arguments a wrapper is needed. Most calls can just be called
 311  * directly.
 312  * Assumes it is only called from user space and entered with interrupts off.
 313  */
 314
 315 ENTRY(ia32_syscall)
 316         CFI_STARTPROC32 simple
 317         CFI_SIGNAL_FRAME
 318         CFI_DEF_CFA     rsp,SS+8-RIP
 319         /*CFI_REL_OFFSET        ss,SS-RIP*/
 320         CFI_REL_OFFSET  rsp,RSP-RIP
 321         /*CFI_REL_OFFSET        rflags,EFLAGS-RIP*/
 322         /*CFI_REL_OFFSET        cs,CS-RIP*/
 323         CFI_REL_OFFSET  rip,RIP-RIP
 324         SWAPGS
 325         /*
 326          * No need to follow this irqs on/off section: the syscall
 327          * disabled irqs and here we enable it straight after entry:
 328          */
 329         ENABLE_INTERRUPTS(CLBR_NONE)
 330         movl %eax,%eax
 331         pushq %rax
 332         CFI_ADJUST_CFA_OFFSET 8
 333         cld
 334         /* note the registers are not zero extended to the sf.
 335            this could be a problem. */
 336         SAVE_ARGS 0,0,1
 337         GET_THREAD_INFO(%r10)
 338         orl   $TS_COMPAT,TI_status(%r10)
 339         testl $(_TIF_SYSCALL_TRACE|_TIF_SYSCALL_AUDIT|_TIF_SECCOMP), \
 340                 TI_flags(%r10)
 341         jnz ia32_tracesys
 342 ia32_do_syscall:
 343         cmpl $(IA32_NR_syscalls-1),%eax
 344         ja  int_ret_from_sys_call       /* ia32_tracesys has set RAX(%rsp) */
 345         IA32_ARG_FIXUP
 346         call *ia32_sys_call_table(,%rax,8) # xxx: rip relative
 347 ia32_sysret:
 348         movq %rax,RAX-ARGOFFSET(%rsp)
 349         jmp int_ret_from_sys_call
 350
 351 ia32_tracesys:
 352         SAVE_REST
 353         CLEAR_RREGS
 354         movq $-ENOSYS,RAX(%rsp) /* ptrace can change this for a bad syscall */
 355         movq %rsp,%rdi        /* &pt_regs -> arg1 */
 356         call syscall_trace_enter
 357         LOAD_ARGS32 ARGOFFSET  /* reload args from stack in case ptrace changed it */
 358         RESTORE_REST
 359         jmp ia32_do_syscall
 360 END(ia32_syscall)
 361
 362 ia32_badsys:
 363         movq $0,ORIG_RAX-ARGOFFSET(%rsp)
 364         movq $-ENOSYS,RAX-ARGOFFSET(%rsp)
 365         jmp int_ret_from_sys_call
 366
 367 quiet_ni_syscall:
 368         movq $-ENOSYS,%rax
 369         ret
 370         CFI_ENDPROC
 371
 372         .macro PTREGSCALL label, func, arg
 373         .globl \label
 374 \label:
 375         leaq \func(%rip),%rax
 376         leaq -ARGOFFSET+8(%rsp),\arg    /* 8 for return address */
 377         jmp  ia32_ptregs_common
 378         .endm
 379
 380         CFI_STARTPROC32
 381
 382         PTREGSCALL stub32_rt_sigreturn, sys32_rt_sigreturn, %rdi
 383         PTREGSCALL stub32_sigreturn, sys32_sigreturn, %rdi
 384         PTREGSCALL stub32_sigaltstack, sys32_sigaltstack, %rdx
 385         PTREGSCALL stub32_execve, sys32_execve, %rcx
 386         PTREGSCALL stub32_fork, sys_fork, %rdi
 387         PTREGSCALL stub32_clone, sys32_clone, %rdx
 388         PTREGSCALL stub32_vfork, sys_vfork, %rdi
 389         PTREGSCALL stub32_iopl, sys_iopl, %rsi
 390
 391 ENTRY(ia32_ptregs_common)
 392         popq %r11
 393         CFI_ENDPROC
 394         CFI_STARTPROC32 simple
 395         CFI_SIGNAL_FRAME
 396         CFI_DEF_CFA     rsp,SS+8-ARGOFFSET
 397         CFI_REL_OFFSET  rax,RAX-ARGOFFSET
 398         CFI_REL_OFFSET  rcx,RCX-ARGOFFSET
 399         CFI_REL_OFFSET  rdx,RDX-ARGOFFSET
 400         CFI_REL_OFFSET  rsi,RSI-ARGOFFSET
 401         CFI_REL_OFFSET  rdi,RDI-ARGOFFSET
 402         CFI_REL_OFFSET  rip,RIP-ARGOFFSET
 403 /*      CFI_REL_OFFSET  cs,CS-ARGOFFSET*/
 404 /*      CFI_REL_OFFSET  rflags,EFLAGS-ARGOFFSET*/
 405         CFI_REL_OFFSET  rsp,RSP-ARGOFFSET
 406 /*      CFI_REL_OFFSET  ss,SS-ARGOFFSET*/
 407         SAVE_REST
 408         call *%rax
 409         RESTORE_REST
 410         jmp  ia32_sysret        /* misbalances the return cache */
 411         CFI_ENDPROC
 412 END(ia32_ptregs_common)
 413
 414         .section .rodata,"a"
 415         .align 8
 416 ia32_sys_call_table:
 417         .quad sys_restart_syscall
 418         .quad sys_exit
 419         .quad stub32_fork
 420         .quad sys_read
 421         .quad sys_write
 422         .quad compat_sys_open           /* 5 */
 423         .quad sys_close
 424         .quad sys32_waitpid
 425         .quad sys_creat
 426         .quad sys_link
 427         .quad sys_unlink                /* 10 */
 428         .quad stub32_execve
 429         .quad sys_chdir
 430         .quad compat_sys_time
 431         .quad sys_mknod
 432         .quad sys_chmod         /* 15 */
 433         .quad sys_lchown16
 434         .quad quiet_ni_syscall                  /* old break syscall holder */
 435         .quad sys_stat
 436         .quad sys32_lseek
 437         .quad sys_getpid                /* 20 */
 438         .quad compat_sys_mount  /* mount  */
 439         .quad sys_oldumount     /* old_umount  */
 440         .quad sys_setuid16
 441         .quad sys_getuid16
 442         .quad compat_sys_stime  /* stime */             /* 25 */
 443         .quad compat_sys_ptrace /* ptrace */
 444         .quad sys_alarm
 445         .quad sys_fstat /* (old)fstat */
 446         .quad sys_pause
 447         .quad compat_sys_utime  /* 30 */
 448         .quad quiet_ni_syscall  /* old stty syscall holder */
 449         .quad quiet_ni_syscall  /* old gtty syscall holder */
 450         .quad sys_access
 451         .quad sys_nice
 452         .quad quiet_ni_syscall  /* 35 */        /* old ftime syscall holder */
 453         .quad sys_sync
 454         .quad sys32_kill
 455         .quad sys_rename
 456         .quad sys_mkdir
 457         .quad sys_rmdir         /* 40 */
 458         .quad sys_dup
 459         .quad sys32_pipe
 460         .quad compat_sys_times
 461         .quad quiet_ni_syscall                  /* old prof syscall holder */
 462         .quad sys_brk           /* 45 */
 463         .quad sys_setgid16
 464         .quad sys_getgid16
 465         .quad sys_signal
 466         .quad sys_geteuid16
 467         .quad sys_getegid16     /* 50 */
 468         .quad sys_acct
 469         .quad sys_umount                        /* new_umount */
 470         .quad quiet_ni_syscall                  /* old lock syscall holder */
 471         .quad compat_sys_ioctl
 472         .quad compat_sys_fcntl64                /* 55 */
 473         .quad quiet_ni_syscall                  /* old mpx syscall holder */
 474         .quad sys_setpgid
 475         .quad quiet_ni_syscall                  /* old ulimit syscall holder */
 476         .quad sys32_olduname
 477         .quad sys_umask         /* 60 */
 478         .quad sys_chroot
 479         .quad sys32_ustat
 480         .quad sys_dup2
 481         .quad sys_getppid
 482         .quad sys_getpgrp               /* 65 */
 483         .quad sys_setsid
 484         .quad sys32_sigaction
 485         .quad sys_sgetmask
 486         .quad sys_ssetmask
 487         .quad sys_setreuid16    /* 70 */
 488         .quad sys_setregid16
 489         .quad sys32_sigsuspend
 490         .quad compat_sys_sigpending
 491         .quad sys_sethostname
 492         .quad compat_sys_setrlimit      /* 75 */
 493         .quad compat_sys_old_getrlimit  /* old_getrlimit */
 494         .quad compat_sys_getrusage
 495         .quad sys32_gettimeofday
 496         .quad sys32_settimeofday
 497         .quad sys_getgroups16   /* 80 */
 498         .quad sys_setgroups16
 499         .quad sys32_old_select
 500         .quad sys_symlink
 501         .quad sys_lstat
 502         .quad sys_readlink              /* 85 */
 503         .quad sys_uselib
 504         .quad sys_swapon
 505         .quad sys_reboot
 506         .quad compat_sys_old_readdir
 507         .quad sys32_mmap                /* 90 */
 508         .quad sys_munmap
 509         .quad sys_truncate
 510         .quad sys_ftruncate
 511         .quad sys_fchmod
 512         .quad sys_fchown16              /* 95 */
 513         .quad sys_getpriority
 514         .quad sys_setpriority
 515         .quad quiet_ni_syscall                  /* old profil syscall holder */
 516         .quad compat_sys_statfs
 517         .quad compat_sys_fstatfs                /* 100 */
 518         .quad sys_ioperm
 519         .quad compat_sys_socketcall
 520         .quad sys_syslog
 521         .quad compat_sys_setitimer
 522         .quad compat_sys_getitimer      /* 105 */
 523         .quad compat_sys_newstat
 524         .quad compat_sys_newlstat
 525         .quad compat_sys_newfstat
 526         .quad sys32_uname
 527         .quad stub32_iopl               /* 110 */
 528         .quad sys_vhangup
 529         .quad quiet_ni_syscall  /* old "idle" system call */
 530         .quad sys32_vm86_warning        /* vm86old */
 531         .quad compat_sys_wait4
 532         .quad sys_swapoff               /* 115 */
 533         .quad compat_sys_sysinfo
 534         .quad sys32_ipc
 535         .quad sys_fsync
 536         .quad stub32_sigreturn
 537         .quad stub32_clone              /* 120 */
 538         .quad sys_setdomainname
 539         .quad sys_uname
 540         .quad sys_modify_ldt
 541         .quad compat_sys_adjtimex
 542         .quad sys32_mprotect            /* 125 */
 543         .quad compat_sys_sigprocmask
 544         .quad quiet_ni_syscall          /* create_module */
 545         .quad sys_init_module
 546         .quad sys_delete_module
 547         .quad quiet_ni_syscall          /* 130  get_kernel_syms */
 548         .quad sys32_quotactl
 549         .quad sys_getpgid
 550         .quad sys_fchdir
 551         .quad quiet_ni_syscall  /* bdflush */
 552         .quad sys_sysfs         /* 135 */
 553         .quad sys_personality
 554         .quad quiet_ni_syscall  /* for afs_syscall */
 555         .quad sys_setfsuid16
 556         .quad sys_setfsgid16
 557         .quad sys_llseek                /* 140 */
 558         .quad compat_sys_getdents
 559         .quad compat_sys_select
 560         .quad sys_flock
 561         .quad sys_msync
 562         .quad compat_sys_readv          /* 145 */
 563         .quad compat_sys_writev
 564         .quad sys_getsid
 565         .quad sys_fdatasync
 566         .quad sys32_sysctl      /* sysctl */
 567         .quad sys_mlock         /* 150 */
 568         .quad sys_munlock
 569         .quad sys_mlockall
 570         .quad sys_munlockall
 571         .quad sys_sched_setparam
 572         .quad sys_sched_getparam   /* 155 */
 573         .quad sys_sched_setscheduler
 574         .quad sys_sched_getscheduler
 575         .quad sys_sched_yield
 576         .quad sys_sched_get_priority_max
 577         .quad sys_sched_get_priority_min  /* 160 */
 578         .quad sys32_sched_rr_get_interval
 579         .quad compat_sys_nanosleep
 580         .quad sys_mremap
 581         .quad sys_setresuid16
 582         .quad sys_getresuid16   /* 165 */
 583         .quad sys32_vm86_warning        /* vm86 */
 584         .quad quiet_ni_syscall  /* query_module */
 585         .quad sys_poll
 586         .quad compat_sys_nfsservctl
 587         .quad sys_setresgid16   /* 170 */
 588         .quad sys_getresgid16
 589         .quad sys_prctl
 590         .quad stub32_rt_sigreturn
 591         .quad sys32_rt_sigaction
 592         .quad sys32_rt_sigprocmask      /* 175 */
 593         .quad sys32_rt_sigpending
 594         .quad compat_sys_rt_sigtimedwait
 595         .quad sys32_rt_sigqueueinfo
 596         .quad sys_rt_sigsuspend
 597         .quad sys32_pread               /* 180 */
 598         .quad sys32_pwrite
 599         .quad sys_chown16
 600         .quad sys_getcwd
 601         .quad sys_capget
 602         .quad sys_capset
 603         .quad stub32_sigaltstack
 604         .quad sys32_sendfile
 605         .quad quiet_ni_syscall          /* streams1 */
 606         .quad quiet_ni_syscall          /* streams2 */
 607         .quad stub32_vfork            /* 190 */
 608         .quad compat_sys_getrlimit
 609         .quad sys32_mmap2
 610         .quad sys32_truncate64
 611         .quad sys32_ftruncate64
 612         .quad sys32_stat64              /* 195 */
 613         .quad sys32_lstat64
 614         .quad sys32_fstat64
 615         .quad sys_lchown
 616         .quad sys_getuid
 617         .quad sys_getgid                /* 200 */
 618         .quad sys_geteuid
 619         .quad sys_getegid
 620         .quad sys_setreuid
 621         .quad sys_setregid
 622         .quad sys_getgroups     /* 205 */
 623         .quad sys_setgroups
 624         .quad sys_fchown
 625         .quad sys_setresuid
 626         .quad sys_getresuid
 627         .quad sys_setresgid     /* 210 */
 628         .quad sys_getresgid
 629         .quad sys_chown
 630         .quad sys_setuid
 631         .quad sys_setgid
 632         .quad sys_setfsuid              /* 215 */
 633         .quad sys_setfsgid
 634         .quad sys_pivot_root
 635         .quad sys_mincore
 636         .quad sys_madvise
 637         .quad compat_sys_getdents64     /* 220 getdents64 */
 638         .quad compat_sys_fcntl64
 639         .quad quiet_ni_syscall          /* tux */
 640         .quad quiet_ni_syscall          /* security */
 641         .quad sys_gettid
 642         .quad sys32_readahead   /* 225 */
 643         .quad sys_setxattr
 644         .quad sys_lsetxattr
 645         .quad sys_fsetxattr
 646         .quad sys_getxattr
 647         .quad sys_lgetxattr     /* 230 */
 648         .quad sys_fgetxattr
 649         .quad sys_listxattr
 650         .quad sys_llistxattr
 651         .quad sys_flistxattr
 652         .quad sys_removexattr   /* 235 */
 653         .quad sys_lremovexattr
 654         .quad sys_fremovexattr
 655         .quad sys_tkill
 656         .quad sys_sendfile64
 657         .quad compat_sys_futex          /* 240 */
 658         .quad compat_sys_sched_setaffinity
 659         .quad compat_sys_sched_getaffinity
 660         .quad sys_set_thread_area
 661         .quad sys_get_thread_area
 662         .quad compat_sys_io_setup       /* 245 */
 663         .quad sys_io_destroy
 664         .quad compat_sys_io_getevents
 665         .quad compat_sys_io_submit
 666         .quad sys_io_cancel
 667         .quad sys32_fadvise64           /* 250 */
 668         .quad quiet_ni_syscall  /* free_huge_pages */
 669         .quad sys_exit_group
 670         .quad sys32_lookup_dcookie
 671         .quad sys_epoll_create
 672         .quad sys_epoll_ctl             /* 255 */
 673         .quad sys_epoll_wait
 674         .quad sys_remap_file_pages
 675         .quad sys_set_tid_address
 676         .quad compat_sys_timer_create
 677         .quad compat_sys_timer_settime  /* 260 */
 678         .quad compat_sys_timer_gettime
 679         .quad sys_timer_getoverrun
 680         .quad sys_timer_delete
 681         .quad compat_sys_clock_settime
 682         .quad compat_sys_clock_gettime  /* 265 */
 683         .quad compat_sys_clock_getres
 684         .quad compat_sys_clock_nanosleep
 685         .quad compat_sys_statfs64
 686         .quad compat_sys_fstatfs64
 687         .quad sys_tgkill                /* 270 */
 688         .quad compat_sys_utimes
 689         .quad sys32_fadvise64_64
 690         .quad quiet_ni_syscall  /* sys_vserver */
 691         .quad sys_mbind
 692         .quad compat_sys_get_mempolicy  /* 275 */
 693         .quad sys_set_mempolicy
 694         .quad compat_sys_mq_open
 695         .quad sys_mq_unlink
 696         .quad compat_sys_mq_timedsend
 697         .quad compat_sys_mq_timedreceive        /* 280 */
 698         .quad compat_sys_mq_notify
 699         .quad compat_sys_mq_getsetattr
 700         .quad compat_sys_kexec_load     /* reserved for kexec */
 701         .quad compat_sys_waitid
 702         .quad quiet_ni_syscall          /* 285: sys_altroot */
 703         .quad sys_add_key
 704         .quad sys_request_key
 705         .quad sys_keyctl
 706         .quad sys_ioprio_set
 707         .quad sys_ioprio_get            /* 290 */
 708         .quad sys_inotify_init
 709         .quad sys_inotify_add_watch
 710         .quad sys_inotify_rm_watch
 711         .quad sys_migrate_pages
 712         .quad compat_sys_openat         /* 295 */
 713         .quad sys_mkdirat
 714         .quad sys_mknodat
 715         .quad sys_fchownat
 716         .quad compat_sys_futimesat
 717         .quad sys32_fstatat             /* 300 */
 718         .quad sys_unlinkat
 719         .quad sys_renameat
 720         .quad sys_linkat
 721         .quad sys_symlinkat
 722         .quad sys_readlinkat            /* 305 */
 723         .quad sys_fchmodat
 724         .quad sys_faccessat
 725         .quad compat_sys_pselect6
 726         .quad compat_sys_ppoll
 727         .quad sys_unshare               /* 310 */
 728         .quad compat_sys_set_robust_list
 729         .quad compat_sys_get_robust_list
 730         .quad sys_splice
 731         .quad sys32_sync_file_range
 732         .quad sys_tee                   /* 315 */
 733         .quad compat_sys_vmsplice
 734         .quad compat_sys_move_pages
 735         .quad sys_getcpu
 736         .quad sys_epoll_pwait
 737         .quad compat_sys_utimensat      /* 320 */
 738         .quad compat_sys_signalfd
 739         .quad sys_timerfd_create
 740         .quad sys_eventfd
 741         .quad sys32_fallocate
 742         .quad compat_sys_timerfd_settime        /* 325 */
 743         .quad compat_sys_timerfd_gettime
 744 ia32_syscall_end: