git.oblomov.eu Git - linux-2.6/blob - arch/ppc/kernel/entry.S

   1 /*
   2  *  PowerPC version
   3  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
   4  *  Rewritten by Cort Dougan (cort@fsmlabs.com) for PReP
   5  *    Copyright (C) 1996 Cort Dougan <cort@fsmlabs.com>
   6  *  Adapted for Power Macintosh by Paul Mackerras.
   7  *  Low-level exception handlers and MMU support
   8  *  rewritten by Paul Mackerras.
   9  *    Copyright (C) 1996 Paul Mackerras.
  10  *  MPC8xx modifications Copyright (C) 1997 Dan Malek (dmalek@jlc.net).
  11  *
  12  *  This file contains the system call entry code, context switch
  13  *  code, and exception/interrupt return code for PowerPC.
  14  *
  15  *  This program is free software; you can redistribute it and/or
  16  *  modify it under the terms of the GNU General Public License
  17  *  as published by the Free Software Foundation; either version
  18  *  2 of the License, or (at your option) any later version.
  19  *
  20  */
  21
  22 #include <linux/config.h>
  23 #include <linux/errno.h>
  24 #include <linux/sys.h>
  25 #include <linux/threads.h>
  26 #include <asm/processor.h>
  27 #include <asm/page.h>
  28 #include <asm/mmu.h>
  29 #include <asm/cputable.h>
  30 #include <asm/thread_info.h>
  31 #include <asm/ppc_asm.h>
  32 #include <asm/offsets.h>
  33 #include <asm/unistd.h>
  34
  35 #undef SHOW_SYSCALLS
  36 #undef SHOW_SYSCALLS_TASK
  37
  38 /*
  39  * MSR_KERNEL is > 0x10000 on 4xx/Book-E since it include MSR_CE.
  40  */
  41 #if MSR_KERNEL >= 0x10000
  42 #define LOAD_MSR_KERNEL(r, x)   lis r,(x)@h; ori r,r,(x)@l
  43 #else
  44 #define LOAD_MSR_KERNEL(r, x)   li r,(x)
  45 #endif
  46
  47 #ifdef CONFIG_BOOKE
  48 #include "head_booke.h"
  49         .globl  mcheck_transfer_to_handler
  50 mcheck_transfer_to_handler:
  51         mtspr   MCHECK_SPRG,r8
  52         BOOKE_LOAD_MCHECK_STACK
  53         lwz     r0,GPR10-INT_FRAME_SIZE(r8)
  54         stw     r0,GPR10(r11)
  55         lwz     r0,GPR11-INT_FRAME_SIZE(r8)
  56         stw     r0,GPR11(r11)
  57         mfspr   r8,MCHECK_SPRG
  58         b       transfer_to_handler_full
  59
  60         .globl  crit_transfer_to_handler
  61 crit_transfer_to_handler:
  62         mtspr   CRIT_SPRG,r8
  63         BOOKE_LOAD_CRIT_STACK
  64         lwz     r0,GPR10-INT_FRAME_SIZE(r8)
  65         stw     r0,GPR10(r11)
  66         lwz     r0,GPR11-INT_FRAME_SIZE(r8)
  67         stw     r0,GPR11(r11)
  68         mfspr   r8,CRIT_SPRG
  69         /* fall through */
  70 #endif
  71
  72 #ifdef CONFIG_40x
  73         .globl  crit_transfer_to_handler
  74 crit_transfer_to_handler:
  75         lwz     r0,crit_r10@l(0)
  76         stw     r0,GPR10(r11)
  77         lwz     r0,crit_r11@l(0)
  78         stw     r0,GPR11(r11)
  79         /* fall through */
  80 #endif
  81
  82 /*
  83  * This code finishes saving the registers to the exception frame
  84  * and jumps to the appropriate handler for the exception, turning
  85  * on address translation.
  86  * Note that we rely on the caller having set cr0.eq iff the exception
  87  * occurred in kernel mode (i.e. MSR:PR = 0).
  88  */
  89         .globl  transfer_to_handler_full
  90 transfer_to_handler_full:
  91         SAVE_NVGPRS(r11)
  92         /* fall through */
  93
  94         .globl  transfer_to_handler
  95 transfer_to_handler:
  96         stw     r2,GPR2(r11)
  97         stw     r12,_NIP(r11)
  98         stw     r9,_MSR(r11)
  99         andi.   r2,r9,MSR_PR
 100         mfctr   r12
 101         mfspr   r2,SPRN_XER
 102         stw     r12,_CTR(r11)
 103         stw     r2,_XER(r11)
 104         mfspr   r12,SPRN_SPRG3
 105         addi    r2,r12,-THREAD
 106         tovirt(r2,r2)                   /* set r2 to current */
 107         beq     2f                      /* if from user, fix up THREAD.regs */
 108         addi    r11,r1,STACK_FRAME_OVERHEAD
 109         stw     r11,PT_REGS(r12)
 110 #if defined(CONFIG_40x) || defined(CONFIG_BOOKE)
 111         /* Check to see if the dbcr0 register is set up to debug.  Use the
 112            single-step bit to do this. */
 113         lwz     r12,THREAD_DBCR0(r12)
 114         andis.  r12,r12,DBCR0_IC@h
 115         beq+    3f
 116         /* From user and task is ptraced - load up global dbcr0 */
 117         li      r12,-1                  /* clear all pending debug events */
 118         mtspr   SPRN_DBSR,r12
 119         lis     r11,global_dbcr0@ha
 120         tophys(r11,r11)
 121         addi    r11,r11,global_dbcr0@l
 122         lwz     r12,0(r11)
 123         mtspr   SPRN_DBCR0,r12
 124         lwz     r12,4(r11)
 125         addi    r12,r12,-1
 126         stw     r12,4(r11)
 127 #endif
 128         b       3f
 129 2:      /* if from kernel, check interrupted DOZE/NAP mode and
 130          * check for stack overflow
 131          */
 132 #ifdef CONFIG_6xx
 133         mfspr   r11,SPRN_HID0
 134         mtcr    r11
 135 BEGIN_FTR_SECTION
 136         bt-     8,power_save_6xx_restore        /* Check DOZE */
 137 END_FTR_SECTION_IFSET(CPU_FTR_CAN_DOZE)
 138 BEGIN_FTR_SECTION
 139         bt-     9,power_save_6xx_restore        /* Check NAP */
 140 END_FTR_SECTION_IFSET(CPU_FTR_CAN_NAP)
 141 #endif /* CONFIG_6xx */
 142         .globl transfer_to_handler_cont
 143 transfer_to_handler_cont:
 144         lwz     r11,THREAD_INFO-THREAD(r12)
 145         cmplw   r1,r11                  /* if r1 <= current->thread_info */
 146         ble-    stack_ovf               /* then the kernel stack overflowed */
 147 3:
 148         mflr    r9
 149         lwz     r11,0(r9)               /* virtual address of handler */
 150         lwz     r9,4(r9)                /* where to go when done */
 151         FIX_SRR1(r10,r12)
 152         mtspr   SPRN_SRR0,r11
 153         mtspr   SPRN_SRR1,r10
 154         mtlr    r9
 155         SYNC
 156         RFI                             /* jump to handler, enable MMU */
 157
 158 /*
 159  * On kernel stack overflow, load up an initial stack pointer
 160  * and call StackOverflow(regs), which should not return.
 161  */
 162 stack_ovf:
 163         /* sometimes we use a statically-allocated stack, which is OK. */
 164         lis     r11,_end@h
 165         ori     r11,r11,_end@l
 166         cmplw   r1,r11
 167         ble     3b                      /* r1 <= &_end is OK */
 168         SAVE_NVGPRS(r11)
 169         addi    r3,r1,STACK_FRAME_OVERHEAD
 170         lis     r1,init_thread_union@ha
 171         addi    r1,r1,init_thread_union@l
 172         addi    r1,r1,THREAD_SIZE-STACK_FRAME_OVERHEAD
 173         lis     r9,StackOverflow@ha
 174         addi    r9,r9,StackOverflow@l
 175         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 176         FIX_SRR1(r10,r12)
 177         mtspr   SPRN_SRR0,r9
 178         mtspr   SPRN_SRR1,r10
 179         SYNC
 180         RFI
 181
 182 /*
 183  * Handle a system call.
 184  */
 185         .stabs  "arch/ppc/kernel/",N_SO,0,0,0f
 186         .stabs  "entry.S",N_SO,0,0,0f
 187 0:
 188
 189 _GLOBAL(DoSyscall)
 190         stw     r0,THREAD+LAST_SYSCALL(r2)
 191         stw     r3,ORIG_GPR3(r1)
 192         li      r12,0
 193         stw     r12,RESULT(r1)
 194         lwz     r11,_CCR(r1)    /* Clear SO bit in CR */
 195         rlwinm  r11,r11,0,4,2
 196         stw     r11,_CCR(r1)
 197 #ifdef SHOW_SYSCALLS
 198         bl      do_show_syscall
 199 #endif /* SHOW_SYSCALLS */
 200         rlwinm  r10,r1,0,0,18   /* current_thread_info() */
 201         lwz     r11,TI_LOCAL_FLAGS(r10)
 202         rlwinm  r11,r11,0,~_TIFL_FORCE_NOERROR
 203         stw     r11,TI_LOCAL_FLAGS(r10)
 204         lwz     r11,TI_FLAGS(r10)
 205         andi.   r11,r11,_TIF_SYSCALL_TRACE
 206         bne-    syscall_dotrace
 207 syscall_dotrace_cont:
 208         cmplwi  0,r0,NR_syscalls
 209         lis     r10,sys_call_table@h
 210         ori     r10,r10,sys_call_table@l
 211         slwi    r0,r0,2
 212         bge-    66f
 213         lwzx    r10,r10,r0      /* Fetch system call handler [ptr] */
 214         mtlr    r10
 215         addi    r9,r1,STACK_FRAME_OVERHEAD
 216         blrl                    /* Call handler */
 217         .globl  ret_from_syscall
 218 ret_from_syscall:
 219 #ifdef SHOW_SYSCALLS
 220         bl      do_show_syscall_exit
 221 #endif
 222         mr      r6,r3
 223         li      r11,-_LAST_ERRNO
 224         cmplw   0,r3,r11
 225         rlwinm  r12,r1,0,0,18   /* current_thread_info() */
 226         blt+    30f
 227         lwz     r11,TI_LOCAL_FLAGS(r12)
 228         andi.   r11,r11,_TIFL_FORCE_NOERROR
 229         bne     30f
 230         neg     r3,r3
 231         lwz     r10,_CCR(r1)    /* Set SO bit in CR */
 232         oris    r10,r10,0x1000
 233         stw     r10,_CCR(r1)
 234
 235         /* disable interrupts so current_thread_info()->flags can't change */
 236 30:     LOAD_MSR_KERNEL(r10,MSR_KERNEL) /* doesn't include MSR_EE */
 237         SYNC
 238         MTMSRD(r10)
 239         lwz     r9,TI_FLAGS(r12)
 240         andi.   r0,r9,(_TIF_SYSCALL_TRACE|_TIF_SIGPENDING|_TIF_NEED_RESCHED)
 241         bne-    syscall_exit_work
 242 syscall_exit_cont:
 243 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
 244         /* If the process has its own DBCR0 value, load it up.  The single
 245            step bit tells us that dbcr0 should be loaded. */
 246         lwz     r0,THREAD+THREAD_DBCR0(r2)
 247         andis.  r10,r0,DBCR0_IC@h
 248         bnel-   load_dbcr0
 249 #endif
 250         stwcx.  r0,0,r1                 /* to clear the reservation */
 251         lwz     r4,_LINK(r1)
 252         lwz     r5,_CCR(r1)
 253         mtlr    r4
 254         mtcr    r5
 255         lwz     r7,_NIP(r1)
 256         lwz     r8,_MSR(r1)
 257         FIX_SRR1(r8, r0)
 258         lwz     r2,GPR2(r1)
 259         lwz     r1,GPR1(r1)
 260         mtspr   SPRN_SRR0,r7
 261         mtspr   SPRN_SRR1,r8
 262         SYNC
 263         RFI
 264
 265 66:     li      r3,-ENOSYS
 266         b       ret_from_syscall
 267
 268         .globl  ret_from_fork
 269 ret_from_fork:
 270         REST_NVGPRS(r1)
 271         bl      schedule_tail
 272         li      r3,0
 273         b       ret_from_syscall
 274
 275 /* Traced system call support */
 276 syscall_dotrace:
 277         SAVE_NVGPRS(r1)
 278         li      r0,0xc00
 279         stw     r0,TRAP(r1)
 280         bl      do_syscall_trace
 281         lwz     r0,GPR0(r1)     /* Restore original registers */
 282         lwz     r3,GPR3(r1)
 283         lwz     r4,GPR4(r1)
 284         lwz     r5,GPR5(r1)
 285         lwz     r6,GPR6(r1)
 286         lwz     r7,GPR7(r1)
 287         lwz     r8,GPR8(r1)
 288         REST_NVGPRS(r1)
 289         b       syscall_dotrace_cont
 290
 291 syscall_exit_work:
 292         stw     r6,RESULT(r1)   /* Save result */
 293         stw     r3,GPR3(r1)     /* Update return value */
 294         andi.   r0,r9,_TIF_SYSCALL_TRACE
 295         beq     5f
 296         ori     r10,r10,MSR_EE
 297         SYNC
 298         MTMSRD(r10)             /* re-enable interrupts */
 299         lwz     r4,TRAP(r1)
 300         andi.   r4,r4,1
 301         beq     4f
 302         SAVE_NVGPRS(r1)
 303         li      r4,0xc00
 304         stw     r4,TRAP(r1)
 305 4:
 306         bl      do_syscall_trace
 307         REST_NVGPRS(r1)
 308 2:
 309         lwz     r3,GPR3(r1)
 310         LOAD_MSR_KERNEL(r10,MSR_KERNEL) /* doesn't include MSR_EE */
 311         SYNC
 312         MTMSRD(r10)             /* disable interrupts again */
 313         rlwinm  r12,r1,0,0,18   /* current_thread_info() */
 314         lwz     r9,TI_FLAGS(r12)
 315 5:
 316         andi.   r0,r9,_TIF_NEED_RESCHED
 317         bne     1f
 318         lwz     r5,_MSR(r1)
 319         andi.   r5,r5,MSR_PR
 320         beq     syscall_exit_cont
 321         andi.   r0,r9,_TIF_SIGPENDING
 322         beq     syscall_exit_cont
 323         b       do_user_signal
 324 1:
 325         ori     r10,r10,MSR_EE
 326         SYNC
 327         MTMSRD(r10)             /* re-enable interrupts */
 328         bl      schedule
 329         b       2b
 330
 331 #ifdef SHOW_SYSCALLS
 332 do_show_syscall:
 333 #ifdef SHOW_SYSCALLS_TASK
 334         lis     r11,show_syscalls_task@ha
 335         lwz     r11,show_syscalls_task@l(r11)
 336         cmp     0,r2,r11
 337         bnelr
 338 #endif
 339         stw     r31,GPR31(r1)
 340         mflr    r31
 341         lis     r3,7f@ha
 342         addi    r3,r3,7f@l
 343         lwz     r4,GPR0(r1)
 344         lwz     r5,GPR3(r1)
 345         lwz     r6,GPR4(r1)
 346         lwz     r7,GPR5(r1)
 347         lwz     r8,GPR6(r1)
 348         lwz     r9,GPR7(r1)
 349         bl      printk
 350         lis     r3,77f@ha
 351         addi    r3,r3,77f@l
 352         lwz     r4,GPR8(r1)
 353         mr      r5,r2
 354         bl      printk
 355         lwz     r0,GPR0(r1)
 356         lwz     r3,GPR3(r1)
 357         lwz     r4,GPR4(r1)
 358         lwz     r5,GPR5(r1)
 359         lwz     r6,GPR6(r1)
 360         lwz     r7,GPR7(r1)
 361         lwz     r8,GPR8(r1)
 362         mtlr    r31
 363         lwz     r31,GPR31(r1)
 364         blr
 365
 366 do_show_syscall_exit:
 367 #ifdef SHOW_SYSCALLS_TASK
 368         lis     r11,show_syscalls_task@ha
 369         lwz     r11,show_syscalls_task@l(r11)
 370         cmp     0,r2,r11
 371         bnelr
 372 #endif
 373         stw     r31,GPR31(r1)
 374         mflr    r31
 375         stw     r3,RESULT(r1)   /* Save result */
 376         mr      r4,r3
 377         lis     r3,79f@ha
 378         addi    r3,r3,79f@l
 379         bl      printk
 380         lwz     r3,RESULT(r1)
 381         mtlr    r31
 382         lwz     r31,GPR31(r1)
 383         blr
 384
 385 7:      .string "syscall %d(%x, %x, %x, %x, %x, "
 386 77:     .string "%x), current=%p\n"
 387 79:     .string " -> %x\n"
 388         .align  2,0
 389
 390 #ifdef SHOW_SYSCALLS_TASK
 391         .data
 392         .globl  show_syscalls_task
 393 show_syscalls_task:
 394         .long   -1
 395         .text
 396 #endif
 397 #endif /* SHOW_SYSCALLS */
 398
 399 /*
 400  * The sigsuspend and rt_sigsuspend system calls can call do_signal
 401  * and thus put the process into the stopped state where we might
 402  * want to examine its user state with ptrace.  Therefore we need
 403  * to save all the nonvolatile registers (r13 - r31) before calling
 404  * the C code.
 405  */
 406         .globl  ppc_sigsuspend
 407 ppc_sigsuspend:
 408         SAVE_NVGPRS(r1)
 409         lwz     r0,TRAP(r1)
 410         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 411         stw     r0,TRAP(r1)             /* register set saved */
 412         b       sys_sigsuspend
 413
 414         .globl  ppc_rt_sigsuspend
 415 ppc_rt_sigsuspend:
 416         SAVE_NVGPRS(r1)
 417         lwz     r0,TRAP(r1)
 418         rlwinm  r0,r0,0,0,30
 419         stw     r0,TRAP(r1)
 420         b       sys_rt_sigsuspend
 421
 422         .globl  ppc_fork
 423 ppc_fork:
 424         SAVE_NVGPRS(r1)
 425         lwz     r0,TRAP(r1)
 426         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 427         stw     r0,TRAP(r1)             /* register set saved */
 428         b       sys_fork
 429
 430         .globl  ppc_vfork
 431 ppc_vfork:
 432         SAVE_NVGPRS(r1)
 433         lwz     r0,TRAP(r1)
 434         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 435         stw     r0,TRAP(r1)             /* register set saved */
 436         b       sys_vfork
 437
 438         .globl  ppc_clone
 439 ppc_clone:
 440         SAVE_NVGPRS(r1)
 441         lwz     r0,TRAP(r1)
 442         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 443         stw     r0,TRAP(r1)             /* register set saved */
 444         b       sys_clone
 445
 446         .globl  ppc_swapcontext
 447 ppc_swapcontext:
 448         SAVE_NVGPRS(r1)
 449         lwz     r0,TRAP(r1)
 450         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 451         stw     r0,TRAP(r1)             /* register set saved */
 452         b       sys_swapcontext
 453
 454 /*
 455  * Top-level page fault handling.
 456  * This is in assembler because if do_page_fault tells us that
 457  * it is a bad kernel page fault, we want to save the non-volatile
 458  * registers before calling bad_page_fault.
 459  */
 460         .globl  handle_page_fault
 461 handle_page_fault:
 462         stw     r4,_DAR(r1)
 463         addi    r3,r1,STACK_FRAME_OVERHEAD
 464         bl      do_page_fault
 465         cmpwi   r3,0
 466         beq+    ret_from_except
 467         SAVE_NVGPRS(r1)
 468         lwz     r0,TRAP(r1)
 469         clrrwi  r0,r0,1
 470         stw     r0,TRAP(r1)
 471         mr      r5,r3
 472         addi    r3,r1,STACK_FRAME_OVERHEAD
 473         lwz     r4,_DAR(r1)
 474         bl      bad_page_fault
 475         b       ret_from_except_full
 476
 477 /*
 478  * This routine switches between two different tasks.  The process
 479  * state of one is saved on its kernel stack.  Then the state
 480  * of the other is restored from its kernel stack.  The memory
 481  * management hardware is updated to the second process's state.
 482  * Finally, we can return to the second process.
 483  * On entry, r3 points to the THREAD for the current task, r4
 484  * points to the THREAD for the new task.
 485  *
 486  * This routine is always called with interrupts disabled.
 487  *
 488  * Note: there are two ways to get to the "going out" portion
 489  * of this code; either by coming in via the entry (_switch)
 490  * or via "fork" which must set up an environment equivalent
 491  * to the "_switch" path.  If you change this , you'll have to
 492  * change the fork code also.
 493  *
 494  * The code which creates the new task context is in 'copy_thread'
 495  * in arch/ppc/kernel/process.c
 496  */
 497 _GLOBAL(_switch)
 498         stwu    r1,-INT_FRAME_SIZE(r1)
 499         mflr    r0
 500         stw     r0,INT_FRAME_SIZE+4(r1)
 501         /* r3-r12 are caller saved -- Cort */
 502         SAVE_NVGPRS(r1)
 503         stw     r0,_NIP(r1)     /* Return to switch caller */
 504         mfmsr   r11
 505         li      r0,MSR_FP       /* Disable floating-point */
 506 #ifdef CONFIG_ALTIVEC
 507 BEGIN_FTR_SECTION
 508         oris    r0,r0,MSR_VEC@h /* Disable altivec */
 509         mfspr   r12,SPRN_VRSAVE /* save vrsave register value */
 510         stw     r12,THREAD+THREAD_VRSAVE(r2)
 511 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
 512 #endif /* CONFIG_ALTIVEC */
 513 #ifdef CONFIG_SPE
 514         oris    r0,r0,MSR_SPE@h  /* Disable SPE */
 515         mfspr   r12,SPRN_SPEFSCR /* save spefscr register value */
 516         stw     r12,THREAD+THREAD_SPEFSCR(r2)
 517 #endif /* CONFIG_SPE */
 518         and.    r0,r0,r11       /* FP or altivec or SPE enabled? */
 519         beq+    1f
 520         andc    r11,r11,r0
 521         MTMSRD(r11)
 522         isync
 523 1:      stw     r11,_MSR(r1)
 524         mfcr    r10
 525         stw     r10,_CCR(r1)
 526         stw     r1,KSP(r3)      /* Set old stack pointer */
 527
 528 #ifdef CONFIG_SMP
 529         /* We need a sync somewhere here to make sure that if the
 530          * previous task gets rescheduled on another CPU, it sees all
 531          * stores it has performed on this one.
 532          */
 533         sync
 534 #endif /* CONFIG_SMP */
 535
 536         tophys(r0,r4)
 537         CLR_TOP32(r0)
 538         mtspr   SPRN_SPRG3,r0   /* Update current THREAD phys addr */
 539         lwz     r1,KSP(r4)      /* Load new stack pointer */
 540
 541         /* save the old current 'last' for return value */
 542         mr      r3,r2
 543         addi    r2,r4,-THREAD   /* Update current */
 544
 545 #ifdef CONFIG_ALTIVEC
 546 BEGIN_FTR_SECTION
 547         lwz     r0,THREAD+THREAD_VRSAVE(r2)
 548         mtspr   SPRN_VRSAVE,r0          /* if G4, restore VRSAVE reg */
 549 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
 550 #endif /* CONFIG_ALTIVEC */
 551 #ifdef CONFIG_SPE
 552         lwz     r0,THREAD+THREAD_SPEFSCR(r2)
 553         mtspr   SPRN_SPEFSCR,r0         /* restore SPEFSCR reg */
 554 #endif /* CONFIG_SPE */
 555
 556         lwz     r0,_CCR(r1)
 557         mtcrf   0xFF,r0
 558         /* r3-r12 are destroyed -- Cort */
 559         REST_NVGPRS(r1)
 560
 561         lwz     r4,_NIP(r1)     /* Return to _switch caller in new task */
 562         mtlr    r4
 563         addi    r1,r1,INT_FRAME_SIZE
 564         blr
 565
 566         .globl  fast_exception_return
 567 fast_exception_return:
 568 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 569         andi.   r10,r9,MSR_RI           /* check for recoverable interrupt */
 570         beq     1f                      /* if not, we've got problems */
 571 #endif
 572
 573 2:      REST_4GPRS(3, r11)
 574         lwz     r10,_CCR(r11)
 575         REST_GPR(1, r11)
 576         mtcr    r10
 577         lwz     r10,_LINK(r11)
 578         mtlr    r10
 579         REST_GPR(10, r11)
 580         mtspr   SPRN_SRR1,r9
 581         mtspr   SPRN_SRR0,r12
 582         REST_GPR(9, r11)
 583         REST_GPR(12, r11)
 584         lwz     r11,GPR11(r11)
 585         SYNC
 586         RFI
 587
 588 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 589 /* check if the exception happened in a restartable section */
 590 1:      lis     r3,exc_exit_restart_end@ha
 591         addi    r3,r3,exc_exit_restart_end@l
 592         cmplw   r12,r3
 593         bge     3f
 594         lis     r4,exc_exit_restart@ha
 595         addi    r4,r4,exc_exit_restart@l
 596         cmplw   r12,r4
 597         blt     3f
 598         lis     r3,fee_restarts@ha
 599         tophys(r3,r3)
 600         lwz     r5,fee_restarts@l(r3)
 601         addi    r5,r5,1
 602         stw     r5,fee_restarts@l(r3)
 603         mr      r12,r4          /* restart at exc_exit_restart */
 604         b       2b
 605
 606         .comm   fee_restarts,4
 607
 608 /* aargh, a nonrecoverable interrupt, panic */
 609 /* aargh, we don't know which trap this is */
 610 /* but the 601 doesn't implement the RI bit, so assume it's OK */
 611 3:
 612 BEGIN_FTR_SECTION
 613         b       2b
 614 END_FTR_SECTION_IFSET(CPU_FTR_601)
 615         li      r10,-1
 616         stw     r10,TRAP(r11)
 617         addi    r3,r1,STACK_FRAME_OVERHEAD
 618         lis     r10,MSR_KERNEL@h
 619         ori     r10,r10,MSR_KERNEL@l
 620         bl      transfer_to_handler_full
 621         .long   nonrecoverable_exception
 622         .long   ret_from_except
 623 #endif
 624
 625         .globl  sigreturn_exit
 626 sigreturn_exit:
 627         subi    r1,r3,STACK_FRAME_OVERHEAD
 628         rlwinm  r12,r1,0,0,18   /* current_thread_info() */
 629         lwz     r9,TI_FLAGS(r12)
 630         andi.   r0,r9,_TIF_SYSCALL_TRACE
 631         bnel-   do_syscall_trace
 632         /* fall through */
 633
 634         .globl  ret_from_except_full
 635 ret_from_except_full:
 636         REST_NVGPRS(r1)
 637         /* fall through */
 638
 639         .globl  ret_from_except
 640 ret_from_except:
 641         /* Hard-disable interrupts so that current_thread_info()->flags
 642          * can't change between when we test it and when we return
 643          * from the interrupt. */
 644         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 645         SYNC                    /* Some chip revs have problems here... */
 646         MTMSRD(r10)             /* disable interrupts */
 647
 648         lwz     r3,_MSR(r1)     /* Returning to user mode? */
 649         andi.   r0,r3,MSR_PR
 650         beq     resume_kernel
 651
 652 user_exc_return:                /* r10 contains MSR_KERNEL here */
 653         /* Check current_thread_info()->flags */
 654         rlwinm  r9,r1,0,0,18
 655         lwz     r9,TI_FLAGS(r9)
 656         andi.   r0,r9,(_TIF_SIGPENDING|_TIF_NEED_RESCHED)
 657         bne     do_work
 658
 659 restore_user:
 660 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
 661         /* Check whether this process has its own DBCR0 value.  The single
 662            step bit tells us that dbcr0 should be loaded. */
 663         lwz     r0,THREAD+THREAD_DBCR0(r2)
 664         andis.  r10,r0,DBCR0_IC@h
 665         bnel-   load_dbcr0
 666 #endif
 667
 668 #ifdef CONFIG_PREEMPT
 669         b       restore
 670
 671 /* N.B. the only way to get here is from the beq following ret_from_except. */
 672 resume_kernel:
 673         /* check current_thread_info->preempt_count */
 674         rlwinm  r9,r1,0,0,18
 675         lwz     r0,TI_PREEMPT(r9)
 676         cmpwi   0,r0,0          /* if non-zero, just restore regs and return */
 677         bne     restore
 678         lwz     r0,TI_FLAGS(r9)
 679         andi.   r0,r0,_TIF_NEED_RESCHED
 680         beq+    restore
 681         andi.   r0,r3,MSR_EE    /* interrupts off? */
 682         beq     restore         /* don't schedule if so */
 683 1:      bl      preempt_schedule_irq
 684         rlwinm  r9,r1,0,0,18
 685         lwz     r3,TI_FLAGS(r9)
 686         andi.   r0,r3,_TIF_NEED_RESCHED
 687         bne-    1b
 688 #else
 689 resume_kernel:
 690 #endif /* CONFIG_PREEMPT */
 691
 692         /* interrupts are hard-disabled at this point */
 693 restore:
 694         lwz     r0,GPR0(r1)
 695         lwz     r2,GPR2(r1)
 696         REST_4GPRS(3, r1)
 697         REST_2GPRS(7, r1)
 698
 699         lwz     r10,_XER(r1)
 700         lwz     r11,_CTR(r1)
 701         mtspr   SPRN_XER,r10
 702         mtctr   r11
 703
 704         PPC405_ERR77(0,r1)
 705         stwcx.  r0,0,r1                 /* to clear the reservation */
 706
 707 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 708         lwz     r9,_MSR(r1)
 709         andi.   r10,r9,MSR_RI           /* check if this exception occurred */
 710         beql    nonrecoverable          /* at a bad place (MSR:RI = 0) */
 711
 712         lwz     r10,_CCR(r1)
 713         lwz     r11,_LINK(r1)
 714         mtcrf   0xFF,r10
 715         mtlr    r11
 716
 717         /*
 718          * Once we put values in SRR0 and SRR1, we are in a state
 719          * where exceptions are not recoverable, since taking an
 720          * exception will trash SRR0 and SRR1.  Therefore we clear the
 721          * MSR:RI bit to indicate this.  If we do take an exception,
 722          * we can't return to the point of the exception but we
 723          * can restart the exception exit path at the label
 724          * exc_exit_restart below.  -- paulus
 725          */
 726         LOAD_MSR_KERNEL(r10,MSR_KERNEL & ~MSR_RI)
 727         SYNC
 728         MTMSRD(r10)             /* clear the RI bit */
 729         .globl exc_exit_restart
 730 exc_exit_restart:
 731         lwz     r9,_MSR(r1)
 732         lwz     r12,_NIP(r1)
 733         FIX_SRR1(r9,r10)
 734         mtspr   SPRN_SRR0,r12
 735         mtspr   SPRN_SRR1,r9
 736         REST_4GPRS(9, r1)
 737         lwz     r1,GPR1(r1)
 738         .globl exc_exit_restart_end
 739 exc_exit_restart_end:
 740         SYNC
 741         RFI
 742
 743 #else /* !(CONFIG_4xx || CONFIG_BOOKE) */
 744         /*
 745          * This is a bit different on 4xx/Book-E because it doesn't have
 746          * the RI bit in the MSR.
 747          * The TLB miss handler checks if we have interrupted
 748          * the exception exit path and restarts it if so
 749          * (well maybe one day it will... :).
 750          */
 751         lwz     r11,_LINK(r1)
 752         mtlr    r11
 753         lwz     r10,_CCR(r1)
 754         mtcrf   0xff,r10
 755         REST_2GPRS(9, r1)
 756         .globl exc_exit_restart
 757 exc_exit_restart:
 758         lwz     r11,_NIP(r1)
 759         lwz     r12,_MSR(r1)
 760 exc_exit_start:
 761         mtspr   SPRN_SRR0,r11
 762         mtspr   SPRN_SRR1,r12
 763         REST_2GPRS(11, r1)
 764         lwz     r1,GPR1(r1)
 765         .globl exc_exit_restart_end
 766 exc_exit_restart_end:
 767         PPC405_ERR77_SYNC
 768         rfi
 769         b       .                       /* prevent prefetch past rfi */
 770
 771 /*
 772  * Returning from a critical interrupt in user mode doesn't need
 773  * to be any different from a normal exception.  For a critical
 774  * interrupt in the kernel, we just return (without checking for
 775  * preemption) since the interrupt may have happened at some crucial
 776  * place (e.g. inside the TLB miss handler), and because we will be
 777  * running with r1 pointing into critical_stack, not the current
 778  * process's kernel stack (and therefore current_thread_info() will
 779  * give the wrong answer).
 780  * We have to restore various SPRs that may have been in use at the
 781  * time of the critical interrupt.
 782  *
 783  */
 784         .globl  ret_from_crit_exc
 785 ret_from_crit_exc:
 786         REST_NVGPRS(r1)
 787         lwz     r3,_MSR(r1)
 788         andi.   r3,r3,MSR_PR
 789         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 790         bne     user_exc_return
 791
 792         lwz     r0,GPR0(r1)
 793         lwz     r2,GPR2(r1)
 794         REST_4GPRS(3, r1)
 795         REST_2GPRS(7, r1)
 796
 797         lwz     r10,_XER(r1)
 798         lwz     r11,_CTR(r1)
 799         mtspr   SPRN_XER,r10
 800         mtctr   r11
 801
 802         PPC405_ERR77(0,r1)
 803         stwcx.  r0,0,r1                 /* to clear the reservation */
 804
 805         lwz     r11,_LINK(r1)
 806         mtlr    r11
 807         lwz     r10,_CCR(r1)
 808         mtcrf   0xff,r10
 809 #ifdef CONFIG_40x
 810         /* avoid any possible TLB misses here by turning off MSR.DR, we
 811          * assume the instructions here are mapped by a pinned TLB entry */
 812         li      r10,MSR_IR
 813         mtmsr   r10
 814         isync
 815         tophys(r1, r1)
 816 #endif
 817         lwz     r9,_DEAR(r1)
 818         lwz     r10,_ESR(r1)
 819         mtspr   SPRN_DEAR,r9
 820         mtspr   SPRN_ESR,r10
 821         lwz     r11,_NIP(r1)
 822         lwz     r12,_MSR(r1)
 823         mtspr   SPRN_CSRR0,r11
 824         mtspr   SPRN_CSRR1,r12
 825         lwz     r9,GPR9(r1)
 826         lwz     r12,GPR12(r1)
 827         lwz     r10,GPR10(r1)
 828         lwz     r11,GPR11(r1)
 829         lwz     r1,GPR1(r1)
 830         PPC405_ERR77_SYNC
 831         rfci
 832         b       .               /* prevent prefetch past rfci */
 833
 834 #ifdef CONFIG_BOOKE
 835 /*
 836  * Return from a machine check interrupt, similar to a critical
 837  * interrupt.
 838  */
 839         .globl  ret_from_mcheck_exc
 840 ret_from_mcheck_exc:
 841         REST_NVGPRS(r1)
 842         lwz     r3,_MSR(r1)
 843         andi.   r3,r3,MSR_PR
 844         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 845         bne     user_exc_return
 846
 847         lwz     r0,GPR0(r1)
 848         lwz     r2,GPR2(r1)
 849         REST_4GPRS(3, r1)
 850         REST_2GPRS(7, r1)
 851
 852         lwz     r10,_XER(r1)
 853         lwz     r11,_CTR(r1)
 854         mtspr   SPRN_XER,r10
 855         mtctr   r11
 856
 857         stwcx.  r0,0,r1                 /* to clear the reservation */
 858
 859         lwz     r11,_LINK(r1)
 860         mtlr    r11
 861         lwz     r10,_CCR(r1)
 862         mtcrf   0xff,r10
 863         lwz     r9,_DEAR(r1)
 864         lwz     r10,_ESR(r1)
 865         mtspr   SPRN_DEAR,r9
 866         mtspr   SPRN_ESR,r10
 867         lwz     r11,_NIP(r1)
 868         lwz     r12,_MSR(r1)
 869         mtspr   SPRN_MCSRR0,r11
 870         mtspr   SPRN_MCSRR1,r12
 871         lwz     r9,GPR9(r1)
 872         lwz     r12,GPR12(r1)
 873         lwz     r10,GPR10(r1)
 874         lwz     r11,GPR11(r1)
 875         lwz     r1,GPR1(r1)
 876         RFMCI
 877 #endif /* CONFIG_BOOKE */
 878
 879 /*
 880  * Load the DBCR0 value for a task that is being ptraced,
 881  * having first saved away the global DBCR0.  Note that r0
 882  * has the dbcr0 value to set upon entry to this.
 883  */
 884 load_dbcr0:
 885         mfmsr   r10             /* first disable debug exceptions */
 886         rlwinm  r10,r10,0,~MSR_DE
 887         mtmsr   r10
 888         isync
 889         mfspr   r10,SPRN_DBCR0
 890         lis     r11,global_dbcr0@ha
 891         addi    r11,r11,global_dbcr0@l
 892         stw     r10,0(r11)
 893         mtspr   SPRN_DBCR0,r0
 894         lwz     r10,4(r11)
 895         addi    r10,r10,1
 896         stw     r10,4(r11)
 897         li      r11,-1
 898         mtspr   SPRN_DBSR,r11   /* clear all pending debug events */
 899         blr
 900
 901         .comm   global_dbcr0,8
 902 #endif /* !(CONFIG_4xx || CONFIG_BOOKE) */
 903
 904 do_work:                        /* r10 contains MSR_KERNEL here */
 905         andi.   r0,r9,_TIF_NEED_RESCHED
 906         beq     do_user_signal
 907
 908 do_resched:                     /* r10 contains MSR_KERNEL here */
 909         ori     r10,r10,MSR_EE
 910         SYNC
 911         MTMSRD(r10)             /* hard-enable interrupts */
 912         bl      schedule
 913 recheck:
 914         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 915         SYNC
 916         MTMSRD(r10)             /* disable interrupts */
 917         rlwinm  r9,r1,0,0,18
 918         lwz     r9,TI_FLAGS(r9)
 919         andi.   r0,r9,_TIF_NEED_RESCHED
 920         bne-    do_resched
 921         andi.   r0,r9,_TIF_SIGPENDING
 922         beq     restore_user
 923 do_user_signal:                 /* r10 contains MSR_KERNEL here */
 924         ori     r10,r10,MSR_EE
 925         SYNC
 926         MTMSRD(r10)             /* hard-enable interrupts */
 927         /* save r13-r31 in the exception frame, if not already done */
 928         lwz     r3,TRAP(r1)
 929         andi.   r0,r3,1
 930         beq     2f
 931         SAVE_NVGPRS(r1)
 932         rlwinm  r3,r3,0,0,30
 933         stw     r3,TRAP(r1)
 934 2:      li      r3,0
 935         addi    r4,r1,STACK_FRAME_OVERHEAD
 936         bl      do_signal
 937         REST_NVGPRS(r1)
 938         b       recheck
 939
 940 /*
 941  * We come here when we are at the end of handling an exception
 942  * that occurred at a place where taking an exception will lose
 943  * state information, such as the contents of SRR0 and SRR1.
 944  */
 945 nonrecoverable:
 946         lis     r10,exc_exit_restart_end@ha
 947         addi    r10,r10,exc_exit_restart_end@l
 948         cmplw   r12,r10
 949         bge     3f
 950         lis     r11,exc_exit_restart@ha
 951         addi    r11,r11,exc_exit_restart@l
 952         cmplw   r12,r11
 953         blt     3f
 954         lis     r10,ee_restarts@ha
 955         lwz     r12,ee_restarts@l(r10)
 956         addi    r12,r12,1
 957         stw     r12,ee_restarts@l(r10)
 958         mr      r12,r11         /* restart at exc_exit_restart */
 959         blr
 960 3:      /* OK, we can't recover, kill this process */
 961         /* but the 601 doesn't implement the RI bit, so assume it's OK */
 962 BEGIN_FTR_SECTION
 963         blr
 964 END_FTR_SECTION_IFSET(CPU_FTR_601)
 965         lwz     r3,TRAP(r1)
 966         andi.   r0,r3,1
 967         beq     4f
 968         SAVE_NVGPRS(r1)
 969         rlwinm  r3,r3,0,0,30
 970         stw     r3,TRAP(r1)
 971 4:      addi    r3,r1,STACK_FRAME_OVERHEAD
 972         bl      nonrecoverable_exception
 973         /* shouldn't return */
 974         b       4b
 975
 976         .comm   ee_restarts,4
 977
 978 /*
 979  * PROM code for specific machines follows.  Put it
 980  * here so it's easy to add arch-specific sections later.
 981  * -- Cort
 982  */
 983 #ifdef CONFIG_PPC_OF
 984 /*
 985  * On CHRP, the Run-Time Abstraction Services (RTAS) have to be
 986  * called with the MMU off.
 987  */
 988 _GLOBAL(enter_rtas)
 989         stwu    r1,-INT_FRAME_SIZE(r1)
 990         mflr    r0
 991         stw     r0,INT_FRAME_SIZE+4(r1)
 992         lis     r4,rtas_data@ha
 993         lwz     r4,rtas_data@l(r4)
 994         lis     r6,1f@ha        /* physical return address for rtas */
 995         addi    r6,r6,1f@l
 996         tophys(r6,r6)
 997         tophys(r7,r1)
 998         lis     r8,rtas_entry@ha
 999         lwz     r8,rtas_entry@l(r8)
1000         mfmsr   r9
1001         stw     r9,8(r1)
1002         LOAD_MSR_KERNEL(r0,MSR_KERNEL)
1003         SYNC                    /* disable interrupts so SRR0/1 */
1004         MTMSRD(r0)              /* don't get trashed */
1005         li      r9,MSR_KERNEL & ~(MSR_IR|MSR_DR)
1006         mtlr    r6
1007         CLR_TOP32(r7)
1008         mtspr   SPRN_SPRG2,r7
1009         mtspr   SPRN_SRR0,r8
1010         mtspr   SPRN_SRR1,r9
1011         RFI
1012 1:      tophys(r9,r1)
1013         lwz     r8,INT_FRAME_SIZE+4(r9) /* get return address */
1014         lwz     r9,8(r9)        /* original msr value */
1015         FIX_SRR1(r9,r0)
1016         addi    r1,r1,INT_FRAME_SIZE
1017         li      r0,0
1018         mtspr   SPRN_SPRG2,r0
1019         mtspr   SPRN_SRR0,r8
1020         mtspr   SPRN_SRR1,r9
1021         RFI                     /* return to caller */
1022
1023         .globl  machine_check_in_rtas
1024 machine_check_in_rtas:
1025         twi     31,0,0
1026         /* XXX load up BATs and panic */
1027
1028 #endif /* CONFIG_PPC_OF */