git.oblomov.eu Git - linux-2.6/blob - arch/ppc/kernel/entry.S

   1 /*
   2  *  PowerPC version
   3  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
   4  *  Rewritten by Cort Dougan (cort@fsmlabs.com) for PReP
   5  *    Copyright (C) 1996 Cort Dougan <cort@fsmlabs.com>
   6  *  Adapted for Power Macintosh by Paul Mackerras.
   7  *  Low-level exception handlers and MMU support
   8  *  rewritten by Paul Mackerras.
   9  *    Copyright (C) 1996 Paul Mackerras.
  10  *  MPC8xx modifications Copyright (C) 1997 Dan Malek (dmalek@jlc.net).
  11  *
  12  *  This file contains the system call entry code, context switch
  13  *  code, and exception/interrupt return code for PowerPC.
  14  *
  15  *  This program is free software; you can redistribute it and/or
  16  *  modify it under the terms of the GNU General Public License
  17  *  as published by the Free Software Foundation; either version
  18  *  2 of the License, or (at your option) any later version.
  19  *
  20  */
  21
  22 #include <linux/errno.h>
  23 #include <linux/sys.h>
  24 #include <linux/threads.h>
  25 #include <asm/processor.h>
  26 #include <asm/page.h>
  27 #include <asm/mmu.h>
  28 #include <asm/cputable.h>
  29 #include <asm/thread_info.h>
  30 #include <asm/ppc_asm.h>
  31 #include <asm/asm-offsets.h>
  32 #include <asm/unistd.h>
  33
  34 #undef SHOW_SYSCALLS
  35 #undef SHOW_SYSCALLS_TASK
  36
  37 /*
  38  * MSR_KERNEL is > 0x10000 on 4xx/Book-E since it include MSR_CE.
  39  */
  40 #if MSR_KERNEL >= 0x10000
  41 #define LOAD_MSR_KERNEL(r, x)   lis r,(x)@h; ori r,r,(x)@l
  42 #else
  43 #define LOAD_MSR_KERNEL(r, x)   li r,(x)
  44 #endif
  45
  46 #ifdef CONFIG_BOOKE
  47 #include "head_booke.h"
  48 #define TRANSFER_TO_HANDLER_EXC_LEVEL(exc_level)        \
  49         mtspr   exc_level##_SPRG,r8;                    \
  50         BOOKE_LOAD_EXC_LEVEL_STACK(exc_level);          \
  51         lwz     r0,GPR10-INT_FRAME_SIZE(r8);            \
  52         stw     r0,GPR10(r11);                          \
  53         lwz     r0,GPR11-INT_FRAME_SIZE(r8);            \
  54         stw     r0,GPR11(r11);                          \
  55         mfspr   r8,exc_level##_SPRG
  56
  57         .globl  mcheck_transfer_to_handler
  58 mcheck_transfer_to_handler:
  59         TRANSFER_TO_HANDLER_EXC_LEVEL(MCHECK)
  60         b       transfer_to_handler_full
  61
  62         .globl  debug_transfer_to_handler
  63 debug_transfer_to_handler:
  64         TRANSFER_TO_HANDLER_EXC_LEVEL(DEBUG)
  65         b       transfer_to_handler_full
  66
  67         .globl  crit_transfer_to_handler
  68 crit_transfer_to_handler:
  69         TRANSFER_TO_HANDLER_EXC_LEVEL(CRIT)
  70         /* fall through */
  71 #endif
  72
  73 #ifdef CONFIG_40x
  74         .globl  crit_transfer_to_handler
  75 crit_transfer_to_handler:
  76         lwz     r0,crit_r10@l(0)
  77         stw     r0,GPR10(r11)
  78         lwz     r0,crit_r11@l(0)
  79         stw     r0,GPR11(r11)
  80         /* fall through */
  81 #endif
  82
  83 /*
  84  * This code finishes saving the registers to the exception frame
  85  * and jumps to the appropriate handler for the exception, turning
  86  * on address translation.
  87  * Note that we rely on the caller having set cr0.eq iff the exception
  88  * occurred in kernel mode (i.e. MSR:PR = 0).
  89  */
  90         .globl  transfer_to_handler_full
  91 transfer_to_handler_full:
  92         SAVE_NVGPRS(r11)
  93         /* fall through */
  94
  95         .globl  transfer_to_handler
  96 transfer_to_handler:
  97         stw     r2,GPR2(r11)
  98         stw     r12,_NIP(r11)
  99         stw     r9,_MSR(r11)
 100         andi.   r2,r9,MSR_PR
 101         mfctr   r12
 102         mfspr   r2,SPRN_XER
 103         stw     r12,_CTR(r11)
 104         stw     r2,_XER(r11)
 105         mfspr   r12,SPRN_SPRG3
 106         addi    r2,r12,-THREAD
 107         tovirt(r2,r2)                   /* set r2 to current */
 108         beq     2f                      /* if from user, fix up THREAD.regs */
 109         addi    r11,r1,STACK_FRAME_OVERHEAD
 110         stw     r11,PT_REGS(r12)
 111 #if defined(CONFIG_40x) || defined(CONFIG_BOOKE)
 112         /* Check to see if the dbcr0 register is set up to debug.  Use the
 113            single-step bit to do this. */
 114         lwz     r12,THREAD_DBCR0(r12)
 115         andis.  r12,r12,DBCR0_IC@h
 116         beq+    3f
 117         /* From user and task is ptraced - load up global dbcr0 */
 118         li      r12,-1                  /* clear all pending debug events */
 119         mtspr   SPRN_DBSR,r12
 120         lis     r11,global_dbcr0@ha
 121         tophys(r11,r11)
 122         addi    r11,r11,global_dbcr0@l
 123         lwz     r12,0(r11)
 124         mtspr   SPRN_DBCR0,r12
 125         lwz     r12,4(r11)
 126         addi    r12,r12,-1
 127         stw     r12,4(r11)
 128 #endif
 129         b       3f
 130
 131 2:      /* if from kernel, check interrupted DOZE/NAP mode and
 132          * check for stack overflow
 133          */
 134         lwz     r9,THREAD_INFO-THREAD(r12)
 135         cmplw   r1,r9                   /* if r1 <= current->thread_info */
 136         ble-    stack_ovf               /* then the kernel stack overflowed */
 137 5:
 138 #ifdef CONFIG_6xx
 139         tophys(r9,r9)                   /* check local flags */
 140         lwz     r12,TI_LOCAL_FLAGS(r9)
 141         mtcrf   0x01,r12
 142         bt-     31-TLF_NAPPING,4f
 143 #endif /* CONFIG_6xx */
 144         .globl transfer_to_handler_cont
 145 transfer_to_handler_cont:
 146 3:
 147         mflr    r9
 148         lwz     r11,0(r9)               /* virtual address of handler */
 149         lwz     r9,4(r9)                /* where to go when done */
 150         mtspr   SPRN_SRR0,r11
 151         mtspr   SPRN_SRR1,r10
 152         mtlr    r9
 153         SYNC
 154         RFI                             /* jump to handler, enable MMU */
 155
 156 #ifdef CONFIG_6xx
 157 4:      rlwinm  r12,r12,0,~_TLF_NAPPING
 158         stw     r12,TI_LOCAL_FLAGS(r9)
 159         b       power_save_6xx_restore
 160 #endif
 161
 162 /*
 163  * On kernel stack overflow, load up an initial stack pointer
 164  * and call StackOverflow(regs), which should not return.
 165  */
 166 stack_ovf:
 167         /* sometimes we use a statically-allocated stack, which is OK. */
 168         lis     r12,_end@h
 169         ori     r12,r12,_end@l
 170         cmplw   r1,r12
 171         ble     5b                      /* r1 <= &_end is OK */
 172         SAVE_NVGPRS(r11)
 173         addi    r3,r1,STACK_FRAME_OVERHEAD
 174         lis     r1,init_thread_union@ha
 175         addi    r1,r1,init_thread_union@l
 176         addi    r1,r1,THREAD_SIZE-STACK_FRAME_OVERHEAD
 177         lis     r9,StackOverflow@ha
 178         addi    r9,r9,StackOverflow@l
 179         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 180         FIX_SRR1(r10,r12)
 181         mtspr   SPRN_SRR0,r9
 182         mtspr   SPRN_SRR1,r10
 183         SYNC
 184         RFI
 185
 186 /*
 187  * Handle a system call.
 188  */
 189         .stabs  "arch/ppc/kernel/",N_SO,0,0,0f
 190         .stabs  "entry.S",N_SO,0,0,0f
 191 0:
 192
 193 _GLOBAL(DoSyscall)
 194         stw     r3,ORIG_GPR3(r1)
 195         li      r12,0
 196         stw     r12,RESULT(r1)
 197         lwz     r11,_CCR(r1)    /* Clear SO bit in CR */
 198         rlwinm  r11,r11,0,4,2
 199         stw     r11,_CCR(r1)
 200 #ifdef SHOW_SYSCALLS
 201         bl      do_show_syscall
 202 #endif /* SHOW_SYSCALLS */
 203         rlwinm  r10,r1,0,0,18   /* current_thread_info() */
 204         lwz     r11,TI_FLAGS(r10)
 205         andi.   r11,r11,_TIF_SYSCALL_T_OR_A
 206         bne-    syscall_dotrace
 207 syscall_dotrace_cont:
 208         cmplwi  0,r0,NR_syscalls
 209         lis     r10,sys_call_table@h
 210         ori     r10,r10,sys_call_table@l
 211         slwi    r0,r0,2
 212         bge-    66f
 213         lwzx    r10,r10,r0      /* Fetch system call handler [ptr] */
 214         mtlr    r10
 215         addi    r9,r1,STACK_FRAME_OVERHEAD
 216         PPC440EP_ERR42
 217         blrl                    /* Call handler */
 218         .globl  ret_from_syscall
 219 ret_from_syscall:
 220 #ifdef SHOW_SYSCALLS
 221         bl      do_show_syscall_exit
 222 #endif
 223         mr      r6,r3
 224         rlwinm  r12,r1,0,0,18   /* current_thread_info() */
 225         /* disable interrupts so current_thread_info()->flags can't change */
 226         LOAD_MSR_KERNEL(r10,MSR_KERNEL) /* doesn't include MSR_EE */
 227         SYNC
 228         MTMSRD(r10)
 229         lwz     r9,TI_FLAGS(r12)
 230         li      r8,-_LAST_ERRNO
 231         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SINGLESTEP|_TIF_USER_WORK_MASK|_TIF_PERSYSCALL_MASK)
 232         bne-    syscall_exit_work
 233         cmplw   0,r3,r8
 234         blt+    syscall_exit_cont
 235         lwz     r11,_CCR(r1)                    /* Load CR */
 236         neg     r3,r3
 237         oris    r11,r11,0x1000  /* Set SO bit in CR */
 238         stw     r11,_CCR(r1)
 239 syscall_exit_cont:
 240 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
 241         /* If the process has its own DBCR0 value, load it up.  The single
 242            step bit tells us that dbcr0 should be loaded. */
 243         lwz     r0,THREAD+THREAD_DBCR0(r2)
 244         andis.  r10,r0,DBCR0_IC@h
 245         bnel-   load_dbcr0
 246 #endif
 247         stwcx.  r0,0,r1                 /* to clear the reservation */
 248         lwz     r4,_LINK(r1)
 249         lwz     r5,_CCR(r1)
 250         mtlr    r4
 251         mtcr    r5
 252         lwz     r7,_NIP(r1)
 253         lwz     r8,_MSR(r1)
 254         FIX_SRR1(r8, r0)
 255         lwz     r2,GPR2(r1)
 256         lwz     r1,GPR1(r1)
 257         mtspr   SPRN_SRR0,r7
 258         mtspr   SPRN_SRR1,r8
 259         SYNC
 260         RFI
 261
 262 66:     li      r3,-ENOSYS
 263         b       ret_from_syscall
 264
 265         .globl  ret_from_fork
 266 ret_from_fork:
 267         REST_NVGPRS(r1)
 268         bl      schedule_tail
 269         li      r3,0
 270         b       ret_from_syscall
 271
 272 /* Traced system call support */
 273 syscall_dotrace:
 274         SAVE_NVGPRS(r1)
 275         li      r0,0xc00
 276         stw     r0,TRAP(r1)
 277         addi    r3,r1,STACK_FRAME_OVERHEAD
 278         bl      do_syscall_trace_enter
 279         lwz     r0,GPR0(r1)     /* Restore original registers */
 280         lwz     r3,GPR3(r1)
 281         lwz     r4,GPR4(r1)
 282         lwz     r5,GPR5(r1)
 283         lwz     r6,GPR6(r1)
 284         lwz     r7,GPR7(r1)
 285         lwz     r8,GPR8(r1)
 286         REST_NVGPRS(r1)
 287         b       syscall_dotrace_cont
 288
 289 syscall_exit_work:
 290         andi.   r0,r9,_TIF_RESTOREALL
 291         beq+    0f
 292         REST_NVGPRS(r1)
 293         b       2f
 294 0:      cmplw   0,r3,r8
 295         blt+    1f
 296         andi.   r0,r9,_TIF_NOERROR
 297         bne-    1f
 298         lwz     r11,_CCR(r1)                    /* Load CR */
 299         neg     r3,r3
 300         oris    r11,r11,0x1000  /* Set SO bit in CR */
 301         stw     r11,_CCR(r1)
 302
 303 1:      stw     r6,RESULT(r1)   /* Save result */
 304         stw     r3,GPR3(r1)     /* Update return value */
 305 2:      andi.   r0,r9,(_TIF_PERSYSCALL_MASK)
 306         beq     4f
 307
 308         /* Clear per-syscall TIF flags if any are set.  */
 309
 310         li      r11,_TIF_PERSYSCALL_MASK
 311         addi    r12,r12,TI_FLAGS
 312 3:      lwarx   r8,0,r12
 313         andc    r8,r8,r11
 314 #ifdef CONFIG_IBM405_ERR77
 315         dcbt    0,r12
 316 #endif
 317         stwcx.  r8,0,r12
 318         bne-    3b
 319         subi    r12,r12,TI_FLAGS
 320
 321 4:      /* Anything which requires enabling interrupts? */
 322         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SINGLESTEP)
 323         beq     ret_from_except
 324
 325         /* Re-enable interrupts */
 326         ori     r10,r10,MSR_EE
 327         SYNC
 328         MTMSRD(r10)
 329
 330         /* Save NVGPRS if they're not saved already */
 331         lwz     r4,TRAP(r1)
 332         andi.   r4,r4,1
 333         beq     5f
 334         SAVE_NVGPRS(r1)
 335         li      r4,0xc00
 336         stw     r4,TRAP(r1)
 337 5:
 338         addi    r3,r1,STACK_FRAME_OVERHEAD
 339         bl      do_syscall_trace_leave
 340         b       ret_from_except_full
 341
 342 #ifdef SHOW_SYSCALLS
 343 do_show_syscall:
 344 #ifdef SHOW_SYSCALLS_TASK
 345         lis     r11,show_syscalls_task@ha
 346         lwz     r11,show_syscalls_task@l(r11)
 347         cmp     0,r2,r11
 348         bnelr
 349 #endif
 350         stw     r31,GPR31(r1)
 351         mflr    r31
 352         lis     r3,7f@ha
 353         addi    r3,r3,7f@l
 354         lwz     r4,GPR0(r1)
 355         lwz     r5,GPR3(r1)
 356         lwz     r6,GPR4(r1)
 357         lwz     r7,GPR5(r1)
 358         lwz     r8,GPR6(r1)
 359         lwz     r9,GPR7(r1)
 360         bl      printk
 361         lis     r3,77f@ha
 362         addi    r3,r3,77f@l
 363         lwz     r4,GPR8(r1)
 364         mr      r5,r2
 365         bl      printk
 366         lwz     r0,GPR0(r1)
 367         lwz     r3,GPR3(r1)
 368         lwz     r4,GPR4(r1)
 369         lwz     r5,GPR5(r1)
 370         lwz     r6,GPR6(r1)
 371         lwz     r7,GPR7(r1)
 372         lwz     r8,GPR8(r1)
 373         mtlr    r31
 374         lwz     r31,GPR31(r1)
 375         blr
 376
 377 do_show_syscall_exit:
 378 #ifdef SHOW_SYSCALLS_TASK
 379         lis     r11,show_syscalls_task@ha
 380         lwz     r11,show_syscalls_task@l(r11)
 381         cmp     0,r2,r11
 382         bnelr
 383 #endif
 384         stw     r31,GPR31(r1)
 385         mflr    r31
 386         stw     r3,RESULT(r1)   /* Save result */
 387         mr      r4,r3
 388         lis     r3,79f@ha
 389         addi    r3,r3,79f@l
 390         bl      printk
 391         lwz     r3,RESULT(r1)
 392         mtlr    r31
 393         lwz     r31,GPR31(r1)
 394         blr
 395
 396 7:      .string "syscall %d(%x, %x, %x, %x, %x, "
 397 77:     .string "%x), current=%p\n"
 398 79:     .string " -> %x\n"
 399         .align  2,0
 400
 401 #ifdef SHOW_SYSCALLS_TASK
 402         .data
 403         .globl  show_syscalls_task
 404 show_syscalls_task:
 405         .long   -1
 406         .text
 407 #endif
 408 #endif /* SHOW_SYSCALLS */
 409
 410 /*
 411  * The fork/clone functions need to copy the full register set into
 412  * the child process. Therefore we need to save all the nonvolatile
 413  * registers (r13 - r31) before calling the C code.
 414  */
 415         .globl  ppc_fork
 416 ppc_fork:
 417         SAVE_NVGPRS(r1)
 418         lwz     r0,TRAP(r1)
 419         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 420         stw     r0,TRAP(r1)             /* register set saved */
 421         b       sys_fork
 422
 423         .globl  ppc_vfork
 424 ppc_vfork:
 425         SAVE_NVGPRS(r1)
 426         lwz     r0,TRAP(r1)
 427         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 428         stw     r0,TRAP(r1)             /* register set saved */
 429         b       sys_vfork
 430
 431         .globl  ppc_clone
 432 ppc_clone:
 433         SAVE_NVGPRS(r1)
 434         lwz     r0,TRAP(r1)
 435         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 436         stw     r0,TRAP(r1)             /* register set saved */
 437         b       sys_clone
 438
 439         .globl  ppc_swapcontext
 440 ppc_swapcontext:
 441         SAVE_NVGPRS(r1)
 442         lwz     r0,TRAP(r1)
 443         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
 444         stw     r0,TRAP(r1)             /* register set saved */
 445         b       sys_swapcontext
 446
 447 /*
 448  * Top-level page fault handling.
 449  * This is in assembler because if do_page_fault tells us that
 450  * it is a bad kernel page fault, we want to save the non-volatile
 451  * registers before calling bad_page_fault.
 452  */
 453         .globl  handle_page_fault
 454 handle_page_fault:
 455         stw     r4,_DAR(r1)
 456         addi    r3,r1,STACK_FRAME_OVERHEAD
 457         bl      do_page_fault
 458         cmpwi   r3,0
 459         beq+    ret_from_except
 460         SAVE_NVGPRS(r1)
 461         lwz     r0,TRAP(r1)
 462         clrrwi  r0,r0,1
 463         stw     r0,TRAP(r1)
 464         mr      r5,r3
 465         addi    r3,r1,STACK_FRAME_OVERHEAD
 466         lwz     r4,_DAR(r1)
 467         bl      bad_page_fault
 468         b       ret_from_except_full
 469
 470 /*
 471  * This routine switches between two different tasks.  The process
 472  * state of one is saved on its kernel stack.  Then the state
 473  * of the other is restored from its kernel stack.  The memory
 474  * management hardware is updated to the second process's state.
 475  * Finally, we can return to the second process.
 476  * On entry, r3 points to the THREAD for the current task, r4
 477  * points to the THREAD for the new task.
 478  *
 479  * This routine is always called with interrupts disabled.
 480  *
 481  * Note: there are two ways to get to the "going out" portion
 482  * of this code; either by coming in via the entry (_switch)
 483  * or via "fork" which must set up an environment equivalent
 484  * to the "_switch" path.  If you change this , you'll have to
 485  * change the fork code also.
 486  *
 487  * The code which creates the new task context is in 'copy_thread'
 488  * in arch/ppc/kernel/process.c
 489  */
 490 _GLOBAL(_switch)
 491         stwu    r1,-INT_FRAME_SIZE(r1)
 492         mflr    r0
 493         stw     r0,INT_FRAME_SIZE+4(r1)
 494         /* r3-r12 are caller saved -- Cort */
 495         SAVE_NVGPRS(r1)
 496         stw     r0,_NIP(r1)     /* Return to switch caller */
 497         mfmsr   r11
 498         li      r0,MSR_FP       /* Disable floating-point */
 499 #ifdef CONFIG_ALTIVEC
 500 BEGIN_FTR_SECTION
 501         oris    r0,r0,MSR_VEC@h /* Disable altivec */
 502         mfspr   r12,SPRN_VRSAVE /* save vrsave register value */
 503         stw     r12,THREAD+THREAD_VRSAVE(r2)
 504 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
 505 #endif /* CONFIG_ALTIVEC */
 506 #ifdef CONFIG_SPE
 507         oris    r0,r0,MSR_SPE@h  /* Disable SPE */
 508         mfspr   r12,SPRN_SPEFSCR /* save spefscr register value */
 509         stw     r12,THREAD+THREAD_SPEFSCR(r2)
 510 #endif /* CONFIG_SPE */
 511         and.    r0,r0,r11       /* FP or altivec or SPE enabled? */
 512         beq+    1f
 513         andc    r11,r11,r0
 514         MTMSRD(r11)
 515         isync
 516 1:      stw     r11,_MSR(r1)
 517         mfcr    r10
 518         stw     r10,_CCR(r1)
 519         stw     r1,KSP(r3)      /* Set old stack pointer */
 520
 521 #ifdef CONFIG_SMP
 522         /* We need a sync somewhere here to make sure that if the
 523          * previous task gets rescheduled on another CPU, it sees all
 524          * stores it has performed on this one.
 525          */
 526         sync
 527 #endif /* CONFIG_SMP */
 528
 529         tophys(r0,r4)
 530         CLR_TOP32(r0)
 531         mtspr   SPRN_SPRG3,r0   /* Update current THREAD phys addr */
 532         lwz     r1,KSP(r4)      /* Load new stack pointer */
 533
 534         /* save the old current 'last' for return value */
 535         mr      r3,r2
 536         addi    r2,r4,-THREAD   /* Update current */
 537
 538 #ifdef CONFIG_ALTIVEC
 539 BEGIN_FTR_SECTION
 540         lwz     r0,THREAD+THREAD_VRSAVE(r2)
 541         mtspr   SPRN_VRSAVE,r0          /* if G4, restore VRSAVE reg */
 542 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
 543 #endif /* CONFIG_ALTIVEC */
 544 #ifdef CONFIG_SPE
 545         lwz     r0,THREAD+THREAD_SPEFSCR(r2)
 546         mtspr   SPRN_SPEFSCR,r0         /* restore SPEFSCR reg */
 547 #endif /* CONFIG_SPE */
 548
 549         lwz     r0,_CCR(r1)
 550         mtcrf   0xFF,r0
 551         /* r3-r12 are destroyed -- Cort */
 552         REST_NVGPRS(r1)
 553
 554         lwz     r4,_NIP(r1)     /* Return to _switch caller in new task */
 555         mtlr    r4
 556         addi    r1,r1,INT_FRAME_SIZE
 557         blr
 558
 559         .globl  fast_exception_return
 560 fast_exception_return:
 561 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 562         andi.   r10,r9,MSR_RI           /* check for recoverable interrupt */
 563         beq     1f                      /* if not, we've got problems */
 564 #endif
 565
 566 2:      REST_4GPRS(3, r11)
 567         lwz     r10,_CCR(r11)
 568         REST_GPR(1, r11)
 569         mtcr    r10
 570         lwz     r10,_LINK(r11)
 571         mtlr    r10
 572         REST_GPR(10, r11)
 573         mtspr   SPRN_SRR1,r9
 574         mtspr   SPRN_SRR0,r12
 575         REST_GPR(9, r11)
 576         REST_GPR(12, r11)
 577         lwz     r11,GPR11(r11)
 578         SYNC
 579         RFI
 580
 581 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 582 /* check if the exception happened in a restartable section */
 583 1:      lis     r3,exc_exit_restart_end@ha
 584         addi    r3,r3,exc_exit_restart_end@l
 585         cmplw   r12,r3
 586         bge     3f
 587         lis     r4,exc_exit_restart@ha
 588         addi    r4,r4,exc_exit_restart@l
 589         cmplw   r12,r4
 590         blt     3f
 591         lis     r3,fee_restarts@ha
 592         tophys(r3,r3)
 593         lwz     r5,fee_restarts@l(r3)
 594         addi    r5,r5,1
 595         stw     r5,fee_restarts@l(r3)
 596         mr      r12,r4          /* restart at exc_exit_restart */
 597         b       2b
 598
 599         .comm   fee_restarts,4
 600
 601 /* aargh, a nonrecoverable interrupt, panic */
 602 /* aargh, we don't know which trap this is */
 603 /* but the 601 doesn't implement the RI bit, so assume it's OK */
 604 3:
 605 BEGIN_FTR_SECTION
 606         b       2b
 607 END_FTR_SECTION_IFSET(CPU_FTR_601)
 608         li      r10,-1
 609         stw     r10,TRAP(r11)
 610         addi    r3,r1,STACK_FRAME_OVERHEAD
 611         lis     r10,MSR_KERNEL@h
 612         ori     r10,r10,MSR_KERNEL@l
 613         bl      transfer_to_handler_full
 614         .long   nonrecoverable_exception
 615         .long   ret_from_except
 616 #endif
 617
 618         .globl  ret_from_except_full
 619 ret_from_except_full:
 620         REST_NVGPRS(r1)
 621         /* fall through */
 622
 623         .globl  ret_from_except
 624 ret_from_except:
 625         /* Hard-disable interrupts so that current_thread_info()->flags
 626          * can't change between when we test it and when we return
 627          * from the interrupt. */
 628         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 629         SYNC                    /* Some chip revs have problems here... */
 630         MTMSRD(r10)             /* disable interrupts */
 631
 632         lwz     r3,_MSR(r1)     /* Returning to user mode? */
 633         andi.   r0,r3,MSR_PR
 634         beq     resume_kernel
 635
 636 user_exc_return:                /* r10 contains MSR_KERNEL here */
 637         /* Check current_thread_info()->flags */
 638         rlwinm  r9,r1,0,0,18
 639         lwz     r9,TI_FLAGS(r9)
 640         andi.   r0,r9,(_TIF_SIGPENDING|_TIF_RESTORE_SIGMASK|_TIF_NEED_RESCHED)
 641         bne     do_work
 642
 643 restore_user:
 644 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
 645         /* Check whether this process has its own DBCR0 value.  The single
 646            step bit tells us that dbcr0 should be loaded. */
 647         lwz     r0,THREAD+THREAD_DBCR0(r2)
 648         andis.  r10,r0,DBCR0_IC@h
 649         bnel-   load_dbcr0
 650 #endif
 651
 652 #ifdef CONFIG_PREEMPT
 653         b       restore
 654
 655 /* N.B. the only way to get here is from the beq following ret_from_except. */
 656 resume_kernel:
 657         /* check current_thread_info->preempt_count */
 658         rlwinm  r9,r1,0,0,18
 659         lwz     r0,TI_PREEMPT(r9)
 660         cmpwi   0,r0,0          /* if non-zero, just restore regs and return */
 661         bne     restore
 662         lwz     r0,TI_FLAGS(r9)
 663         andi.   r0,r0,_TIF_NEED_RESCHED
 664         beq+    restore
 665         andi.   r0,r3,MSR_EE    /* interrupts off? */
 666         beq     restore         /* don't schedule if so */
 667 1:      bl      preempt_schedule_irq
 668         rlwinm  r9,r1,0,0,18
 669         lwz     r3,TI_FLAGS(r9)
 670         andi.   r0,r3,_TIF_NEED_RESCHED
 671         bne-    1b
 672 #else
 673 resume_kernel:
 674 #endif /* CONFIG_PREEMPT */
 675
 676         /* interrupts are hard-disabled at this point */
 677 restore:
 678         lwz     r0,GPR0(r1)
 679         lwz     r2,GPR2(r1)
 680         REST_4GPRS(3, r1)
 681         REST_2GPRS(7, r1)
 682
 683         lwz     r10,_XER(r1)
 684         lwz     r11,_CTR(r1)
 685         mtspr   SPRN_XER,r10
 686         mtctr   r11
 687
 688         PPC405_ERR77(0,r1)
 689         stwcx.  r0,0,r1                 /* to clear the reservation */
 690
 691 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
 692         lwz     r9,_MSR(r1)
 693         andi.   r10,r9,MSR_RI           /* check if this exception occurred */
 694         beql    nonrecoverable          /* at a bad place (MSR:RI = 0) */
 695
 696         lwz     r10,_CCR(r1)
 697         lwz     r11,_LINK(r1)
 698         mtcrf   0xFF,r10
 699         mtlr    r11
 700
 701         /*
 702          * Once we put values in SRR0 and SRR1, we are in a state
 703          * where exceptions are not recoverable, since taking an
 704          * exception will trash SRR0 and SRR1.  Therefore we clear the
 705          * MSR:RI bit to indicate this.  If we do take an exception,
 706          * we can't return to the point of the exception but we
 707          * can restart the exception exit path at the label
 708          * exc_exit_restart below.  -- paulus
 709          */
 710         LOAD_MSR_KERNEL(r10,MSR_KERNEL & ~MSR_RI)
 711         SYNC
 712         MTMSRD(r10)             /* clear the RI bit */
 713         .globl exc_exit_restart
 714 exc_exit_restart:
 715         lwz     r9,_MSR(r1)
 716         lwz     r12,_NIP(r1)
 717         FIX_SRR1(r9,r10)
 718         mtspr   SPRN_SRR0,r12
 719         mtspr   SPRN_SRR1,r9
 720         REST_4GPRS(9, r1)
 721         lwz     r1,GPR1(r1)
 722         .globl exc_exit_restart_end
 723 exc_exit_restart_end:
 724         SYNC
 725         RFI
 726
 727 #else /* !(CONFIG_4xx || CONFIG_BOOKE) */
 728         /*
 729          * This is a bit different on 4xx/Book-E because it doesn't have
 730          * the RI bit in the MSR.
 731          * The TLB miss handler checks if we have interrupted
 732          * the exception exit path and restarts it if so
 733          * (well maybe one day it will... :).
 734          */
 735         lwz     r11,_LINK(r1)
 736         mtlr    r11
 737         lwz     r10,_CCR(r1)
 738         mtcrf   0xff,r10
 739         REST_2GPRS(9, r1)
 740         .globl exc_exit_restart
 741 exc_exit_restart:
 742         lwz     r11,_NIP(r1)
 743         lwz     r12,_MSR(r1)
 744 exc_exit_start:
 745         mtspr   SPRN_SRR0,r11
 746         mtspr   SPRN_SRR1,r12
 747         REST_2GPRS(11, r1)
 748         lwz     r1,GPR1(r1)
 749         .globl exc_exit_restart_end
 750 exc_exit_restart_end:
 751         PPC405_ERR77_SYNC
 752         rfi
 753         b       .                       /* prevent prefetch past rfi */
 754
 755 /*
 756  * Returning from a critical interrupt in user mode doesn't need
 757  * to be any different from a normal exception.  For a critical
 758  * interrupt in the kernel, we just return (without checking for
 759  * preemption) since the interrupt may have happened at some crucial
 760  * place (e.g. inside the TLB miss handler), and because we will be
 761  * running with r1 pointing into critical_stack, not the current
 762  * process's kernel stack (and therefore current_thread_info() will
 763  * give the wrong answer).
 764  * We have to restore various SPRs that may have been in use at the
 765  * time of the critical interrupt.
 766  *
 767  */
 768 #ifdef CONFIG_40x
 769 #define PPC_40x_TURN_OFF_MSR_DR                                             \
 770         /* avoid any possible TLB misses here by turning off MSR.DR, we     \
 771          * assume the instructions here are mapped by a pinned TLB entry */ \
 772         li      r10,MSR_IR;                                                 \
 773         mtmsr   r10;                                                        \
 774         isync;                                                              \
 775         tophys(r1, r1);
 776 #else
 777 #define PPC_40x_TURN_OFF_MSR_DR
 778 #endif
 779
 780 #define RET_FROM_EXC_LEVEL(exc_lvl_srr0, exc_lvl_srr1, exc_lvl_rfi)     \
 781         REST_NVGPRS(r1);                                                \
 782         lwz     r3,_MSR(r1);                                            \
 783         andi.   r3,r3,MSR_PR;                                           \
 784         LOAD_MSR_KERNEL(r10,MSR_KERNEL);                                \
 785         bne     user_exc_return;                                        \
 786         lwz     r0,GPR0(r1);                                            \
 787         lwz     r2,GPR2(r1);                                            \
 788         REST_4GPRS(3, r1);                                              \
 789         REST_2GPRS(7, r1);                                              \
 790         lwz     r10,_XER(r1);                                           \
 791         lwz     r11,_CTR(r1);                                           \
 792         mtspr   SPRN_XER,r10;                                           \
 793         mtctr   r11;                                                    \
 794         PPC405_ERR77(0,r1);                                             \
 795         stwcx.  r0,0,r1;                /* to clear the reservation */  \
 796         lwz     r11,_LINK(r1);                                          \
 797         mtlr    r11;                                                    \
 798         lwz     r10,_CCR(r1);                                           \
 799         mtcrf   0xff,r10;                                               \
 800         PPC_40x_TURN_OFF_MSR_DR;                                        \
 801         lwz     r9,_DEAR(r1);                                           \
 802         lwz     r10,_ESR(r1);                                           \
 803         mtspr   SPRN_DEAR,r9;                                           \
 804         mtspr   SPRN_ESR,r10;                                           \
 805         lwz     r11,_NIP(r1);                                           \
 806         lwz     r12,_MSR(r1);                                           \
 807         mtspr   exc_lvl_srr0,r11;                                       \
 808         mtspr   exc_lvl_srr1,r12;                                       \
 809         lwz     r9,GPR9(r1);                                            \
 810         lwz     r12,GPR12(r1);                                          \
 811         lwz     r10,GPR10(r1);                                          \
 812         lwz     r11,GPR11(r1);                                          \
 813         lwz     r1,GPR1(r1);                                            \
 814         PPC405_ERR77_SYNC;                                              \
 815         exc_lvl_rfi;                                                    \
 816         b       .;              /* prevent prefetch past exc_lvl_rfi */
 817
 818         .globl  ret_from_crit_exc
 819 ret_from_crit_exc:
 820         RET_FROM_EXC_LEVEL(SPRN_CSRR0, SPRN_CSRR1, RFCI)
 821
 822 #ifdef CONFIG_BOOKE
 823         .globl  ret_from_debug_exc
 824 ret_from_debug_exc:
 825         RET_FROM_EXC_LEVEL(SPRN_DSRR0, SPRN_DSRR1, RFDI)
 826
 827         .globl  ret_from_mcheck_exc
 828 ret_from_mcheck_exc:
 829         RET_FROM_EXC_LEVEL(SPRN_MCSRR0, SPRN_MCSRR1, RFMCI)
 830 #endif /* CONFIG_BOOKE */
 831
 832 /*
 833  * Load the DBCR0 value for a task that is being ptraced,
 834  * having first saved away the global DBCR0.  Note that r0
 835  * has the dbcr0 value to set upon entry to this.
 836  */
 837 load_dbcr0:
 838         mfmsr   r10             /* first disable debug exceptions */
 839         rlwinm  r10,r10,0,~MSR_DE
 840         mtmsr   r10
 841         isync
 842         mfspr   r10,SPRN_DBCR0
 843         lis     r11,global_dbcr0@ha
 844         addi    r11,r11,global_dbcr0@l
 845         stw     r10,0(r11)
 846         mtspr   SPRN_DBCR0,r0
 847         lwz     r10,4(r11)
 848         addi    r10,r10,1
 849         stw     r10,4(r11)
 850         li      r11,-1
 851         mtspr   SPRN_DBSR,r11   /* clear all pending debug events */
 852         blr
 853
 854         .comm   global_dbcr0,8
 855 #endif /* !(CONFIG_4xx || CONFIG_BOOKE) */
 856
 857 do_work:                        /* r10 contains MSR_KERNEL here */
 858         andi.   r0,r9,_TIF_NEED_RESCHED
 859         beq     do_user_signal
 860
 861 do_resched:                     /* r10 contains MSR_KERNEL here */
 862         ori     r10,r10,MSR_EE
 863         SYNC
 864         MTMSRD(r10)             /* hard-enable interrupts */
 865         bl      schedule
 866 recheck:
 867         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
 868         SYNC
 869         MTMSRD(r10)             /* disable interrupts */
 870         rlwinm  r9,r1,0,0,18
 871         lwz     r9,TI_FLAGS(r9)
 872         andi.   r0,r9,_TIF_NEED_RESCHED
 873         bne-    do_resched
 874         andi.   r0,r9,_TIF_SIGPENDING
 875         beq     restore_user
 876 do_user_signal:                 /* r10 contains MSR_KERNEL here */
 877         ori     r10,r10,MSR_EE
 878         SYNC
 879         MTMSRD(r10)             /* hard-enable interrupts */
 880         /* save r13-r31 in the exception frame, if not already done */
 881         lwz     r3,TRAP(r1)
 882         andi.   r0,r3,1
 883         beq     2f
 884         SAVE_NVGPRS(r1)
 885         rlwinm  r3,r3,0,0,30
 886         stw     r3,TRAP(r1)
 887 2:      li      r3,0
 888         addi    r4,r1,STACK_FRAME_OVERHEAD
 889         bl      do_signal
 890         REST_NVGPRS(r1)
 891         b       recheck
 892
 893 /*
 894  * We come here when we are at the end of handling an exception
 895  * that occurred at a place where taking an exception will lose
 896  * state information, such as the contents of SRR0 and SRR1.
 897  */
 898 nonrecoverable:
 899         lis     r10,exc_exit_restart_end@ha
 900         addi    r10,r10,exc_exit_restart_end@l
 901         cmplw   r12,r10
 902         bge     3f
 903         lis     r11,exc_exit_restart@ha
 904         addi    r11,r11,exc_exit_restart@l
 905         cmplw   r12,r11
 906         blt     3f
 907         lis     r10,ee_restarts@ha
 908         lwz     r12,ee_restarts@l(r10)
 909         addi    r12,r12,1
 910         stw     r12,ee_restarts@l(r10)
 911         mr      r12,r11         /* restart at exc_exit_restart */
 912         blr
 913 3:      /* OK, we can't recover, kill this process */
 914         /* but the 601 doesn't implement the RI bit, so assume it's OK */
 915 BEGIN_FTR_SECTION
 916         blr
 917 END_FTR_SECTION_IFSET(CPU_FTR_601)
 918         lwz     r3,TRAP(r1)
 919         andi.   r0,r3,1
 920         beq     4f
 921         SAVE_NVGPRS(r1)
 922         rlwinm  r3,r3,0,0,30
 923         stw     r3,TRAP(r1)
 924 4:      addi    r3,r1,STACK_FRAME_OVERHEAD
 925         bl      nonrecoverable_exception
 926         /* shouldn't return */
 927         b       4b
 928
 929         .comm   ee_restarts,4