Merge git://git.kernel.org/pub/scm/linux/kernel/git/wim/linux-2.6-watchdog
[linux-2.6] / arch / ppc / kernel / entry.S
1 /*
2  *  PowerPC version
3  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
4  *  Rewritten by Cort Dougan (cort@fsmlabs.com) for PReP
5  *    Copyright (C) 1996 Cort Dougan <cort@fsmlabs.com>
6  *  Adapted for Power Macintosh by Paul Mackerras.
7  *  Low-level exception handlers and MMU support
8  *  rewritten by Paul Mackerras.
9  *    Copyright (C) 1996 Paul Mackerras.
10  *  MPC8xx modifications Copyright (C) 1997 Dan Malek (dmalek@jlc.net).
11  *
12  *  This file contains the system call entry code, context switch
13  *  code, and exception/interrupt return code for PowerPC.
14  *
15  *  This program is free software; you can redistribute it and/or
16  *  modify it under the terms of the GNU General Public License
17  *  as published by the Free Software Foundation; either version
18  *  2 of the License, or (at your option) any later version.
19  *
20  */
21
22 #include <linux/errno.h>
23 #include <linux/sys.h>
24 #include <linux/threads.h>
25 #include <asm/processor.h>
26 #include <asm/page.h>
27 #include <asm/mmu.h>
28 #include <asm/cputable.h>
29 #include <asm/thread_info.h>
30 #include <asm/ppc_asm.h>
31 #include <asm/asm-offsets.h>
32 #include <asm/unistd.h>
33
34 #undef SHOW_SYSCALLS
35 #undef SHOW_SYSCALLS_TASK
36
37 /*
38  * MSR_KERNEL is > 0x10000 on 4xx/Book-E since it include MSR_CE.
39  */
40 #if MSR_KERNEL >= 0x10000
41 #define LOAD_MSR_KERNEL(r, x)   lis r,(x)@h; ori r,r,(x)@l
42 #else
43 #define LOAD_MSR_KERNEL(r, x)   li r,(x)
44 #endif
45
46 #ifdef CONFIG_BOOKE
47 #include "head_booke.h"
48 #define TRANSFER_TO_HANDLER_EXC_LEVEL(exc_level)        \
49         mtspr   exc_level##_SPRG,r8;                    \
50         BOOKE_LOAD_EXC_LEVEL_STACK(exc_level);          \
51         lwz     r0,GPR10-INT_FRAME_SIZE(r8);            \
52         stw     r0,GPR10(r11);                          \
53         lwz     r0,GPR11-INT_FRAME_SIZE(r8);            \
54         stw     r0,GPR11(r11);                          \
55         mfspr   r8,exc_level##_SPRG
56
57         .globl  mcheck_transfer_to_handler
58 mcheck_transfer_to_handler:
59         TRANSFER_TO_HANDLER_EXC_LEVEL(MCHECK)
60         b       transfer_to_handler_full
61
62         .globl  debug_transfer_to_handler
63 debug_transfer_to_handler:
64         TRANSFER_TO_HANDLER_EXC_LEVEL(DEBUG)
65         b       transfer_to_handler_full
66
67         .globl  crit_transfer_to_handler
68 crit_transfer_to_handler:
69         TRANSFER_TO_HANDLER_EXC_LEVEL(CRIT)
70         /* fall through */
71 #endif
72
73 #ifdef CONFIG_40x
74         .globl  crit_transfer_to_handler
75 crit_transfer_to_handler:
76         lwz     r0,crit_r10@l(0)
77         stw     r0,GPR10(r11)
78         lwz     r0,crit_r11@l(0)
79         stw     r0,GPR11(r11)
80         /* fall through */
81 #endif
82
83 /*
84  * This code finishes saving the registers to the exception frame
85  * and jumps to the appropriate handler for the exception, turning
86  * on address translation.
87  * Note that we rely on the caller having set cr0.eq iff the exception
88  * occurred in kernel mode (i.e. MSR:PR = 0).
89  */
90         .globl  transfer_to_handler_full
91 transfer_to_handler_full:
92         SAVE_NVGPRS(r11)
93         /* fall through */
94
95         .globl  transfer_to_handler
96 transfer_to_handler:
97         stw     r2,GPR2(r11)
98         stw     r12,_NIP(r11)
99         stw     r9,_MSR(r11)
100         andi.   r2,r9,MSR_PR
101         mfctr   r12
102         mfspr   r2,SPRN_XER
103         stw     r12,_CTR(r11)
104         stw     r2,_XER(r11)
105         mfspr   r12,SPRN_SPRG3
106         addi    r2,r12,-THREAD
107         tovirt(r2,r2)                   /* set r2 to current */
108         beq     2f                      /* if from user, fix up THREAD.regs */
109         addi    r11,r1,STACK_FRAME_OVERHEAD
110         stw     r11,PT_REGS(r12)
111 #if defined(CONFIG_40x) || defined(CONFIG_BOOKE)
112         /* Check to see if the dbcr0 register is set up to debug.  Use the
113            single-step bit to do this. */
114         lwz     r12,THREAD_DBCR0(r12)
115         andis.  r12,r12,DBCR0_IC@h
116         beq+    3f
117         /* From user and task is ptraced - load up global dbcr0 */
118         li      r12,-1                  /* clear all pending debug events */
119         mtspr   SPRN_DBSR,r12
120         lis     r11,global_dbcr0@ha
121         tophys(r11,r11)
122         addi    r11,r11,global_dbcr0@l
123         lwz     r12,0(r11)
124         mtspr   SPRN_DBCR0,r12
125         lwz     r12,4(r11)
126         addi    r12,r12,-1
127         stw     r12,4(r11)
128 #endif
129         b       3f
130
131 2:      /* if from kernel, check interrupted DOZE/NAP mode and
132          * check for stack overflow
133          */
134         lwz     r9,THREAD_INFO-THREAD(r12)
135         cmplw   r1,r9                   /* if r1 <= current->thread_info */
136         ble-    stack_ovf               /* then the kernel stack overflowed */
137 5:
138 #ifdef CONFIG_6xx
139         tophys(r9,r9)                   /* check local flags */
140         lwz     r12,TI_LOCAL_FLAGS(r9)
141         mtcrf   0x01,r12
142         bt-     31-TLF_NAPPING,4f
143 #endif /* CONFIG_6xx */
144         .globl transfer_to_handler_cont
145 transfer_to_handler_cont:
146 3:
147         mflr    r9
148         lwz     r11,0(r9)               /* virtual address of handler */
149         lwz     r9,4(r9)                /* where to go when done */
150         mtspr   SPRN_SRR0,r11
151         mtspr   SPRN_SRR1,r10
152         mtlr    r9
153         SYNC
154         RFI                             /* jump to handler, enable MMU */
155
156 #ifdef CONFIG_6xx
157 4:      rlwinm  r12,r12,0,~_TLF_NAPPING
158         stw     r12,TI_LOCAL_FLAGS(r9)
159         b       power_save_6xx_restore
160 #endif
161
162 /*
163  * On kernel stack overflow, load up an initial stack pointer
164  * and call StackOverflow(regs), which should not return.
165  */
166 stack_ovf:
167         /* sometimes we use a statically-allocated stack, which is OK. */
168         lis     r12,_end@h
169         ori     r12,r12,_end@l
170         cmplw   r1,r12
171         ble     5b                      /* r1 <= &_end is OK */
172         SAVE_NVGPRS(r11)
173         addi    r3,r1,STACK_FRAME_OVERHEAD
174         lis     r1,init_thread_union@ha
175         addi    r1,r1,init_thread_union@l
176         addi    r1,r1,THREAD_SIZE-STACK_FRAME_OVERHEAD
177         lis     r9,StackOverflow@ha
178         addi    r9,r9,StackOverflow@l
179         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
180         FIX_SRR1(r10,r12)
181         mtspr   SPRN_SRR0,r9
182         mtspr   SPRN_SRR1,r10
183         SYNC
184         RFI
185
186 /*
187  * Handle a system call.
188  */
189         .stabs  "arch/ppc/kernel/",N_SO,0,0,0f
190         .stabs  "entry.S",N_SO,0,0,0f
191 0:
192
193 _GLOBAL(DoSyscall)
194         stw     r3,ORIG_GPR3(r1)
195         li      r12,0
196         stw     r12,RESULT(r1)
197         lwz     r11,_CCR(r1)    /* Clear SO bit in CR */
198         rlwinm  r11,r11,0,4,2
199         stw     r11,_CCR(r1)
200 #ifdef SHOW_SYSCALLS
201         bl      do_show_syscall
202 #endif /* SHOW_SYSCALLS */
203         rlwinm  r10,r1,0,0,18   /* current_thread_info() */
204         lwz     r11,TI_FLAGS(r10)
205         andi.   r11,r11,_TIF_SYSCALL_T_OR_A
206         bne-    syscall_dotrace
207 syscall_dotrace_cont:
208         cmplwi  0,r0,NR_syscalls
209         lis     r10,sys_call_table@h
210         ori     r10,r10,sys_call_table@l
211         slwi    r0,r0,2
212         bge-    66f
213         lwzx    r10,r10,r0      /* Fetch system call handler [ptr] */
214         mtlr    r10
215         addi    r9,r1,STACK_FRAME_OVERHEAD
216         PPC440EP_ERR42
217         blrl                    /* Call handler */
218         .globl  ret_from_syscall
219 ret_from_syscall:
220 #ifdef SHOW_SYSCALLS
221         bl      do_show_syscall_exit
222 #endif
223         mr      r6,r3
224         rlwinm  r12,r1,0,0,18   /* current_thread_info() */
225         /* disable interrupts so current_thread_info()->flags can't change */
226         LOAD_MSR_KERNEL(r10,MSR_KERNEL) /* doesn't include MSR_EE */
227         SYNC
228         MTMSRD(r10)
229         lwz     r9,TI_FLAGS(r12)
230         li      r8,-_LAST_ERRNO
231         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SINGLESTEP|_TIF_USER_WORK_MASK|_TIF_PERSYSCALL_MASK)
232         bne-    syscall_exit_work
233         cmplw   0,r3,r8
234         blt+    syscall_exit_cont
235         lwz     r11,_CCR(r1)                    /* Load CR */
236         neg     r3,r3
237         oris    r11,r11,0x1000  /* Set SO bit in CR */
238         stw     r11,_CCR(r1)
239 syscall_exit_cont:
240 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
241         /* If the process has its own DBCR0 value, load it up.  The single
242            step bit tells us that dbcr0 should be loaded. */
243         lwz     r0,THREAD+THREAD_DBCR0(r2)
244         andis.  r10,r0,DBCR0_IC@h
245         bnel-   load_dbcr0
246 #endif
247         stwcx.  r0,0,r1                 /* to clear the reservation */
248         lwz     r4,_LINK(r1)
249         lwz     r5,_CCR(r1)
250         mtlr    r4
251         mtcr    r5
252         lwz     r7,_NIP(r1)
253         lwz     r8,_MSR(r1)
254         FIX_SRR1(r8, r0)
255         lwz     r2,GPR2(r1)
256         lwz     r1,GPR1(r1)
257         mtspr   SPRN_SRR0,r7
258         mtspr   SPRN_SRR1,r8
259         SYNC
260         RFI
261
262 66:     li      r3,-ENOSYS
263         b       ret_from_syscall
264
265         .globl  ret_from_fork
266 ret_from_fork:
267         REST_NVGPRS(r1)
268         bl      schedule_tail
269         li      r3,0
270         b       ret_from_syscall
271
272 /* Traced system call support */
273 syscall_dotrace:
274         SAVE_NVGPRS(r1)
275         li      r0,0xc00
276         stw     r0,TRAP(r1)
277         addi    r3,r1,STACK_FRAME_OVERHEAD
278         bl      do_syscall_trace_enter
279         lwz     r0,GPR0(r1)     /* Restore original registers */
280         lwz     r3,GPR3(r1)
281         lwz     r4,GPR4(r1)
282         lwz     r5,GPR5(r1)
283         lwz     r6,GPR6(r1)
284         lwz     r7,GPR7(r1)
285         lwz     r8,GPR8(r1)
286         REST_NVGPRS(r1)
287         b       syscall_dotrace_cont
288
289 syscall_exit_work:
290         andi.   r0,r9,_TIF_RESTOREALL
291         beq+    0f
292         REST_NVGPRS(r1)
293         b       2f
294 0:      cmplw   0,r3,r8
295         blt+    1f
296         andi.   r0,r9,_TIF_NOERROR
297         bne-    1f
298         lwz     r11,_CCR(r1)                    /* Load CR */
299         neg     r3,r3
300         oris    r11,r11,0x1000  /* Set SO bit in CR */
301         stw     r11,_CCR(r1)
302
303 1:      stw     r6,RESULT(r1)   /* Save result */
304         stw     r3,GPR3(r1)     /* Update return value */
305 2:      andi.   r0,r9,(_TIF_PERSYSCALL_MASK)
306         beq     4f
307
308         /* Clear per-syscall TIF flags if any are set.  */
309
310         li      r11,_TIF_PERSYSCALL_MASK
311         addi    r12,r12,TI_FLAGS
312 3:      lwarx   r8,0,r12
313         andc    r8,r8,r11
314 #ifdef CONFIG_IBM405_ERR77
315         dcbt    0,r12
316 #endif
317         stwcx.  r8,0,r12
318         bne-    3b
319         subi    r12,r12,TI_FLAGS
320         
321 4:      /* Anything which requires enabling interrupts? */
322         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SINGLESTEP)
323         beq     ret_from_except
324
325         /* Re-enable interrupts */
326         ori     r10,r10,MSR_EE
327         SYNC
328         MTMSRD(r10)
329
330         /* Save NVGPRS if they're not saved already */
331         lwz     r4,TRAP(r1)
332         andi.   r4,r4,1
333         beq     5f
334         SAVE_NVGPRS(r1)
335         li      r4,0xc00
336         stw     r4,TRAP(r1)
337 5:
338         addi    r3,r1,STACK_FRAME_OVERHEAD
339         bl      do_syscall_trace_leave
340         b       ret_from_except_full
341
342 #ifdef SHOW_SYSCALLS
343 do_show_syscall:
344 #ifdef SHOW_SYSCALLS_TASK
345         lis     r11,show_syscalls_task@ha
346         lwz     r11,show_syscalls_task@l(r11)
347         cmp     0,r2,r11
348         bnelr
349 #endif
350         stw     r31,GPR31(r1)
351         mflr    r31
352         lis     r3,7f@ha
353         addi    r3,r3,7f@l
354         lwz     r4,GPR0(r1)
355         lwz     r5,GPR3(r1)
356         lwz     r6,GPR4(r1)
357         lwz     r7,GPR5(r1)
358         lwz     r8,GPR6(r1)
359         lwz     r9,GPR7(r1)
360         bl      printk
361         lis     r3,77f@ha
362         addi    r3,r3,77f@l
363         lwz     r4,GPR8(r1)
364         mr      r5,r2
365         bl      printk
366         lwz     r0,GPR0(r1)
367         lwz     r3,GPR3(r1)
368         lwz     r4,GPR4(r1)
369         lwz     r5,GPR5(r1)
370         lwz     r6,GPR6(r1)
371         lwz     r7,GPR7(r1)
372         lwz     r8,GPR8(r1)
373         mtlr    r31
374         lwz     r31,GPR31(r1)
375         blr
376
377 do_show_syscall_exit:
378 #ifdef SHOW_SYSCALLS_TASK
379         lis     r11,show_syscalls_task@ha
380         lwz     r11,show_syscalls_task@l(r11)
381         cmp     0,r2,r11
382         bnelr
383 #endif
384         stw     r31,GPR31(r1)
385         mflr    r31
386         stw     r3,RESULT(r1)   /* Save result */
387         mr      r4,r3
388         lis     r3,79f@ha
389         addi    r3,r3,79f@l
390         bl      printk
391         lwz     r3,RESULT(r1)
392         mtlr    r31
393         lwz     r31,GPR31(r1)
394         blr
395
396 7:      .string "syscall %d(%x, %x, %x, %x, %x, "
397 77:     .string "%x), current=%p\n"
398 79:     .string " -> %x\n"
399         .align  2,0
400
401 #ifdef SHOW_SYSCALLS_TASK
402         .data
403         .globl  show_syscalls_task
404 show_syscalls_task:
405         .long   -1
406         .text
407 #endif
408 #endif /* SHOW_SYSCALLS */
409
410 /*
411  * The fork/clone functions need to copy the full register set into
412  * the child process. Therefore we need to save all the nonvolatile
413  * registers (r13 - r31) before calling the C code.
414  */
415         .globl  ppc_fork
416 ppc_fork:
417         SAVE_NVGPRS(r1)
418         lwz     r0,TRAP(r1)
419         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
420         stw     r0,TRAP(r1)             /* register set saved */
421         b       sys_fork
422
423         .globl  ppc_vfork
424 ppc_vfork:
425         SAVE_NVGPRS(r1)
426         lwz     r0,TRAP(r1)
427         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
428         stw     r0,TRAP(r1)             /* register set saved */
429         b       sys_vfork
430
431         .globl  ppc_clone
432 ppc_clone:
433         SAVE_NVGPRS(r1)
434         lwz     r0,TRAP(r1)
435         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
436         stw     r0,TRAP(r1)             /* register set saved */
437         b       sys_clone
438
439         .globl  ppc_swapcontext
440 ppc_swapcontext:
441         SAVE_NVGPRS(r1)
442         lwz     r0,TRAP(r1)
443         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
444         stw     r0,TRAP(r1)             /* register set saved */
445         b       sys_swapcontext
446
447 /*
448  * Top-level page fault handling.
449  * This is in assembler because if do_page_fault tells us that
450  * it is a bad kernel page fault, we want to save the non-volatile
451  * registers before calling bad_page_fault.
452  */
453         .globl  handle_page_fault
454 handle_page_fault:
455         stw     r4,_DAR(r1)
456         addi    r3,r1,STACK_FRAME_OVERHEAD
457         bl      do_page_fault
458         cmpwi   r3,0
459         beq+    ret_from_except
460         SAVE_NVGPRS(r1)
461         lwz     r0,TRAP(r1)
462         clrrwi  r0,r0,1
463         stw     r0,TRAP(r1)
464         mr      r5,r3
465         addi    r3,r1,STACK_FRAME_OVERHEAD
466         lwz     r4,_DAR(r1)
467         bl      bad_page_fault
468         b       ret_from_except_full
469
470 /*
471  * This routine switches between two different tasks.  The process
472  * state of one is saved on its kernel stack.  Then the state
473  * of the other is restored from its kernel stack.  The memory
474  * management hardware is updated to the second process's state.
475  * Finally, we can return to the second process.
476  * On entry, r3 points to the THREAD for the current task, r4
477  * points to the THREAD for the new task.
478  *
479  * This routine is always called with interrupts disabled.
480  *
481  * Note: there are two ways to get to the "going out" portion
482  * of this code; either by coming in via the entry (_switch)
483  * or via "fork" which must set up an environment equivalent
484  * to the "_switch" path.  If you change this , you'll have to
485  * change the fork code also.
486  *
487  * The code which creates the new task context is in 'copy_thread'
488  * in arch/ppc/kernel/process.c
489  */
490 _GLOBAL(_switch)
491         stwu    r1,-INT_FRAME_SIZE(r1)
492         mflr    r0
493         stw     r0,INT_FRAME_SIZE+4(r1)
494         /* r3-r12 are caller saved -- Cort */
495         SAVE_NVGPRS(r1)
496         stw     r0,_NIP(r1)     /* Return to switch caller */
497         mfmsr   r11
498         li      r0,MSR_FP       /* Disable floating-point */
499 #ifdef CONFIG_ALTIVEC
500 BEGIN_FTR_SECTION
501         oris    r0,r0,MSR_VEC@h /* Disable altivec */
502         mfspr   r12,SPRN_VRSAVE /* save vrsave register value */
503         stw     r12,THREAD+THREAD_VRSAVE(r2)
504 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
505 #endif /* CONFIG_ALTIVEC */
506 #ifdef CONFIG_SPE
507         oris    r0,r0,MSR_SPE@h  /* Disable SPE */
508         mfspr   r12,SPRN_SPEFSCR /* save spefscr register value */
509         stw     r12,THREAD+THREAD_SPEFSCR(r2)
510 #endif /* CONFIG_SPE */
511         and.    r0,r0,r11       /* FP or altivec or SPE enabled? */
512         beq+    1f
513         andc    r11,r11,r0
514         MTMSRD(r11)
515         isync
516 1:      stw     r11,_MSR(r1)
517         mfcr    r10
518         stw     r10,_CCR(r1)
519         stw     r1,KSP(r3)      /* Set old stack pointer */
520
521 #ifdef CONFIG_SMP
522         /* We need a sync somewhere here to make sure that if the
523          * previous task gets rescheduled on another CPU, it sees all
524          * stores it has performed on this one.
525          */
526         sync
527 #endif /* CONFIG_SMP */
528
529         tophys(r0,r4)
530         CLR_TOP32(r0)
531         mtspr   SPRN_SPRG3,r0   /* Update current THREAD phys addr */
532         lwz     r1,KSP(r4)      /* Load new stack pointer */
533
534         /* save the old current 'last' for return value */
535         mr      r3,r2
536         addi    r2,r4,-THREAD   /* Update current */
537
538 #ifdef CONFIG_ALTIVEC
539 BEGIN_FTR_SECTION
540         lwz     r0,THREAD+THREAD_VRSAVE(r2)
541         mtspr   SPRN_VRSAVE,r0          /* if G4, restore VRSAVE reg */
542 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
543 #endif /* CONFIG_ALTIVEC */
544 #ifdef CONFIG_SPE
545         lwz     r0,THREAD+THREAD_SPEFSCR(r2)
546         mtspr   SPRN_SPEFSCR,r0         /* restore SPEFSCR reg */
547 #endif /* CONFIG_SPE */
548
549         lwz     r0,_CCR(r1)
550         mtcrf   0xFF,r0
551         /* r3-r12 are destroyed -- Cort */
552         REST_NVGPRS(r1)
553
554         lwz     r4,_NIP(r1)     /* Return to _switch caller in new task */
555         mtlr    r4
556         addi    r1,r1,INT_FRAME_SIZE
557         blr
558
559         .globl  fast_exception_return
560 fast_exception_return:
561 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
562         andi.   r10,r9,MSR_RI           /* check for recoverable interrupt */
563         beq     1f                      /* if not, we've got problems */
564 #endif
565
566 2:      REST_4GPRS(3, r11)
567         lwz     r10,_CCR(r11)
568         REST_GPR(1, r11)
569         mtcr    r10
570         lwz     r10,_LINK(r11)
571         mtlr    r10
572         REST_GPR(10, r11)
573         mtspr   SPRN_SRR1,r9
574         mtspr   SPRN_SRR0,r12
575         REST_GPR(9, r11)
576         REST_GPR(12, r11)
577         lwz     r11,GPR11(r11)
578         SYNC
579         RFI
580
581 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
582 /* check if the exception happened in a restartable section */
583 1:      lis     r3,exc_exit_restart_end@ha
584         addi    r3,r3,exc_exit_restart_end@l
585         cmplw   r12,r3
586         bge     3f
587         lis     r4,exc_exit_restart@ha
588         addi    r4,r4,exc_exit_restart@l
589         cmplw   r12,r4
590         blt     3f
591         lis     r3,fee_restarts@ha
592         tophys(r3,r3)
593         lwz     r5,fee_restarts@l(r3)
594         addi    r5,r5,1
595         stw     r5,fee_restarts@l(r3)
596         mr      r12,r4          /* restart at exc_exit_restart */
597         b       2b
598
599         .section .bss
600         .align  2
601 fee_restarts:
602         .space  4
603         .previous
604
605 /* aargh, a nonrecoverable interrupt, panic */
606 /* aargh, we don't know which trap this is */
607 /* but the 601 doesn't implement the RI bit, so assume it's OK */
608 3:
609 BEGIN_FTR_SECTION
610         b       2b
611 END_FTR_SECTION_IFSET(CPU_FTR_601)
612         li      r10,-1
613         stw     r10,TRAP(r11)
614         addi    r3,r1,STACK_FRAME_OVERHEAD
615         lis     r10,MSR_KERNEL@h
616         ori     r10,r10,MSR_KERNEL@l
617         bl      transfer_to_handler_full
618         .long   nonrecoverable_exception
619         .long   ret_from_except
620 #endif
621
622         .globl  ret_from_except_full
623 ret_from_except_full:
624         REST_NVGPRS(r1)
625         /* fall through */
626
627         .globl  ret_from_except
628 ret_from_except:
629         /* Hard-disable interrupts so that current_thread_info()->flags
630          * can't change between when we test it and when we return
631          * from the interrupt. */
632         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
633         SYNC                    /* Some chip revs have problems here... */
634         MTMSRD(r10)             /* disable interrupts */
635
636         lwz     r3,_MSR(r1)     /* Returning to user mode? */
637         andi.   r0,r3,MSR_PR
638         beq     resume_kernel
639
640 user_exc_return:                /* r10 contains MSR_KERNEL here */
641         /* Check current_thread_info()->flags */
642         rlwinm  r9,r1,0,0,18
643         lwz     r9,TI_FLAGS(r9)
644         andi.   r0,r9,(_TIF_SIGPENDING|_TIF_RESTORE_SIGMASK|_TIF_NEED_RESCHED)
645         bne     do_work
646
647 restore_user:
648 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
649         /* Check whether this process has its own DBCR0 value.  The single
650            step bit tells us that dbcr0 should be loaded. */
651         lwz     r0,THREAD+THREAD_DBCR0(r2)
652         andis.  r10,r0,DBCR0_IC@h
653         bnel-   load_dbcr0
654 #endif
655
656 #ifdef CONFIG_PREEMPT
657         b       restore
658
659 /* N.B. the only way to get here is from the beq following ret_from_except. */
660 resume_kernel:
661         /* check current_thread_info->preempt_count */
662         rlwinm  r9,r1,0,0,18
663         lwz     r0,TI_PREEMPT(r9)
664         cmpwi   0,r0,0          /* if non-zero, just restore regs and return */
665         bne     restore
666         lwz     r0,TI_FLAGS(r9)
667         andi.   r0,r0,_TIF_NEED_RESCHED
668         beq+    restore
669         andi.   r0,r3,MSR_EE    /* interrupts off? */
670         beq     restore         /* don't schedule if so */
671 1:      bl      preempt_schedule_irq
672         rlwinm  r9,r1,0,0,18
673         lwz     r3,TI_FLAGS(r9)
674         andi.   r0,r3,_TIF_NEED_RESCHED
675         bne-    1b
676 #else
677 resume_kernel:
678 #endif /* CONFIG_PREEMPT */
679
680         /* interrupts are hard-disabled at this point */
681 restore:
682         lwz     r0,GPR0(r1)
683         lwz     r2,GPR2(r1)
684         REST_4GPRS(3, r1)
685         REST_2GPRS(7, r1)
686
687         lwz     r10,_XER(r1)
688         lwz     r11,_CTR(r1)
689         mtspr   SPRN_XER,r10
690         mtctr   r11
691
692         PPC405_ERR77(0,r1)
693         stwcx.  r0,0,r1                 /* to clear the reservation */
694
695 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
696         lwz     r9,_MSR(r1)
697         andi.   r10,r9,MSR_RI           /* check if this exception occurred */
698         beql    nonrecoverable          /* at a bad place (MSR:RI = 0) */
699
700         lwz     r10,_CCR(r1)
701         lwz     r11,_LINK(r1)
702         mtcrf   0xFF,r10
703         mtlr    r11
704
705         /*
706          * Once we put values in SRR0 and SRR1, we are in a state
707          * where exceptions are not recoverable, since taking an
708          * exception will trash SRR0 and SRR1.  Therefore we clear the
709          * MSR:RI bit to indicate this.  If we do take an exception,
710          * we can't return to the point of the exception but we
711          * can restart the exception exit path at the label
712          * exc_exit_restart below.  -- paulus
713          */
714         LOAD_MSR_KERNEL(r10,MSR_KERNEL & ~MSR_RI)
715         SYNC
716         MTMSRD(r10)             /* clear the RI bit */
717         .globl exc_exit_restart
718 exc_exit_restart:
719         lwz     r9,_MSR(r1)
720         lwz     r12,_NIP(r1)
721         FIX_SRR1(r9,r10)
722         mtspr   SPRN_SRR0,r12
723         mtspr   SPRN_SRR1,r9
724         REST_4GPRS(9, r1)
725         lwz     r1,GPR1(r1)
726         .globl exc_exit_restart_end
727 exc_exit_restart_end:
728         SYNC
729         RFI
730
731 #else /* !(CONFIG_4xx || CONFIG_BOOKE) */
732         /*
733          * This is a bit different on 4xx/Book-E because it doesn't have
734          * the RI bit in the MSR.
735          * The TLB miss handler checks if we have interrupted
736          * the exception exit path and restarts it if so
737          * (well maybe one day it will... :).
738          */
739         lwz     r11,_LINK(r1)
740         mtlr    r11
741         lwz     r10,_CCR(r1)
742         mtcrf   0xff,r10
743         REST_2GPRS(9, r1)
744         .globl exc_exit_restart
745 exc_exit_restart:
746         lwz     r11,_NIP(r1)
747         lwz     r12,_MSR(r1)
748 exc_exit_start:
749         mtspr   SPRN_SRR0,r11
750         mtspr   SPRN_SRR1,r12
751         REST_2GPRS(11, r1)
752         lwz     r1,GPR1(r1)
753         .globl exc_exit_restart_end
754 exc_exit_restart_end:
755         PPC405_ERR77_SYNC
756         rfi
757         b       .                       /* prevent prefetch past rfi */
758
759 /*
760  * Returning from a critical interrupt in user mode doesn't need
761  * to be any different from a normal exception.  For a critical
762  * interrupt in the kernel, we just return (without checking for
763  * preemption) since the interrupt may have happened at some crucial
764  * place (e.g. inside the TLB miss handler), and because we will be
765  * running with r1 pointing into critical_stack, not the current
766  * process's kernel stack (and therefore current_thread_info() will
767  * give the wrong answer).
768  * We have to restore various SPRs that may have been in use at the
769  * time of the critical interrupt.
770  *
771  */
772 #ifdef CONFIG_40x
773 #define PPC_40x_TURN_OFF_MSR_DR                                             \
774         /* avoid any possible TLB misses here by turning off MSR.DR, we     \
775          * assume the instructions here are mapped by a pinned TLB entry */ \
776         li      r10,MSR_IR;                                                 \
777         mtmsr   r10;                                                        \
778         isync;                                                              \
779         tophys(r1, r1);
780 #else
781 #define PPC_40x_TURN_OFF_MSR_DR
782 #endif
783
784 #define RET_FROM_EXC_LEVEL(exc_lvl_srr0, exc_lvl_srr1, exc_lvl_rfi)     \
785         REST_NVGPRS(r1);                                                \
786         lwz     r3,_MSR(r1);                                            \
787         andi.   r3,r3,MSR_PR;                                           \
788         LOAD_MSR_KERNEL(r10,MSR_KERNEL);                                \
789         bne     user_exc_return;                                        \
790         lwz     r0,GPR0(r1);                                            \
791         lwz     r2,GPR2(r1);                                            \
792         REST_4GPRS(3, r1);                                              \
793         REST_2GPRS(7, r1);                                              \
794         lwz     r10,_XER(r1);                                           \
795         lwz     r11,_CTR(r1);                                           \
796         mtspr   SPRN_XER,r10;                                           \
797         mtctr   r11;                                                    \
798         PPC405_ERR77(0,r1);                                             \
799         stwcx.  r0,0,r1;                /* to clear the reservation */  \
800         lwz     r11,_LINK(r1);                                          \
801         mtlr    r11;                                                    \
802         lwz     r10,_CCR(r1);                                           \
803         mtcrf   0xff,r10;                                               \
804         PPC_40x_TURN_OFF_MSR_DR;                                        \
805         lwz     r9,_DEAR(r1);                                           \
806         lwz     r10,_ESR(r1);                                           \
807         mtspr   SPRN_DEAR,r9;                                           \
808         mtspr   SPRN_ESR,r10;                                           \
809         lwz     r11,_NIP(r1);                                           \
810         lwz     r12,_MSR(r1);                                           \
811         mtspr   exc_lvl_srr0,r11;                                       \
812         mtspr   exc_lvl_srr1,r12;                                       \
813         lwz     r9,GPR9(r1);                                            \
814         lwz     r12,GPR12(r1);                                          \
815         lwz     r10,GPR10(r1);                                          \
816         lwz     r11,GPR11(r1);                                          \
817         lwz     r1,GPR1(r1);                                            \
818         PPC405_ERR77_SYNC;                                              \
819         exc_lvl_rfi;                                                    \
820         b       .;              /* prevent prefetch past exc_lvl_rfi */
821
822         .globl  ret_from_crit_exc
823 ret_from_crit_exc:
824         RET_FROM_EXC_LEVEL(SPRN_CSRR0, SPRN_CSRR1, RFCI)
825
826 #ifdef CONFIG_BOOKE
827         .globl  ret_from_debug_exc
828 ret_from_debug_exc:
829         RET_FROM_EXC_LEVEL(SPRN_DSRR0, SPRN_DSRR1, RFDI)
830
831         .globl  ret_from_mcheck_exc
832 ret_from_mcheck_exc:
833         RET_FROM_EXC_LEVEL(SPRN_MCSRR0, SPRN_MCSRR1, RFMCI)
834 #endif /* CONFIG_BOOKE */
835
836 /*
837  * Load the DBCR0 value for a task that is being ptraced,
838  * having first saved away the global DBCR0.  Note that r0
839  * has the dbcr0 value to set upon entry to this.
840  */
841 load_dbcr0:
842         mfmsr   r10             /* first disable debug exceptions */
843         rlwinm  r10,r10,0,~MSR_DE
844         mtmsr   r10
845         isync
846         mfspr   r10,SPRN_DBCR0
847         lis     r11,global_dbcr0@ha
848         addi    r11,r11,global_dbcr0@l
849         stw     r10,0(r11)
850         mtspr   SPRN_DBCR0,r0
851         lwz     r10,4(r11)
852         addi    r10,r10,1
853         stw     r10,4(r11)
854         li      r11,-1
855         mtspr   SPRN_DBSR,r11   /* clear all pending debug events */
856         blr
857
858         .section .bss
859         .align  4
860 global_dbcr0:
861         .space  8
862         .previous
863 #endif /* !(CONFIG_4xx || CONFIG_BOOKE) */
864
865 do_work:                        /* r10 contains MSR_KERNEL here */
866         andi.   r0,r9,_TIF_NEED_RESCHED
867         beq     do_user_signal
868
869 do_resched:                     /* r10 contains MSR_KERNEL here */
870         ori     r10,r10,MSR_EE
871         SYNC
872         MTMSRD(r10)             /* hard-enable interrupts */
873         bl      schedule
874 recheck:
875         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
876         SYNC
877         MTMSRD(r10)             /* disable interrupts */
878         rlwinm  r9,r1,0,0,18
879         lwz     r9,TI_FLAGS(r9)
880         andi.   r0,r9,_TIF_NEED_RESCHED
881         bne-    do_resched
882         andi.   r0,r9,_TIF_SIGPENDING
883         beq     restore_user
884 do_user_signal:                 /* r10 contains MSR_KERNEL here */
885         ori     r10,r10,MSR_EE
886         SYNC
887         MTMSRD(r10)             /* hard-enable interrupts */
888         /* save r13-r31 in the exception frame, if not already done */
889         lwz     r3,TRAP(r1)
890         andi.   r0,r3,1
891         beq     2f
892         SAVE_NVGPRS(r1)
893         rlwinm  r3,r3,0,0,30
894         stw     r3,TRAP(r1)
895 2:      li      r3,0
896         addi    r4,r1,STACK_FRAME_OVERHEAD
897         bl      do_signal
898         REST_NVGPRS(r1)
899         b       recheck
900
901 /*
902  * We come here when we are at the end of handling an exception
903  * that occurred at a place where taking an exception will lose
904  * state information, such as the contents of SRR0 and SRR1.
905  */
906 nonrecoverable:
907         lis     r10,exc_exit_restart_end@ha
908         addi    r10,r10,exc_exit_restart_end@l
909         cmplw   r12,r10
910         bge     3f
911         lis     r11,exc_exit_restart@ha
912         addi    r11,r11,exc_exit_restart@l
913         cmplw   r12,r11
914         blt     3f
915         lis     r10,ee_restarts@ha
916         lwz     r12,ee_restarts@l(r10)
917         addi    r12,r12,1
918         stw     r12,ee_restarts@l(r10)
919         mr      r12,r11         /* restart at exc_exit_restart */
920         blr
921 3:      /* OK, we can't recover, kill this process */
922         /* but the 601 doesn't implement the RI bit, so assume it's OK */
923 BEGIN_FTR_SECTION
924         blr
925 END_FTR_SECTION_IFSET(CPU_FTR_601)
926         lwz     r3,TRAP(r1)
927         andi.   r0,r3,1
928         beq     4f
929         SAVE_NVGPRS(r1)
930         rlwinm  r3,r3,0,0,30
931         stw     r3,TRAP(r1)
932 4:      addi    r3,r1,STACK_FRAME_OVERHEAD
933         bl      nonrecoverable_exception
934         /* shouldn't return */
935         b       4b
936
937         .section .bss
938         .align  2
939 ee_restarts:
940         .space  4
941         .previous