Pull icc-cleanup into release branch
[linux-2.6] / arch / ppc / kernel / entry.S
1 /*
2  *  PowerPC version
3  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
4  *  Rewritten by Cort Dougan (cort@fsmlabs.com) for PReP
5  *    Copyright (C) 1996 Cort Dougan <cort@fsmlabs.com>
6  *  Adapted for Power Macintosh by Paul Mackerras.
7  *  Low-level exception handlers and MMU support
8  *  rewritten by Paul Mackerras.
9  *    Copyright (C) 1996 Paul Mackerras.
10  *  MPC8xx modifications Copyright (C) 1997 Dan Malek (dmalek@jlc.net).
11  *
12  *  This file contains the system call entry code, context switch
13  *  code, and exception/interrupt return code for PowerPC.
14  *
15  *  This program is free software; you can redistribute it and/or
16  *  modify it under the terms of the GNU General Public License
17  *  as published by the Free Software Foundation; either version
18  *  2 of the License, or (at your option) any later version.
19  *
20  */
21
22 #include <linux/config.h>
23 #include <linux/errno.h>
24 #include <linux/sys.h>
25 #include <linux/threads.h>
26 #include <asm/processor.h>
27 #include <asm/page.h>
28 #include <asm/mmu.h>
29 #include <asm/cputable.h>
30 #include <asm/thread_info.h>
31 #include <asm/ppc_asm.h>
32 #include <asm/asm-offsets.h>
33 #include <asm/unistd.h>
34
35 #undef SHOW_SYSCALLS
36 #undef SHOW_SYSCALLS_TASK
37
38 /*
39  * MSR_KERNEL is > 0x10000 on 4xx/Book-E since it include MSR_CE.
40  */
41 #if MSR_KERNEL >= 0x10000
42 #define LOAD_MSR_KERNEL(r, x)   lis r,(x)@h; ori r,r,(x)@l
43 #else
44 #define LOAD_MSR_KERNEL(r, x)   li r,(x)
45 #endif
46
47 #ifdef CONFIG_BOOKE
48 #include "head_booke.h"
49 #define TRANSFER_TO_HANDLER_EXC_LEVEL(exc_level)        \
50         mtspr   exc_level##_SPRG,r8;                    \
51         BOOKE_LOAD_EXC_LEVEL_STACK(exc_level);          \
52         lwz     r0,GPR10-INT_FRAME_SIZE(r8);            \
53         stw     r0,GPR10(r11);                          \
54         lwz     r0,GPR11-INT_FRAME_SIZE(r8);            \
55         stw     r0,GPR11(r11);                          \
56         mfspr   r8,exc_level##_SPRG
57
58         .globl  mcheck_transfer_to_handler
59 mcheck_transfer_to_handler:
60         TRANSFER_TO_HANDLER_EXC_LEVEL(MCHECK)
61         b       transfer_to_handler_full
62
63         .globl  debug_transfer_to_handler
64 debug_transfer_to_handler:
65         TRANSFER_TO_HANDLER_EXC_LEVEL(DEBUG)
66         b       transfer_to_handler_full
67
68         .globl  crit_transfer_to_handler
69 crit_transfer_to_handler:
70         TRANSFER_TO_HANDLER_EXC_LEVEL(CRIT)
71         /* fall through */
72 #endif
73
74 #ifdef CONFIG_40x
75         .globl  crit_transfer_to_handler
76 crit_transfer_to_handler:
77         lwz     r0,crit_r10@l(0)
78         stw     r0,GPR10(r11)
79         lwz     r0,crit_r11@l(0)
80         stw     r0,GPR11(r11)
81         /* fall through */
82 #endif
83
84 /*
85  * This code finishes saving the registers to the exception frame
86  * and jumps to the appropriate handler for the exception, turning
87  * on address translation.
88  * Note that we rely on the caller having set cr0.eq iff the exception
89  * occurred in kernel mode (i.e. MSR:PR = 0).
90  */
91         .globl  transfer_to_handler_full
92 transfer_to_handler_full:
93         SAVE_NVGPRS(r11)
94         /* fall through */
95
96         .globl  transfer_to_handler
97 transfer_to_handler:
98         stw     r2,GPR2(r11)
99         stw     r12,_NIP(r11)
100         stw     r9,_MSR(r11)
101         andi.   r2,r9,MSR_PR
102         mfctr   r12
103         mfspr   r2,SPRN_XER
104         stw     r12,_CTR(r11)
105         stw     r2,_XER(r11)
106         mfspr   r12,SPRN_SPRG3
107         addi    r2,r12,-THREAD
108         tovirt(r2,r2)                   /* set r2 to current */
109         beq     2f                      /* if from user, fix up THREAD.regs */
110         addi    r11,r1,STACK_FRAME_OVERHEAD
111         stw     r11,PT_REGS(r12)
112 #if defined(CONFIG_40x) || defined(CONFIG_BOOKE)
113         /* Check to see if the dbcr0 register is set up to debug.  Use the
114            single-step bit to do this. */
115         lwz     r12,THREAD_DBCR0(r12)
116         andis.  r12,r12,DBCR0_IC@h
117         beq+    3f
118         /* From user and task is ptraced - load up global dbcr0 */
119         li      r12,-1                  /* clear all pending debug events */
120         mtspr   SPRN_DBSR,r12
121         lis     r11,global_dbcr0@ha
122         tophys(r11,r11)
123         addi    r11,r11,global_dbcr0@l
124         lwz     r12,0(r11)
125         mtspr   SPRN_DBCR0,r12
126         lwz     r12,4(r11)
127         addi    r12,r12,-1
128         stw     r12,4(r11)
129 #endif
130         b       3f
131 2:      /* if from kernel, check interrupted DOZE/NAP mode and
132          * check for stack overflow
133          */
134 #ifdef CONFIG_6xx
135         mfspr   r11,SPRN_HID0
136         mtcr    r11
137 BEGIN_FTR_SECTION
138         bt-     8,power_save_6xx_restore        /* Check DOZE */
139 END_FTR_SECTION_IFSET(CPU_FTR_CAN_DOZE)
140 BEGIN_FTR_SECTION
141         bt-     9,power_save_6xx_restore        /* Check NAP */
142 END_FTR_SECTION_IFSET(CPU_FTR_CAN_NAP)
143 #endif /* CONFIG_6xx */
144         .globl transfer_to_handler_cont
145 transfer_to_handler_cont:
146         lwz     r11,THREAD_INFO-THREAD(r12)
147         cmplw   r1,r11                  /* if r1 <= current->thread_info */
148         ble-    stack_ovf               /* then the kernel stack overflowed */
149 3:
150         mflr    r9
151         lwz     r11,0(r9)               /* virtual address of handler */
152         lwz     r9,4(r9)                /* where to go when done */
153         FIX_SRR1(r10,r12)
154         mtspr   SPRN_SRR0,r11
155         mtspr   SPRN_SRR1,r10
156         mtlr    r9
157         SYNC
158         RFI                             /* jump to handler, enable MMU */
159
160 /*
161  * On kernel stack overflow, load up an initial stack pointer
162  * and call StackOverflow(regs), which should not return.
163  */
164 stack_ovf:
165         /* sometimes we use a statically-allocated stack, which is OK. */
166         lis     r11,_end@h
167         ori     r11,r11,_end@l
168         cmplw   r1,r11
169         ble     3b                      /* r1 <= &_end is OK */
170         SAVE_NVGPRS(r11)
171         addi    r3,r1,STACK_FRAME_OVERHEAD
172         lis     r1,init_thread_union@ha
173         addi    r1,r1,init_thread_union@l
174         addi    r1,r1,THREAD_SIZE-STACK_FRAME_OVERHEAD
175         lis     r9,StackOverflow@ha
176         addi    r9,r9,StackOverflow@l
177         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
178         FIX_SRR1(r10,r12)
179         mtspr   SPRN_SRR0,r9
180         mtspr   SPRN_SRR1,r10
181         SYNC
182         RFI
183
184 /*
185  * Handle a system call.
186  */
187         .stabs  "arch/ppc/kernel/",N_SO,0,0,0f
188         .stabs  "entry.S",N_SO,0,0,0f
189 0:
190
191 _GLOBAL(DoSyscall)
192         stw     r0,THREAD+LAST_SYSCALL(r2)
193         stw     r3,ORIG_GPR3(r1)
194         li      r12,0
195         stw     r12,RESULT(r1)
196         lwz     r11,_CCR(r1)    /* Clear SO bit in CR */
197         rlwinm  r11,r11,0,4,2
198         stw     r11,_CCR(r1)
199 #ifdef SHOW_SYSCALLS
200         bl      do_show_syscall
201 #endif /* SHOW_SYSCALLS */
202         rlwinm  r10,r1,0,0,18   /* current_thread_info() */
203         lwz     r11,TI_FLAGS(r10)
204         andi.   r11,r11,_TIF_SYSCALL_T_OR_A
205         bne-    syscall_dotrace
206 syscall_dotrace_cont:
207         cmplwi  0,r0,NR_syscalls
208         lis     r10,sys_call_table@h
209         ori     r10,r10,sys_call_table@l
210         slwi    r0,r0,2
211         bge-    66f
212         lwzx    r10,r10,r0      /* Fetch system call handler [ptr] */
213         mtlr    r10
214         addi    r9,r1,STACK_FRAME_OVERHEAD
215         PPC440EP_ERR42
216         blrl                    /* Call handler */
217         .globl  ret_from_syscall
218 ret_from_syscall:
219 #ifdef SHOW_SYSCALLS
220         bl      do_show_syscall_exit
221 #endif
222         mr      r6,r3
223         rlwinm  r12,r1,0,0,18   /* current_thread_info() */
224         /* disable interrupts so current_thread_info()->flags can't change */
225         LOAD_MSR_KERNEL(r10,MSR_KERNEL) /* doesn't include MSR_EE */
226         SYNC
227         MTMSRD(r10)
228         lwz     r9,TI_FLAGS(r12)
229         li      r8,-_LAST_ERRNO
230         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SINGLESTEP|_TIF_USER_WORK_MASK|_TIF_PERSYSCALL_MASK)
231         bne-    syscall_exit_work
232         cmplw   0,r3,r8
233         blt+    syscall_exit_cont
234         lwz     r11,_CCR(r1)                    /* Load CR */
235         neg     r3,r3
236         oris    r11,r11,0x1000  /* Set SO bit in CR */
237         stw     r11,_CCR(r1)
238 syscall_exit_cont:
239 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
240         /* If the process has its own DBCR0 value, load it up.  The single
241            step bit tells us that dbcr0 should be loaded. */
242         lwz     r0,THREAD+THREAD_DBCR0(r2)
243         andis.  r10,r0,DBCR0_IC@h
244         bnel-   load_dbcr0
245 #endif
246         stwcx.  r0,0,r1                 /* to clear the reservation */
247         lwz     r4,_LINK(r1)
248         lwz     r5,_CCR(r1)
249         mtlr    r4
250         mtcr    r5
251         lwz     r7,_NIP(r1)
252         lwz     r8,_MSR(r1)
253         FIX_SRR1(r8, r0)
254         lwz     r2,GPR2(r1)
255         lwz     r1,GPR1(r1)
256         mtspr   SPRN_SRR0,r7
257         mtspr   SPRN_SRR1,r8
258         SYNC
259         RFI
260
261 66:     li      r3,-ENOSYS
262         b       ret_from_syscall
263
264         .globl  ret_from_fork
265 ret_from_fork:
266         REST_NVGPRS(r1)
267         bl      schedule_tail
268         li      r3,0
269         b       ret_from_syscall
270
271 /* Traced system call support */
272 syscall_dotrace:
273         SAVE_NVGPRS(r1)
274         li      r0,0xc00
275         stw     r0,TRAP(r1)
276         addi    r3,r1,STACK_FRAME_OVERHEAD
277         bl      do_syscall_trace_enter
278         lwz     r0,GPR0(r1)     /* Restore original registers */
279         lwz     r3,GPR3(r1)
280         lwz     r4,GPR4(r1)
281         lwz     r5,GPR5(r1)
282         lwz     r6,GPR6(r1)
283         lwz     r7,GPR7(r1)
284         lwz     r8,GPR8(r1)
285         REST_NVGPRS(r1)
286         b       syscall_dotrace_cont
287
288 syscall_exit_work:
289         andi.   r0,r9,_TIF_RESTOREALL
290         beq+    0f
291         REST_NVGPRS(r1)
292         b       2f
293 0:      cmplw   0,r3,r8
294         blt+    1f
295         andi.   r0,r9,_TIF_NOERROR
296         bne-    1f
297         lwz     r11,_CCR(r1)                    /* Load CR */
298         neg     r3,r3
299         oris    r11,r11,0x1000  /* Set SO bit in CR */
300         stw     r11,_CCR(r1)
301
302 1:      stw     r6,RESULT(r1)   /* Save result */
303         stw     r3,GPR3(r1)     /* Update return value */
304 2:      andi.   r0,r9,(_TIF_PERSYSCALL_MASK)
305         beq     4f
306
307         /* Clear per-syscall TIF flags if any are set.  */
308
309         li      r11,_TIF_PERSYSCALL_MASK
310         addi    r12,r12,TI_FLAGS
311 3:      lwarx   r8,0,r12
312         andc    r8,r8,r11
313 #ifdef CONFIG_IBM405_ERR77
314         dcbt    0,r12
315 #endif
316         stwcx.  r8,0,r12
317         bne-    3b
318         subi    r12,r12,TI_FLAGS
319         
320 4:      /* Anything which requires enabling interrupts? */
321         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SINGLESTEP)
322         beq     ret_from_except
323
324         /* Re-enable interrupts */
325         ori     r10,r10,MSR_EE
326         SYNC
327         MTMSRD(r10)
328
329         /* Save NVGPRS if they're not saved already */
330         lwz     r4,TRAP(r1)
331         andi.   r4,r4,1
332         beq     5f
333         SAVE_NVGPRS(r1)
334         li      r4,0xc00
335         stw     r4,TRAP(r1)
336 5:
337         addi    r3,r1,STACK_FRAME_OVERHEAD
338         bl      do_syscall_trace_leave
339         b       ret_from_except_full
340
341 #ifdef SHOW_SYSCALLS
342 do_show_syscall:
343 #ifdef SHOW_SYSCALLS_TASK
344         lis     r11,show_syscalls_task@ha
345         lwz     r11,show_syscalls_task@l(r11)
346         cmp     0,r2,r11
347         bnelr
348 #endif
349         stw     r31,GPR31(r1)
350         mflr    r31
351         lis     r3,7f@ha
352         addi    r3,r3,7f@l
353         lwz     r4,GPR0(r1)
354         lwz     r5,GPR3(r1)
355         lwz     r6,GPR4(r1)
356         lwz     r7,GPR5(r1)
357         lwz     r8,GPR6(r1)
358         lwz     r9,GPR7(r1)
359         bl      printk
360         lis     r3,77f@ha
361         addi    r3,r3,77f@l
362         lwz     r4,GPR8(r1)
363         mr      r5,r2
364         bl      printk
365         lwz     r0,GPR0(r1)
366         lwz     r3,GPR3(r1)
367         lwz     r4,GPR4(r1)
368         lwz     r5,GPR5(r1)
369         lwz     r6,GPR6(r1)
370         lwz     r7,GPR7(r1)
371         lwz     r8,GPR8(r1)
372         mtlr    r31
373         lwz     r31,GPR31(r1)
374         blr
375
376 do_show_syscall_exit:
377 #ifdef SHOW_SYSCALLS_TASK
378         lis     r11,show_syscalls_task@ha
379         lwz     r11,show_syscalls_task@l(r11)
380         cmp     0,r2,r11
381         bnelr
382 #endif
383         stw     r31,GPR31(r1)
384         mflr    r31
385         stw     r3,RESULT(r1)   /* Save result */
386         mr      r4,r3
387         lis     r3,79f@ha
388         addi    r3,r3,79f@l
389         bl      printk
390         lwz     r3,RESULT(r1)
391         mtlr    r31
392         lwz     r31,GPR31(r1)
393         blr
394
395 7:      .string "syscall %d(%x, %x, %x, %x, %x, "
396 77:     .string "%x), current=%p\n"
397 79:     .string " -> %x\n"
398         .align  2,0
399
400 #ifdef SHOW_SYSCALLS_TASK
401         .data
402         .globl  show_syscalls_task
403 show_syscalls_task:
404         .long   -1
405         .text
406 #endif
407 #endif /* SHOW_SYSCALLS */
408
409 /*
410  * The fork/clone functions need to copy the full register set into
411  * the child process. Therefore we need to save all the nonvolatile
412  * registers (r13 - r31) before calling the C code.
413  */
414         .globl  ppc_fork
415 ppc_fork:
416         SAVE_NVGPRS(r1)
417         lwz     r0,TRAP(r1)
418         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
419         stw     r0,TRAP(r1)             /* register set saved */
420         b       sys_fork
421
422         .globl  ppc_vfork
423 ppc_vfork:
424         SAVE_NVGPRS(r1)
425         lwz     r0,TRAP(r1)
426         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
427         stw     r0,TRAP(r1)             /* register set saved */
428         b       sys_vfork
429
430         .globl  ppc_clone
431 ppc_clone:
432         SAVE_NVGPRS(r1)
433         lwz     r0,TRAP(r1)
434         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
435         stw     r0,TRAP(r1)             /* register set saved */
436         b       sys_clone
437
438         .globl  ppc_swapcontext
439 ppc_swapcontext:
440         SAVE_NVGPRS(r1)
441         lwz     r0,TRAP(r1)
442         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
443         stw     r0,TRAP(r1)             /* register set saved */
444         b       sys_swapcontext
445
446 /*
447  * Top-level page fault handling.
448  * This is in assembler because if do_page_fault tells us that
449  * it is a bad kernel page fault, we want to save the non-volatile
450  * registers before calling bad_page_fault.
451  */
452         .globl  handle_page_fault
453 handle_page_fault:
454         stw     r4,_DAR(r1)
455         addi    r3,r1,STACK_FRAME_OVERHEAD
456         bl      do_page_fault
457         cmpwi   r3,0
458         beq+    ret_from_except
459         SAVE_NVGPRS(r1)
460         lwz     r0,TRAP(r1)
461         clrrwi  r0,r0,1
462         stw     r0,TRAP(r1)
463         mr      r5,r3
464         addi    r3,r1,STACK_FRAME_OVERHEAD
465         lwz     r4,_DAR(r1)
466         bl      bad_page_fault
467         b       ret_from_except_full
468
469 /*
470  * This routine switches between two different tasks.  The process
471  * state of one is saved on its kernel stack.  Then the state
472  * of the other is restored from its kernel stack.  The memory
473  * management hardware is updated to the second process's state.
474  * Finally, we can return to the second process.
475  * On entry, r3 points to the THREAD for the current task, r4
476  * points to the THREAD for the new task.
477  *
478  * This routine is always called with interrupts disabled.
479  *
480  * Note: there are two ways to get to the "going out" portion
481  * of this code; either by coming in via the entry (_switch)
482  * or via "fork" which must set up an environment equivalent
483  * to the "_switch" path.  If you change this , you'll have to
484  * change the fork code also.
485  *
486  * The code which creates the new task context is in 'copy_thread'
487  * in arch/ppc/kernel/process.c
488  */
489 _GLOBAL(_switch)
490         stwu    r1,-INT_FRAME_SIZE(r1)
491         mflr    r0
492         stw     r0,INT_FRAME_SIZE+4(r1)
493         /* r3-r12 are caller saved -- Cort */
494         SAVE_NVGPRS(r1)
495         stw     r0,_NIP(r1)     /* Return to switch caller */
496         mfmsr   r11
497         li      r0,MSR_FP       /* Disable floating-point */
498 #ifdef CONFIG_ALTIVEC
499 BEGIN_FTR_SECTION
500         oris    r0,r0,MSR_VEC@h /* Disable altivec */
501         mfspr   r12,SPRN_VRSAVE /* save vrsave register value */
502         stw     r12,THREAD+THREAD_VRSAVE(r2)
503 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
504 #endif /* CONFIG_ALTIVEC */
505 #ifdef CONFIG_SPE
506         oris    r0,r0,MSR_SPE@h  /* Disable SPE */
507         mfspr   r12,SPRN_SPEFSCR /* save spefscr register value */
508         stw     r12,THREAD+THREAD_SPEFSCR(r2)
509 #endif /* CONFIG_SPE */
510         and.    r0,r0,r11       /* FP or altivec or SPE enabled? */
511         beq+    1f
512         andc    r11,r11,r0
513         MTMSRD(r11)
514         isync
515 1:      stw     r11,_MSR(r1)
516         mfcr    r10
517         stw     r10,_CCR(r1)
518         stw     r1,KSP(r3)      /* Set old stack pointer */
519
520 #ifdef CONFIG_SMP
521         /* We need a sync somewhere here to make sure that if the
522          * previous task gets rescheduled on another CPU, it sees all
523          * stores it has performed on this one.
524          */
525         sync
526 #endif /* CONFIG_SMP */
527
528         tophys(r0,r4)
529         CLR_TOP32(r0)
530         mtspr   SPRN_SPRG3,r0   /* Update current THREAD phys addr */
531         lwz     r1,KSP(r4)      /* Load new stack pointer */
532
533         /* save the old current 'last' for return value */
534         mr      r3,r2
535         addi    r2,r4,-THREAD   /* Update current */
536
537 #ifdef CONFIG_ALTIVEC
538 BEGIN_FTR_SECTION
539         lwz     r0,THREAD+THREAD_VRSAVE(r2)
540         mtspr   SPRN_VRSAVE,r0          /* if G4, restore VRSAVE reg */
541 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
542 #endif /* CONFIG_ALTIVEC */
543 #ifdef CONFIG_SPE
544         lwz     r0,THREAD+THREAD_SPEFSCR(r2)
545         mtspr   SPRN_SPEFSCR,r0         /* restore SPEFSCR reg */
546 #endif /* CONFIG_SPE */
547
548         lwz     r0,_CCR(r1)
549         mtcrf   0xFF,r0
550         /* r3-r12 are destroyed -- Cort */
551         REST_NVGPRS(r1)
552
553         lwz     r4,_NIP(r1)     /* Return to _switch caller in new task */
554         mtlr    r4
555         addi    r1,r1,INT_FRAME_SIZE
556         blr
557
558         .globl  fast_exception_return
559 fast_exception_return:
560 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
561         andi.   r10,r9,MSR_RI           /* check for recoverable interrupt */
562         beq     1f                      /* if not, we've got problems */
563 #endif
564
565 2:      REST_4GPRS(3, r11)
566         lwz     r10,_CCR(r11)
567         REST_GPR(1, r11)
568         mtcr    r10
569         lwz     r10,_LINK(r11)
570         mtlr    r10
571         REST_GPR(10, r11)
572         mtspr   SPRN_SRR1,r9
573         mtspr   SPRN_SRR0,r12
574         REST_GPR(9, r11)
575         REST_GPR(12, r11)
576         lwz     r11,GPR11(r11)
577         SYNC
578         RFI
579
580 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
581 /* check if the exception happened in a restartable section */
582 1:      lis     r3,exc_exit_restart_end@ha
583         addi    r3,r3,exc_exit_restart_end@l
584         cmplw   r12,r3
585         bge     3f
586         lis     r4,exc_exit_restart@ha
587         addi    r4,r4,exc_exit_restart@l
588         cmplw   r12,r4
589         blt     3f
590         lis     r3,fee_restarts@ha
591         tophys(r3,r3)
592         lwz     r5,fee_restarts@l(r3)
593         addi    r5,r5,1
594         stw     r5,fee_restarts@l(r3)
595         mr      r12,r4          /* restart at exc_exit_restart */
596         b       2b
597
598         .comm   fee_restarts,4
599
600 /* aargh, a nonrecoverable interrupt, panic */
601 /* aargh, we don't know which trap this is */
602 /* but the 601 doesn't implement the RI bit, so assume it's OK */
603 3:
604 BEGIN_FTR_SECTION
605         b       2b
606 END_FTR_SECTION_IFSET(CPU_FTR_601)
607         li      r10,-1
608         stw     r10,TRAP(r11)
609         addi    r3,r1,STACK_FRAME_OVERHEAD
610         lis     r10,MSR_KERNEL@h
611         ori     r10,r10,MSR_KERNEL@l
612         bl      transfer_to_handler_full
613         .long   nonrecoverable_exception
614         .long   ret_from_except
615 #endif
616
617         .globl  ret_from_except_full
618 ret_from_except_full:
619         REST_NVGPRS(r1)
620         /* fall through */
621
622         .globl  ret_from_except
623 ret_from_except:
624         /* Hard-disable interrupts so that current_thread_info()->flags
625          * can't change between when we test it and when we return
626          * from the interrupt. */
627         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
628         SYNC                    /* Some chip revs have problems here... */
629         MTMSRD(r10)             /* disable interrupts */
630
631         lwz     r3,_MSR(r1)     /* Returning to user mode? */
632         andi.   r0,r3,MSR_PR
633         beq     resume_kernel
634
635 user_exc_return:                /* r10 contains MSR_KERNEL here */
636         /* Check current_thread_info()->flags */
637         rlwinm  r9,r1,0,0,18
638         lwz     r9,TI_FLAGS(r9)
639         andi.   r0,r9,(_TIF_SIGPENDING|_TIF_RESTORE_SIGMASK|_TIF_NEED_RESCHED)
640         bne     do_work
641
642 restore_user:
643 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
644         /* Check whether this process has its own DBCR0 value.  The single
645            step bit tells us that dbcr0 should be loaded. */
646         lwz     r0,THREAD+THREAD_DBCR0(r2)
647         andis.  r10,r0,DBCR0_IC@h
648         bnel-   load_dbcr0
649 #endif
650
651 #ifdef CONFIG_PREEMPT
652         b       restore
653
654 /* N.B. the only way to get here is from the beq following ret_from_except. */
655 resume_kernel:
656         /* check current_thread_info->preempt_count */
657         rlwinm  r9,r1,0,0,18
658         lwz     r0,TI_PREEMPT(r9)
659         cmpwi   0,r0,0          /* if non-zero, just restore regs and return */
660         bne     restore
661         lwz     r0,TI_FLAGS(r9)
662         andi.   r0,r0,_TIF_NEED_RESCHED
663         beq+    restore
664         andi.   r0,r3,MSR_EE    /* interrupts off? */
665         beq     restore         /* don't schedule if so */
666 1:      bl      preempt_schedule_irq
667         rlwinm  r9,r1,0,0,18
668         lwz     r3,TI_FLAGS(r9)
669         andi.   r0,r3,_TIF_NEED_RESCHED
670         bne-    1b
671 #else
672 resume_kernel:
673 #endif /* CONFIG_PREEMPT */
674
675         /* interrupts are hard-disabled at this point */
676 restore:
677         lwz     r0,GPR0(r1)
678         lwz     r2,GPR2(r1)
679         REST_4GPRS(3, r1)
680         REST_2GPRS(7, r1)
681
682         lwz     r10,_XER(r1)
683         lwz     r11,_CTR(r1)
684         mtspr   SPRN_XER,r10
685         mtctr   r11
686
687         PPC405_ERR77(0,r1)
688         stwcx.  r0,0,r1                 /* to clear the reservation */
689
690 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
691         lwz     r9,_MSR(r1)
692         andi.   r10,r9,MSR_RI           /* check if this exception occurred */
693         beql    nonrecoverable          /* at a bad place (MSR:RI = 0) */
694
695         lwz     r10,_CCR(r1)
696         lwz     r11,_LINK(r1)
697         mtcrf   0xFF,r10
698         mtlr    r11
699
700         /*
701          * Once we put values in SRR0 and SRR1, we are in a state
702          * where exceptions are not recoverable, since taking an
703          * exception will trash SRR0 and SRR1.  Therefore we clear the
704          * MSR:RI bit to indicate this.  If we do take an exception,
705          * we can't return to the point of the exception but we
706          * can restart the exception exit path at the label
707          * exc_exit_restart below.  -- paulus
708          */
709         LOAD_MSR_KERNEL(r10,MSR_KERNEL & ~MSR_RI)
710         SYNC
711         MTMSRD(r10)             /* clear the RI bit */
712         .globl exc_exit_restart
713 exc_exit_restart:
714         lwz     r9,_MSR(r1)
715         lwz     r12,_NIP(r1)
716         FIX_SRR1(r9,r10)
717         mtspr   SPRN_SRR0,r12
718         mtspr   SPRN_SRR1,r9
719         REST_4GPRS(9, r1)
720         lwz     r1,GPR1(r1)
721         .globl exc_exit_restart_end
722 exc_exit_restart_end:
723         SYNC
724         RFI
725
726 #else /* !(CONFIG_4xx || CONFIG_BOOKE) */
727         /*
728          * This is a bit different on 4xx/Book-E because it doesn't have
729          * the RI bit in the MSR.
730          * The TLB miss handler checks if we have interrupted
731          * the exception exit path and restarts it if so
732          * (well maybe one day it will... :).
733          */
734         lwz     r11,_LINK(r1)
735         mtlr    r11
736         lwz     r10,_CCR(r1)
737         mtcrf   0xff,r10
738         REST_2GPRS(9, r1)
739         .globl exc_exit_restart
740 exc_exit_restart:
741         lwz     r11,_NIP(r1)
742         lwz     r12,_MSR(r1)
743 exc_exit_start:
744         mtspr   SPRN_SRR0,r11
745         mtspr   SPRN_SRR1,r12
746         REST_2GPRS(11, r1)
747         lwz     r1,GPR1(r1)
748         .globl exc_exit_restart_end
749 exc_exit_restart_end:
750         PPC405_ERR77_SYNC
751         rfi
752         b       .                       /* prevent prefetch past rfi */
753
754 /*
755  * Returning from a critical interrupt in user mode doesn't need
756  * to be any different from a normal exception.  For a critical
757  * interrupt in the kernel, we just return (without checking for
758  * preemption) since the interrupt may have happened at some crucial
759  * place (e.g. inside the TLB miss handler), and because we will be
760  * running with r1 pointing into critical_stack, not the current
761  * process's kernel stack (and therefore current_thread_info() will
762  * give the wrong answer).
763  * We have to restore various SPRs that may have been in use at the
764  * time of the critical interrupt.
765  *
766  */
767 #ifdef CONFIG_40x
768 #define PPC_40x_TURN_OFF_MSR_DR                                             \
769         /* avoid any possible TLB misses here by turning off MSR.DR, we     \
770          * assume the instructions here are mapped by a pinned TLB entry */ \
771         li      r10,MSR_IR;                                                 \
772         mtmsr   r10;                                                        \
773         isync;                                                              \
774         tophys(r1, r1);
775 #else
776 #define PPC_40x_TURN_OFF_MSR_DR
777 #endif
778
779 #define RET_FROM_EXC_LEVEL(exc_lvl_srr0, exc_lvl_srr1, exc_lvl_rfi)     \
780         REST_NVGPRS(r1);                                                \
781         lwz     r3,_MSR(r1);                                            \
782         andi.   r3,r3,MSR_PR;                                           \
783         LOAD_MSR_KERNEL(r10,MSR_KERNEL);                                \
784         bne     user_exc_return;                                        \
785         lwz     r0,GPR0(r1);                                            \
786         lwz     r2,GPR2(r1);                                            \
787         REST_4GPRS(3, r1);                                              \
788         REST_2GPRS(7, r1);                                              \
789         lwz     r10,_XER(r1);                                           \
790         lwz     r11,_CTR(r1);                                           \
791         mtspr   SPRN_XER,r10;                                           \
792         mtctr   r11;                                                    \
793         PPC405_ERR77(0,r1);                                             \
794         stwcx.  r0,0,r1;                /* to clear the reservation */  \
795         lwz     r11,_LINK(r1);                                          \
796         mtlr    r11;                                                    \
797         lwz     r10,_CCR(r1);                                           \
798         mtcrf   0xff,r10;                                               \
799         PPC_40x_TURN_OFF_MSR_DR;                                        \
800         lwz     r9,_DEAR(r1);                                           \
801         lwz     r10,_ESR(r1);                                           \
802         mtspr   SPRN_DEAR,r9;                                           \
803         mtspr   SPRN_ESR,r10;                                           \
804         lwz     r11,_NIP(r1);                                           \
805         lwz     r12,_MSR(r1);                                           \
806         mtspr   exc_lvl_srr0,r11;                                       \
807         mtspr   exc_lvl_srr1,r12;                                       \
808         lwz     r9,GPR9(r1);                                            \
809         lwz     r12,GPR12(r1);                                          \
810         lwz     r10,GPR10(r1);                                          \
811         lwz     r11,GPR11(r1);                                          \
812         lwz     r1,GPR1(r1);                                            \
813         PPC405_ERR77_SYNC;                                              \
814         exc_lvl_rfi;                                                    \
815         b       .;              /* prevent prefetch past exc_lvl_rfi */
816
817         .globl  ret_from_crit_exc
818 ret_from_crit_exc:
819         RET_FROM_EXC_LEVEL(SPRN_CSRR0, SPRN_CSRR1, RFCI)
820
821 #ifdef CONFIG_BOOKE
822         .globl  ret_from_debug_exc
823 ret_from_debug_exc:
824         RET_FROM_EXC_LEVEL(SPRN_DSRR0, SPRN_DSRR1, RFDI)
825
826         .globl  ret_from_mcheck_exc
827 ret_from_mcheck_exc:
828         RET_FROM_EXC_LEVEL(SPRN_MCSRR0, SPRN_MCSRR1, RFMCI)
829 #endif /* CONFIG_BOOKE */
830
831 /*
832  * Load the DBCR0 value for a task that is being ptraced,
833  * having first saved away the global DBCR0.  Note that r0
834  * has the dbcr0 value to set upon entry to this.
835  */
836 load_dbcr0:
837         mfmsr   r10             /* first disable debug exceptions */
838         rlwinm  r10,r10,0,~MSR_DE
839         mtmsr   r10
840         isync
841         mfspr   r10,SPRN_DBCR0
842         lis     r11,global_dbcr0@ha
843         addi    r11,r11,global_dbcr0@l
844         stw     r10,0(r11)
845         mtspr   SPRN_DBCR0,r0
846         lwz     r10,4(r11)
847         addi    r10,r10,1
848         stw     r10,4(r11)
849         li      r11,-1
850         mtspr   SPRN_DBSR,r11   /* clear all pending debug events */
851         blr
852
853         .comm   global_dbcr0,8
854 #endif /* !(CONFIG_4xx || CONFIG_BOOKE) */
855
856 do_work:                        /* r10 contains MSR_KERNEL here */
857         andi.   r0,r9,_TIF_NEED_RESCHED
858         beq     do_user_signal
859
860 do_resched:                     /* r10 contains MSR_KERNEL here */
861         ori     r10,r10,MSR_EE
862         SYNC
863         MTMSRD(r10)             /* hard-enable interrupts */
864         bl      schedule
865 recheck:
866         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
867         SYNC
868         MTMSRD(r10)             /* disable interrupts */
869         rlwinm  r9,r1,0,0,18
870         lwz     r9,TI_FLAGS(r9)
871         andi.   r0,r9,_TIF_NEED_RESCHED
872         bne-    do_resched
873         andi.   r0,r9,_TIF_SIGPENDING
874         beq     restore_user
875 do_user_signal:                 /* r10 contains MSR_KERNEL here */
876         ori     r10,r10,MSR_EE
877         SYNC
878         MTMSRD(r10)             /* hard-enable interrupts */
879         /* save r13-r31 in the exception frame, if not already done */
880         lwz     r3,TRAP(r1)
881         andi.   r0,r3,1
882         beq     2f
883         SAVE_NVGPRS(r1)
884         rlwinm  r3,r3,0,0,30
885         stw     r3,TRAP(r1)
886 2:      li      r3,0
887         addi    r4,r1,STACK_FRAME_OVERHEAD
888         bl      do_signal
889         REST_NVGPRS(r1)
890         b       recheck
891
892 /*
893  * We come here when we are at the end of handling an exception
894  * that occurred at a place where taking an exception will lose
895  * state information, such as the contents of SRR0 and SRR1.
896  */
897 nonrecoverable:
898         lis     r10,exc_exit_restart_end@ha
899         addi    r10,r10,exc_exit_restart_end@l
900         cmplw   r12,r10
901         bge     3f
902         lis     r11,exc_exit_restart@ha
903         addi    r11,r11,exc_exit_restart@l
904         cmplw   r12,r11
905         blt     3f
906         lis     r10,ee_restarts@ha
907         lwz     r12,ee_restarts@l(r10)
908         addi    r12,r12,1
909         stw     r12,ee_restarts@l(r10)
910         mr      r12,r11         /* restart at exc_exit_restart */
911         blr
912 3:      /* OK, we can't recover, kill this process */
913         /* but the 601 doesn't implement the RI bit, so assume it's OK */
914 BEGIN_FTR_SECTION
915         blr
916 END_FTR_SECTION_IFSET(CPU_FTR_601)
917         lwz     r3,TRAP(r1)
918         andi.   r0,r3,1
919         beq     4f
920         SAVE_NVGPRS(r1)
921         rlwinm  r3,r3,0,0,30
922         stw     r3,TRAP(r1)
923 4:      addi    r3,r1,STACK_FRAME_OVERHEAD
924         bl      nonrecoverable_exception
925         /* shouldn't return */
926         b       4b
927
928         .comm   ee_restarts,4
929
930 /*
931  * PROM code for specific machines follows.  Put it
932  * here so it's easy to add arch-specific sections later.
933  * -- Cort
934  */
935 #ifdef CONFIG_PPC_OF
936 /*
937  * On CHRP, the Run-Time Abstraction Services (RTAS) have to be
938  * called with the MMU off.
939  */
940 _GLOBAL(enter_rtas)
941         stwu    r1,-INT_FRAME_SIZE(r1)
942         mflr    r0
943         stw     r0,INT_FRAME_SIZE+4(r1)
944         lis     r4,rtas_data@ha
945         lwz     r4,rtas_data@l(r4)
946         lis     r6,1f@ha        /* physical return address for rtas */
947         addi    r6,r6,1f@l
948         tophys(r6,r6)
949         tophys(r7,r1)
950         lis     r8,rtas_entry@ha
951         lwz     r8,rtas_entry@l(r8)
952         mfmsr   r9
953         stw     r9,8(r1)
954         LOAD_MSR_KERNEL(r0,MSR_KERNEL)
955         SYNC                    /* disable interrupts so SRR0/1 */
956         MTMSRD(r0)              /* don't get trashed */
957         li      r9,MSR_KERNEL & ~(MSR_IR|MSR_DR)
958         mtlr    r6
959         CLR_TOP32(r7)
960         mtspr   SPRN_SPRG2,r7
961         mtspr   SPRN_SRR0,r8
962         mtspr   SPRN_SRR1,r9
963         RFI
964 1:      tophys(r9,r1)
965         lwz     r8,INT_FRAME_SIZE+4(r9) /* get return address */
966         lwz     r9,8(r9)        /* original msr value */
967         FIX_SRR1(r9,r0)
968         addi    r1,r1,INT_FRAME_SIZE
969         li      r0,0
970         mtspr   SPRN_SPRG2,r0
971         mtspr   SPRN_SRR0,r8
972         mtspr   SPRN_SRR1,r9
973         RFI                     /* return to caller */
974
975         .globl  machine_check_in_rtas
976 machine_check_in_rtas:
977         twi     31,0,0
978         /* XXX load up BATs and panic */
979
980 #endif /* CONFIG_PPC_OF */