[PATCH] powerpc64: remove broken/bitrotted HMT support
[linux-2.6] / arch / powerpc / kernel / entry_32.S
1 /*
2  *  PowerPC version
3  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
4  *  Rewritten by Cort Dougan (cort@fsmlabs.com) for PReP
5  *    Copyright (C) 1996 Cort Dougan <cort@fsmlabs.com>
6  *  Adapted for Power Macintosh by Paul Mackerras.
7  *  Low-level exception handlers and MMU support
8  *  rewritten by Paul Mackerras.
9  *    Copyright (C) 1996 Paul Mackerras.
10  *  MPC8xx modifications Copyright (C) 1997 Dan Malek (dmalek@jlc.net).
11  *
12  *  This file contains the system call entry code, context switch
13  *  code, and exception/interrupt return code for PowerPC.
14  *
15  *  This program is free software; you can redistribute it and/or
16  *  modify it under the terms of the GNU General Public License
17  *  as published by the Free Software Foundation; either version
18  *  2 of the License, or (at your option) any later version.
19  *
20  */
21
22 #include <linux/config.h>
23 #include <linux/errno.h>
24 #include <linux/sys.h>
25 #include <linux/threads.h>
26 #include <asm/reg.h>
27 #include <asm/page.h>
28 #include <asm/mmu.h>
29 #include <asm/cputable.h>
30 #include <asm/thread_info.h>
31 #include <asm/ppc_asm.h>
32 #include <asm/asm-offsets.h>
33 #include <asm/unistd.h>
34
35 #undef SHOW_SYSCALLS
36 #undef SHOW_SYSCALLS_TASK
37
38 /*
39  * MSR_KERNEL is > 0x10000 on 4xx/Book-E since it include MSR_CE.
40  */
41 #if MSR_KERNEL >= 0x10000
42 #define LOAD_MSR_KERNEL(r, x)   lis r,(x)@h; ori r,r,(x)@l
43 #else
44 #define LOAD_MSR_KERNEL(r, x)   li r,(x)
45 #endif
46
47 #ifdef CONFIG_BOOKE
48 #include "head_booke.h"
49 #define TRANSFER_TO_HANDLER_EXC_LEVEL(exc_level)        \
50         mtspr   exc_level##_SPRG,r8;                    \
51         BOOKE_LOAD_EXC_LEVEL_STACK(exc_level);          \
52         lwz     r0,GPR10-INT_FRAME_SIZE(r8);            \
53         stw     r0,GPR10(r11);                          \
54         lwz     r0,GPR11-INT_FRAME_SIZE(r8);            \
55         stw     r0,GPR11(r11);                          \
56         mfspr   r8,exc_level##_SPRG
57
58         .globl  mcheck_transfer_to_handler
59 mcheck_transfer_to_handler:
60         TRANSFER_TO_HANDLER_EXC_LEVEL(MCHECK)
61         b       transfer_to_handler_full
62
63         .globl  debug_transfer_to_handler
64 debug_transfer_to_handler:
65         TRANSFER_TO_HANDLER_EXC_LEVEL(DEBUG)
66         b       transfer_to_handler_full
67
68         .globl  crit_transfer_to_handler
69 crit_transfer_to_handler:
70         TRANSFER_TO_HANDLER_EXC_LEVEL(CRIT)
71         /* fall through */
72 #endif
73
74 #ifdef CONFIG_40x
75         .globl  crit_transfer_to_handler
76 crit_transfer_to_handler:
77         lwz     r0,crit_r10@l(0)
78         stw     r0,GPR10(r11)
79         lwz     r0,crit_r11@l(0)
80         stw     r0,GPR11(r11)
81         /* fall through */
82 #endif
83
84 /*
85  * This code finishes saving the registers to the exception frame
86  * and jumps to the appropriate handler for the exception, turning
87  * on address translation.
88  * Note that we rely on the caller having set cr0.eq iff the exception
89  * occurred in kernel mode (i.e. MSR:PR = 0).
90  */
91         .globl  transfer_to_handler_full
92 transfer_to_handler_full:
93         SAVE_NVGPRS(r11)
94         /* fall through */
95
96         .globl  transfer_to_handler
97 transfer_to_handler:
98         stw     r2,GPR2(r11)
99         stw     r12,_NIP(r11)
100         stw     r9,_MSR(r11)
101         andi.   r2,r9,MSR_PR
102         mfctr   r12
103         mfspr   r2,SPRN_XER
104         stw     r12,_CTR(r11)
105         stw     r2,_XER(r11)
106         mfspr   r12,SPRN_SPRG3
107         addi    r2,r12,-THREAD
108         tovirt(r2,r2)                   /* set r2 to current */
109         beq     2f                      /* if from user, fix up THREAD.regs */
110         addi    r11,r1,STACK_FRAME_OVERHEAD
111         stw     r11,PT_REGS(r12)
112 #if defined(CONFIG_40x) || defined(CONFIG_BOOKE)
113         /* Check to see if the dbcr0 register is set up to debug.  Use the
114            single-step bit to do this. */
115         lwz     r12,THREAD_DBCR0(r12)
116         andis.  r12,r12,DBCR0_IC@h
117         beq+    3f
118         /* From user and task is ptraced - load up global dbcr0 */
119         li      r12,-1                  /* clear all pending debug events */
120         mtspr   SPRN_DBSR,r12
121         lis     r11,global_dbcr0@ha
122         tophys(r11,r11)
123         addi    r11,r11,global_dbcr0@l
124         lwz     r12,0(r11)
125         mtspr   SPRN_DBCR0,r12
126         lwz     r12,4(r11)
127         addi    r12,r12,-1
128         stw     r12,4(r11)
129 #endif
130         b       3f
131 2:      /* if from kernel, check interrupted DOZE/NAP mode and
132          * check for stack overflow
133          */
134 #ifdef CONFIG_6xx
135         mfspr   r11,SPRN_HID0
136         mtcr    r11
137 BEGIN_FTR_SECTION
138         bt-     8,power_save_6xx_restore        /* Check DOZE */
139 END_FTR_SECTION_IFSET(CPU_FTR_CAN_DOZE)
140 BEGIN_FTR_SECTION
141         bt-     9,power_save_6xx_restore        /* Check NAP */
142 END_FTR_SECTION_IFSET(CPU_FTR_CAN_NAP)
143 #endif /* CONFIG_6xx */
144         .globl transfer_to_handler_cont
145 transfer_to_handler_cont:
146         lwz     r11,THREAD_INFO-THREAD(r12)
147         cmplw   r1,r11                  /* if r1 <= current->thread_info */
148         ble-    stack_ovf               /* then the kernel stack overflowed */
149 3:
150         mflr    r9
151         lwz     r11,0(r9)               /* virtual address of handler */
152         lwz     r9,4(r9)                /* where to go when done */
153         FIX_SRR1(r10,r12)
154         mtspr   SPRN_SRR0,r11
155         mtspr   SPRN_SRR1,r10
156         mtlr    r9
157         SYNC
158         RFI                             /* jump to handler, enable MMU */
159
160 /*
161  * On kernel stack overflow, load up an initial stack pointer
162  * and call StackOverflow(regs), which should not return.
163  */
164 stack_ovf:
165         /* sometimes we use a statically-allocated stack, which is OK. */
166         lis     r11,_end@h
167         ori     r11,r11,_end@l
168         cmplw   r1,r11
169         ble     3b                      /* r1 <= &_end is OK */
170         SAVE_NVGPRS(r11)
171         addi    r3,r1,STACK_FRAME_OVERHEAD
172         lis     r1,init_thread_union@ha
173         addi    r1,r1,init_thread_union@l
174         addi    r1,r1,THREAD_SIZE-STACK_FRAME_OVERHEAD
175         lis     r9,StackOverflow@ha
176         addi    r9,r9,StackOverflow@l
177         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
178         FIX_SRR1(r10,r12)
179         mtspr   SPRN_SRR0,r9
180         mtspr   SPRN_SRR1,r10
181         SYNC
182         RFI
183
184 /*
185  * Handle a system call.
186  */
187         .stabs  "arch/powerpc/kernel/",N_SO,0,0,0f
188         .stabs  "entry_32.S",N_SO,0,0,0f
189 0:
190
191 _GLOBAL(DoSyscall)
192         stw     r0,THREAD+LAST_SYSCALL(r2)
193         stw     r3,ORIG_GPR3(r1)
194         li      r12,0
195         stw     r12,RESULT(r1)
196         lwz     r11,_CCR(r1)    /* Clear SO bit in CR */
197         rlwinm  r11,r11,0,4,2
198         stw     r11,_CCR(r1)
199 #ifdef SHOW_SYSCALLS
200         bl      do_show_syscall
201 #endif /* SHOW_SYSCALLS */
202         rlwinm  r10,r1,0,0,(31-THREAD_SHIFT)    /* current_thread_info() */
203         lwz     r11,TI_FLAGS(r10)
204         andi.   r11,r11,_TIF_SYSCALL_T_OR_A
205         bne-    syscall_dotrace
206 syscall_dotrace_cont:
207         cmplwi  0,r0,NR_syscalls
208         lis     r10,sys_call_table@h
209         ori     r10,r10,sys_call_table@l
210         slwi    r0,r0,2
211         bge-    66f
212         lwzx    r10,r10,r0      /* Fetch system call handler [ptr] */
213         mtlr    r10
214         addi    r9,r1,STACK_FRAME_OVERHEAD
215         PPC440EP_ERR42
216         blrl                    /* Call handler */
217         .globl  ret_from_syscall
218 ret_from_syscall:
219 #ifdef SHOW_SYSCALLS
220         bl      do_show_syscall_exit
221 #endif
222         mr      r6,r3
223         rlwinm  r12,r1,0,0,(31-THREAD_SHIFT)    /* current_thread_info() */
224         /* disable interrupts so current_thread_info()->flags can't change */
225         LOAD_MSR_KERNEL(r10,MSR_KERNEL) /* doesn't include MSR_EE */
226         SYNC
227         MTMSRD(r10)
228         lwz     r9,TI_FLAGS(r12)
229         li      r8,-_LAST_ERRNO
230         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SIGPENDING|_TIF_NEED_RESCHED|_TIF_RESTOREALL|_TIF_RESTORE_SIGMASK)
231         bne-    syscall_exit_work
232         cmplw   0,r3,r8
233         blt+    syscall_exit_cont
234         lwz     r11,_CCR(r1)                    /* Load CR */
235         neg     r3,r3
236         oris    r11,r11,0x1000  /* Set SO bit in CR */
237         stw     r11,_CCR(r1)
238 syscall_exit_cont:
239 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
240         /* If the process has its own DBCR0 value, load it up.  The single
241            step bit tells us that dbcr0 should be loaded. */
242         lwz     r0,THREAD+THREAD_DBCR0(r2)
243         andis.  r10,r0,DBCR0_IC@h
244         bnel-   load_dbcr0
245 #endif
246         stwcx.  r0,0,r1                 /* to clear the reservation */
247         lwz     r4,_LINK(r1)
248         lwz     r5,_CCR(r1)
249         mtlr    r4
250         mtcr    r5
251         lwz     r7,_NIP(r1)
252         lwz     r8,_MSR(r1)
253         FIX_SRR1(r8, r0)
254         lwz     r2,GPR2(r1)
255         lwz     r1,GPR1(r1)
256         mtspr   SPRN_SRR0,r7
257         mtspr   SPRN_SRR1,r8
258         SYNC
259         RFI
260
261 66:     li      r3,-ENOSYS
262         b       ret_from_syscall
263
264         .globl  ret_from_fork
265 ret_from_fork:
266         REST_NVGPRS(r1)
267         bl      schedule_tail
268         li      r3,0
269         b       ret_from_syscall
270
271 /* Traced system call support */
272 syscall_dotrace:
273         SAVE_NVGPRS(r1)
274         li      r0,0xc00
275         stw     r0,_TRAP(r1)
276         addi    r3,r1,STACK_FRAME_OVERHEAD
277         bl      do_syscall_trace_enter
278         lwz     r0,GPR0(r1)     /* Restore original registers */
279         lwz     r3,GPR3(r1)
280         lwz     r4,GPR4(r1)
281         lwz     r5,GPR5(r1)
282         lwz     r6,GPR6(r1)
283         lwz     r7,GPR7(r1)
284         lwz     r8,GPR8(r1)
285         REST_NVGPRS(r1)
286         b       syscall_dotrace_cont
287
288 syscall_exit_work:
289         andi.   r0,r9,_TIF_RESTOREALL
290         bne-    2f
291         cmplw   0,r3,r8
292         blt+    1f
293         andi.   r0,r9,_TIF_NOERROR
294         bne-    1f
295         lwz     r11,_CCR(r1)                    /* Load CR */
296         neg     r3,r3
297         oris    r11,r11,0x1000  /* Set SO bit in CR */
298         stw     r11,_CCR(r1)
299
300 1:      stw     r6,RESULT(r1)   /* Save result */
301         stw     r3,GPR3(r1)     /* Update return value */
302 2:      andi.   r0,r9,(_TIF_PERSYSCALL_MASK)
303         beq     4f
304
305         /* Clear per-syscall TIF flags if any are set, but _leave_
306         _TIF_SAVE_NVGPRS set in r9 since we haven't dealt with that
307         yet.  */
308
309         li      r11,_TIF_PERSYSCALL_MASK
310         addi    r12,r12,TI_FLAGS
311 3:      lwarx   r8,0,r12
312         andc    r8,r8,r11
313 #ifdef CONFIG_IBM405_ERR77
314         dcbt    0,r12
315 #endif
316         stwcx.  r8,0,r12
317         bne-    3b
318         subi    r12,r12,TI_FLAGS
319         
320 4:      /* Anything which requires enabling interrupts? */
321         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SINGLESTEP|_TIF_SAVE_NVGPRS)
322         beq     7f
323
324         /* Save NVGPRS if they're not saved already */
325         lwz     r4,_TRAP(r1)
326         andi.   r4,r4,1
327         beq     5f
328         SAVE_NVGPRS(r1)
329         li      r4,0xc00
330         stw     r4,_TRAP(r1)
331
332         /* Re-enable interrupts */
333 5:      ori     r10,r10,MSR_EE
334         SYNC
335         MTMSRD(r10)
336
337         andi.   r0,r9,_TIF_SAVE_NVGPRS
338         bne     save_user_nvgprs
339
340 save_user_nvgprs_cont:
341         andi.   r0,r9,(_TIF_SYSCALL_T_OR_A|_TIF_SINGLESTEP)
342         beq     7f
343
344         addi    r3,r1,STACK_FRAME_OVERHEAD
345         bl      do_syscall_trace_leave
346         REST_NVGPRS(r1)
347
348 6:      lwz     r3,GPR3(r1)
349         LOAD_MSR_KERNEL(r10,MSR_KERNEL) /* doesn't include MSR_EE */
350         SYNC
351         MTMSRD(r10)             /* disable interrupts again */
352         rlwinm  r12,r1,0,0,(31-THREAD_SHIFT)    /* current_thread_info() */
353         lwz     r9,TI_FLAGS(r12)
354 7:
355         andi.   r0,r9,_TIF_NEED_RESCHED
356         bne     8f
357         lwz     r5,_MSR(r1)
358         andi.   r5,r5,MSR_PR
359         beq     ret_from_except
360         andi.   r0,r9,_TIF_SIGPENDING|_TIF_RESTORE_SIGMASK
361         beq     ret_from_except
362         b       do_user_signal
363 8:
364         ori     r10,r10,MSR_EE
365         SYNC
366         MTMSRD(r10)             /* re-enable interrupts */
367         bl      schedule
368         b       6b
369
370 save_user_nvgprs:
371         lwz     r8,TI_SIGFRAME(r12)
372
373 .macro savewords start, end
374   1:    stw \start,4*(\start)(r8)
375         .section __ex_table,"a"
376         .align  2
377         .long   1b,save_user_nvgprs_fault
378         .previous
379         .if \end - \start
380         savewords "(\start+1)",\end
381         .endif
382 .endm   
383         savewords 14,31
384         b       save_user_nvgprs_cont
385
386         
387 save_user_nvgprs_fault:
388         li      r3,11           /* SIGSEGV */
389         lwz     r4,TI_TASK(r12)
390         bl      force_sigsegv
391
392         rlwinm  r12,r1,0,0,(31-THREAD_SHIFT)    /* current_thread_info() */
393         lwz     r9,TI_FLAGS(r12)
394         b       save_user_nvgprs_cont
395         
396 #ifdef SHOW_SYSCALLS
397 do_show_syscall:
398 #ifdef SHOW_SYSCALLS_TASK
399         lis     r11,show_syscalls_task@ha
400         lwz     r11,show_syscalls_task@l(r11)
401         cmp     0,r2,r11
402         bnelr
403 #endif
404         stw     r31,GPR31(r1)
405         mflr    r31
406         lis     r3,7f@ha
407         addi    r3,r3,7f@l
408         lwz     r4,GPR0(r1)
409         lwz     r5,GPR3(r1)
410         lwz     r6,GPR4(r1)
411         lwz     r7,GPR5(r1)
412         lwz     r8,GPR6(r1)
413         lwz     r9,GPR7(r1)
414         bl      printk
415         lis     r3,77f@ha
416         addi    r3,r3,77f@l
417         lwz     r4,GPR8(r1)
418         mr      r5,r2
419         bl      printk
420         lwz     r0,GPR0(r1)
421         lwz     r3,GPR3(r1)
422         lwz     r4,GPR4(r1)
423         lwz     r5,GPR5(r1)
424         lwz     r6,GPR6(r1)
425         lwz     r7,GPR7(r1)
426         lwz     r8,GPR8(r1)
427         mtlr    r31
428         lwz     r31,GPR31(r1)
429         blr
430
431 do_show_syscall_exit:
432 #ifdef SHOW_SYSCALLS_TASK
433         lis     r11,show_syscalls_task@ha
434         lwz     r11,show_syscalls_task@l(r11)
435         cmp     0,r2,r11
436         bnelr
437 #endif
438         stw     r31,GPR31(r1)
439         mflr    r31
440         stw     r3,RESULT(r1)   /* Save result */
441         mr      r4,r3
442         lis     r3,79f@ha
443         addi    r3,r3,79f@l
444         bl      printk
445         lwz     r3,RESULT(r1)
446         mtlr    r31
447         lwz     r31,GPR31(r1)
448         blr
449
450 7:      .string "syscall %d(%x, %x, %x, %x, %x, "
451 77:     .string "%x), current=%p\n"
452 79:     .string " -> %x\n"
453         .align  2,0
454
455 #ifdef SHOW_SYSCALLS_TASK
456         .data
457         .globl  show_syscalls_task
458 show_syscalls_task:
459         .long   -1
460         .text
461 #endif
462 #endif /* SHOW_SYSCALLS */
463
464 /*
465  * The fork/clone functions need to copy the full register set into
466  * the child process. Therefore we need to save all the nonvolatile
467  * registers (r13 - r31) before calling the C code.
468  */
469         .globl  ppc_fork
470 ppc_fork:
471         SAVE_NVGPRS(r1)
472         lwz     r0,_TRAP(r1)
473         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
474         stw     r0,_TRAP(r1)            /* register set saved */
475         b       sys_fork
476
477         .globl  ppc_vfork
478 ppc_vfork:
479         SAVE_NVGPRS(r1)
480         lwz     r0,_TRAP(r1)
481         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
482         stw     r0,_TRAP(r1)            /* register set saved */
483         b       sys_vfork
484
485         .globl  ppc_clone
486 ppc_clone:
487         SAVE_NVGPRS(r1)
488         lwz     r0,_TRAP(r1)
489         rlwinm  r0,r0,0,0,30            /* clear LSB to indicate full */
490         stw     r0,_TRAP(r1)            /* register set saved */
491         b       sys_clone
492
493 /*
494  * Top-level page fault handling.
495  * This is in assembler because if do_page_fault tells us that
496  * it is a bad kernel page fault, we want to save the non-volatile
497  * registers before calling bad_page_fault.
498  */
499         .globl  handle_page_fault
500 handle_page_fault:
501         stw     r4,_DAR(r1)
502         addi    r3,r1,STACK_FRAME_OVERHEAD
503         bl      do_page_fault
504         cmpwi   r3,0
505         beq+    ret_from_except
506         SAVE_NVGPRS(r1)
507         lwz     r0,_TRAP(r1)
508         clrrwi  r0,r0,1
509         stw     r0,_TRAP(r1)
510         mr      r5,r3
511         addi    r3,r1,STACK_FRAME_OVERHEAD
512         lwz     r4,_DAR(r1)
513         bl      bad_page_fault
514         b       ret_from_except_full
515
516 /*
517  * This routine switches between two different tasks.  The process
518  * state of one is saved on its kernel stack.  Then the state
519  * of the other is restored from its kernel stack.  The memory
520  * management hardware is updated to the second process's state.
521  * Finally, we can return to the second process.
522  * On entry, r3 points to the THREAD for the current task, r4
523  * points to the THREAD for the new task.
524  *
525  * This routine is always called with interrupts disabled.
526  *
527  * Note: there are two ways to get to the "going out" portion
528  * of this code; either by coming in via the entry (_switch)
529  * or via "fork" which must set up an environment equivalent
530  * to the "_switch" path.  If you change this , you'll have to
531  * change the fork code also.
532  *
533  * The code which creates the new task context is in 'copy_thread'
534  * in arch/ppc/kernel/process.c
535  */
536 _GLOBAL(_switch)
537         stwu    r1,-INT_FRAME_SIZE(r1)
538         mflr    r0
539         stw     r0,INT_FRAME_SIZE+4(r1)
540         /* r3-r12 are caller saved -- Cort */
541         SAVE_NVGPRS(r1)
542         stw     r0,_NIP(r1)     /* Return to switch caller */
543         mfmsr   r11
544         li      r0,MSR_FP       /* Disable floating-point */
545 #ifdef CONFIG_ALTIVEC
546 BEGIN_FTR_SECTION
547         oris    r0,r0,MSR_VEC@h /* Disable altivec */
548         mfspr   r12,SPRN_VRSAVE /* save vrsave register value */
549         stw     r12,THREAD+THREAD_VRSAVE(r2)
550 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
551 #endif /* CONFIG_ALTIVEC */
552 #ifdef CONFIG_SPE
553         oris    r0,r0,MSR_SPE@h  /* Disable SPE */
554         mfspr   r12,SPRN_SPEFSCR /* save spefscr register value */
555         stw     r12,THREAD+THREAD_SPEFSCR(r2)
556 #endif /* CONFIG_SPE */
557         and.    r0,r0,r11       /* FP or altivec or SPE enabled? */
558         beq+    1f
559         andc    r11,r11,r0
560         MTMSRD(r11)
561         isync
562 1:      stw     r11,_MSR(r1)
563         mfcr    r10
564         stw     r10,_CCR(r1)
565         stw     r1,KSP(r3)      /* Set old stack pointer */
566
567 #ifdef CONFIG_SMP
568         /* We need a sync somewhere here to make sure that if the
569          * previous task gets rescheduled on another CPU, it sees all
570          * stores it has performed on this one.
571          */
572         sync
573 #endif /* CONFIG_SMP */
574
575         tophys(r0,r4)
576         CLR_TOP32(r0)
577         mtspr   SPRN_SPRG3,r0   /* Update current THREAD phys addr */
578         lwz     r1,KSP(r4)      /* Load new stack pointer */
579
580         /* save the old current 'last' for return value */
581         mr      r3,r2
582         addi    r2,r4,-THREAD   /* Update current */
583
584 #ifdef CONFIG_ALTIVEC
585 BEGIN_FTR_SECTION
586         lwz     r0,THREAD+THREAD_VRSAVE(r2)
587         mtspr   SPRN_VRSAVE,r0          /* if G4, restore VRSAVE reg */
588 END_FTR_SECTION_IFSET(CPU_FTR_ALTIVEC)
589 #endif /* CONFIG_ALTIVEC */
590 #ifdef CONFIG_SPE
591         lwz     r0,THREAD+THREAD_SPEFSCR(r2)
592         mtspr   SPRN_SPEFSCR,r0         /* restore SPEFSCR reg */
593 #endif /* CONFIG_SPE */
594
595         lwz     r0,_CCR(r1)
596         mtcrf   0xFF,r0
597         /* r3-r12 are destroyed -- Cort */
598         REST_NVGPRS(r1)
599
600         lwz     r4,_NIP(r1)     /* Return to _switch caller in new task */
601         mtlr    r4
602         addi    r1,r1,INT_FRAME_SIZE
603         blr
604
605         .globl  fast_exception_return
606 fast_exception_return:
607 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
608         andi.   r10,r9,MSR_RI           /* check for recoverable interrupt */
609         beq     1f                      /* if not, we've got problems */
610 #endif
611
612 2:      REST_4GPRS(3, r11)
613         lwz     r10,_CCR(r11)
614         REST_GPR(1, r11)
615         mtcr    r10
616         lwz     r10,_LINK(r11)
617         mtlr    r10
618         REST_GPR(10, r11)
619         mtspr   SPRN_SRR1,r9
620         mtspr   SPRN_SRR0,r12
621         REST_GPR(9, r11)
622         REST_GPR(12, r11)
623         lwz     r11,GPR11(r11)
624         SYNC
625         RFI
626
627 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
628 /* check if the exception happened in a restartable section */
629 1:      lis     r3,exc_exit_restart_end@ha
630         addi    r3,r3,exc_exit_restart_end@l
631         cmplw   r12,r3
632         bge     3f
633         lis     r4,exc_exit_restart@ha
634         addi    r4,r4,exc_exit_restart@l
635         cmplw   r12,r4
636         blt     3f
637         lis     r3,fee_restarts@ha
638         tophys(r3,r3)
639         lwz     r5,fee_restarts@l(r3)
640         addi    r5,r5,1
641         stw     r5,fee_restarts@l(r3)
642         mr      r12,r4          /* restart at exc_exit_restart */
643         b       2b
644
645         .comm   fee_restarts,4
646
647 /* aargh, a nonrecoverable interrupt, panic */
648 /* aargh, we don't know which trap this is */
649 /* but the 601 doesn't implement the RI bit, so assume it's OK */
650 3:
651 BEGIN_FTR_SECTION
652         b       2b
653 END_FTR_SECTION_IFSET(CPU_FTR_601)
654         li      r10,-1
655         stw     r10,_TRAP(r11)
656         addi    r3,r1,STACK_FRAME_OVERHEAD
657         lis     r10,MSR_KERNEL@h
658         ori     r10,r10,MSR_KERNEL@l
659         bl      transfer_to_handler_full
660         .long   nonrecoverable_exception
661         .long   ret_from_except
662 #endif
663
664         .globl  ret_from_except_full
665 ret_from_except_full:
666         REST_NVGPRS(r1)
667         /* fall through */
668
669         .globl  ret_from_except
670 ret_from_except:
671         /* Hard-disable interrupts so that current_thread_info()->flags
672          * can't change between when we test it and when we return
673          * from the interrupt. */
674         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
675         SYNC                    /* Some chip revs have problems here... */
676         MTMSRD(r10)             /* disable interrupts */
677
678         lwz     r3,_MSR(r1)     /* Returning to user mode? */
679         andi.   r0,r3,MSR_PR
680         beq     resume_kernel
681
682 user_exc_return:                /* r10 contains MSR_KERNEL here */
683         /* Check current_thread_info()->flags */
684         rlwinm  r9,r1,0,0,(31-THREAD_SHIFT)
685         lwz     r9,TI_FLAGS(r9)
686         andi.   r0,r9,(_TIF_SIGPENDING|_TIF_NEED_RESCHED|_TIF_RESTOREALL|_TIF_RESTORE_SIGMASK)
687         bne     do_work
688
689 restore_user:
690 #if defined(CONFIG_4xx) || defined(CONFIG_BOOKE)
691         /* Check whether this process has its own DBCR0 value.  The single
692            step bit tells us that dbcr0 should be loaded. */
693         lwz     r0,THREAD+THREAD_DBCR0(r2)
694         andis.  r10,r0,DBCR0_IC@h
695         bnel-   load_dbcr0
696 #endif
697
698 #ifdef CONFIG_PREEMPT
699         b       restore
700
701 /* N.B. the only way to get here is from the beq following ret_from_except. */
702 resume_kernel:
703         /* check current_thread_info->preempt_count */
704         rlwinm  r9,r1,0,0,(31-THREAD_SHIFT)
705         lwz     r0,TI_PREEMPT(r9)
706         cmpwi   0,r0,0          /* if non-zero, just restore regs and return */
707         bne     restore
708         lwz     r0,TI_FLAGS(r9)
709         andi.   r0,r0,_TIF_NEED_RESCHED
710         beq+    restore
711         andi.   r0,r3,MSR_EE    /* interrupts off? */
712         beq     restore         /* don't schedule if so */
713 1:      bl      preempt_schedule_irq
714         rlwinm  r9,r1,0,0,(31-THREAD_SHIFT)
715         lwz     r3,TI_FLAGS(r9)
716         andi.   r0,r3,_TIF_NEED_RESCHED
717         bne-    1b
718 #else
719 resume_kernel:
720 #endif /* CONFIG_PREEMPT */
721
722         /* interrupts are hard-disabled at this point */
723 restore:
724         lwz     r0,GPR0(r1)
725         lwz     r2,GPR2(r1)
726         REST_4GPRS(3, r1)
727         REST_2GPRS(7, r1)
728
729         lwz     r10,_XER(r1)
730         lwz     r11,_CTR(r1)
731         mtspr   SPRN_XER,r10
732         mtctr   r11
733
734         PPC405_ERR77(0,r1)
735         stwcx.  r0,0,r1                 /* to clear the reservation */
736
737 #if !(defined(CONFIG_4xx) || defined(CONFIG_BOOKE))
738         lwz     r9,_MSR(r1)
739         andi.   r10,r9,MSR_RI           /* check if this exception occurred */
740         beql    nonrecoverable          /* at a bad place (MSR:RI = 0) */
741
742         lwz     r10,_CCR(r1)
743         lwz     r11,_LINK(r1)
744         mtcrf   0xFF,r10
745         mtlr    r11
746
747         /*
748          * Once we put values in SRR0 and SRR1, we are in a state
749          * where exceptions are not recoverable, since taking an
750          * exception will trash SRR0 and SRR1.  Therefore we clear the
751          * MSR:RI bit to indicate this.  If we do take an exception,
752          * we can't return to the point of the exception but we
753          * can restart the exception exit path at the label
754          * exc_exit_restart below.  -- paulus
755          */
756         LOAD_MSR_KERNEL(r10,MSR_KERNEL & ~MSR_RI)
757         SYNC
758         MTMSRD(r10)             /* clear the RI bit */
759         .globl exc_exit_restart
760 exc_exit_restart:
761         lwz     r9,_MSR(r1)
762         lwz     r12,_NIP(r1)
763         FIX_SRR1(r9,r10)
764         mtspr   SPRN_SRR0,r12
765         mtspr   SPRN_SRR1,r9
766         REST_4GPRS(9, r1)
767         lwz     r1,GPR1(r1)
768         .globl exc_exit_restart_end
769 exc_exit_restart_end:
770         SYNC
771         RFI
772
773 #else /* !(CONFIG_4xx || CONFIG_BOOKE) */
774         /*
775          * This is a bit different on 4xx/Book-E because it doesn't have
776          * the RI bit in the MSR.
777          * The TLB miss handler checks if we have interrupted
778          * the exception exit path and restarts it if so
779          * (well maybe one day it will... :).
780          */
781         lwz     r11,_LINK(r1)
782         mtlr    r11
783         lwz     r10,_CCR(r1)
784         mtcrf   0xff,r10
785         REST_2GPRS(9, r1)
786         .globl exc_exit_restart
787 exc_exit_restart:
788         lwz     r11,_NIP(r1)
789         lwz     r12,_MSR(r1)
790 exc_exit_start:
791         mtspr   SPRN_SRR0,r11
792         mtspr   SPRN_SRR1,r12
793         REST_2GPRS(11, r1)
794         lwz     r1,GPR1(r1)
795         .globl exc_exit_restart_end
796 exc_exit_restart_end:
797         PPC405_ERR77_SYNC
798         rfi
799         b       .                       /* prevent prefetch past rfi */
800
801 /*
802  * Returning from a critical interrupt in user mode doesn't need
803  * to be any different from a normal exception.  For a critical
804  * interrupt in the kernel, we just return (without checking for
805  * preemption) since the interrupt may have happened at some crucial
806  * place (e.g. inside the TLB miss handler), and because we will be
807  * running with r1 pointing into critical_stack, not the current
808  * process's kernel stack (and therefore current_thread_info() will
809  * give the wrong answer).
810  * We have to restore various SPRs that may have been in use at the
811  * time of the critical interrupt.
812  *
813  */
814 #ifdef CONFIG_40x
815 #define PPC_40x_TURN_OFF_MSR_DR                                             \
816         /* avoid any possible TLB misses here by turning off MSR.DR, we     \
817          * assume the instructions here are mapped by a pinned TLB entry */ \
818         li      r10,MSR_IR;                                                 \
819         mtmsr   r10;                                                        \
820         isync;                                                              \
821         tophys(r1, r1);
822 #else
823 #define PPC_40x_TURN_OFF_MSR_DR
824 #endif
825
826 #define RET_FROM_EXC_LEVEL(exc_lvl_srr0, exc_lvl_srr1, exc_lvl_rfi)     \
827         REST_NVGPRS(r1);                                                \
828         lwz     r3,_MSR(r1);                                            \
829         andi.   r3,r3,MSR_PR;                                           \
830         LOAD_MSR_KERNEL(r10,MSR_KERNEL);                                \
831         bne     user_exc_return;                                        \
832         lwz     r0,GPR0(r1);                                            \
833         lwz     r2,GPR2(r1);                                            \
834         REST_4GPRS(3, r1);                                              \
835         REST_2GPRS(7, r1);                                              \
836         lwz     r10,_XER(r1);                                           \
837         lwz     r11,_CTR(r1);                                           \
838         mtspr   SPRN_XER,r10;                                           \
839         mtctr   r11;                                                    \
840         PPC405_ERR77(0,r1);                                             \
841         stwcx.  r0,0,r1;                /* to clear the reservation */  \
842         lwz     r11,_LINK(r1);                                          \
843         mtlr    r11;                                                    \
844         lwz     r10,_CCR(r1);                                           \
845         mtcrf   0xff,r10;                                               \
846         PPC_40x_TURN_OFF_MSR_DR;                                        \
847         lwz     r9,_DEAR(r1);                                           \
848         lwz     r10,_ESR(r1);                                           \
849         mtspr   SPRN_DEAR,r9;                                           \
850         mtspr   SPRN_ESR,r10;                                           \
851         lwz     r11,_NIP(r1);                                           \
852         lwz     r12,_MSR(r1);                                           \
853         mtspr   exc_lvl_srr0,r11;                                       \
854         mtspr   exc_lvl_srr1,r12;                                       \
855         lwz     r9,GPR9(r1);                                            \
856         lwz     r12,GPR12(r1);                                          \
857         lwz     r10,GPR10(r1);                                          \
858         lwz     r11,GPR11(r1);                                          \
859         lwz     r1,GPR1(r1);                                            \
860         PPC405_ERR77_SYNC;                                              \
861         exc_lvl_rfi;                                                    \
862         b       .;              /* prevent prefetch past exc_lvl_rfi */
863
864         .globl  ret_from_crit_exc
865 ret_from_crit_exc:
866         RET_FROM_EXC_LEVEL(SPRN_CSRR0, SPRN_CSRR1, RFCI)
867
868 #ifdef CONFIG_BOOKE
869         .globl  ret_from_debug_exc
870 ret_from_debug_exc:
871         RET_FROM_EXC_LEVEL(SPRN_DSRR0, SPRN_DSRR1, RFDI)
872
873         .globl  ret_from_mcheck_exc
874 ret_from_mcheck_exc:
875         RET_FROM_EXC_LEVEL(SPRN_MCSRR0, SPRN_MCSRR1, RFMCI)
876 #endif /* CONFIG_BOOKE */
877
878 /*
879  * Load the DBCR0 value for a task that is being ptraced,
880  * having first saved away the global DBCR0.  Note that r0
881  * has the dbcr0 value to set upon entry to this.
882  */
883 load_dbcr0:
884         mfmsr   r10             /* first disable debug exceptions */
885         rlwinm  r10,r10,0,~MSR_DE
886         mtmsr   r10
887         isync
888         mfspr   r10,SPRN_DBCR0
889         lis     r11,global_dbcr0@ha
890         addi    r11,r11,global_dbcr0@l
891         stw     r10,0(r11)
892         mtspr   SPRN_DBCR0,r0
893         lwz     r10,4(r11)
894         addi    r10,r10,1
895         stw     r10,4(r11)
896         li      r11,-1
897         mtspr   SPRN_DBSR,r11   /* clear all pending debug events */
898         blr
899
900         .comm   global_dbcr0,8
901 #endif /* !(CONFIG_4xx || CONFIG_BOOKE) */
902
903 do_work:                        /* r10 contains MSR_KERNEL here */
904         andi.   r0,r9,_TIF_NEED_RESCHED
905         beq     do_user_signal
906
907 do_resched:                     /* r10 contains MSR_KERNEL here */
908         ori     r10,r10,MSR_EE
909         SYNC
910         MTMSRD(r10)             /* hard-enable interrupts */
911         bl      schedule
912 recheck:
913         LOAD_MSR_KERNEL(r10,MSR_KERNEL)
914         SYNC
915         MTMSRD(r10)             /* disable interrupts */
916         rlwinm  r9,r1,0,0,(31-THREAD_SHIFT)
917         lwz     r9,TI_FLAGS(r9)
918         andi.   r0,r9,_TIF_NEED_RESCHED
919         bne-    do_resched
920         andi.   r0,r9,_TIF_SIGPENDING|_TIF_RESTORE_SIGMASK
921         beq     restore_user
922 do_user_signal:                 /* r10 contains MSR_KERNEL here */
923         ori     r10,r10,MSR_EE
924         SYNC
925         MTMSRD(r10)             /* hard-enable interrupts */
926         /* save r13-r31 in the exception frame, if not already done */
927         lwz     r3,_TRAP(r1)
928         andi.   r0,r3,1
929         beq     2f
930         SAVE_NVGPRS(r1)
931         rlwinm  r3,r3,0,0,30
932         stw     r3,_TRAP(r1)
933 2:      li      r3,0
934         addi    r4,r1,STACK_FRAME_OVERHEAD
935         bl      do_signal
936         REST_NVGPRS(r1)
937         b       recheck
938
939 /*
940  * We come here when we are at the end of handling an exception
941  * that occurred at a place where taking an exception will lose
942  * state information, such as the contents of SRR0 and SRR1.
943  */
944 nonrecoverable:
945         lis     r10,exc_exit_restart_end@ha
946         addi    r10,r10,exc_exit_restart_end@l
947         cmplw   r12,r10
948         bge     3f
949         lis     r11,exc_exit_restart@ha
950         addi    r11,r11,exc_exit_restart@l
951         cmplw   r12,r11
952         blt     3f
953         lis     r10,ee_restarts@ha
954         lwz     r12,ee_restarts@l(r10)
955         addi    r12,r12,1
956         stw     r12,ee_restarts@l(r10)
957         mr      r12,r11         /* restart at exc_exit_restart */
958         blr
959 3:      /* OK, we can't recover, kill this process */
960         /* but the 601 doesn't implement the RI bit, so assume it's OK */
961 BEGIN_FTR_SECTION
962         blr
963 END_FTR_SECTION_IFSET(CPU_FTR_601)
964         lwz     r3,_TRAP(r1)
965         andi.   r0,r3,1
966         beq     4f
967         SAVE_NVGPRS(r1)
968         rlwinm  r3,r3,0,0,30
969         stw     r3,_TRAP(r1)
970 4:      addi    r3,r1,STACK_FRAME_OVERHEAD
971         bl      nonrecoverable_exception
972         /* shouldn't return */
973         b       4b
974
975         .comm   ee_restarts,4
976
977 /*
978  * PROM code for specific machines follows.  Put it
979  * here so it's easy to add arch-specific sections later.
980  * -- Cort
981  */
982 #ifdef CONFIG_PPC_RTAS
983 /*
984  * On CHRP, the Run-Time Abstraction Services (RTAS) have to be
985  * called with the MMU off.
986  */
987 _GLOBAL(enter_rtas)
988         stwu    r1,-INT_FRAME_SIZE(r1)
989         mflr    r0
990         stw     r0,INT_FRAME_SIZE+4(r1)
991         LOAD_REG_ADDR(r4, rtas)
992         lis     r6,1f@ha        /* physical return address for rtas */
993         addi    r6,r6,1f@l
994         tophys(r6,r6)
995         tophys(r7,r1)
996         lwz     r8,RTASENTRY(r4)
997         lwz     r4,RTASBASE(r4)
998         mfmsr   r9
999         stw     r9,8(r1)
1000         LOAD_MSR_KERNEL(r0,MSR_KERNEL)
1001         SYNC                    /* disable interrupts so SRR0/1 */
1002         MTMSRD(r0)              /* don't get trashed */
1003         li      r9,MSR_KERNEL & ~(MSR_IR|MSR_DR)
1004         mtlr    r6
1005         mtspr   SPRN_SPRG2,r7
1006         mtspr   SPRN_SRR0,r8
1007         mtspr   SPRN_SRR1,r9
1008         RFI
1009 1:      tophys(r9,r1)
1010         lwz     r8,INT_FRAME_SIZE+4(r9) /* get return address */
1011         lwz     r9,8(r9)        /* original msr value */
1012         FIX_SRR1(r9,r0)
1013         addi    r1,r1,INT_FRAME_SIZE
1014         li      r0,0
1015         mtspr   SPRN_SPRG2,r0
1016         mtspr   SPRN_SRR0,r8
1017         mtspr   SPRN_SRR1,r9
1018         RFI                     /* return to caller */
1019
1020         .globl  machine_check_in_rtas
1021 machine_check_in_rtas:
1022         twi     31,0,0
1023         /* XXX load up BATs and panic */
1024
1025 #endif /* CONFIG_PPC_RTAS */