Merge master.kernel.org:/home/rmk/linux-2.6-arm
[linux-2.6] / arch / sh64 / kernel / entry.S
1 /*
2  * This file is subject to the terms and conditions of the GNU General Public
3  * License.  See the file "COPYING" in the main directory of this archive
4  * for more details.
5  *
6  * arch/sh64/kernel/entry.S
7  *
8  * Copyright (C) 2000, 2001  Paolo Alberelli
9  * Copyright (C) 2004, 2005  Paul Mundt
10  * Copyright (C) 2003, 2004 Richard Curnow
11  *
12  */
13
14 #include <linux/config.h>
15 #include <linux/errno.h>
16 #include <linux/sys.h>
17
18 #include <asm/processor.h>
19 #include <asm/registers.h>
20 #include <asm/unistd.h>
21 #include <asm/thread_info.h>
22 #include <asm/asm-offsets.h>
23
24 /*
25  * SR fields.
26  */
27 #define SR_ASID_MASK    0x00ff0000
28 #define SR_FD_MASK      0x00008000
29 #define SR_SS           0x08000000
30 #define SR_BL           0x10000000
31 #define SR_MD           0x40000000
32
33 /*
34  * Event code.
35  */
36 #define EVENT_INTERRUPT         0
37 #define EVENT_FAULT_TLB         1
38 #define EVENT_FAULT_NOT_TLB     2
39 #define EVENT_DEBUG             3
40
41 /* EXPEVT values */
42 #define RESET_CAUSE             0x20
43 #define DEBUGSS_CAUSE           0x980
44
45 /*
46  * Frame layout. Quad index.
47  */
48 #define FRAME_T(x)      FRAME_TBASE+(x*8)
49 #define FRAME_R(x)      FRAME_RBASE+(x*8)
50 #define FRAME_S(x)      FRAME_SBASE+(x*8)
51 #define FSPC            0
52 #define FSSR            1
53 #define FSYSCALL_ID     2
54
55 /* Arrange the save frame to be a multiple of 32 bytes long */
56 #define FRAME_SBASE     0
57 #define FRAME_RBASE     (FRAME_SBASE+(3*8))     /* SYSCALL_ID - SSR - SPC */
58 #define FRAME_TBASE     (FRAME_RBASE+(63*8))    /* r0 - r62 */
59 #define FRAME_PBASE     (FRAME_TBASE+(8*8))     /* tr0 -tr7 */
60 #define FRAME_SIZE      (FRAME_PBASE+(2*8))     /* pad0-pad1 */
61
62 #define FP_FRAME_SIZE   FP_FRAME_BASE+(33*8)    /* dr0 - dr31 + fpscr */
63 #define FP_FRAME_BASE   0
64
65 #define SAVED_R2        0*8
66 #define SAVED_R3        1*8
67 #define SAVED_R4        2*8
68 #define SAVED_R5        3*8
69 #define SAVED_R18       4*8
70 #define SAVED_R6        5*8
71 #define SAVED_TR0       6*8
72
73 /* These are the registers saved in the TLB path that aren't saved in the first
74    level of the normal one. */
75 #define TLB_SAVED_R25   7*8
76 #define TLB_SAVED_TR1   8*8
77 #define TLB_SAVED_TR2   9*8
78 #define TLB_SAVED_TR3   10*8
79 #define TLB_SAVED_TR4   11*8
80 /* Save R0/R1 : PT-migrating compiler currently dishounours -ffixed-r0 and -ffixed-r1 causing
81    breakage otherwise. */
82 #define TLB_SAVED_R0    12*8
83 #define TLB_SAVED_R1    13*8
84
85 #define CLI()                           \
86         getcon  SR, r6;                 \
87         ori     r6, 0xf0, r6;           \
88         putcon  r6, SR;
89
90 #define STI()                           \
91         getcon  SR, r6;                 \
92         andi    r6, ~0xf0, r6;          \
93         putcon  r6, SR;
94
95 #ifdef CONFIG_PREEMPT
96 #  define preempt_stop()        CLI()
97 #else
98 #  define preempt_stop()
99 #  define resume_kernel         restore_all
100 #endif
101
102         .section        .data, "aw"
103
104 #define FAST_TLBMISS_STACK_CACHELINES 4
105 #define FAST_TLBMISS_STACK_QUADWORDS (4*FAST_TLBMISS_STACK_CACHELINES)
106
107 /* Register back-up area for all exceptions */
108         .balign 32
109         /* Allow for 16 quadwords to be pushed by fast tlbmiss handling
110          * register saves etc. */
111         .fill FAST_TLBMISS_STACK_QUADWORDS, 8, 0x0
112 /* This is 32 byte aligned by construction */
113 /* Register back-up area for all exceptions */
114 reg_save_area:
115         .quad   0
116         .quad   0
117         .quad   0
118         .quad   0
119
120         .quad   0
121         .quad   0
122         .quad   0
123         .quad   0
124
125         .quad   0
126         .quad   0
127         .quad   0
128         .quad   0
129
130         .quad   0
131         .quad   0
132
133 /* Save area for RESVEC exceptions. We cannot use reg_save_area because of
134  * reentrancy. Note this area may be accessed via physical address.
135  * Align so this fits a whole single cache line, for ease of purging.
136  */
137         .balign 32,0,32
138 resvec_save_area:
139         .quad   0
140         .quad   0
141         .quad   0
142         .quad   0
143         .quad   0
144         .balign 32,0,32
145
146 /* Jump table of 3rd level handlers  */
147 trap_jtable:
148         .long   do_exception_error              /* 0x000 */
149         .long   do_exception_error              /* 0x020 */
150         .long   tlb_miss_load                           /* 0x040 */
151         .long   tlb_miss_store                          /* 0x060 */
152         ! ARTIFICIAL pseudo-EXPEVT setting
153         .long   do_debug_interrupt              /* 0x080 */
154         .long   tlb_miss_load                           /* 0x0A0 */
155         .long   tlb_miss_store                          /* 0x0C0 */
156         .long   do_address_error_load   /* 0x0E0 */
157         .long   do_address_error_store  /* 0x100 */
158 #ifdef CONFIG_SH_FPU
159         .long   do_fpu_error            /* 0x120 */
160 #else
161         .long   do_exception_error              /* 0x120 */
162 #endif
163         .long   do_exception_error              /* 0x140 */
164         .long   system_call                             /* 0x160 */
165         .long   do_reserved_inst                /* 0x180 */
166         .long   do_illegal_slot_inst    /* 0x1A0 */
167         .long   do_NMI                  /* 0x1C0 */
168         .long   do_exception_error              /* 0x1E0 */
169         .rept 15
170                 .long do_IRQ            /* 0x200 - 0x3C0 */
171         .endr
172         .long   do_exception_error              /* 0x3E0 */
173         .rept 32
174                 .long do_IRQ            /* 0x400 - 0x7E0 */
175         .endr
176         .long   fpu_error_or_IRQA                       /* 0x800 */
177         .long   fpu_error_or_IRQB                       /* 0x820 */
178         .long   do_IRQ                  /* 0x840 */
179         .long   do_IRQ                  /* 0x860 */
180         .rept 6
181                 .long do_exception_error        /* 0x880 - 0x920 */
182         .endr
183         .long   do_software_break_point /* 0x940 */
184         .long   do_exception_error              /* 0x960 */
185         .long   do_single_step          /* 0x980 */
186
187         .rept 3
188                 .long do_exception_error        /* 0x9A0 - 0x9E0 */
189         .endr
190         .long   do_IRQ                  /* 0xA00 */
191         .long   do_IRQ                  /* 0xA20 */
192         .long   itlb_miss_or_IRQ                        /* 0xA40 */
193         .long   do_IRQ                  /* 0xA60 */
194         .long   do_IRQ                  /* 0xA80 */
195         .long   itlb_miss_or_IRQ                        /* 0xAA0 */
196         .long   do_exception_error              /* 0xAC0 */
197         .long   do_address_error_exec   /* 0xAE0 */
198         .rept 8
199                 .long do_exception_error        /* 0xB00 - 0xBE0 */
200         .endr
201         .rept 18
202                 .long do_IRQ            /* 0xC00 - 0xE20 */
203         .endr
204
205         .section        .text64, "ax"
206
207 /*
208  * --- Exception/Interrupt/Event Handling Section
209  */
210
211 /*
212  * VBR and RESVEC blocks.
213  *
214  * First level handler for VBR-based exceptions.
215  *
216  * To avoid waste of space, align to the maximum text block size.
217  * This is assumed to be at most 128 bytes or 32 instructions.
218  * DO NOT EXCEED 32 instructions on the first level handlers !
219  *
220  * Also note that RESVEC is contained within the VBR block
221  * where the room left (1KB - TEXT_SIZE) allows placing
222  * the RESVEC block (at most 512B + TEXT_SIZE).
223  *
224  * So first (and only) level handler for RESVEC-based exceptions.
225  *
226  * Where the fault/interrupt is handled (not_a_tlb_miss, tlb_miss
227  * and interrupt) we are a lot tight with register space until
228  * saving onto the stack frame, which is done in handle_exception().
229  *
230  */
231
232 #define TEXT_SIZE       128
233 #define BLOCK_SIZE      1664            /* Dynamic check, 13*128 */
234
235         .balign TEXT_SIZE
236 LVBR_block:
237         .space  256, 0                  /* Power-on class handler, */
238                                         /* not required here       */
239 not_a_tlb_miss:
240         synco   /* TAKum03020 (but probably a good idea anyway.) */
241         /* Save original stack pointer into KCR1 */
242         putcon  SP, KCR1
243
244         /* Save other original registers into reg_save_area */
245         movi  reg_save_area, SP
246         st.q    SP, SAVED_R2, r2
247         st.q    SP, SAVED_R3, r3
248         st.q    SP, SAVED_R4, r4
249         st.q    SP, SAVED_R5, r5
250         st.q    SP, SAVED_R6, r6
251         st.q    SP, SAVED_R18, r18
252         gettr   tr0, r3
253         st.q    SP, SAVED_TR0, r3
254
255         /* Set args for Non-debug, Not a TLB miss class handler */
256         getcon  EXPEVT, r2
257         movi    ret_from_exception, r3
258         ori     r3, 1, r3
259         movi    EVENT_FAULT_NOT_TLB, r4
260         or      SP, ZERO, r5
261         getcon  KCR1, SP
262         pta     handle_exception, tr0
263         blink   tr0, ZERO
264
265         .balign 256
266         ! VBR+0x200
267         nop
268         .balign 256
269         ! VBR+0x300
270         nop
271         .balign 256
272         /*
273          * Instead of the natural .balign 1024 place RESVEC here
274          * respecting the final 1KB alignment.
275          */
276         .balign TEXT_SIZE
277         /*
278          * Instead of '.space 1024-TEXT_SIZE' place the RESVEC
279          * block making sure the final alignment is correct.
280          */
281 tlb_miss:
282         synco   /* TAKum03020 (but probably a good idea anyway.) */
283         putcon  SP, KCR1
284         movi    reg_save_area, SP
285         /* SP is guaranteed 32-byte aligned. */
286         st.q    SP, TLB_SAVED_R0 , r0
287         st.q    SP, TLB_SAVED_R1 , r1
288         st.q    SP, SAVED_R2 , r2
289         st.q    SP, SAVED_R3 , r3
290         st.q    SP, SAVED_R4 , r4
291         st.q    SP, SAVED_R5 , r5
292         st.q    SP, SAVED_R6 , r6
293         st.q    SP, SAVED_R18, r18
294
295         /* Save R25 for safety; as/ld may want to use it to achieve the call to
296          * the code in mm/tlbmiss.c */
297         st.q    SP, TLB_SAVED_R25, r25
298         gettr   tr0, r2
299         gettr   tr1, r3
300         gettr   tr2, r4
301         gettr   tr3, r5
302         gettr   tr4, r18
303         st.q    SP, SAVED_TR0 , r2
304         st.q    SP, TLB_SAVED_TR1 , r3
305         st.q    SP, TLB_SAVED_TR2 , r4
306         st.q    SP, TLB_SAVED_TR3 , r5
307         st.q    SP, TLB_SAVED_TR4 , r18
308
309         pt      do_fast_page_fault, tr0
310         getcon  SSR, r2
311         getcon  EXPEVT, r3
312         getcon  TEA, r4
313         shlri   r2, 30, r2
314         andi    r2, 1, r2       /* r2 = SSR.MD */
315         blink   tr0, LINK
316
317         pt      fixup_to_invoke_general_handler, tr1
318
319         /* If the fast path handler fixed the fault, just drop through quickly
320            to the restore code right away to return to the excepting context.
321            */
322         beqi/u  r2, 0, tr1
323
324 fast_tlb_miss_restore:
325         ld.q    SP, SAVED_TR0, r2
326         ld.q    SP, TLB_SAVED_TR1, r3
327         ld.q    SP, TLB_SAVED_TR2, r4
328
329         ld.q    SP, TLB_SAVED_TR3, r5
330         ld.q    SP, TLB_SAVED_TR4, r18
331
332         ptabs   r2, tr0
333         ptabs   r3, tr1
334         ptabs   r4, tr2
335         ptabs   r5, tr3
336         ptabs   r18, tr4
337
338         ld.q    SP, TLB_SAVED_R0, r0
339         ld.q    SP, TLB_SAVED_R1, r1
340         ld.q    SP, SAVED_R2, r2
341         ld.q    SP, SAVED_R3, r3
342         ld.q    SP, SAVED_R4, r4
343         ld.q    SP, SAVED_R5, r5
344         ld.q    SP, SAVED_R6, r6
345         ld.q    SP, SAVED_R18, r18
346         ld.q    SP, TLB_SAVED_R25, r25
347
348         getcon  KCR1, SP
349         rte
350         nop /* for safety, in case the code is run on sh5-101 cut1.x */
351
352 fixup_to_invoke_general_handler:
353
354         /* OK, new method.  Restore stuff that's not expected to get saved into
355            the 'first-level' reg save area, then just fall through to setting
356            up the registers and calling the second-level handler. */
357
358         /* 2nd level expects r2,3,4,5,6,18,tr0 to be saved.  So we must restore
359            r25,tr1-4 and save r6 to get into the right state.  */
360
361         ld.q    SP, TLB_SAVED_TR1, r3
362         ld.q    SP, TLB_SAVED_TR2, r4
363         ld.q    SP, TLB_SAVED_TR3, r5
364         ld.q    SP, TLB_SAVED_TR4, r18
365         ld.q    SP, TLB_SAVED_R25, r25
366
367         ld.q    SP, TLB_SAVED_R0, r0
368         ld.q    SP, TLB_SAVED_R1, r1
369
370         ptabs/u r3, tr1
371         ptabs/u r4, tr2
372         ptabs/u r5, tr3
373         ptabs/u r18, tr4
374
375         /* Set args for Non-debug, TLB miss class handler */
376         getcon  EXPEVT, r2
377         movi    ret_from_exception, r3
378         ori     r3, 1, r3
379         movi    EVENT_FAULT_TLB, r4
380         or      SP, ZERO, r5
381         getcon  KCR1, SP
382         pta     handle_exception, tr0
383         blink   tr0, ZERO
384
385 /* NB TAKE GREAT CARE HERE TO ENSURE THAT THE INTERRUPT CODE
386    DOES END UP AT VBR+0x600 */
387         nop
388         nop
389         nop
390         nop
391         nop
392         nop
393
394         .balign 256
395         /* VBR + 0x600 */
396
397 interrupt:
398         synco   /* TAKum03020 (but probably a good idea anyway.) */
399         /* Save original stack pointer into KCR1 */
400         putcon  SP, KCR1
401
402         /* Save other original registers into reg_save_area */
403         movi  reg_save_area, SP
404         st.q    SP, SAVED_R2, r2
405         st.q    SP, SAVED_R3, r3
406         st.q    SP, SAVED_R4, r4
407         st.q    SP, SAVED_R5, r5
408         st.q    SP, SAVED_R6, r6
409         st.q    SP, SAVED_R18, r18
410         gettr   tr0, r3
411         st.q    SP, SAVED_TR0, r3
412
413         /* Set args for interrupt class handler */
414         getcon  INTEVT, r2
415         movi    ret_from_irq, r3
416         ori     r3, 1, r3
417         movi    EVENT_INTERRUPT, r4
418         or      SP, ZERO, r5
419         getcon  KCR1, SP
420         pta     handle_exception, tr0
421         blink   tr0, ZERO
422         .balign TEXT_SIZE               /* let's waste the bare minimum */
423
424 LVBR_block_end:                         /* Marker. Used for total checking */
425
426         .balign 256
427 LRESVEC_block:
428         /* Panic handler. Called with MMU off. Possible causes/actions:
429          * - Reset:             Jump to program start.
430          * - Single Step:       Turn off Single Step & return.
431          * - Others:            Call panic handler, passing PC as arg.
432          *                      (this may need to be extended...)
433          */
434 reset_or_panic:
435         synco   /* TAKum03020 (but probably a good idea anyway.) */
436         putcon  SP, DCR
437         /* First save r0-1 and tr0, as we need to use these */
438         movi    resvec_save_area-CONFIG_CACHED_MEMORY_OFFSET, SP
439         st.q    SP, 0, r0
440         st.q    SP, 8, r1
441         gettr   tr0, r0
442         st.q    SP, 32, r0
443
444         /* Check cause */
445         getcon  EXPEVT, r0
446         movi    RESET_CAUSE, r1
447         sub     r1, r0, r1              /* r1=0 if reset */
448         movi    _stext-CONFIG_CACHED_MEMORY_OFFSET, r0
449         ori     r0, 1, r0
450         ptabs   r0, tr0
451         beqi    r1, 0, tr0              /* Jump to start address if reset */
452
453         getcon  EXPEVT, r0
454         movi    DEBUGSS_CAUSE, r1
455         sub     r1, r0, r1              /* r1=0 if single step */
456         pta     single_step_panic, tr0
457         beqi    r1, 0, tr0              /* jump if single step */
458
459         /* Now jump to where we save the registers. */
460         movi    panic_stash_regs-CONFIG_CACHED_MEMORY_OFFSET, r1
461         ptabs   r1, tr0
462         blink   tr0, r63
463
464 single_step_panic:
465         /* We are in a handler with Single Step set. We need to resume the
466          * handler, by turning on MMU & turning off Single Step. */
467         getcon  SSR, r0
468         movi    SR_MMU, r1
469         or      r0, r1, r0
470         movi    ~SR_SS, r1
471         and     r0, r1, r0
472         putcon  r0, SSR
473         /* Restore EXPEVT, as the rte won't do this */
474         getcon  PEXPEVT, r0
475         putcon  r0, EXPEVT
476         /* Restore regs */
477         ld.q    SP, 32, r0
478         ptabs   r0, tr0
479         ld.q    SP, 0, r0
480         ld.q    SP, 8, r1
481         getcon  DCR, SP
482         synco
483         rte
484
485
486         .balign 256
487 debug_exception:
488         synco   /* TAKum03020 (but probably a good idea anyway.) */
489         /*
490          * Single step/software_break_point first level handler.
491          * Called with MMU off, so the first thing we do is enable it
492          * by doing an rte with appropriate SSR.
493          */
494         putcon  SP, DCR
495         /* Save SSR & SPC, together with R0 & R1, as we need to use 2 regs. */
496         movi    resvec_save_area-CONFIG_CACHED_MEMORY_OFFSET, SP
497
498         /* With the MMU off, we are bypassing the cache, so purge any
499          * data that will be made stale by the following stores.
500          */
501         ocbp    SP, 0
502         synco
503
504         st.q    SP, 0, r0
505         st.q    SP, 8, r1
506         getcon  SPC, r0
507         st.q    SP, 16, r0
508         getcon  SSR, r0
509         st.q    SP, 24, r0
510
511         /* Enable MMU, block exceptions, set priv mode, disable single step */
512         movi    SR_MMU | SR_BL | SR_MD, r1
513         or      r0, r1, r0
514         movi    ~SR_SS, r1
515         and     r0, r1, r0
516         putcon  r0, SSR
517         /* Force control to debug_exception_2 when rte is executed */
518         movi    debug_exeception_2, r0
519         ori     r0, 1, r0      /* force SHmedia, just in case */
520         putcon  r0, SPC
521         getcon  DCR, SP
522         synco
523         rte
524 debug_exeception_2:
525         /* Restore saved regs */
526         putcon  SP, KCR1
527         movi    resvec_save_area, SP
528         ld.q    SP, 24, r0
529         putcon  r0, SSR
530         ld.q    SP, 16, r0
531         putcon  r0, SPC
532         ld.q    SP, 0, r0
533         ld.q    SP, 8, r1
534
535         /* Save other original registers into reg_save_area */
536         movi  reg_save_area, SP
537         st.q    SP, SAVED_R2, r2
538         st.q    SP, SAVED_R3, r3
539         st.q    SP, SAVED_R4, r4
540         st.q    SP, SAVED_R5, r5
541         st.q    SP, SAVED_R6, r6
542         st.q    SP, SAVED_R18, r18
543         gettr   tr0, r3
544         st.q    SP, SAVED_TR0, r3
545
546         /* Set args for debug class handler */
547         getcon  EXPEVT, r2
548         movi    ret_from_exception, r3
549         ori     r3, 1, r3
550         movi    EVENT_DEBUG, r4
551         or      SP, ZERO, r5
552         getcon  KCR1, SP
553         pta     handle_exception, tr0
554         blink   tr0, ZERO
555
556         .balign 256
557 debug_interrupt:
558         /* !!! WE COME HERE IN REAL MODE !!! */
559         /* Hook-up debug interrupt to allow various debugging options to be
560          * hooked into its handler. */
561         /* Save original stack pointer into KCR1 */
562         synco
563         putcon  SP, KCR1
564         movi    resvec_save_area-CONFIG_CACHED_MEMORY_OFFSET, SP
565         ocbp    SP, 0
566         ocbp    SP, 32
567         synco
568
569         /* Save other original registers into reg_save_area thru real addresses */
570         st.q    SP, SAVED_R2, r2
571         st.q    SP, SAVED_R3, r3
572         st.q    SP, SAVED_R4, r4
573         st.q    SP, SAVED_R5, r5
574         st.q    SP, SAVED_R6, r6
575         st.q    SP, SAVED_R18, r18
576         gettr   tr0, r3
577         st.q    SP, SAVED_TR0, r3
578
579         /* move (spc,ssr)->(pspc,pssr).  The rte will shift
580            them back again, so that they look like the originals
581            as far as the real handler code is concerned. */
582         getcon  spc, r6
583         putcon  r6, pspc
584         getcon  ssr, r6
585         putcon  r6, pssr
586
587         ! construct useful SR for handle_exception
588         movi    3, r6
589         shlli   r6, 30, r6
590         getcon  sr, r18
591         or      r18, r6, r6
592         putcon  r6, ssr
593
594         ! SSR is now the current SR with the MD and MMU bits set
595         ! i.e. the rte will switch back to priv mode and put
596         ! the mmu back on
597
598         ! construct spc
599         movi    handle_exception, r18
600         ori     r18, 1, r18             ! for safety (do we need this?)
601         putcon  r18, spc
602
603         /* Set args for Non-debug, Not a TLB miss class handler */
604
605         ! EXPEVT==0x80 is unused, so 'steal' this value to put the
606         ! debug interrupt handler in the vectoring table
607         movi    0x80, r2
608         movi    ret_from_exception, r3
609         ori     r3, 1, r3
610         movi    EVENT_FAULT_NOT_TLB, r4
611
612         or      SP, ZERO, r5
613         movi    CONFIG_CACHED_MEMORY_OFFSET, r6
614         add     r6, r5, r5
615         getcon  KCR1, SP
616
617         synco   ! for safety
618         rte     ! -> handle_exception, switch back to priv mode again
619
620 LRESVEC_block_end:                      /* Marker. Unused. */
621
622         .balign TEXT_SIZE
623
624 /*
625  * Second level handler for VBR-based exceptions. Pre-handler.
626  * In common to all stack-frame sensitive handlers.
627  *
628  * Inputs:
629  * (KCR0) Current [current task union]
630  * (KCR1) Original SP
631  * (r2)   INTEVT/EXPEVT
632  * (r3)   appropriate return address
633  * (r4)   Event (0 = interrupt, 1 = TLB miss fault, 2 = Not TLB miss fault, 3=debug)
634  * (r5)   Pointer to reg_save_area
635  * (SP)   Original SP
636  *
637  * Available registers:
638  * (r6)
639  * (r18)
640  * (tr0)
641  *
642  */
643 handle_exception:
644         /* Common 2nd level handler. */
645
646         /* First thing we need an appropriate stack pointer */
647         getcon  SSR, r6
648         shlri   r6, 30, r6
649         andi    r6, 1, r6
650         pta     stack_ok, tr0
651         bne     r6, ZERO, tr0           /* Original stack pointer is fine */
652
653         /* Set stack pointer for user fault */
654         getcon  KCR0, SP
655         movi    THREAD_SIZE, r6         /* Point to the end */
656         add     SP, r6, SP
657
658 stack_ok:
659
660 /* DEBUG : check for underflow/overflow of the kernel stack */
661         pta     no_underflow, tr0
662         getcon  KCR0, r6
663         movi    1024, r18
664         add     r6, r18, r6
665         bge     SP, r6, tr0     ! ? below 1k from bottom of stack : danger zone
666
667 /* Just panic to cause a crash. */
668 bad_sp:
669         ld.b    r63, 0, r6
670         nop
671
672 no_underflow:
673         pta     bad_sp, tr0
674         getcon  kcr0, r6
675         movi    THREAD_SIZE, r18
676         add     r18, r6, r6
677         bgt     SP, r6, tr0     ! sp above the stack
678
679         /* Make some room for the BASIC frame. */
680         movi    -(FRAME_SIZE), r6
681         add     SP, r6, SP
682
683 /* Could do this with no stalling if we had another spare register, but the
684    code below will be OK. */
685         ld.q    r5, SAVED_R2, r6
686         ld.q    r5, SAVED_R3, r18
687         st.q    SP, FRAME_R(2), r6
688         ld.q    r5, SAVED_R4, r6
689         st.q    SP, FRAME_R(3), r18
690         ld.q    r5, SAVED_R5, r18
691         st.q    SP, FRAME_R(4), r6
692         ld.q    r5, SAVED_R6, r6
693         st.q    SP, FRAME_R(5), r18
694         ld.q    r5, SAVED_R18, r18
695         st.q    SP, FRAME_R(6), r6
696         ld.q    r5, SAVED_TR0, r6
697         st.q    SP, FRAME_R(18), r18
698         st.q    SP, FRAME_T(0), r6
699
700         /* Keep old SP around */
701         getcon  KCR1, r6
702
703         /* Save the rest of the general purpose registers */
704         st.q    SP, FRAME_R(0), r0
705         st.q    SP, FRAME_R(1), r1
706         st.q    SP, FRAME_R(7), r7
707         st.q    SP, FRAME_R(8), r8
708         st.q    SP, FRAME_R(9), r9
709         st.q    SP, FRAME_R(10), r10
710         st.q    SP, FRAME_R(11), r11
711         st.q    SP, FRAME_R(12), r12
712         st.q    SP, FRAME_R(13), r13
713         st.q    SP, FRAME_R(14), r14
714
715         /* SP is somewhere else */
716         st.q    SP, FRAME_R(15), r6
717
718         st.q    SP, FRAME_R(16), r16
719         st.q    SP, FRAME_R(17), r17
720         /* r18 is saved earlier. */
721         st.q    SP, FRAME_R(19), r19
722         st.q    SP, FRAME_R(20), r20
723         st.q    SP, FRAME_R(21), r21
724         st.q    SP, FRAME_R(22), r22
725         st.q    SP, FRAME_R(23), r23
726         st.q    SP, FRAME_R(24), r24
727         st.q    SP, FRAME_R(25), r25
728         st.q    SP, FRAME_R(26), r26
729         st.q    SP, FRAME_R(27), r27
730         st.q    SP, FRAME_R(28), r28
731         st.q    SP, FRAME_R(29), r29
732         st.q    SP, FRAME_R(30), r30
733         st.q    SP, FRAME_R(31), r31
734         st.q    SP, FRAME_R(32), r32
735         st.q    SP, FRAME_R(33), r33
736         st.q    SP, FRAME_R(34), r34
737         st.q    SP, FRAME_R(35), r35
738         st.q    SP, FRAME_R(36), r36
739         st.q    SP, FRAME_R(37), r37
740         st.q    SP, FRAME_R(38), r38
741         st.q    SP, FRAME_R(39), r39
742         st.q    SP, FRAME_R(40), r40
743         st.q    SP, FRAME_R(41), r41
744         st.q    SP, FRAME_R(42), r42
745         st.q    SP, FRAME_R(43), r43
746         st.q    SP, FRAME_R(44), r44
747         st.q    SP, FRAME_R(45), r45
748         st.q    SP, FRAME_R(46), r46
749         st.q    SP, FRAME_R(47), r47
750         st.q    SP, FRAME_R(48), r48
751         st.q    SP, FRAME_R(49), r49
752         st.q    SP, FRAME_R(50), r50
753         st.q    SP, FRAME_R(51), r51
754         st.q    SP, FRAME_R(52), r52
755         st.q    SP, FRAME_R(53), r53
756         st.q    SP, FRAME_R(54), r54
757         st.q    SP, FRAME_R(55), r55
758         st.q    SP, FRAME_R(56), r56
759         st.q    SP, FRAME_R(57), r57
760         st.q    SP, FRAME_R(58), r58
761         st.q    SP, FRAME_R(59), r59
762         st.q    SP, FRAME_R(60), r60
763         st.q    SP, FRAME_R(61), r61
764         st.q    SP, FRAME_R(62), r62
765
766         /*
767          * Save the S* registers.
768          */
769         getcon  SSR, r61
770         st.q    SP, FRAME_S(FSSR), r61
771         getcon  SPC, r62
772         st.q    SP, FRAME_S(FSPC), r62
773         movi    -1, r62                 /* Reset syscall_nr */
774         st.q    SP, FRAME_S(FSYSCALL_ID), r62
775
776         /* Save the rest of the target registers */
777         gettr   tr1, r6
778         st.q    SP, FRAME_T(1), r6
779         gettr   tr2, r6
780         st.q    SP, FRAME_T(2), r6
781         gettr   tr3, r6
782         st.q    SP, FRAME_T(3), r6
783         gettr   tr4, r6
784         st.q    SP, FRAME_T(4), r6
785         gettr   tr5, r6
786         st.q    SP, FRAME_T(5), r6
787         gettr   tr6, r6
788         st.q    SP, FRAME_T(6), r6
789         gettr   tr7, r6
790         st.q    SP, FRAME_T(7), r6
791
792         ! setup FP so that unwinder can wind back through nested kernel mode
793         ! exceptions
794         add     SP, ZERO, r14
795
796 #ifdef CONFIG_POOR_MANS_STRACE
797         /* We've pushed all the registers now, so only r2-r4 hold anything
798          * useful. Move them into callee save registers */
799         or      r2, ZERO, r28
800         or      r3, ZERO, r29
801         or      r4, ZERO, r30
802
803         /* Preserve r2 as the event code */
804         movi    evt_debug, r3
805         ori     r3, 1, r3
806         ptabs   r3, tr0
807
808         or      SP, ZERO, r6
809         getcon  TRA, r5
810         blink   tr0, LINK
811
812         or      r28, ZERO, r2
813         or      r29, ZERO, r3
814         or      r30, ZERO, r4
815 #endif
816
817         /* For syscall and debug race condition, get TRA now */
818         getcon  TRA, r5
819
820         /* We are in a safe position to turn SR.BL off, but set IMASK=0xf
821          * Also set FD, to catch FPU usage in the kernel.
822          *
823          * benedict.gaster@superh.com 29/07/2002
824          *
825          * On all SH5-101 revisions it is unsafe to raise the IMASK and at the
826          * same time change BL from 1->0, as any pending interrupt of a level
827          * higher than he previous value of IMASK will leak through and be
828          * taken unexpectedly.
829          *
830          * To avoid this we raise the IMASK and then issue another PUTCON to
831          * enable interrupts.
832          */
833         getcon  SR, r6
834         movi    SR_IMASK | SR_FD, r7
835         or      r6, r7, r6
836         putcon  r6, SR
837         movi    SR_UNBLOCK_EXC, r7
838         and     r6, r7, r6
839         putcon  r6, SR
840
841
842         /* Now call the appropriate 3rd level handler */
843         or      r3, ZERO, LINK
844         movi    trap_jtable, r3
845         shlri   r2, 3, r2
846         ldx.l   r2, r3, r3
847         shlri   r2, 2, r2
848         ptabs   r3, tr0
849         or      SP, ZERO, r3
850         blink   tr0, ZERO
851
852 /*
853  * Second level handler for VBR-based exceptions. Post-handlers.
854  *
855  * Post-handlers for interrupts (ret_from_irq), exceptions
856  * (ret_from_exception) and common reentrance doors (restore_all
857  * to get back to the original context, ret_from_syscall loop to
858  * check kernel exiting).
859  *
860  * ret_with_reschedule and work_notifysig are an inner lables of
861  * the ret_from_syscall loop.
862  *
863  * In common to all stack-frame sensitive handlers.
864  *
865  * Inputs:
866  * (SP)   struct pt_regs *, original register's frame pointer (basic)
867  *
868  */
869         .global ret_from_irq
870 ret_from_irq:
871 #ifdef CONFIG_POOR_MANS_STRACE
872         pta     evt_debug_ret_from_irq, tr0
873         ori     SP, 0, r2
874         blink   tr0, LINK
875 #endif
876         ld.q    SP, FRAME_S(FSSR), r6
877         shlri   r6, 30, r6
878         andi    r6, 1, r6
879         pta     resume_kernel, tr0
880         bne     r6, ZERO, tr0           /* no further checks */
881         STI()
882         pta     ret_with_reschedule, tr0
883         blink   tr0, ZERO               /* Do not check softirqs */
884
885         .global ret_from_exception
886 ret_from_exception:
887         preempt_stop()
888
889 #ifdef CONFIG_POOR_MANS_STRACE
890         pta     evt_debug_ret_from_exc, tr0
891         ori     SP, 0, r2
892         blink   tr0, LINK
893 #endif
894
895         ld.q    SP, FRAME_S(FSSR), r6
896         shlri   r6, 30, r6
897         andi    r6, 1, r6
898         pta     resume_kernel, tr0
899         bne     r6, ZERO, tr0           /* no further checks */
900
901         /* Check softirqs */
902
903 #ifdef CONFIG_PREEMPT
904         pta   ret_from_syscall, tr0
905         blink   tr0, ZERO
906
907 resume_kernel:
908         pta     restore_all, tr0
909
910         getcon  KCR0, r6
911         ld.l    r6, TI_PRE_COUNT, r7
912         beq/u   r7, ZERO, tr0
913
914 need_resched:
915         ld.l    r6, TI_FLAGS, r7
916         movi    (1 << TIF_NEED_RESCHED), r8
917         and     r8, r7, r8
918         bne     r8, ZERO, tr0
919
920         getcon  SR, r7
921         andi    r7, 0xf0, r7
922         bne     r7, ZERO, tr0
923
924         movi    ((PREEMPT_ACTIVE >> 16) & 65535), r8
925         shori   (PREEMPT_ACTIVE & 65535), r8
926         st.l    r6, TI_PRE_COUNT, r8
927
928         STI()
929         movi    schedule, r7
930         ori     r7, 1, r7
931         ptabs   r7, tr1
932         blink   tr1, LINK
933
934         st.l    r6, TI_PRE_COUNT, ZERO
935         CLI()
936
937         pta     need_resched, tr1
938         blink   tr1, ZERO
939 #endif
940
941         .global ret_from_syscall
942 ret_from_syscall:
943
944 ret_with_reschedule:
945         getcon  KCR0, r6                ! r6 contains current_thread_info
946         ld.l    r6, TI_FLAGS, r7        ! r7 contains current_thread_info->flags
947
948         ! FIXME:!!!
949         ! no handling of TIF_SYSCALL_TRACE yet!!
950
951         movi    (1 << TIF_NEED_RESCHED), r8
952         and     r8, r7, r8
953         pta     work_resched, tr0
954         bne     r8, ZERO, tr0
955
956         pta     restore_all, tr1
957
958         movi    (1 << TIF_SIGPENDING), r8
959         and     r8, r7, r8
960         pta     work_notifysig, tr0
961         bne     r8, ZERO, tr0
962
963         blink   tr1, ZERO
964
965 work_resched:
966         pta     ret_from_syscall, tr0
967         gettr   tr0, LINK
968         movi    schedule, r6
969         ptabs   r6, tr0
970         blink   tr0, ZERO               /* Call schedule(), return on top */
971
972 work_notifysig:
973         gettr   tr1, LINK
974
975         movi    do_signal, r6
976         ptabs   r6, tr0
977         or      SP, ZERO, r2
978         or      ZERO, ZERO, r3
979         blink   tr0, LINK           /* Call do_signal(regs, 0), return here */
980
981 restore_all:
982         /* Do prefetches */
983
984         ld.q    SP, FRAME_T(0), r6
985         ld.q    SP, FRAME_T(1), r7
986         ld.q    SP, FRAME_T(2), r8
987         ld.q    SP, FRAME_T(3), r9
988         ptabs   r6, tr0
989         ptabs   r7, tr1
990         ptabs   r8, tr2
991         ptabs   r9, tr3
992         ld.q    SP, FRAME_T(4), r6
993         ld.q    SP, FRAME_T(5), r7
994         ld.q    SP, FRAME_T(6), r8
995         ld.q    SP, FRAME_T(7), r9
996         ptabs   r6, tr4
997         ptabs   r7, tr5
998         ptabs   r8, tr6
999         ptabs   r9, tr7
1000
1001         ld.q    SP, FRAME_R(0), r0
1002         ld.q    SP, FRAME_R(1), r1
1003         ld.q    SP, FRAME_R(2), r2
1004         ld.q    SP, FRAME_R(3), r3
1005         ld.q    SP, FRAME_R(4), r4
1006         ld.q    SP, FRAME_R(5), r5
1007         ld.q    SP, FRAME_R(6), r6
1008         ld.q    SP, FRAME_R(7), r7
1009         ld.q    SP, FRAME_R(8), r8
1010         ld.q    SP, FRAME_R(9), r9
1011         ld.q    SP, FRAME_R(10), r10
1012         ld.q    SP, FRAME_R(11), r11
1013         ld.q    SP, FRAME_R(12), r12
1014         ld.q    SP, FRAME_R(13), r13
1015         ld.q    SP, FRAME_R(14), r14
1016
1017         ld.q    SP, FRAME_R(16), r16
1018         ld.q    SP, FRAME_R(17), r17
1019         ld.q    SP, FRAME_R(18), r18
1020         ld.q    SP, FRAME_R(19), r19
1021         ld.q    SP, FRAME_R(20), r20
1022         ld.q    SP, FRAME_R(21), r21
1023         ld.q    SP, FRAME_R(22), r22
1024         ld.q    SP, FRAME_R(23), r23
1025         ld.q    SP, FRAME_R(24), r24
1026         ld.q    SP, FRAME_R(25), r25
1027         ld.q    SP, FRAME_R(26), r26
1028         ld.q    SP, FRAME_R(27), r27
1029         ld.q    SP, FRAME_R(28), r28
1030         ld.q    SP, FRAME_R(29), r29
1031         ld.q    SP, FRAME_R(30), r30
1032         ld.q    SP, FRAME_R(31), r31
1033         ld.q    SP, FRAME_R(32), r32
1034         ld.q    SP, FRAME_R(33), r33
1035         ld.q    SP, FRAME_R(34), r34
1036         ld.q    SP, FRAME_R(35), r35
1037         ld.q    SP, FRAME_R(36), r36
1038         ld.q    SP, FRAME_R(37), r37
1039         ld.q    SP, FRAME_R(38), r38
1040         ld.q    SP, FRAME_R(39), r39
1041         ld.q    SP, FRAME_R(40), r40
1042         ld.q    SP, FRAME_R(41), r41
1043         ld.q    SP, FRAME_R(42), r42
1044         ld.q    SP, FRAME_R(43), r43
1045         ld.q    SP, FRAME_R(44), r44
1046         ld.q    SP, FRAME_R(45), r45
1047         ld.q    SP, FRAME_R(46), r46
1048         ld.q    SP, FRAME_R(47), r47
1049         ld.q    SP, FRAME_R(48), r48
1050         ld.q    SP, FRAME_R(49), r49
1051         ld.q    SP, FRAME_R(50), r50
1052         ld.q    SP, FRAME_R(51), r51
1053         ld.q    SP, FRAME_R(52), r52
1054         ld.q    SP, FRAME_R(53), r53
1055         ld.q    SP, FRAME_R(54), r54
1056         ld.q    SP, FRAME_R(55), r55
1057         ld.q    SP, FRAME_R(56), r56
1058         ld.q    SP, FRAME_R(57), r57
1059         ld.q    SP, FRAME_R(58), r58
1060
1061         getcon  SR, r59
1062         movi    SR_BLOCK_EXC, r60
1063         or      r59, r60, r59
1064         putcon  r59, SR                 /* SR.BL = 1, keep nesting out */
1065         ld.q    SP, FRAME_S(FSSR), r61
1066         ld.q    SP, FRAME_S(FSPC), r62
1067         movi    SR_ASID_MASK, r60
1068         and     r59, r60, r59
1069         andc    r61, r60, r61           /* Clear out older ASID */
1070         or      r59, r61, r61           /* Retain current ASID */
1071         putcon  r61, SSR
1072         putcon  r62, SPC
1073
1074         /* Ignore FSYSCALL_ID */
1075
1076         ld.q    SP, FRAME_R(59), r59
1077         ld.q    SP, FRAME_R(60), r60
1078         ld.q    SP, FRAME_R(61), r61
1079         ld.q    SP, FRAME_R(62), r62
1080
1081         /* Last touch */
1082         ld.q    SP, FRAME_R(15), SP
1083         rte
1084         nop
1085
1086 /*
1087  * Third level handlers for VBR-based exceptions. Adapting args to
1088  * and/or deflecting to fourth level handlers.
1089  *
1090  * Fourth level handlers interface.
1091  * Most are C-coded handlers directly pointed by the trap_jtable.
1092  * (Third = Fourth level)
1093  * Inputs:
1094  * (r2)   fault/interrupt code, entry number (e.g. NMI = 14,
1095  *        IRL0-3 (0000) = 16, RTLBMISS = 2, SYSCALL = 11, etc ...)
1096  * (r3)   struct pt_regs *, original register's frame pointer
1097  * (r4)   Event (0 = interrupt, 1 = TLB miss fault, 2 = Not TLB miss fault)
1098  * (r5)   TRA control register (for syscall/debug benefit only)
1099  * (LINK) return address
1100  * (SP)   = r3
1101  *
1102  * Kernel TLB fault handlers will get a slightly different interface.
1103  * (r2)   struct pt_regs *, original register's frame pointer
1104  * (r3)   writeaccess, whether it's a store fault as opposed to load fault
1105  * (r4)   execaccess, whether it's a ITLB fault as opposed to DTLB fault
1106  * (r5)   Effective Address of fault
1107  * (LINK) return address
1108  * (SP)   = r2
1109  *
1110  * fpu_error_or_IRQ? is a helper to deflect to the right cause.
1111  *
1112  */
1113 tlb_miss_load:
1114         or      SP, ZERO, r2
1115         or      ZERO, ZERO, r3          /* Read */
1116         or      ZERO, ZERO, r4          /* Data */
1117         getcon  TEA, r5
1118         pta     call_do_page_fault, tr0
1119         beq     ZERO, ZERO, tr0
1120
1121 tlb_miss_store:
1122         or      SP, ZERO, r2
1123         movi    1, r3                   /* Write */
1124         or      ZERO, ZERO, r4          /* Data */
1125         getcon  TEA, r5
1126         pta     call_do_page_fault, tr0
1127         beq     ZERO, ZERO, tr0
1128
1129 itlb_miss_or_IRQ:
1130         pta     its_IRQ, tr0
1131         beqi/u  r4, EVENT_INTERRUPT, tr0
1132         or      SP, ZERO, r2
1133         or      ZERO, ZERO, r3          /* Read */
1134         movi    1, r4                   /* Text */
1135         getcon  TEA, r5
1136         /* Fall through */
1137
1138 call_do_page_fault:
1139         movi    do_page_fault, r6
1140         ptabs   r6, tr0
1141         blink   tr0, ZERO
1142
1143 fpu_error_or_IRQA:
1144         pta     its_IRQ, tr0
1145         beqi/l  r4, EVENT_INTERRUPT, tr0
1146 #ifdef CONFIG_SH_FPU
1147         movi    do_fpu_state_restore, r6
1148 #else
1149         movi    do_exception_error, r6
1150 #endif
1151         ptabs   r6, tr0
1152         blink   tr0, ZERO
1153
1154 fpu_error_or_IRQB:
1155         pta     its_IRQ, tr0
1156         beqi/l  r4, EVENT_INTERRUPT, tr0
1157 #ifdef CONFIG_SH_FPU
1158         movi    do_fpu_state_restore, r6
1159 #else
1160         movi    do_exception_error, r6
1161 #endif
1162         ptabs   r6, tr0
1163         blink   tr0, ZERO
1164
1165 its_IRQ:
1166         movi    do_IRQ, r6
1167         ptabs   r6, tr0
1168         blink   tr0, ZERO
1169
1170 /*
1171  * system_call/unknown_trap third level handler:
1172  *
1173  * Inputs:
1174  * (r2)   fault/interrupt code, entry number (TRAP = 11)
1175  * (r3)   struct pt_regs *, original register's frame pointer
1176  * (r4)   Not used. Event (0=interrupt, 1=TLB miss fault, 2=Not TLB miss fault)
1177  * (r5)   TRA Control Reg (0x00xyzzzz: x=1 SYSCALL, y = #args, z=nr)
1178  * (SP)   = r3
1179  * (LINK) return address: ret_from_exception
1180  * (*r3)  Syscall parms: SC#, arg0, arg1, ..., arg5 in order (Saved r2/r7)
1181  *
1182  * Outputs:
1183  * (*r3)  Syscall reply (Saved r2)
1184  * (LINK) In case of syscall only it can be scrapped.
1185  *        Common second level post handler will be ret_from_syscall.
1186  *        Common (non-trace) exit point to that is syscall_ret (saving
1187  *        result to r2). Common bad exit point is syscall_bad (returning
1188  *        ENOSYS then saved to r2).
1189  *
1190  */
1191
1192 unknown_trap:
1193         /* Unknown Trap or User Trace */
1194         movi    do_unknown_trapa, r6
1195         ptabs   r6, tr0
1196         ld.q    r3, FRAME_R(9), r2      /* r2 = #arg << 16 | syscall # */
1197         andi    r2, 0x1ff, r2           /* r2 = syscall # */
1198         blink   tr0, LINK
1199
1200         pta     syscall_ret, tr0
1201         blink   tr0, ZERO
1202
1203         /* New syscall implementation*/
1204 system_call:
1205         pta     unknown_trap, tr0
1206         or      r5, ZERO, r4            /* TRA (=r5) -> r4 */
1207         shlri   r4, 20, r4
1208         bnei    r4, 1, tr0              /* unknown_trap if not 0x1yzzzz */
1209
1210         /* It's a system call */
1211         st.q    r3, FRAME_S(FSYSCALL_ID), r5    /* ID (0x1yzzzz) -> stack */
1212         andi    r5, 0x1ff, r5                   /* syscall # -> r5        */
1213
1214         STI()
1215
1216         pta     syscall_allowed, tr0
1217         movi    NR_syscalls - 1, r4     /* Last valid */
1218         bgeu/l  r4, r5, tr0
1219
1220 syscall_bad:
1221         /* Return ENOSYS ! */
1222         movi    -(ENOSYS), r2           /* Fall-through */
1223
1224         .global syscall_ret
1225 syscall_ret:
1226         st.q    SP, FRAME_R(9), r2      /* Expecting SP back to BASIC frame */
1227
1228 #ifdef CONFIG_POOR_MANS_STRACE
1229         /* nothing useful in registers at this point */
1230
1231         movi    evt_debug2, r5
1232         ori     r5, 1, r5
1233         ptabs   r5, tr0
1234         ld.q    SP, FRAME_R(9), r2
1235         or      SP, ZERO, r3
1236         blink   tr0, LINK
1237 #endif
1238
1239         ld.q    SP, FRAME_S(FSPC), r2
1240         addi    r2, 4, r2               /* Move PC, being pre-execution event */
1241         st.q    SP, FRAME_S(FSPC), r2
1242         pta     ret_from_syscall, tr0
1243         blink   tr0, ZERO
1244
1245
1246 /*  A different return path for ret_from_fork, because we now need
1247  *  to call schedule_tail with the later kernels. Because prev is
1248  *  loaded into r2 by switch_to() means we can just call it straight  away
1249  */
1250
1251 .global ret_from_fork
1252 ret_from_fork:
1253
1254         movi    schedule_tail,r5
1255         ori     r5, 1, r5
1256         ptabs   r5, tr0
1257         blink   tr0, LINK
1258
1259 #ifdef CONFIG_POOR_MANS_STRACE
1260         /* nothing useful in registers at this point */
1261
1262         movi    evt_debug2, r5
1263         ori     r5, 1, r5
1264         ptabs   r5, tr0
1265         ld.q    SP, FRAME_R(9), r2
1266         or      SP, ZERO, r3
1267         blink   tr0, LINK
1268 #endif
1269
1270         ld.q    SP, FRAME_S(FSPC), r2
1271         addi    r2, 4, r2               /* Move PC, being pre-execution event */
1272         st.q    SP, FRAME_S(FSPC), r2
1273         pta     ret_from_syscall, tr0
1274         blink   tr0, ZERO
1275
1276
1277
1278 syscall_allowed:
1279         /* Use LINK to deflect the exit point, default is syscall_ret */
1280         pta     syscall_ret, tr0
1281         gettr   tr0, LINK
1282         pta     syscall_notrace, tr0
1283
1284         getcon  KCR0, r2
1285         ld.l    r2, TI_FLAGS, r4
1286         movi    (1 << TIF_SYSCALL_TRACE), r6
1287         and     r6, r4, r6
1288         beq/l   r6, ZERO, tr0
1289
1290         /* Trace it by calling syscall_trace before and after */
1291         movi    syscall_trace, r4
1292         ptabs   r4, tr0
1293         blink   tr0, LINK
1294         /* Reload syscall number as r5 is trashed by syscall_trace */
1295         ld.q    SP, FRAME_S(FSYSCALL_ID), r5
1296         andi    r5, 0x1ff, r5
1297
1298         pta     syscall_ret_trace, tr0
1299         gettr   tr0, LINK
1300
1301 syscall_notrace:
1302         /* Now point to the appropriate 4th level syscall handler */
1303         movi    sys_call_table, r4
1304         shlli   r5, 2, r5
1305         ldx.l   r4, r5, r5
1306         ptabs   r5, tr0
1307
1308         /* Prepare original args */
1309         ld.q    SP, FRAME_R(2), r2
1310         ld.q    SP, FRAME_R(3), r3
1311         ld.q    SP, FRAME_R(4), r4
1312         ld.q    SP, FRAME_R(5), r5
1313         ld.q    SP, FRAME_R(6), r6
1314         ld.q    SP, FRAME_R(7), r7
1315
1316         /* And now the trick for those syscalls requiring regs * ! */
1317         or      SP, ZERO, r8
1318
1319         /* Call it */
1320         blink   tr0, ZERO       /* LINK is already properly set */
1321
1322 syscall_ret_trace:
1323         /* We get back here only if under trace */
1324         st.q    SP, FRAME_R(9), r2      /* Save return value */
1325
1326         movi    syscall_trace, LINK
1327         ptabs   LINK, tr0
1328         blink   tr0, LINK
1329
1330         /* This needs to be done after any syscall tracing */
1331         ld.q    SP, FRAME_S(FSPC), r2
1332         addi    r2, 4, r2       /* Move PC, being pre-execution event */
1333         st.q    SP, FRAME_S(FSPC), r2
1334
1335         pta     ret_from_syscall, tr0
1336         blink   tr0, ZERO               /* Resume normal return sequence */
1337
1338 /*
1339  * --- Switch to running under a particular ASID and return the previous ASID value
1340  * --- The caller is assumed to have done a cli before calling this.
1341  *
1342  * Input r2 : new ASID
1343  * Output r2 : old ASID
1344  */
1345
1346         .global switch_and_save_asid
1347 switch_and_save_asid:
1348         getcon  sr, r0
1349         movi    255, r4
1350         shlli   r4, 16, r4      /* r4 = mask to select ASID */
1351         and     r0, r4, r3      /* r3 = shifted old ASID */
1352         andi    r2, 255, r2     /* mask down new ASID */
1353         shlli   r2, 16, r2      /* align new ASID against SR.ASID */
1354         andc    r0, r4, r0      /* efface old ASID from SR */
1355         or      r0, r2, r0      /* insert the new ASID */
1356         putcon  r0, ssr
1357         movi    1f, r0
1358         putcon  r0, spc
1359         rte
1360         nop
1361 1:
1362         ptabs   LINK, tr0
1363         shlri   r3, 16, r2      /* r2 = old ASID */
1364         blink tr0, r63
1365
1366         .global route_to_panic_handler
1367 route_to_panic_handler:
1368         /* Switch to real mode, goto panic_handler, don't return.  Useful for
1369            last-chance debugging, e.g. if no output wants to go to the console.
1370            */
1371
1372         movi    panic_handler - CONFIG_CACHED_MEMORY_OFFSET, r1
1373         ptabs   r1, tr0
1374         pta     1f, tr1
1375         gettr   tr1, r0
1376         putcon  r0, spc
1377         getcon  sr, r0
1378         movi    1, r1
1379         shlli   r1, 31, r1
1380         andc    r0, r1, r0
1381         putcon  r0, ssr
1382         rte
1383         nop
1384 1:      /* Now in real mode */
1385         blink tr0, r63
1386         nop
1387
1388         .global peek_real_address_q
1389 peek_real_address_q:
1390         /* Two args:
1391            r2 : real mode address to peek
1392            r2(out) : result quadword
1393
1394            This is provided as a cheapskate way of manipulating device
1395            registers for debugging (to avoid the need to onchip_remap the debug
1396            module, and to avoid the need to onchip_remap the watchpoint
1397            controller in a way that identity maps sufficient bits to avoid the
1398            SH5-101 cut2 silicon defect).
1399
1400            This code is not performance critical
1401         */
1402
1403         add.l   r2, r63, r2     /* sign extend address */
1404         getcon  sr, r0          /* r0 = saved original SR */
1405         movi    1, r1
1406         shlli   r1, 28, r1
1407         or      r0, r1, r1      /* r0 with block bit set */
1408         putcon  r1, sr          /* now in critical section */
1409         movi    1, r36
1410         shlli   r36, 31, r36
1411         andc    r1, r36, r1     /* turn sr.mmu off in real mode section */
1412
1413         putcon  r1, ssr
1414         movi    .peek0 - CONFIG_CACHED_MEMORY_OFFSET, r36 /* real mode target address */
1415         movi    1f, r37         /* virtual mode return addr */
1416         putcon  r36, spc
1417
1418         synco
1419         rte
1420         nop
1421
1422 .peek0: /* come here in real mode, don't touch caches!!
1423            still in critical section (sr.bl==1) */
1424         putcon  r0, ssr
1425         putcon  r37, spc
1426         /* Here's the actual peek.  If the address is bad, all bets are now off
1427          * what will happen (handlers invoked in real-mode = bad news) */
1428         ld.q    r2, 0, r2
1429         synco
1430         rte     /* Back to virtual mode */
1431         nop
1432
1433 1:
1434         ptabs   LINK, tr0
1435         blink   tr0, r63
1436
1437         .global poke_real_address_q
1438 poke_real_address_q:
1439         /* Two args:
1440            r2 : real mode address to poke
1441            r3 : quadword value to write.
1442
1443            This is provided as a cheapskate way of manipulating device
1444            registers for debugging (to avoid the need to onchip_remap the debug
1445            module, and to avoid the need to onchip_remap the watchpoint
1446            controller in a way that identity maps sufficient bits to avoid the
1447            SH5-101 cut2 silicon defect).
1448
1449            This code is not performance critical
1450         */
1451
1452         add.l   r2, r63, r2     /* sign extend address */
1453         getcon  sr, r0          /* r0 = saved original SR */
1454         movi    1, r1
1455         shlli   r1, 28, r1
1456         or      r0, r1, r1      /* r0 with block bit set */
1457         putcon  r1, sr          /* now in critical section */
1458         movi    1, r36
1459         shlli   r36, 31, r36
1460         andc    r1, r36, r1     /* turn sr.mmu off in real mode section */
1461
1462         putcon  r1, ssr
1463         movi    .poke0-CONFIG_CACHED_MEMORY_OFFSET, r36 /* real mode target address */
1464         movi    1f, r37         /* virtual mode return addr */
1465         putcon  r36, spc
1466
1467         synco
1468         rte
1469         nop
1470
1471 .poke0: /* come here in real mode, don't touch caches!!
1472            still in critical section (sr.bl==1) */
1473         putcon  r0, ssr
1474         putcon  r37, spc
1475         /* Here's the actual poke.  If the address is bad, all bets are now off
1476          * what will happen (handlers invoked in real-mode = bad news) */
1477         st.q    r2, 0, r3
1478         synco
1479         rte     /* Back to virtual mode */
1480         nop
1481
1482 1:
1483         ptabs   LINK, tr0
1484         blink   tr0, r63
1485
1486 /*
1487  * --- User Access Handling Section
1488  */
1489
1490 /*
1491  * User Access support. It all moved to non inlined Assembler
1492  * functions in here.
1493  *
1494  * __kernel_size_t __copy_user(void *__to, const void *__from,
1495  *                             __kernel_size_t __n)
1496  *
1497  * Inputs:
1498  * (r2)  target address
1499  * (r3)  source address
1500  * (r4)  size in bytes
1501  *
1502  * Ouputs:
1503  * (*r2) target data
1504  * (r2)  non-copied bytes
1505  *
1506  * If a fault occurs on the user pointer, bail out early and return the
1507  * number of bytes not copied in r2.
1508  * Strategy : for large blocks, call a real memcpy function which can
1509  * move >1 byte at a time using unaligned ld/st instructions, and can
1510  * manipulate the cache using prefetch + alloco to improve the speed
1511  * further.  If a fault occurs in that function, just revert to the
1512  * byte-by-byte approach used for small blocks; this is rare so the
1513  * performance hit for that case does not matter.
1514  *
1515  * For small blocks it's not worth the overhead of setting up and calling
1516  * the memcpy routine; do the copy a byte at a time.
1517  *
1518  */
1519         .global __copy_user
1520 __copy_user:
1521         pta     __copy_user_byte_by_byte, tr1
1522         movi    16, r0 ! this value is a best guess, should tune it by benchmarking
1523         bge/u   r0, r4, tr1
1524         pta copy_user_memcpy, tr0
1525         addi    SP, -32, SP
1526         /* Save arguments in case we have to fix-up unhandled page fault */
1527         st.q    SP, 0, r2
1528         st.q    SP, 8, r3
1529         st.q    SP, 16, r4
1530         st.q    SP, 24, r35 ! r35 is callee-save
1531         /* Save LINK in a register to reduce RTS time later (otherwise
1532            ld SP,*,LINK;ptabs LINK;trn;blink trn,r63 becomes a critical path) */
1533         ori     LINK, 0, r35
1534         blink   tr0, LINK
1535
1536         /* Copy completed normally if we get back here */
1537         ptabs   r35, tr0
1538         ld.q    SP, 24, r35
1539         /* don't restore r2-r4, pointless */
1540         /* set result=r2 to zero as the copy must have succeeded. */
1541         or      r63, r63, r2
1542         addi    SP, 32, SP
1543         blink   tr0, r63 ! RTS
1544
1545         .global __copy_user_fixup
1546 __copy_user_fixup:
1547         /* Restore stack frame */
1548         ori     r35, 0, LINK
1549         ld.q    SP, 24, r35
1550         ld.q    SP, 16, r4
1551         ld.q    SP,  8, r3
1552         ld.q    SP,  0, r2
1553         addi    SP, 32, SP
1554         /* Fall through to original code, in the 'same' state we entered with */
1555
1556 /* The slow byte-by-byte method is used if the fast copy traps due to a bad
1557    user address.  In that rare case, the speed drop can be tolerated. */
1558 __copy_user_byte_by_byte:
1559         pta     ___copy_user_exit, tr1
1560         pta     ___copy_user1, tr0
1561         beq/u   r4, r63, tr1    /* early exit for zero length copy */
1562         sub     r2, r3, r0
1563         addi    r0, -1, r0
1564
1565 ___copy_user1:
1566         ld.b    r3, 0, r5               /* Fault address 1 */
1567
1568         /* Could rewrite this to use just 1 add, but the second comes 'free'
1569            due to load latency */
1570         addi    r3, 1, r3
1571         addi    r4, -1, r4              /* No real fixup required */
1572 ___copy_user2:
1573         stx.b   r3, r0, r5              /* Fault address 2 */
1574         bne     r4, ZERO, tr0
1575
1576 ___copy_user_exit:
1577         or      r4, ZERO, r2
1578         ptabs   LINK, tr0
1579         blink   tr0, ZERO
1580
1581 /*
1582  * __kernel_size_t __clear_user(void *addr, __kernel_size_t size)
1583  *
1584  * Inputs:
1585  * (r2)  target address
1586  * (r3)  size in bytes
1587  *
1588  * Ouputs:
1589  * (*r2) zero-ed target data
1590  * (r2)  non-zero-ed bytes
1591  */
1592         .global __clear_user
1593 __clear_user:
1594         pta     ___clear_user_exit, tr1
1595         pta     ___clear_user1, tr0
1596         beq/u   r3, r63, tr1
1597
1598 ___clear_user1:
1599         st.b    r2, 0, ZERO             /* Fault address */
1600         addi    r2, 1, r2
1601         addi    r3, -1, r3              /* No real fixup required */
1602         bne     r3, ZERO, tr0
1603
1604 ___clear_user_exit:
1605         or      r3, ZERO, r2
1606         ptabs   LINK, tr0
1607         blink   tr0, ZERO
1608
1609
1610 /*
1611  * int __strncpy_from_user(unsigned long __dest, unsigned long __src,
1612  *                         int __count)
1613  *
1614  * Inputs:
1615  * (r2)  target address
1616  * (r3)  source address
1617  * (r4)  maximum size in bytes
1618  *
1619  * Ouputs:
1620  * (*r2) copied data
1621  * (r2)  -EFAULT (in case of faulting)
1622  *       copied data (otherwise)
1623  */
1624         .global __strncpy_from_user
1625 __strncpy_from_user:
1626         pta     ___strncpy_from_user1, tr0
1627         pta     ___strncpy_from_user_done, tr1
1628         or      r4, ZERO, r5            /* r5 = original count */
1629         beq/u   r4, r63, tr1            /* early exit if r4==0 */
1630         movi    -(EFAULT), r6           /* r6 = reply, no real fixup */
1631         or      ZERO, ZERO, r7          /* r7 = data, clear top byte of data */
1632
1633 ___strncpy_from_user1:
1634         ld.b    r3, 0, r7               /* Fault address: only in reading */
1635         st.b    r2, 0, r7
1636         addi    r2, 1, r2
1637         addi    r3, 1, r3
1638         beq/u   ZERO, r7, tr1
1639         addi    r4, -1, r4              /* return real number of copied bytes */
1640         bne/l   ZERO, r4, tr0
1641
1642 ___strncpy_from_user_done:
1643         sub     r5, r4, r6              /* If done, return copied */
1644
1645 ___strncpy_from_user_exit:
1646         or      r6, ZERO, r2
1647         ptabs   LINK, tr0
1648         blink   tr0, ZERO
1649
1650 /*
1651  * extern long __strnlen_user(const char *__s, long __n)
1652  *
1653  * Inputs:
1654  * (r2)  source address
1655  * (r3)  source size in bytes
1656  *
1657  * Ouputs:
1658  * (r2)  -EFAULT (in case of faulting)
1659  *       string length (otherwise)
1660  */
1661         .global __strnlen_user
1662 __strnlen_user:
1663         pta     ___strnlen_user_set_reply, tr0
1664         pta     ___strnlen_user1, tr1
1665         or      ZERO, ZERO, r5          /* r5 = counter */
1666         movi    -(EFAULT), r6           /* r6 = reply, no real fixup */
1667         or      ZERO, ZERO, r7          /* r7 = data, clear top byte of data */
1668         beq     r3, ZERO, tr0
1669
1670 ___strnlen_user1:
1671         ldx.b   r2, r5, r7              /* Fault address: only in reading */
1672         addi    r3, -1, r3              /* No real fixup */
1673         addi    r5, 1, r5
1674         beq     r3, ZERO, tr0
1675         bne     r7, ZERO, tr1
1676 ! The line below used to be active.  This meant led to a junk byte lying between each pair
1677 ! of entries in the argv & envp structures in memory.  Whilst the program saw the right data
1678 ! via the argv and envp arguments to main, it meant the 'flat' representation visible through
1679 ! /proc/$pid/cmdline was corrupt, causing trouble with ps, for example.
1680 !       addi    r5, 1, r5               /* Include '\0' */
1681
1682 ___strnlen_user_set_reply:
1683         or      r5, ZERO, r6            /* If done, return counter */
1684
1685 ___strnlen_user_exit:
1686         or      r6, ZERO, r2
1687         ptabs   LINK, tr0
1688         blink   tr0, ZERO
1689
1690 /*
1691  * extern long __get_user_asm_?(void *val, long addr)
1692  *
1693  * Inputs:
1694  * (r2)  dest address
1695  * (r3)  source address (in User Space)
1696  *
1697  * Ouputs:
1698  * (r2)  -EFAULT (faulting)
1699  *       0       (not faulting)
1700  */
1701         .global __get_user_asm_b
1702 __get_user_asm_b:
1703         or      r2, ZERO, r4
1704         movi    -(EFAULT), r2           /* r2 = reply, no real fixup */
1705
1706 ___get_user_asm_b1:
1707         ld.b    r3, 0, r5               /* r5 = data */
1708         st.b    r4, 0, r5
1709         or      ZERO, ZERO, r2
1710
1711 ___get_user_asm_b_exit:
1712         ptabs   LINK, tr0
1713         blink   tr0, ZERO
1714
1715
1716         .global __get_user_asm_w
1717 __get_user_asm_w:
1718         or      r2, ZERO, r4
1719         movi    -(EFAULT), r2           /* r2 = reply, no real fixup */
1720
1721 ___get_user_asm_w1:
1722         ld.w    r3, 0, r5               /* r5 = data */
1723         st.w    r4, 0, r5
1724         or      ZERO, ZERO, r2
1725
1726 ___get_user_asm_w_exit:
1727         ptabs   LINK, tr0
1728         blink   tr0, ZERO
1729
1730
1731         .global __get_user_asm_l
1732 __get_user_asm_l:
1733         or      r2, ZERO, r4
1734         movi    -(EFAULT), r2           /* r2 = reply, no real fixup */
1735
1736 ___get_user_asm_l1:
1737         ld.l    r3, 0, r5               /* r5 = data */
1738         st.l    r4, 0, r5
1739         or      ZERO, ZERO, r2
1740
1741 ___get_user_asm_l_exit:
1742         ptabs   LINK, tr0
1743         blink   tr0, ZERO
1744
1745
1746         .global __get_user_asm_q
1747 __get_user_asm_q:
1748         or      r2, ZERO, r4
1749         movi    -(EFAULT), r2           /* r2 = reply, no real fixup */
1750
1751 ___get_user_asm_q1:
1752         ld.q    r3, 0, r5               /* r5 = data */
1753         st.q    r4, 0, r5
1754         or      ZERO, ZERO, r2
1755
1756 ___get_user_asm_q_exit:
1757         ptabs   LINK, tr0
1758         blink   tr0, ZERO
1759
1760 /*
1761  * extern long __put_user_asm_?(void *pval, long addr)
1762  *
1763  * Inputs:
1764  * (r2)  kernel pointer to value
1765  * (r3)  dest address (in User Space)
1766  *
1767  * Ouputs:
1768  * (r2)  -EFAULT (faulting)
1769  *       0       (not faulting)
1770  */
1771         .global __put_user_asm_b
1772 __put_user_asm_b:
1773         ld.b    r2, 0, r4               /* r4 = data */
1774         movi    -(EFAULT), r2           /* r2 = reply, no real fixup */
1775
1776 ___put_user_asm_b1:
1777         st.b    r3, 0, r4
1778         or      ZERO, ZERO, r2
1779
1780 ___put_user_asm_b_exit:
1781         ptabs   LINK, tr0
1782         blink   tr0, ZERO
1783
1784
1785         .global __put_user_asm_w
1786 __put_user_asm_w:
1787         ld.w    r2, 0, r4               /* r4 = data */
1788         movi    -(EFAULT), r2           /* r2 = reply, no real fixup */
1789
1790 ___put_user_asm_w1:
1791         st.w    r3, 0, r4
1792         or      ZERO, ZERO, r2
1793
1794 ___put_user_asm_w_exit:
1795         ptabs   LINK, tr0
1796         blink   tr0, ZERO
1797
1798
1799         .global __put_user_asm_l
1800 __put_user_asm_l:
1801         ld.l    r2, 0, r4               /* r4 = data */
1802         movi    -(EFAULT), r2           /* r2 = reply, no real fixup */
1803
1804 ___put_user_asm_l1:
1805         st.l    r3, 0, r4
1806         or      ZERO, ZERO, r2
1807
1808 ___put_user_asm_l_exit:
1809         ptabs   LINK, tr0
1810         blink   tr0, ZERO
1811
1812
1813         .global __put_user_asm_q
1814 __put_user_asm_q:
1815         ld.q    r2, 0, r4               /* r4 = data */
1816         movi    -(EFAULT), r2           /* r2 = reply, no real fixup */
1817
1818 ___put_user_asm_q1:
1819         st.q    r3, 0, r4
1820         or      ZERO, ZERO, r2
1821
1822 ___put_user_asm_q_exit:
1823         ptabs   LINK, tr0
1824         blink   tr0, ZERO
1825
1826 panic_stash_regs:
1827         /* The idea is : when we get an unhandled panic, we dump the registers
1828            to a known memory location, the just sit in a tight loop.
1829            This allows the human to look at the memory region through the GDB
1830            session (assuming the debug module's SHwy initiator isn't locked up
1831            or anything), to hopefully analyze the cause of the panic. */
1832
1833         /* On entry, former r15 (SP) is in DCR
1834            former r0  is at resvec_saved_area + 0
1835            former r1  is at resvec_saved_area + 8
1836            former tr0 is at resvec_saved_area + 32
1837            DCR is the only register whose value is lost altogether.
1838         */
1839
1840         movi    0xffffffff80000000, r0 ! phy of dump area
1841         ld.q    SP, 0x000, r1   ! former r0
1842         st.q    r0,  0x000, r1
1843         ld.q    SP, 0x008, r1   ! former r1
1844         st.q    r0,  0x008, r1
1845         st.q    r0,  0x010, r2
1846         st.q    r0,  0x018, r3
1847         st.q    r0,  0x020, r4
1848         st.q    r0,  0x028, r5
1849         st.q    r0,  0x030, r6
1850         st.q    r0,  0x038, r7
1851         st.q    r0,  0x040, r8
1852         st.q    r0,  0x048, r9
1853         st.q    r0,  0x050, r10
1854         st.q    r0,  0x058, r11
1855         st.q    r0,  0x060, r12
1856         st.q    r0,  0x068, r13
1857         st.q    r0,  0x070, r14
1858         getcon  dcr, r14
1859         st.q    r0,  0x078, r14
1860         st.q    r0,  0x080, r16
1861         st.q    r0,  0x088, r17
1862         st.q    r0,  0x090, r18
1863         st.q    r0,  0x098, r19
1864         st.q    r0,  0x0a0, r20
1865         st.q    r0,  0x0a8, r21
1866         st.q    r0,  0x0b0, r22
1867         st.q    r0,  0x0b8, r23
1868         st.q    r0,  0x0c0, r24
1869         st.q    r0,  0x0c8, r25
1870         st.q    r0,  0x0d0, r26
1871         st.q    r0,  0x0d8, r27
1872         st.q    r0,  0x0e0, r28
1873         st.q    r0,  0x0e8, r29
1874         st.q    r0,  0x0f0, r30
1875         st.q    r0,  0x0f8, r31
1876         st.q    r0,  0x100, r32
1877         st.q    r0,  0x108, r33
1878         st.q    r0,  0x110, r34
1879         st.q    r0,  0x118, r35
1880         st.q    r0,  0x120, r36
1881         st.q    r0,  0x128, r37
1882         st.q    r0,  0x130, r38
1883         st.q    r0,  0x138, r39
1884         st.q    r0,  0x140, r40
1885         st.q    r0,  0x148, r41
1886         st.q    r0,  0x150, r42
1887         st.q    r0,  0x158, r43
1888         st.q    r0,  0x160, r44
1889         st.q    r0,  0x168, r45
1890         st.q    r0,  0x170, r46
1891         st.q    r0,  0x178, r47
1892         st.q    r0,  0x180, r48
1893         st.q    r0,  0x188, r49
1894         st.q    r0,  0x190, r50
1895         st.q    r0,  0x198, r51
1896         st.q    r0,  0x1a0, r52
1897         st.q    r0,  0x1a8, r53
1898         st.q    r0,  0x1b0, r54
1899         st.q    r0,  0x1b8, r55
1900         st.q    r0,  0x1c0, r56
1901         st.q    r0,  0x1c8, r57
1902         st.q    r0,  0x1d0, r58
1903         st.q    r0,  0x1d8, r59
1904         st.q    r0,  0x1e0, r60
1905         st.q    r0,  0x1e8, r61
1906         st.q    r0,  0x1f0, r62
1907         st.q    r0,  0x1f8, r63 ! bogus, but for consistency's sake...
1908
1909         ld.q    SP, 0x020, r1  ! former tr0
1910         st.q    r0,  0x200, r1
1911         gettr   tr1, r1
1912         st.q    r0,  0x208, r1
1913         gettr   tr2, r1
1914         st.q    r0,  0x210, r1
1915         gettr   tr3, r1
1916         st.q    r0,  0x218, r1
1917         gettr   tr4, r1
1918         st.q    r0,  0x220, r1
1919         gettr   tr5, r1
1920         st.q    r0,  0x228, r1
1921         gettr   tr6, r1
1922         st.q    r0,  0x230, r1
1923         gettr   tr7, r1
1924         st.q    r0,  0x238, r1
1925
1926         getcon  sr,  r1
1927         getcon  ssr,  r2
1928         getcon  pssr,  r3
1929         getcon  spc,  r4
1930         getcon  pspc,  r5
1931         getcon  intevt,  r6
1932         getcon  expevt,  r7
1933         getcon  pexpevt,  r8
1934         getcon  tra,  r9
1935         getcon  tea,  r10
1936         getcon  kcr0, r11
1937         getcon  kcr1, r12
1938         getcon  vbr,  r13
1939         getcon  resvec,  r14
1940
1941         st.q    r0,  0x240, r1
1942         st.q    r0,  0x248, r2
1943         st.q    r0,  0x250, r3
1944         st.q    r0,  0x258, r4
1945         st.q    r0,  0x260, r5
1946         st.q    r0,  0x268, r6
1947         st.q    r0,  0x270, r7
1948         st.q    r0,  0x278, r8
1949         st.q    r0,  0x280, r9
1950         st.q    r0,  0x288, r10
1951         st.q    r0,  0x290, r11
1952         st.q    r0,  0x298, r12
1953         st.q    r0,  0x2a0, r13
1954         st.q    r0,  0x2a8, r14
1955
1956         getcon  SPC,r2
1957         getcon  SSR,r3
1958         getcon  EXPEVT,r4
1959         /* Prepare to jump to C - physical address */
1960         movi    panic_handler-CONFIG_CACHED_MEMORY_OFFSET, r1
1961         ori     r1, 1, r1
1962         ptabs   r1, tr0
1963         getcon  DCR, SP
1964         blink   tr0, ZERO
1965         nop
1966         nop
1967         nop
1968         nop
1969
1970
1971
1972
1973 /*
1974  * --- Signal Handling Section
1975  */
1976
1977 /*
1978  * extern long long _sa_default_rt_restorer
1979  * extern long long _sa_default_restorer
1980  *
1981  *               or, better,
1982  *
1983  * extern void _sa_default_rt_restorer(void)
1984  * extern void _sa_default_restorer(void)
1985  *
1986  * Code prototypes to do a sys_rt_sigreturn() or sys_sysreturn()
1987  * from user space. Copied into user space by signal management.
1988  * Both must be quad aligned and 2 quad long (4 instructions).
1989  *
1990  */
1991         .balign 8
1992         .global sa_default_rt_restorer
1993 sa_default_rt_restorer:
1994         movi    0x10, r9
1995         shori   __NR_rt_sigreturn, r9
1996         trapa   r9
1997         nop
1998
1999         .balign 8
2000         .global sa_default_restorer
2001 sa_default_restorer:
2002         movi    0x10, r9
2003         shori   __NR_sigreturn, r9
2004         trapa   r9
2005         nop
2006
2007 /*
2008  * --- __ex_table Section
2009  */
2010
2011 /*
2012  * User Access Exception Table.
2013  */
2014         .section        __ex_table,  "a"
2015
2016         .global asm_uaccess_start       /* Just a marker */
2017 asm_uaccess_start:
2018
2019         .long   ___copy_user1, ___copy_user_exit
2020         .long   ___copy_user2, ___copy_user_exit
2021         .long   ___clear_user1, ___clear_user_exit
2022         .long   ___strncpy_from_user1, ___strncpy_from_user_exit
2023         .long   ___strnlen_user1, ___strnlen_user_exit
2024         .long   ___get_user_asm_b1, ___get_user_asm_b_exit
2025         .long   ___get_user_asm_w1, ___get_user_asm_w_exit
2026         .long   ___get_user_asm_l1, ___get_user_asm_l_exit
2027         .long   ___get_user_asm_q1, ___get_user_asm_q_exit
2028         .long   ___put_user_asm_b1, ___put_user_asm_b_exit
2029         .long   ___put_user_asm_w1, ___put_user_asm_w_exit
2030         .long   ___put_user_asm_l1, ___put_user_asm_l_exit
2031         .long   ___put_user_asm_q1, ___put_user_asm_q_exit
2032
2033         .global asm_uaccess_end         /* Just a marker */
2034 asm_uaccess_end:
2035
2036
2037
2038
2039 /*
2040  * --- .text.init Section
2041  */
2042
2043         .section        .text.init, "ax"
2044
2045 /*
2046  * void trap_init (void)
2047  *
2048  */
2049         .global trap_init
2050 trap_init:
2051         addi    SP, -24, SP                     /* Room to save r28/r29/r30 */
2052         st.q    SP, 0, r28
2053         st.q    SP, 8, r29
2054         st.q    SP, 16, r30
2055
2056         /* Set VBR and RESVEC */
2057         movi    LVBR_block, r19
2058         andi    r19, -4, r19                    /* reset MMUOFF + reserved */
2059         /* For RESVEC exceptions we force the MMU off, which means we need the
2060            physical address. */
2061         movi    LRESVEC_block-CONFIG_CACHED_MEMORY_OFFSET, r20
2062         andi    r20, -4, r20                    /* reset reserved */
2063         ori     r20, 1, r20                     /* set MMUOFF */
2064         putcon  r19, VBR
2065         putcon  r20, RESVEC
2066
2067         /* Sanity check */
2068         movi    LVBR_block_end, r21
2069         andi    r21, -4, r21
2070         movi    BLOCK_SIZE, r29                 /* r29 = expected size */
2071         or      r19, ZERO, r30
2072         add     r19, r29, r19
2073
2074         /*
2075          * Ugly, but better loop forever now than crash afterwards.
2076          * We should print a message, but if we touch LVBR or
2077          * LRESVEC blocks we should not be surprised if we get stuck
2078          * in trap_init().
2079          */
2080         pta     trap_init_loop, tr1
2081         gettr   tr1, r28                        /* r28 = trap_init_loop */
2082         sub     r21, r30, r30                   /* r30 = actual size */
2083
2084         /*
2085          * VBR/RESVEC handlers overlap by being bigger than
2086          * allowed. Very bad. Just loop forever.
2087          * (r28) panic/loop address
2088          * (r29) expected size
2089          * (r30) actual size
2090          */
2091 trap_init_loop:
2092         bne     r19, r21, tr1
2093
2094         /* Now that exception vectors are set up reset SR.BL */
2095         getcon  SR, r22
2096         movi    SR_UNBLOCK_EXC, r23
2097         and     r22, r23, r22
2098         putcon  r22, SR
2099
2100         addi    SP, 24, SP
2101         ptabs   LINK, tr0
2102         blink   tr0, ZERO
2103