Merge branch 'master' into upstream-fixes
[linux-2.6] / arch / mips / kernel / entry.S
1 /*
2  * This file is subject to the terms and conditions of the GNU General Public
3  * License.  See the file "COPYING" in the main directory of this archive
4  * for more details.
5  *
6  * Copyright (C) 1994 - 2000, 2001, 2003 Ralf Baechle
7  * Copyright (C) 1999, 2000 Silicon Graphics, Inc.
8  * Copyright (C) 2001 MIPS Technologies, Inc.
9  */
10
11 #include <asm/asm.h>
12 #include <asm/asmmacro.h>
13 #include <asm/regdef.h>
14 #include <asm/mipsregs.h>
15 #include <asm/stackframe.h>
16 #include <asm/isadep.h>
17 #include <asm/thread_info.h>
18 #include <asm/war.h>
19 #ifdef CONFIG_MIPS_MT_SMTC
20 #include <asm/mipsmtregs.h>
21 #endif
22
23 #ifndef CONFIG_PREEMPT
24         .macro  preempt_stop
25         local_irq_disable
26         .endm
27 #define resume_kernel   restore_all
28 #endif
29
30         .text
31         .align  5
32 FEXPORT(ret_from_irq)
33         LONG_S  s0, TI_REGS($28)
34 #ifdef CONFIG_PREEMPT
35 FEXPORT(ret_from_exception)
36 #else
37         b       _ret_from_irq
38 FEXPORT(ret_from_exception)
39         preempt_stop
40 #endif
41 FEXPORT(_ret_from_irq)
42         LONG_L  t0, PT_STATUS(sp)               # returning to kernel mode?
43         andi    t0, t0, KU_USER
44         beqz    t0, resume_kernel
45
46 resume_userspace:
47         local_irq_disable               # make sure we dont miss an
48                                         # interrupt setting need_resched
49                                         # between sampling and return
50         LONG_L  a2, TI_FLAGS($28)       # current->work
51         andi    t0, a2, _TIF_WORK_MASK  # (ignoring syscall_trace)
52         bnez    t0, work_pending
53         j       restore_all
54
55 #ifdef CONFIG_PREEMPT
56 resume_kernel:
57         local_irq_disable
58         lw      t0, TI_PRE_COUNT($28)
59         bnez    t0, restore_all
60 need_resched:
61         LONG_L  t0, TI_FLAGS($28)
62         andi    t1, t0, _TIF_NEED_RESCHED
63         beqz    t1, restore_all
64         LONG_L  t0, PT_STATUS(sp)               # Interrupts off?
65         andi    t0, 1
66         beqz    t0, restore_all
67         jal     preempt_schedule_irq
68         b       need_resched
69 #endif
70
71 FEXPORT(ret_from_fork)
72         jal     schedule_tail           # a0 = struct task_struct *prev
73
74 FEXPORT(syscall_exit)
75         local_irq_disable               # make sure need_resched and
76                                         # signals dont change between
77                                         # sampling and return
78         LONG_L  a2, TI_FLAGS($28)       # current->work
79         li      t0, _TIF_ALLWORK_MASK
80         and     t0, a2, t0
81         bnez    t0, syscall_exit_work
82
83 FEXPORT(restore_all)                    # restore full frame
84 #ifdef CONFIG_MIPS_MT_SMTC
85 /* Detect and execute deferred IPI "interrupts" */
86         jal     deferred_smtc_ipi
87 /* Re-arm any temporarily masked interrupts not explicitly "acked" */
88         mfc0    v0, CP0_TCSTATUS
89         ori     v1, v0, TCSTATUS_IXMT
90         mtc0    v1, CP0_TCSTATUS
91         andi    v0, TCSTATUS_IXMT
92         _ehb
93         mfc0    t0, CP0_TCCONTEXT
94         DMT     9                               # dmt t1
95         jal     mips_ihb
96         mfc0    t2, CP0_STATUS
97         andi    t3, t0, 0xff00
98         or      t2, t2, t3
99         mtc0    t2, CP0_STATUS
100         _ehb
101         andi    t1, t1, VPECONTROL_TE
102         beqz    t1, 1f
103         EMT
104 1:
105         mfc0    v1, CP0_TCSTATUS
106         /* We set IXMT above, XOR should clear it here */
107         xori    v1, v1, TCSTATUS_IXMT
108         or      v1, v0, v1
109         mtc0    v1, CP0_TCSTATUS
110         _ehb
111         xor     t0, t0, t3
112         mtc0    t0, CP0_TCCONTEXT
113 #endif /* CONFIG_MIPS_MT_SMTC */
114         .set    noat
115         RESTORE_TEMP
116         RESTORE_AT
117         RESTORE_STATIC
118 FEXPORT(restore_partial)                # restore partial frame
119 #ifdef CONFIG_TRACE_IRQFLAGS
120         SAVE_STATIC
121         SAVE_AT
122         SAVE_TEMP
123         LONG_L  v0, PT_STATUS(sp)
124         and     v0, 1
125         beqz    v0, 1f
126         jal     trace_hardirqs_on
127         b       2f
128 1:      jal     trace_hardirqs_off
129 2:
130         RESTORE_TEMP
131         RESTORE_AT
132         RESTORE_STATIC
133 #endif
134         RESTORE_SOME
135         RESTORE_SP_AND_RET
136         .set    at
137
138 work_pending:
139         andi    t0, a2, _TIF_NEED_RESCHED # a2 is preloaded with TI_FLAGS
140         beqz    t0, work_notifysig
141 work_resched:
142         jal     schedule
143
144         local_irq_disable               # make sure need_resched and
145                                         # signals dont change between
146                                         # sampling and return
147         LONG_L  a2, TI_FLAGS($28)
148         andi    t0, a2, _TIF_WORK_MASK  # is there any work to be done
149                                         # other than syscall tracing?
150         beqz    t0, restore_all
151         andi    t0, a2, _TIF_NEED_RESCHED
152         bnez    t0, work_resched
153
154 work_notifysig:                         # deal with pending signals and
155                                         # notify-resume requests
156         move    a0, sp
157         li      a1, 0
158         jal     do_notify_resume        # a2 already loaded
159         j       resume_userspace
160
161 FEXPORT(syscall_exit_work_partial)
162         SAVE_STATIC
163 syscall_exit_work:
164         li      t0, _TIF_SYSCALL_TRACE | _TIF_SYSCALL_AUDIT
165         and     t0, a2                  # a2 is preloaded with TI_FLAGS
166         beqz    t0, work_pending        # trace bit set?
167         local_irq_enable                # could let do_syscall_trace()
168                                         # call schedule() instead
169         move    a0, sp
170         li      a1, 1
171         jal     do_syscall_trace
172         b       resume_userspace
173
174 #if defined(CONFIG_CPU_MIPSR2) || defined(CONFIG_MIPS_MT)
175
176 /*
177  * MIPS32R2 Instruction Hazard Barrier - must be called
178  *
179  * For C code use the inline version named instruction_hazard().
180  */
181 LEAF(mips_ihb)
182         .set    mips32r2
183         jr.hb   ra
184         nop
185         END(mips_ihb)
186
187 #endif /* CONFIG_CPU_MIPSR2 or CONFIG_MIPS_MT */