Merge branch 'tracing-fixes-for-linus' of git://git.kernel.org/pub/scm/linux/kernel...
[linux-2.6] / arch / sparc / kernel / fpu_traps.S
1         /* This is trivial with the new code... */
2         .globl          do_fpdis
3         .type           do_fpdis,#function
4 do_fpdis:
5         sethi           %hi(TSTATE_PEF), %g4
6         rdpr            %tstate, %g5
7         andcc           %g5, %g4, %g0
8         be,pt           %xcc, 1f
9          nop
10         rd              %fprs, %g5
11         andcc           %g5, FPRS_FEF, %g0
12         be,pt           %xcc, 1f
13          nop
14
15         /* Legal state when DCR_IFPOE is set in Cheetah %dcr. */
16         sethi           %hi(109f), %g7
17         ba,pt           %xcc, etrap
18 109:     or             %g7, %lo(109b), %g7
19         add             %g0, %g0, %g0
20         ba,a,pt         %xcc, rtrap
21
22 1:      TRAP_LOAD_THREAD_REG(%g6, %g1)
23         ldub            [%g6 + TI_FPSAVED], %g5
24         wr              %g0, FPRS_FEF, %fprs
25         andcc           %g5, FPRS_FEF, %g0
26         be,a,pt         %icc, 1f
27          clr            %g7
28         ldx             [%g6 + TI_GSR], %g7
29 1:      andcc           %g5, FPRS_DL, %g0
30         bne,pn          %icc, 2f
31          fzero          %f0
32         andcc           %g5, FPRS_DU, %g0
33         bne,pn          %icc, 1f
34          fzero          %f2
35         faddd           %f0, %f2, %f4
36         fmuld           %f0, %f2, %f6
37         faddd           %f0, %f2, %f8
38         fmuld           %f0, %f2, %f10
39         faddd           %f0, %f2, %f12
40         fmuld           %f0, %f2, %f14
41         faddd           %f0, %f2, %f16
42         fmuld           %f0, %f2, %f18
43         faddd           %f0, %f2, %f20
44         fmuld           %f0, %f2, %f22
45         faddd           %f0, %f2, %f24
46         fmuld           %f0, %f2, %f26
47         faddd           %f0, %f2, %f28
48         fmuld           %f0, %f2, %f30
49         faddd           %f0, %f2, %f32
50         fmuld           %f0, %f2, %f34
51         faddd           %f0, %f2, %f36
52         fmuld           %f0, %f2, %f38
53         faddd           %f0, %f2, %f40
54         fmuld           %f0, %f2, %f42
55         faddd           %f0, %f2, %f44
56         fmuld           %f0, %f2, %f46
57         faddd           %f0, %f2, %f48
58         fmuld           %f0, %f2, %f50
59         faddd           %f0, %f2, %f52
60         fmuld           %f0, %f2, %f54
61         faddd           %f0, %f2, %f56
62         fmuld           %f0, %f2, %f58
63         b,pt            %xcc, fpdis_exit2
64          faddd          %f0, %f2, %f60
65 1:      mov             SECONDARY_CONTEXT, %g3
66         add             %g6, TI_FPREGS + 0x80, %g1
67         faddd           %f0, %f2, %f4
68         fmuld           %f0, %f2, %f6
69
70 661:    ldxa            [%g3] ASI_DMMU, %g5
71         .section        .sun4v_1insn_patch, "ax"
72         .word           661b
73         ldxa            [%g3] ASI_MMU, %g5
74         .previous
75
76         sethi           %hi(sparc64_kern_sec_context), %g2
77         ldx             [%g2 + %lo(sparc64_kern_sec_context)], %g2
78
79 661:    stxa            %g2, [%g3] ASI_DMMU
80         .section        .sun4v_1insn_patch, "ax"
81         .word           661b
82         stxa            %g2, [%g3] ASI_MMU
83         .previous
84
85         membar          #Sync
86         add             %g6, TI_FPREGS + 0xc0, %g2
87         faddd           %f0, %f2, %f8
88         fmuld           %f0, %f2, %f10
89         membar          #Sync
90         ldda            [%g1] ASI_BLK_S, %f32
91         ldda            [%g2] ASI_BLK_S, %f48
92         membar          #Sync
93         faddd           %f0, %f2, %f12
94         fmuld           %f0, %f2, %f14
95         faddd           %f0, %f2, %f16
96         fmuld           %f0, %f2, %f18
97         faddd           %f0, %f2, %f20
98         fmuld           %f0, %f2, %f22
99         faddd           %f0, %f2, %f24
100         fmuld           %f0, %f2, %f26
101         faddd           %f0, %f2, %f28
102         fmuld           %f0, %f2, %f30
103         b,pt            %xcc, fpdis_exit
104          nop
105 2:      andcc           %g5, FPRS_DU, %g0
106         bne,pt          %icc, 3f
107          fzero          %f32
108         mov             SECONDARY_CONTEXT, %g3
109         fzero           %f34
110
111 661:    ldxa            [%g3] ASI_DMMU, %g5
112         .section        .sun4v_1insn_patch, "ax"
113         .word           661b
114         ldxa            [%g3] ASI_MMU, %g5
115         .previous
116
117         add             %g6, TI_FPREGS, %g1
118         sethi           %hi(sparc64_kern_sec_context), %g2
119         ldx             [%g2 + %lo(sparc64_kern_sec_context)], %g2
120
121 661:    stxa            %g2, [%g3] ASI_DMMU
122         .section        .sun4v_1insn_patch, "ax"
123         .word           661b
124         stxa            %g2, [%g3] ASI_MMU
125         .previous
126
127         membar          #Sync
128         add             %g6, TI_FPREGS + 0x40, %g2
129         faddd           %f32, %f34, %f36
130         fmuld           %f32, %f34, %f38
131         membar          #Sync
132         ldda            [%g1] ASI_BLK_S, %f0
133         ldda            [%g2] ASI_BLK_S, %f16
134         membar          #Sync
135         faddd           %f32, %f34, %f40
136         fmuld           %f32, %f34, %f42
137         faddd           %f32, %f34, %f44
138         fmuld           %f32, %f34, %f46
139         faddd           %f32, %f34, %f48
140         fmuld           %f32, %f34, %f50
141         faddd           %f32, %f34, %f52
142         fmuld           %f32, %f34, %f54
143         faddd           %f32, %f34, %f56
144         fmuld           %f32, %f34, %f58
145         faddd           %f32, %f34, %f60
146         fmuld           %f32, %f34, %f62
147         ba,pt           %xcc, fpdis_exit
148          nop
149 3:      mov             SECONDARY_CONTEXT, %g3
150         add             %g6, TI_FPREGS, %g1
151
152 661:    ldxa            [%g3] ASI_DMMU, %g5
153         .section        .sun4v_1insn_patch, "ax"
154         .word           661b
155         ldxa            [%g3] ASI_MMU, %g5
156         .previous
157
158         sethi           %hi(sparc64_kern_sec_context), %g2
159         ldx             [%g2 + %lo(sparc64_kern_sec_context)], %g2
160
161 661:    stxa            %g2, [%g3] ASI_DMMU
162         .section        .sun4v_1insn_patch, "ax"
163         .word           661b
164         stxa            %g2, [%g3] ASI_MMU
165         .previous
166
167         membar          #Sync
168         mov             0x40, %g2
169         membar          #Sync
170         ldda            [%g1] ASI_BLK_S, %f0
171         ldda            [%g1 + %g2] ASI_BLK_S, %f16
172         add             %g1, 0x80, %g1
173         ldda            [%g1] ASI_BLK_S, %f32
174         ldda            [%g1 + %g2] ASI_BLK_S, %f48
175         membar          #Sync
176 fpdis_exit:
177
178 661:    stxa            %g5, [%g3] ASI_DMMU
179         .section        .sun4v_1insn_patch, "ax"
180         .word           661b
181         stxa            %g5, [%g3] ASI_MMU
182         .previous
183
184         membar          #Sync
185 fpdis_exit2:
186         wr              %g7, 0, %gsr
187         ldx             [%g6 + TI_XFSR], %fsr
188         rdpr            %tstate, %g3
189         or              %g3, %g4, %g3           ! anal...
190         wrpr            %g3, %tstate
191         wr              %g0, FPRS_FEF, %fprs    ! clean DU/DL bits
192         retry
193         .size           do_fpdis,.-do_fpdis
194
195         .align          32
196         .type           fp_other_bounce,#function
197 fp_other_bounce:
198         call            do_fpother
199          add            %sp, PTREGS_OFF, %o0
200         ba,pt           %xcc, rtrap
201          nop
202         .size           fp_other_bounce,.-fp_other_bounce
203
204         .align          32
205         .globl          do_fpother_check_fitos
206         .type           do_fpother_check_fitos,#function
207 do_fpother_check_fitos:
208         TRAP_LOAD_THREAD_REG(%g6, %g1)
209         sethi           %hi(fp_other_bounce - 4), %g7
210         or              %g7, %lo(fp_other_bounce - 4), %g7
211
212         /* NOTE: Need to preserve %g7 until we fully commit
213          *       to the fitos fixup.
214          */
215         stx             %fsr, [%g6 + TI_XFSR]
216         rdpr            %tstate, %g3
217         andcc           %g3, TSTATE_PRIV, %g0
218         bne,pn          %xcc, do_fptrap_after_fsr
219          nop
220         ldx             [%g6 + TI_XFSR], %g3
221         srlx            %g3, 14, %g1
222         and             %g1, 7, %g1
223         cmp             %g1, 2                  ! Unfinished FP-OP
224         bne,pn          %xcc, do_fptrap_after_fsr
225          sethi          %hi(1 << 23), %g1       ! Inexact
226         andcc           %g3, %g1, %g0
227         bne,pn          %xcc, do_fptrap_after_fsr
228          rdpr           %tpc, %g1
229         lduwa           [%g1] ASI_AIUP, %g3     ! This cannot ever fail
230 #define FITOS_MASK      0xc1f83fe0
231 #define FITOS_COMPARE   0x81a01880
232         sethi           %hi(FITOS_MASK), %g1
233         or              %g1, %lo(FITOS_MASK), %g1
234         and             %g3, %g1, %g1
235         sethi           %hi(FITOS_COMPARE), %g2
236         or              %g2, %lo(FITOS_COMPARE), %g2
237         cmp             %g1, %g2
238         bne,pn          %xcc, do_fptrap_after_fsr
239          nop
240         std             %f62, [%g6 + TI_FPREGS + (62 * 4)]
241         sethi           %hi(fitos_table_1), %g1
242         and             %g3, 0x1f, %g2
243         or              %g1, %lo(fitos_table_1),  %g1
244         sllx            %g2, 2, %g2
245         jmpl            %g1 + %g2, %g0
246          ba,pt          %xcc, fitos_emul_continue
247
248 fitos_table_1:
249         fitod           %f0, %f62
250         fitod           %f1, %f62
251         fitod           %f2, %f62
252         fitod           %f3, %f62
253         fitod           %f4, %f62
254         fitod           %f5, %f62
255         fitod           %f6, %f62
256         fitod           %f7, %f62
257         fitod           %f8, %f62
258         fitod           %f9, %f62
259         fitod           %f10, %f62
260         fitod           %f11, %f62
261         fitod           %f12, %f62
262         fitod           %f13, %f62
263         fitod           %f14, %f62
264         fitod           %f15, %f62
265         fitod           %f16, %f62
266         fitod           %f17, %f62
267         fitod           %f18, %f62
268         fitod           %f19, %f62
269         fitod           %f20, %f62
270         fitod           %f21, %f62
271         fitod           %f22, %f62
272         fitod           %f23, %f62
273         fitod           %f24, %f62
274         fitod           %f25, %f62
275         fitod           %f26, %f62
276         fitod           %f27, %f62
277         fitod           %f28, %f62
278         fitod           %f29, %f62
279         fitod           %f30, %f62
280         fitod           %f31, %f62
281
282 fitos_emul_continue:
283         sethi           %hi(fitos_table_2), %g1
284         srl             %g3, 25, %g2
285         or              %g1, %lo(fitos_table_2), %g1
286         and             %g2, 0x1f, %g2
287         sllx            %g2, 2, %g2
288         jmpl            %g1 + %g2, %g0
289          ba,pt          %xcc, fitos_emul_fini
290
291 fitos_table_2:
292         fdtos           %f62, %f0
293         fdtos           %f62, %f1
294         fdtos           %f62, %f2
295         fdtos           %f62, %f3
296         fdtos           %f62, %f4
297         fdtos           %f62, %f5
298         fdtos           %f62, %f6
299         fdtos           %f62, %f7
300         fdtos           %f62, %f8
301         fdtos           %f62, %f9
302         fdtos           %f62, %f10
303         fdtos           %f62, %f11
304         fdtos           %f62, %f12
305         fdtos           %f62, %f13
306         fdtos           %f62, %f14
307         fdtos           %f62, %f15
308         fdtos           %f62, %f16
309         fdtos           %f62, %f17
310         fdtos           %f62, %f18
311         fdtos           %f62, %f19
312         fdtos           %f62, %f20
313         fdtos           %f62, %f21
314         fdtos           %f62, %f22
315         fdtos           %f62, %f23
316         fdtos           %f62, %f24
317         fdtos           %f62, %f25
318         fdtos           %f62, %f26
319         fdtos           %f62, %f27
320         fdtos           %f62, %f28
321         fdtos           %f62, %f29
322         fdtos           %f62, %f30
323         fdtos           %f62, %f31
324
325 fitos_emul_fini:
326         ldd             [%g6 + TI_FPREGS + (62 * 4)], %f62
327         done
328         .size           do_fpother_check_fitos,.-do_fpother_check_fitos
329
330         .align          32
331         .globl          do_fptrap
332         .type           do_fptrap,#function
333 do_fptrap:
334         TRAP_LOAD_THREAD_REG(%g6, %g1)
335         stx             %fsr, [%g6 + TI_XFSR]
336 do_fptrap_after_fsr:
337         ldub            [%g6 + TI_FPSAVED], %g3
338         rd              %fprs, %g1
339         or              %g3, %g1, %g3
340         stb             %g3, [%g6 + TI_FPSAVED]
341         rd              %gsr, %g3
342         stx             %g3, [%g6 + TI_GSR]
343         mov             SECONDARY_CONTEXT, %g3
344
345 661:    ldxa            [%g3] ASI_DMMU, %g5
346         .section        .sun4v_1insn_patch, "ax"
347         .word           661b
348         ldxa            [%g3] ASI_MMU, %g5
349         .previous
350
351         sethi           %hi(sparc64_kern_sec_context), %g2
352         ldx             [%g2 + %lo(sparc64_kern_sec_context)], %g2
353
354 661:    stxa            %g2, [%g3] ASI_DMMU
355         .section        .sun4v_1insn_patch, "ax"
356         .word           661b
357         stxa            %g2, [%g3] ASI_MMU
358         .previous
359
360         membar          #Sync
361         add             %g6, TI_FPREGS, %g2
362         andcc           %g1, FPRS_DL, %g0
363         be,pn           %icc, 4f
364          mov            0x40, %g3
365         stda            %f0, [%g2] ASI_BLK_S
366         stda            %f16, [%g2 + %g3] ASI_BLK_S
367         andcc           %g1, FPRS_DU, %g0
368         be,pn           %icc, 5f
369 4:       add            %g2, 128, %g2
370         stda            %f32, [%g2] ASI_BLK_S
371         stda            %f48, [%g2 + %g3] ASI_BLK_S
372 5:      mov             SECONDARY_CONTEXT, %g1
373         membar          #Sync
374
375 661:    stxa            %g5, [%g1] ASI_DMMU
376         .section        .sun4v_1insn_patch, "ax"
377         .word           661b
378         stxa            %g5, [%g1] ASI_MMU
379         .previous
380
381         membar          #Sync
382         ba,pt           %xcc, etrap
383          wr             %g0, 0, %fprs
384         .size           do_fptrap,.-do_fptrap