[SPARC64]: Print ARCH as SUN4V when tlb_type is hypervisor.
[linux-2.6] / arch / sparc64 / kernel / sun4v_ivec.S
1 /* sun4v_ivec.S: Sun4v interrupt vector handling.
2  *
3  * Copyright (C) 2006 <davem@davemloft.net>
4  */
5
6 #include <asm/cpudata.h>
7 #include <asm/intr_queue.h>
8
9         .text
10         .align  32
11
12 sun4v_cpu_mondo:
13         /* Head offset in %g2, tail offset in %g4.
14          * If they are the same, no work.
15          */
16         mov     INTRQ_CPU_MONDO_HEAD, %g2
17         ldxa    [%g2] ASI_QUEUE, %g2
18         mov     INTRQ_CPU_MONDO_TAIL, %g4
19         ldxa    [%g4] ASI_QUEUE, %g4
20         cmp     %g2, %g4
21         be,pn   %xcc, sun4v_cpu_mondo_queue_empty
22          nop
23
24         /* Get &trap_block[smp_processor_id()] into %g3.  */
25         __GET_CPUID(%g1)
26         sethi   %hi(trap_block), %g3
27         sllx    %g1, TRAP_BLOCK_SZ_SHIFT, %g7
28         or      %g3, %lo(trap_block), %g3
29         add     %g3, %g7, %g3
30
31         /* Get CPU mondo queue base phys address into %g7.  */
32         ldx     [%g3 + TRAP_PER_CPU_CPU_MONDO_PA], %g7
33
34         /* Now get the cross-call arguments and handler PC, same
35          * layout as sun4u:
36          *
37          * 1st 64-bit word: low half is 32-bit PC, put into %g3 and jmpl to it
38          *                  high half is context arg to MMU flushes, into %g5
39          * 2nd 64-bit word: 64-bit arg, load into %g1
40          * 3rd 64-bit word: 64-bit arg, load into %g7
41          */
42         ldxa    [%g7 + %g2] ASI_PHYS_USE_EC, %g3
43         add     %g2, 0x8, %g2
44         srlx    %g3, 32, %g5
45         ldxa    [%g7 + %g2] ASI_PHYS_USE_EC, %g1
46         add     %g2, 0x8, %g2
47         srl     %g3, 0, %g3
48         ldxa    [%g7 + %g2] ASI_PHYS_USE_EC, %g7
49         add     %g2, 0x40 - 0x8 - 0x8, %g2
50
51         /* Update queue head pointer.  */
52         sethi   %hi(8192 - 1), %g4
53         or      %g4, %lo(8192 - 1), %g4
54         and     %g2, %g4, %g2
55
56         mov     INTRQ_CPU_MONDO_HEAD, %g4
57         stxa    %g2, [%g4] ASI_QUEUE
58         membar  #Sync
59
60         jmpl    %g3, %g0
61          nop
62
63 sun4v_cpu_mondo_queue_empty:
64         retry
65
66 sun4v_dev_mondo:
67         /* Head offset in %g2, tail offset in %g4.  */
68         mov     INTRQ_DEVICE_MONDO_HEAD, %g2
69         ldxa    [%g2] ASI_QUEUE, %g2
70         mov     INTRQ_DEVICE_MONDO_TAIL, %g4
71         ldxa    [%g4] ASI_QUEUE, %g4
72         cmp     %g2, %g4
73         be,pn   %xcc, sun4v_dev_mondo_queue_empty
74          nop
75
76         /* Get &trap_block[smp_processor_id()] into %g3.  */
77         __GET_CPUID(%g1)
78         sethi   %hi(trap_block), %g3
79         sllx    %g1, TRAP_BLOCK_SZ_SHIFT, %g7
80         or      %g3, %lo(trap_block), %g3
81         add     %g3, %g7, %g3
82
83         /* Get DEV mondo queue base phys address into %g5.  */
84         ldx     [%g3 + TRAP_PER_CPU_DEV_MONDO_PA], %g5
85
86         /* Load IVEC into %g3.  */
87         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
88         add     %g2, 0x40, %g2
89
90         /* XXX There can be a full 64-byte block of data here.
91          * XXX This is how we can get at MSI vector data.
92          * XXX Current we do not capture this, but when we do we'll
93          * XXX need to add a 64-byte storage area in the struct ino_bucket
94          * XXX or the struct irq_desc.
95          */
96
97         /* Update queue head pointer, this frees up some registers.  */
98         sethi   %hi(8192 - 1), %g4
99         or      %g4, %lo(8192 - 1), %g4
100         and     %g2, %g4, %g2
101
102         mov     INTRQ_DEVICE_MONDO_HEAD, %g4
103         stxa    %g2, [%g4] ASI_QUEUE
104         membar  #Sync
105
106         /* Get &__irq_work[smp_processor_id()] into %g1.  */
107         sethi   %hi(__irq_work), %g4
108         sllx    %g1, 6, %g1
109         or      %g4, %lo(__irq_work), %g4
110         add     %g4, %g1, %g1
111
112         /* Get &ivector_table[IVEC] into %g4.  */
113         sethi   %hi(ivector_table), %g4
114         sllx    %g3, 5, %g3
115         or      %g4, %lo(ivector_table), %g4
116         add     %g4, %g3, %g4
117
118         /* Load IRQ %pil into %g5.  */
119         ldub    [%g4 + 0x04], %g5
120
121         /* Insert ivector_table[] entry into __irq_work[] queue.  */
122         sllx    %g5, 2, %g3
123         lduw    [%g1 + %g3], %g2        /* g2 = irq_work(cpu, pil) */
124         stw     %g2, [%g4 + 0x00]       /* bucket->irq_chain = g2 */
125         stw     %g4, [%g1 + %g3]        /* irq_work(cpu, pil) = bucket */
126
127         /* Signal the interrupt by setting (1 << pil) in %softint.  */
128         mov     1, %g2
129         sllx    %g2, %g5, %g2
130         wr      %g2, 0x0, %set_softint
131
132 sun4v_dev_mondo_queue_empty:
133         retry
134
135 sun4v_res_mondo:
136         /* Head offset in %g2, tail offset in %g4.  */
137         mov     INTRQ_RESUM_MONDO_HEAD, %g2
138         ldxa    [%g2] ASI_QUEUE, %g2
139         mov     INTRQ_RESUM_MONDO_TAIL, %g4
140         ldxa    [%g4] ASI_QUEUE, %g4
141         cmp     %g2, %g4
142         be,pn   %xcc, sun4v_res_mondo_queue_empty
143          nop
144
145         /* Get &trap_block[smp_processor_id()] into %g3.  */
146         __GET_CPUID(%g1)
147         sethi   %hi(trap_block), %g3
148         sllx    %g1, TRAP_BLOCK_SZ_SHIFT, %g7
149         or      %g3, %lo(trap_block), %g3
150         add     %g3, %g7, %g3
151
152         /* Get RES mondo queue base phys address into %g5.  */
153         ldx     [%g3 + TRAP_PER_CPU_RESUM_MONDO_PA], %g5
154
155         /* Get RES kernel buffer base phys address into %g7.  */
156         ldx     [%g3 + TRAP_PER_CPU_RESUM_KBUF_PA], %g7
157
158         /* If the first word is non-zero, queue is full.  */
159         ldxa    [%g7 + %g2] ASI_PHYS_USE_EC, %g1
160         brnz,pn %g1, sun4v_res_mondo_queue_full
161          nop
162
163         /* Remember this entry's offset in %g1.  */
164         mov     %g2, %g1
165
166         /* Copy 64-byte queue entry into kernel buffer.  */
167         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
168         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
169         add     %g2, 0x08, %g2
170         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
171         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
172         add     %g2, 0x08, %g2
173         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
174         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
175         add     %g2, 0x08, %g2
176         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
177         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
178         add     %g2, 0x08, %g2
179         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
180         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
181         add     %g2, 0x08, %g2
182         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
183         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
184         add     %g2, 0x08, %g2
185         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
186         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
187         add     %g2, 0x08, %g2
188         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
189         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
190         add     %g2, 0x08, %g2
191
192         /* Update queue head pointer.  */
193         sethi   %hi(8192 - 1), %g4
194         or      %g4, %lo(8192 - 1), %g4
195         and     %g2, %g4, %g2
196
197         mov     INTRQ_RESUM_MONDO_HEAD, %g4
198         stxa    %g2, [%g4] ASI_QUEUE
199         membar  #Sync
200
201         /* Disable interrupts and save register state so we can call
202          * C code.  The etrap handling will leave %g4 in %l4 for us
203          * when it's done.
204          */
205         rdpr    %pil, %g2
206         wrpr    %g0, 15, %pil
207         mov     %g1, %g4
208         ba,pt   %xcc, etrap_irq
209          rd     %pc, %g7
210
211         /* Log the event.  */
212         add     %sp, PTREGS_OFF, %o0
213         call    sun4v_resum_error
214          mov    %l4, %o1
215
216         /* Return from trap.  */
217         ba,pt   %xcc, rtrap_irq
218          nop
219
220 sun4v_res_mondo_queue_empty:
221         retry
222
223 sun4v_res_mondo_queue_full:
224         /* The queue is full, consolidate our damage by setting
225          * the head equal to the tail.  We'll just trap again otherwise.
226          * Call C code to log the event.
227          */
228         mov     INTRQ_RESUM_MONDO_HEAD, %g2
229         stxa    %g4, [%g2] ASI_QUEUE
230         membar  #Sync
231
232         rdpr    %pil, %g2
233         wrpr    %g0, 15, %pil
234         ba,pt   %xcc, etrap_irq
235          rd     %pc, %g7
236
237         call    sun4v_resum_overflow
238          add    %sp, PTREGS_OFF, %o0
239
240         ba,pt   %xcc, rtrap_irq
241          nop
242
243 sun4v_nonres_mondo:
244         /* Head offset in %g2, tail offset in %g4.  */
245         mov     INTRQ_NONRESUM_MONDO_HEAD, %g2
246         ldxa    [%g2] ASI_QUEUE, %g2
247         mov     INTRQ_NONRESUM_MONDO_TAIL, %g4
248         ldxa    [%g4] ASI_QUEUE, %g4
249         cmp     %g2, %g4
250         be,pn   %xcc, sun4v_nonres_mondo_queue_empty
251          nop
252
253         /* Get &trap_block[smp_processor_id()] into %g3.  */
254         __GET_CPUID(%g1)
255         sethi   %hi(trap_block), %g3
256         sllx    %g1, TRAP_BLOCK_SZ_SHIFT, %g7
257         or      %g3, %lo(trap_block), %g3
258         add     %g3, %g7, %g3
259
260         /* Get RES mondo queue base phys address into %g5.  */
261         ldx     [%g3 + TRAP_PER_CPU_NONRESUM_MONDO_PA], %g5
262
263         /* Get RES kernel buffer base phys address into %g7.  */
264         ldx     [%g3 + TRAP_PER_CPU_NONRESUM_KBUF_PA], %g7
265
266         /* If the first word is non-zero, queue is full.  */
267         ldxa    [%g7 + %g2] ASI_PHYS_USE_EC, %g1
268         brnz,pn %g1, sun4v_nonres_mondo_queue_full
269          nop
270
271         /* Remember this entry's offset in %g1.  */
272         mov     %g2, %g1
273
274         /* Copy 64-byte queue entry into kernel buffer.  */
275         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
276         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
277         add     %g2, 0x08, %g2
278         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
279         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
280         add     %g2, 0x08, %g2
281         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
282         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
283         add     %g2, 0x08, %g2
284         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
285         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
286         add     %g2, 0x08, %g2
287         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
288         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
289         add     %g2, 0x08, %g2
290         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
291         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
292         add     %g2, 0x08, %g2
293         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
294         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
295         add     %g2, 0x08, %g2
296         ldxa    [%g5 + %g2] ASI_PHYS_USE_EC, %g3
297         stxa    %g3, [%g7 + %g2] ASI_PHYS_USE_EC
298         add     %g2, 0x08, %g2
299
300         /* Update queue head pointer.  */
301         sethi   %hi(8192 - 1), %g4
302         or      %g4, %lo(8192 - 1), %g4
303         and     %g2, %g4, %g2
304
305         mov     INTRQ_NONRESUM_MONDO_HEAD, %g4
306         stxa    %g2, [%g4] ASI_QUEUE
307         membar  #Sync
308
309         /* Disable interrupts and save register state so we can call
310          * C code.  The etrap handling will leave %g4 in %l4 for us
311          * when it's done.
312          */
313         rdpr    %pil, %g2
314         wrpr    %g0, 15, %pil
315         mov     %g1, %g4
316         ba,pt   %xcc, etrap_irq
317          rd     %pc, %g7
318
319         /* Log the event.  */
320         add     %sp, PTREGS_OFF, %o0
321         call    sun4v_nonresum_error
322          mov    %l4, %o1
323
324         /* Return from trap.  */
325         ba,pt   %xcc, rtrap_irq
326          nop
327
328 sun4v_nonres_mondo_queue_empty:
329         retry
330
331 sun4v_nonres_mondo_queue_full:
332         /* The queue is full, consolidate our damage by setting
333          * the head equal to the tail.  We'll just trap again otherwise.
334          * Call C code to log the event.
335          */
336         mov     INTRQ_NONRESUM_MONDO_HEAD, %g2
337         stxa    %g4, [%g2] ASI_QUEUE
338         membar  #Sync
339
340         rdpr    %pil, %g2
341         wrpr    %g0, 15, %pil
342         ba,pt   %xcc, etrap_irq
343          rd     %pc, %g7
344
345         call    sun4v_nonresum_overflow
346          add    %sp, PTREGS_OFF, %o0
347
348         ba,pt   %xcc, rtrap_irq
349          nop