Merge ../linux-2.6
[linux-2.6] / arch / sparc64 / kernel / ktlb.S
1 /* arch/sparc64/kernel/ktlb.S: Kernel mapping TLB miss handling.
2  *
3  * Copyright (C) 1995, 1997, 2005 David S. Miller <davem@davemloft.net>
4  * Copyright (C) 1996 Eddie C. Dost        (ecd@brainaid.de)
5  * Copyright (C) 1996 Miguel de Icaza      (miguel@nuclecu.unam.mx)
6  * Copyright (C) 1996,98,99 Jakub Jelinek  (jj@sunsite.mff.cuni.cz)
7  */
8
9 #include <linux/config.h>
10 #include <asm/head.h>
11 #include <asm/asi.h>
12 #include <asm/page.h>
13 #include <asm/pgtable.h>
14 #include <asm/tsb.h>
15
16         .text
17         .align          32
18
19 kvmap_itlb:
20         /* g6: TAG TARGET */
21         mov             TLB_TAG_ACCESS, %g4
22         ldxa            [%g4] ASI_IMMU, %g4
23
24         /* sun4v_itlb_miss branches here with the missing virtual
25          * address already loaded into %g4
26          */
27 kvmap_itlb_4v:
28
29 kvmap_itlb_nonlinear:
30         /* Catch kernel NULL pointer calls.  */
31         sethi           %hi(PAGE_SIZE), %g5
32         cmp             %g4, %g5
33         bleu,pn         %xcc, kvmap_dtlb_longpath
34          nop
35
36         KERN_TSB_LOOKUP_TL1(%g4, %g6, %g5, %g1, %g2, %g3, kvmap_itlb_load)
37
38 kvmap_itlb_tsb_miss:
39         sethi           %hi(LOW_OBP_ADDRESS), %g5
40         cmp             %g4, %g5
41         blu,pn          %xcc, kvmap_itlb_vmalloc_addr
42          mov            0x1, %g5
43         sllx            %g5, 32, %g5
44         cmp             %g4, %g5
45         blu,pn          %xcc, kvmap_itlb_obp
46          nop
47
48 kvmap_itlb_vmalloc_addr:
49         KERN_PGTABLE_WALK(%g4, %g5, %g2, kvmap_itlb_longpath)
50
51         KTSB_LOCK_TAG(%g1, %g2, %g7)
52
53         /* Load and check PTE.  */
54         ldxa            [%g5] ASI_PHYS_USE_EC, %g5
55         mov             1, %g7
56         sllx            %g7, TSB_TAG_INVALID_BIT, %g7
57         brgez,a,pn      %g5, kvmap_itlb_longpath
58          KTSB_STORE(%g1, %g7)
59
60         KTSB_WRITE(%g1, %g5, %g6)
61
62         /* fallthrough to TLB load */
63
64 kvmap_itlb_load:
65
66 661:    stxa            %g5, [%g0] ASI_ITLB_DATA_IN
67         retry
68         .section        .sun4v_2insn_patch, "ax"
69         .word           661b
70         nop
71         nop
72         .previous
73
74         /* For sun4v the ASI_ITLB_DATA_IN store and the retry
75          * instruction get nop'd out and we get here to branch
76          * to the sun4v tlb load code.  The registers are setup
77          * as follows:
78          *
79          * %g4: vaddr
80          * %g5: PTE
81          * %g6: TAG
82          *
83          * The sun4v TLB load wants the PTE in %g3 so we fix that
84          * up here.
85          */
86         ba,pt           %xcc, sun4v_itlb_load
87          mov            %g5, %g3
88
89 kvmap_itlb_longpath:
90
91 661:    rdpr    %pstate, %g5
92         wrpr    %g5, PSTATE_AG | PSTATE_MG, %pstate
93         .section .sun4v_2insn_patch, "ax"
94         .word   661b
95         SET_GL(1)
96         nop
97         .previous
98
99         rdpr    %tpc, %g5
100         ba,pt   %xcc, sparc64_realfault_common
101          mov    FAULT_CODE_ITLB, %g4
102
103 kvmap_itlb_obp:
104         OBP_TRANS_LOOKUP(%g4, %g5, %g2, %g3, kvmap_itlb_longpath)
105
106         KTSB_LOCK_TAG(%g1, %g2, %g7)
107
108         KTSB_WRITE(%g1, %g5, %g6)
109
110         ba,pt           %xcc, kvmap_itlb_load
111          nop
112
113 kvmap_dtlb_obp:
114         OBP_TRANS_LOOKUP(%g4, %g5, %g2, %g3, kvmap_dtlb_longpath)
115
116         KTSB_LOCK_TAG(%g1, %g2, %g7)
117
118         KTSB_WRITE(%g1, %g5, %g6)
119
120         ba,pt           %xcc, kvmap_dtlb_load
121          nop
122
123         .align          32
124 kvmap_dtlb_tsb4m_load:
125         KTSB_LOCK_TAG(%g1, %g2, %g7)
126         KTSB_WRITE(%g1, %g5, %g6)
127         ba,pt           %xcc, kvmap_dtlb_load
128          nop
129
130 kvmap_dtlb:
131         /* %g6: TAG TARGET */
132         mov             TLB_TAG_ACCESS, %g4
133         ldxa            [%g4] ASI_DMMU, %g4
134
135         /* sun4v_dtlb_miss branches here with the missing virtual
136          * address already loaded into %g4
137          */
138 kvmap_dtlb_4v:
139         brgez,pn        %g4, kvmap_dtlb_nonlinear
140          nop
141
142         /* Correct TAG_TARGET is already in %g6, check 4mb TSB.  */
143         KERN_TSB4M_LOOKUP_TL1(%g6, %g5, %g1, %g2, %g3, kvmap_dtlb_load)
144
145         /* TSB entry address left in %g1, lookup linear PTE.
146          * Must preserve %g1 and %g6 (TAG).
147          */
148 kvmap_dtlb_tsb4m_miss:
149         sethi           %hi(kpte_linear_bitmap), %g2
150         or              %g2, %lo(kpte_linear_bitmap), %g2
151
152         /* Clear the PAGE_OFFSET top virtual bits, then shift
153          * down to get a 256MB physical address index.
154          */
155         sllx            %g4, 21, %g5
156         mov             1, %g7
157         srlx            %g5, 21 + 28, %g5
158
159         /* Don't try this at home kids... this depends upon srlx
160          * only taking the low 6 bits of the shift count in %g5.
161          */
162         sllx            %g7, %g5, %g7
163
164         /* Divide by 64 to get the offset into the bitmask.  */
165         srlx            %g5, 6, %g5
166         sllx            %g5, 3, %g5
167
168         /* kern_linear_pte_xor[((mask & bit) ? 1 : 0)] */
169         ldx             [%g2 + %g5], %g2
170         andcc           %g2, %g7, %g0
171         sethi           %hi(kern_linear_pte_xor), %g5
172         or              %g5, %lo(kern_linear_pte_xor), %g5
173         bne,a,pt        %xcc, 1f
174          add            %g5, 8, %g5
175
176 1:      ldx             [%g5], %g2
177
178         .globl          kvmap_linear_patch
179 kvmap_linear_patch:
180         ba,pt           %xcc, kvmap_dtlb_tsb4m_load
181          xor            %g2, %g4, %g5
182
183 kvmap_dtlb_vmalloc_addr:
184         KERN_PGTABLE_WALK(%g4, %g5, %g2, kvmap_dtlb_longpath)
185
186         KTSB_LOCK_TAG(%g1, %g2, %g7)
187
188         /* Load and check PTE.  */
189         ldxa            [%g5] ASI_PHYS_USE_EC, %g5
190         mov             1, %g7
191         sllx            %g7, TSB_TAG_INVALID_BIT, %g7
192         brgez,a,pn      %g5, kvmap_dtlb_longpath
193          KTSB_STORE(%g1, %g7)
194
195         KTSB_WRITE(%g1, %g5, %g6)
196
197         /* fallthrough to TLB load */
198
199 kvmap_dtlb_load:
200
201 661:    stxa            %g5, [%g0] ASI_DTLB_DATA_IN     ! Reload TLB
202         retry
203         .section        .sun4v_2insn_patch, "ax"
204         .word           661b
205         nop
206         nop
207         .previous
208
209         /* For sun4v the ASI_DTLB_DATA_IN store and the retry
210          * instruction get nop'd out and we get here to branch
211          * to the sun4v tlb load code.  The registers are setup
212          * as follows:
213          *
214          * %g4: vaddr
215          * %g5: PTE
216          * %g6: TAG
217          *
218          * The sun4v TLB load wants the PTE in %g3 so we fix that
219          * up here.
220          */
221         ba,pt           %xcc, sun4v_dtlb_load
222          mov            %g5, %g3
223
224 kvmap_dtlb_nonlinear:
225         /* Catch kernel NULL pointer derefs.  */
226         sethi           %hi(PAGE_SIZE), %g5
227         cmp             %g4, %g5
228         bleu,pn         %xcc, kvmap_dtlb_longpath
229          nop
230
231         KERN_TSB_LOOKUP_TL1(%g4, %g6, %g5, %g1, %g2, %g3, kvmap_dtlb_load)
232
233 kvmap_dtlb_tsbmiss:
234         sethi           %hi(MODULES_VADDR), %g5
235         cmp             %g4, %g5
236         blu,pn          %xcc, kvmap_dtlb_longpath
237          mov            (VMALLOC_END >> 24), %g5
238         sllx            %g5, 24, %g5
239         cmp             %g4, %g5
240         bgeu,pn         %xcc, kvmap_dtlb_longpath
241          nop
242
243 kvmap_check_obp:
244         sethi           %hi(LOW_OBP_ADDRESS), %g5
245         cmp             %g4, %g5
246         blu,pn          %xcc, kvmap_dtlb_vmalloc_addr
247          mov            0x1, %g5
248         sllx            %g5, 32, %g5
249         cmp             %g4, %g5
250         blu,pn          %xcc, kvmap_dtlb_obp
251          nop
252         ba,pt           %xcc, kvmap_dtlb_vmalloc_addr
253          nop
254
255 kvmap_dtlb_longpath:
256
257 661:    rdpr    %pstate, %g5
258         wrpr    %g5, PSTATE_AG | PSTATE_MG, %pstate
259         .section .sun4v_2insn_patch, "ax"
260         .word   661b
261         SET_GL(1)
262         ldxa            [%g0] ASI_SCRATCHPAD, %g5
263         .previous
264
265         rdpr    %tl, %g3
266         cmp     %g3, 1
267
268 661:    mov     TLB_TAG_ACCESS, %g4
269         ldxa    [%g4] ASI_DMMU, %g5
270         .section .sun4v_2insn_patch, "ax"
271         .word   661b
272         ldx     [%g5 + HV_FAULT_D_ADDR_OFFSET], %g5
273         nop
274         .previous
275
276         be,pt   %xcc, sparc64_realfault_common
277          mov    FAULT_CODE_DTLB, %g4
278         ba,pt   %xcc, winfix_trampoline
279          nop