Merge master.kernel.org:/pub/scm/linux/kernel/git/davej/cpufreq
[linux-2.6] / arch / sparc64 / kernel / ktlb.S
1 /* arch/sparc64/kernel/ktlb.S: Kernel mapping TLB miss handling.
2  *
3  * Copyright (C) 1995, 1997, 2005 David S. Miller <davem@davemloft.net>
4  * Copyright (C) 1996 Eddie C. Dost        (ecd@brainaid.de)
5  * Copyright (C) 1996 Miguel de Icaza      (miguel@nuclecu.unam.mx)
6  * Copyright (C) 1996,98,99 Jakub Jelinek  (jj@sunsite.mff.cuni.cz)
7  */
8
9 #include <asm/head.h>
10 #include <asm/asi.h>
11 #include <asm/page.h>
12 #include <asm/pgtable.h>
13 #include <asm/tsb.h>
14
15         .text
16         .align          32
17
18 kvmap_itlb:
19         /* g6: TAG TARGET */
20         mov             TLB_TAG_ACCESS, %g4
21         ldxa            [%g4] ASI_IMMU, %g4
22
23         /* sun4v_itlb_miss branches here with the missing virtual
24          * address already loaded into %g4
25          */
26 kvmap_itlb_4v:
27
28 kvmap_itlb_nonlinear:
29         /* Catch kernel NULL pointer calls.  */
30         sethi           %hi(PAGE_SIZE), %g5
31         cmp             %g4, %g5
32         bleu,pn         %xcc, kvmap_dtlb_longpath
33          nop
34
35         KERN_TSB_LOOKUP_TL1(%g4, %g6, %g5, %g1, %g2, %g3, kvmap_itlb_load)
36
37 kvmap_itlb_tsb_miss:
38         sethi           %hi(LOW_OBP_ADDRESS), %g5
39         cmp             %g4, %g5
40         blu,pn          %xcc, kvmap_itlb_vmalloc_addr
41          mov            0x1, %g5
42         sllx            %g5, 32, %g5
43         cmp             %g4, %g5
44         blu,pn          %xcc, kvmap_itlb_obp
45          nop
46
47 kvmap_itlb_vmalloc_addr:
48         KERN_PGTABLE_WALK(%g4, %g5, %g2, kvmap_itlb_longpath)
49
50         KTSB_LOCK_TAG(%g1, %g2, %g7)
51
52         /* Load and check PTE.  */
53         ldxa            [%g5] ASI_PHYS_USE_EC, %g5
54         mov             1, %g7
55         sllx            %g7, TSB_TAG_INVALID_BIT, %g7
56         brgez,a,pn      %g5, kvmap_itlb_longpath
57          KTSB_STORE(%g1, %g7)
58
59         KTSB_WRITE(%g1, %g5, %g6)
60
61         /* fallthrough to TLB load */
62
63 kvmap_itlb_load:
64
65 661:    stxa            %g5, [%g0] ASI_ITLB_DATA_IN
66         retry
67         .section        .sun4v_2insn_patch, "ax"
68         .word           661b
69         nop
70         nop
71         .previous
72
73         /* For sun4v the ASI_ITLB_DATA_IN store and the retry
74          * instruction get nop'd out and we get here to branch
75          * to the sun4v tlb load code.  The registers are setup
76          * as follows:
77          *
78          * %g4: vaddr
79          * %g5: PTE
80          * %g6: TAG
81          *
82          * The sun4v TLB load wants the PTE in %g3 so we fix that
83          * up here.
84          */
85         ba,pt           %xcc, sun4v_itlb_load
86          mov            %g5, %g3
87
88 kvmap_itlb_longpath:
89
90 661:    rdpr    %pstate, %g5
91         wrpr    %g5, PSTATE_AG | PSTATE_MG, %pstate
92         .section .sun4v_2insn_patch, "ax"
93         .word   661b
94         SET_GL(1)
95         nop
96         .previous
97
98         rdpr    %tpc, %g5
99         ba,pt   %xcc, sparc64_realfault_common
100          mov    FAULT_CODE_ITLB, %g4
101
102 kvmap_itlb_obp:
103         OBP_TRANS_LOOKUP(%g4, %g5, %g2, %g3, kvmap_itlb_longpath)
104
105         KTSB_LOCK_TAG(%g1, %g2, %g7)
106
107         KTSB_WRITE(%g1, %g5, %g6)
108
109         ba,pt           %xcc, kvmap_itlb_load
110          nop
111
112 kvmap_dtlb_obp:
113         OBP_TRANS_LOOKUP(%g4, %g5, %g2, %g3, kvmap_dtlb_longpath)
114
115         KTSB_LOCK_TAG(%g1, %g2, %g7)
116
117         KTSB_WRITE(%g1, %g5, %g6)
118
119         ba,pt           %xcc, kvmap_dtlb_load
120          nop
121
122         .align          32
123 kvmap_dtlb_tsb4m_load:
124         KTSB_LOCK_TAG(%g1, %g2, %g7)
125         KTSB_WRITE(%g1, %g5, %g6)
126         ba,pt           %xcc, kvmap_dtlb_load
127          nop
128
129 kvmap_dtlb:
130         /* %g6: TAG TARGET */
131         mov             TLB_TAG_ACCESS, %g4
132         ldxa            [%g4] ASI_DMMU, %g4
133
134         /* sun4v_dtlb_miss branches here with the missing virtual
135          * address already loaded into %g4
136          */
137 kvmap_dtlb_4v:
138         brgez,pn        %g4, kvmap_dtlb_nonlinear
139          nop
140
141 #ifdef CONFIG_DEBUG_PAGEALLOC
142         /* Index through the base page size TSB even for linear
143          * mappings when using page allocation debugging.
144          */
145         KERN_TSB_LOOKUP_TL1(%g4, %g6, %g5, %g1, %g2, %g3, kvmap_dtlb_load)
146 #else
147         /* Correct TAG_TARGET is already in %g6, check 4mb TSB.  */
148         KERN_TSB4M_LOOKUP_TL1(%g6, %g5, %g1, %g2, %g3, kvmap_dtlb_load)
149 #endif
150         /* TSB entry address left in %g1, lookup linear PTE.
151          * Must preserve %g1 and %g6 (TAG).
152          */
153 kvmap_dtlb_tsb4m_miss:
154         sethi           %hi(kpte_linear_bitmap), %g2
155         or              %g2, %lo(kpte_linear_bitmap), %g2
156
157         /* Clear the PAGE_OFFSET top virtual bits, then shift
158          * down to get a 256MB physical address index.
159          */
160         sllx            %g4, 21, %g5
161         mov             1, %g7
162         srlx            %g5, 21 + 28, %g5
163
164         /* Don't try this at home kids... this depends upon srlx
165          * only taking the low 6 bits of the shift count in %g5.
166          */
167         sllx            %g7, %g5, %g7
168
169         /* Divide by 64 to get the offset into the bitmask.  */
170         srlx            %g5, 6, %g5
171         sllx            %g5, 3, %g5
172
173         /* kern_linear_pte_xor[((mask & bit) ? 1 : 0)] */
174         ldx             [%g2 + %g5], %g2
175         andcc           %g2, %g7, %g0
176         sethi           %hi(kern_linear_pte_xor), %g5
177         or              %g5, %lo(kern_linear_pte_xor), %g5
178         bne,a,pt        %xcc, 1f
179          add            %g5, 8, %g5
180
181 1:      ldx             [%g5], %g2
182
183         .globl          kvmap_linear_patch
184 kvmap_linear_patch:
185         ba,pt           %xcc, kvmap_dtlb_tsb4m_load
186          xor            %g2, %g4, %g5
187
188 kvmap_dtlb_vmalloc_addr:
189         KERN_PGTABLE_WALK(%g4, %g5, %g2, kvmap_dtlb_longpath)
190
191         KTSB_LOCK_TAG(%g1, %g2, %g7)
192
193         /* Load and check PTE.  */
194         ldxa            [%g5] ASI_PHYS_USE_EC, %g5
195         mov             1, %g7
196         sllx            %g7, TSB_TAG_INVALID_BIT, %g7
197         brgez,a,pn      %g5, kvmap_dtlb_longpath
198          KTSB_STORE(%g1, %g7)
199
200         KTSB_WRITE(%g1, %g5, %g6)
201
202         /* fallthrough to TLB load */
203
204 kvmap_dtlb_load:
205
206 661:    stxa            %g5, [%g0] ASI_DTLB_DATA_IN     ! Reload TLB
207         retry
208         .section        .sun4v_2insn_patch, "ax"
209         .word           661b
210         nop
211         nop
212         .previous
213
214         /* For sun4v the ASI_DTLB_DATA_IN store and the retry
215          * instruction get nop'd out and we get here to branch
216          * to the sun4v tlb load code.  The registers are setup
217          * as follows:
218          *
219          * %g4: vaddr
220          * %g5: PTE
221          * %g6: TAG
222          *
223          * The sun4v TLB load wants the PTE in %g3 so we fix that
224          * up here.
225          */
226         ba,pt           %xcc, sun4v_dtlb_load
227          mov            %g5, %g3
228
229 kvmap_vmemmap:
230         sub             %g4, %g5, %g5
231         srlx            %g5, 22, %g5
232         sethi           %hi(vmemmap_table), %g1
233         sllx            %g5, 3, %g5
234         or              %g1, %lo(vmemmap_table), %g1
235         ba,pt           %xcc, kvmap_dtlb_load
236          ldx            [%g1 + %g5], %g5
237
238 kvmap_dtlb_nonlinear:
239         /* Catch kernel NULL pointer derefs.  */
240         sethi           %hi(PAGE_SIZE), %g5
241         cmp             %g4, %g5
242         bleu,pn         %xcc, kvmap_dtlb_longpath
243          nop
244
245         /* Do not use the TSB for vmemmap.  */
246         mov             (VMEMMAP_BASE >> 24), %g5
247         sllx            %g5, 24, %g5
248         cmp             %g4,%g5
249         bgeu,pn         %xcc, kvmap_vmemmap
250          nop
251
252         KERN_TSB_LOOKUP_TL1(%g4, %g6, %g5, %g1, %g2, %g3, kvmap_dtlb_load)
253
254 kvmap_dtlb_tsbmiss:
255         sethi           %hi(MODULES_VADDR), %g5
256         cmp             %g4, %g5
257         blu,pn          %xcc, kvmap_dtlb_longpath
258          mov            (VMALLOC_END >> 24), %g5
259         sllx            %g5, 24, %g5
260         cmp             %g4, %g5
261         bgeu,pn         %xcc, kvmap_dtlb_longpath
262          nop
263
264 kvmap_check_obp:
265         sethi           %hi(LOW_OBP_ADDRESS), %g5
266         cmp             %g4, %g5
267         blu,pn          %xcc, kvmap_dtlb_vmalloc_addr
268          mov            0x1, %g5
269         sllx            %g5, 32, %g5
270         cmp             %g4, %g5
271         blu,pn          %xcc, kvmap_dtlb_obp
272          nop
273         ba,pt           %xcc, kvmap_dtlb_vmalloc_addr
274          nop
275
276 kvmap_dtlb_longpath:
277
278 661:    rdpr    %pstate, %g5
279         wrpr    %g5, PSTATE_AG | PSTATE_MG, %pstate
280         .section .sun4v_2insn_patch, "ax"
281         .word   661b
282         SET_GL(1)
283         ldxa            [%g0] ASI_SCRATCHPAD, %g5
284         .previous
285
286         rdpr    %tl, %g3
287         cmp     %g3, 1
288
289 661:    mov     TLB_TAG_ACCESS, %g4
290         ldxa    [%g4] ASI_DMMU, %g5
291         .section .sun4v_2insn_patch, "ax"
292         .word   661b
293         ldx     [%g5 + HV_FAULT_D_ADDR_OFFSET], %g5
294         nop
295         .previous
296
297         be,pt   %xcc, sparc64_realfault_common
298          mov    FAULT_CODE_DTLB, %g4
299         ba,pt   %xcc, winfix_trampoline
300          nop