[SPARC64]: Kill stray PGLIST_NENTS check in pci_sun4v.c
[linux-2.6] / arch / sparc64 / kernel / ktlb.S
1 /* arch/sparc64/kernel/ktlb.S: Kernel mapping TLB miss handling.
2  *
3  * Copyright (C) 1995, 1997, 2005 David S. Miller <davem@davemloft.net>
4  * Copyright (C) 1996 Eddie C. Dost        (ecd@brainaid.de)
5  * Copyright (C) 1996 Miguel de Icaza      (miguel@nuclecu.unam.mx)
6  * Copyright (C) 1996,98,99 Jakub Jelinek  (jj@sunsite.mff.cuni.cz)
7  */
8
9 #include <linux/config.h>
10 #include <asm/head.h>
11 #include <asm/asi.h>
12 #include <asm/page.h>
13 #include <asm/pgtable.h>
14 #include <asm/tsb.h>
15
16         .text
17         .align          32
18
19 kvmap_itlb:
20         /* g6: TAG TARGET */
21         mov             TLB_TAG_ACCESS, %g4
22         ldxa            [%g4] ASI_IMMU, %g4
23
24         /* sun4v_itlb_miss branches here with the missing virtual
25          * address already loaded into %g4
26          */
27 kvmap_itlb_4v:
28
29 kvmap_itlb_nonlinear:
30         /* Catch kernel NULL pointer calls.  */
31         sethi           %hi(PAGE_SIZE), %g5
32         cmp             %g4, %g5
33         bleu,pn         %xcc, kvmap_dtlb_longpath
34          nop
35
36         KERN_TSB_LOOKUP_TL1(%g4, %g6, %g5, %g1, %g2, %g3, kvmap_itlb_load)
37
38 kvmap_itlb_tsb_miss:
39         sethi           %hi(LOW_OBP_ADDRESS), %g5
40         cmp             %g4, %g5
41         blu,pn          %xcc, kvmap_itlb_vmalloc_addr
42          mov            0x1, %g5
43         sllx            %g5, 32, %g5
44         cmp             %g4, %g5
45         blu,pn          %xcc, kvmap_itlb_obp
46          nop
47
48 kvmap_itlb_vmalloc_addr:
49         KERN_PGTABLE_WALK(%g4, %g5, %g2, kvmap_itlb_longpath)
50
51         KTSB_LOCK_TAG(%g1, %g2, %g7)
52
53         /* Load and check PTE.  */
54         ldxa            [%g5] ASI_PHYS_USE_EC, %g5
55         mov             1, %g7
56         sllx            %g7, TSB_TAG_INVALID_BIT, %g7
57         brgez,a,pn      %g5, kvmap_itlb_longpath
58          KTSB_STORE(%g1, %g7)
59
60         KTSB_WRITE(%g1, %g5, %g6)
61
62         /* fallthrough to TLB load */
63
64 kvmap_itlb_load:
65
66 661:    stxa            %g5, [%g0] ASI_ITLB_DATA_IN
67         retry
68         .section        .sun4v_2insn_patch, "ax"
69         .word           661b
70         nop
71         nop
72         .previous
73
74         /* For sun4v the ASI_ITLB_DATA_IN store and the retry
75          * instruction get nop'd out and we get here to branch
76          * to the sun4v tlb load code.  The registers are setup
77          * as follows:
78          *
79          * %g4: vaddr
80          * %g5: PTE
81          * %g6: TAG
82          *
83          * The sun4v TLB load wants the PTE in %g3 so we fix that
84          * up here.
85          */
86         ba,pt           %xcc, sun4v_itlb_load
87          mov            %g5, %g3
88
89 kvmap_itlb_longpath:
90
91 661:    rdpr    %pstate, %g5
92         wrpr    %g5, PSTATE_AG | PSTATE_MG, %pstate
93         .section .sun4v_2insn_patch, "ax"
94         .word   661b
95         SET_GL(1)
96         nop
97         .previous
98
99         rdpr    %tpc, %g5
100         ba,pt   %xcc, sparc64_realfault_common
101          mov    FAULT_CODE_ITLB, %g4
102
103 kvmap_itlb_obp:
104         OBP_TRANS_LOOKUP(%g4, %g5, %g2, %g3, kvmap_itlb_longpath)
105
106         KTSB_LOCK_TAG(%g1, %g2, %g7)
107
108         KTSB_WRITE(%g1, %g5, %g6)
109
110         ba,pt           %xcc, kvmap_itlb_load
111          nop
112
113 kvmap_dtlb_obp:
114         OBP_TRANS_LOOKUP(%g4, %g5, %g2, %g3, kvmap_dtlb_longpath)
115
116         KTSB_LOCK_TAG(%g1, %g2, %g7)
117
118         KTSB_WRITE(%g1, %g5, %g6)
119
120         ba,pt           %xcc, kvmap_dtlb_load
121          nop
122
123         .align          32
124 kvmap_dtlb:
125         /* %g6: TAG TARGET */
126         mov             TLB_TAG_ACCESS, %g4
127         ldxa            [%g4] ASI_DMMU, %g4
128
129         /* sun4v_dtlb_miss branches here with the missing virtual
130          * address already loaded into %g4
131          */
132 kvmap_dtlb_4v:
133         brgez,pn        %g4, kvmap_dtlb_nonlinear
134          nop
135
136         sethi           %hi(kern_linear_pte_xor), %g2
137         ldx             [%g2 + %lo(kern_linear_pte_xor)], %g2
138
139         .globl          kvmap_linear_patch
140 kvmap_linear_patch:
141         ba,pt           %xcc, kvmap_dtlb_load
142          xor            %g2, %g4, %g5
143
144 kvmap_dtlb_vmalloc_addr:
145         KERN_PGTABLE_WALK(%g4, %g5, %g2, kvmap_dtlb_longpath)
146
147         KTSB_LOCK_TAG(%g1, %g2, %g7)
148
149         /* Load and check PTE.  */
150         ldxa            [%g5] ASI_PHYS_USE_EC, %g5
151         mov             1, %g7
152         sllx            %g7, TSB_TAG_INVALID_BIT, %g7
153         brgez,a,pn      %g5, kvmap_dtlb_longpath
154          KTSB_STORE(%g1, %g7)
155
156         KTSB_WRITE(%g1, %g5, %g6)
157
158         /* fallthrough to TLB load */
159
160 kvmap_dtlb_load:
161
162 661:    stxa            %g5, [%g0] ASI_DTLB_DATA_IN     ! Reload TLB
163         retry
164         .section        .sun4v_2insn_patch, "ax"
165         .word           661b
166         nop
167         nop
168         .previous
169
170         /* For sun4v the ASI_DTLB_DATA_IN store and the retry
171          * instruction get nop'd out and we get here to branch
172          * to the sun4v tlb load code.  The registers are setup
173          * as follows:
174          *
175          * %g4: vaddr
176          * %g5: PTE
177          * %g6: TAG
178          *
179          * The sun4v TLB load wants the PTE in %g3 so we fix that
180          * up here.
181          */
182         ba,pt           %xcc, sun4v_dtlb_load
183          mov            %g5, %g3
184
185 kvmap_dtlb_nonlinear:
186         /* Catch kernel NULL pointer derefs.  */
187         sethi           %hi(PAGE_SIZE), %g5
188         cmp             %g4, %g5
189         bleu,pn         %xcc, kvmap_dtlb_longpath
190          nop
191
192         KERN_TSB_LOOKUP_TL1(%g4, %g6, %g5, %g1, %g2, %g3, kvmap_dtlb_load)
193
194 kvmap_dtlb_tsbmiss:
195         sethi           %hi(MODULES_VADDR), %g5
196         cmp             %g4, %g5
197         blu,pn          %xcc, kvmap_dtlb_longpath
198          mov            (VMALLOC_END >> 24), %g5
199         sllx            %g5, 24, %g5
200         cmp             %g4, %g5
201         bgeu,pn         %xcc, kvmap_dtlb_longpath
202          nop
203
204 kvmap_check_obp:
205         sethi           %hi(LOW_OBP_ADDRESS), %g5
206         cmp             %g4, %g5
207         blu,pn          %xcc, kvmap_dtlb_vmalloc_addr
208          mov            0x1, %g5
209         sllx            %g5, 32, %g5
210         cmp             %g4, %g5
211         blu,pn          %xcc, kvmap_dtlb_obp
212          nop
213         ba,pt           %xcc, kvmap_dtlb_vmalloc_addr
214          nop
215
216 kvmap_dtlb_longpath:
217
218 661:    rdpr    %pstate, %g5
219         wrpr    %g5, PSTATE_AG | PSTATE_MG, %pstate
220         .section .sun4v_2insn_patch, "ax"
221         .word   661b
222         SET_GL(1)
223         ldxa            [%g0] ASI_SCRATCHPAD, %g5
224         .previous
225
226         rdpr    %tl, %g3
227         cmp     %g3, 1
228
229 661:    mov     TLB_TAG_ACCESS, %g4
230         ldxa    [%g4] ASI_DMMU, %g5
231         .section .sun4v_2insn_patch, "ax"
232         .word   661b
233         ldx     [%g5 + HV_FAULT_D_ADDR_OFFSET], %g5
234         nop
235         .previous
236
237         be,pt   %xcc, sparc64_realfault_common
238          mov    FAULT_CODE_DTLB, %g4
239         ba,pt   %xcc, winfix_trampoline
240          nop