Merge upstream 2.6.13-rc3 into ieee80211 branch of netdev-2.6.
[linux-2.6] / arch / sparc64 / mm / ultra.S
1 /* $Id: ultra.S,v 1.72 2002/02/09 19:49:31 davem Exp $
2  * ultra.S: Don't expand these all over the place...
3  *
4  * Copyright (C) 1997, 2000 David S. Miller (davem@redhat.com)
5  */
6
7 #include <linux/config.h>
8 #include <asm/asi.h>
9 #include <asm/pgtable.h>
10 #include <asm/page.h>
11 #include <asm/spitfire.h>
12 #include <asm/mmu_context.h>
13 #include <asm/pil.h>
14 #include <asm/head.h>
15 #include <asm/thread_info.h>
16 #include <asm/cacheflush.h>
17
18         /* Basically, most of the Spitfire vs. Cheetah madness
19          * has to do with the fact that Cheetah does not support
20          * IMMU flushes out of the secondary context.  Someone needs
21          * to throw a south lake birthday party for the folks
22          * in Microelectronics who refused to fix this shit.
23          */
24
25         /* This file is meant to be read efficiently by the CPU, not humans.
26          * Staraj sie tego nikomu nie pierdolnac...
27          */
28         .text
29         .align          32
30         .globl          __flush_tlb_mm
31 __flush_tlb_mm: /* %o0=(ctx & TAG_CONTEXT_BITS), %o1=SECONDARY_CONTEXT */
32         ldxa            [%o1] ASI_DMMU, %g2
33         cmp             %g2, %o0
34         bne,pn          %icc, __spitfire_flush_tlb_mm_slow
35          mov            0x50, %g3
36         stxa            %g0, [%g3] ASI_DMMU_DEMAP
37         stxa            %g0, [%g3] ASI_IMMU_DEMAP
38         retl
39          flush          %g6
40         nop
41         nop
42         nop
43         nop
44         nop
45         nop
46         nop
47         nop
48
49         .align          32
50         .globl          __flush_tlb_pending
51 __flush_tlb_pending:
52         /* %o0 = context, %o1 = nr, %o2 = vaddrs[] */
53         rdpr            %pstate, %g7
54         sllx            %o1, 3, %o1
55         andn            %g7, PSTATE_IE, %g2
56         wrpr            %g2, %pstate
57         mov             SECONDARY_CONTEXT, %o4
58         ldxa            [%o4] ASI_DMMU, %g2
59         stxa            %o0, [%o4] ASI_DMMU
60 1:      sub             %o1, (1 << 3), %o1
61         ldx             [%o2 + %o1], %o3
62         andcc           %o3, 1, %g0
63         andn            %o3, 1, %o3
64         be,pn           %icc, 2f
65          or             %o3, 0x10, %o3
66         stxa            %g0, [%o3] ASI_IMMU_DEMAP
67 2:      stxa            %g0, [%o3] ASI_DMMU_DEMAP
68         membar          #Sync
69         brnz,pt         %o1, 1b
70          nop
71         stxa            %g2, [%o4] ASI_DMMU
72         flush           %g6
73         retl
74          wrpr           %g7, 0x0, %pstate
75         nop
76
77         .align          32
78         .globl          __flush_tlb_kernel_range
79 __flush_tlb_kernel_range:       /* %o0=start, %o1=end */
80         cmp             %o0, %o1
81         be,pn           %xcc, 2f
82          sethi          %hi(PAGE_SIZE), %o4
83         sub             %o1, %o0, %o3
84         sub             %o3, %o4, %o3
85         or              %o0, 0x20, %o0          ! Nucleus
86 1:      stxa            %g0, [%o0 + %o3] ASI_DMMU_DEMAP
87         stxa            %g0, [%o0 + %o3] ASI_IMMU_DEMAP
88         membar          #Sync
89         brnz,pt         %o3, 1b
90          sub            %o3, %o4, %o3
91 2:      retl
92          flush          %g6
93
94 __spitfire_flush_tlb_mm_slow:
95         rdpr            %pstate, %g1
96         wrpr            %g1, PSTATE_IE, %pstate
97         stxa            %o0, [%o1] ASI_DMMU
98         stxa            %g0, [%g3] ASI_DMMU_DEMAP
99         stxa            %g0, [%g3] ASI_IMMU_DEMAP
100         flush           %g6
101         stxa            %g2, [%o1] ASI_DMMU
102         flush           %g6
103         retl
104          wrpr           %g1, 0, %pstate
105
106 /*
107  * The following code flushes one page_size worth.
108  */
109 #if (PAGE_SHIFT == 13)
110 #define ITAG_MASK 0xfe
111 #elif (PAGE_SHIFT == 16)
112 #define ITAG_MASK 0x7fe
113 #else
114 #error unsupported PAGE_SIZE
115 #endif
116         .align          32
117         .globl          __flush_icache_page
118 __flush_icache_page:    /* %o0 = phys_page */
119         membar          #StoreStore
120         srlx            %o0, PAGE_SHIFT, %o0
121         sethi           %uhi(PAGE_OFFSET), %g1
122         sllx            %o0, PAGE_SHIFT, %o0
123         sethi           %hi(PAGE_SIZE), %g2
124         sllx            %g1, 32, %g1
125         add             %o0, %g1, %o0
126 1:      subcc           %g2, 32, %g2
127         bne,pt          %icc, 1b
128          flush          %o0 + %g2
129         retl
130          nop
131
132 #ifdef DCACHE_ALIASING_POSSIBLE
133
134 #if (PAGE_SHIFT != 13)
135 #error only page shift of 13 is supported by dcache flush
136 #endif
137
138 #define DTAG_MASK 0x3
139
140         .align          64
141         .globl          __flush_dcache_page
142 __flush_dcache_page:    /* %o0=kaddr, %o1=flush_icache */
143         sethi           %uhi(PAGE_OFFSET), %g1
144         sllx            %g1, 32, %g1
145         sub             %o0, %g1, %o0
146         clr             %o4
147         srlx            %o0, 11, %o0
148         sethi           %hi(1 << 14), %o2
149 1:      ldxa            [%o4] ASI_DCACHE_TAG, %o3       ! LSU   Group
150         add             %o4, (1 << 5), %o4              ! IEU0
151         ldxa            [%o4] ASI_DCACHE_TAG, %g1       ! LSU   Group
152         add             %o4, (1 << 5), %o4              ! IEU0
153         ldxa            [%o4] ASI_DCACHE_TAG, %g2       ! LSU   Group   o3 available
154         add             %o4, (1 << 5), %o4              ! IEU0
155         andn            %o3, DTAG_MASK, %o3             ! IEU1
156         ldxa            [%o4] ASI_DCACHE_TAG, %g3       ! LSU   Group
157         add             %o4, (1 << 5), %o4              ! IEU0
158         andn            %g1, DTAG_MASK, %g1             ! IEU1
159         cmp             %o0, %o3                        ! IEU1  Group
160         be,a,pn         %xcc, dflush1                   ! CTI
161          sub            %o4, (4 << 5), %o4              ! IEU0  (Group)
162         cmp             %o0, %g1                        ! IEU1  Group
163         andn            %g2, DTAG_MASK, %g2             ! IEU0
164         be,a,pn         %xcc, dflush2                   ! CTI
165          sub            %o4, (3 << 5), %o4              ! IEU0  (Group)
166         cmp             %o0, %g2                        ! IEU1  Group
167         andn            %g3, DTAG_MASK, %g3             ! IEU0
168         be,a,pn         %xcc, dflush3                   ! CTI
169          sub            %o4, (2 << 5), %o4              ! IEU0  (Group)
170         cmp             %o0, %g3                        ! IEU1  Group
171         be,a,pn         %xcc, dflush4                   ! CTI
172          sub            %o4, (1 << 5), %o4              ! IEU0
173 2:      cmp             %o4, %o2                        ! IEU1  Group
174         bne,pt          %xcc, 1b                        ! CTI
175          nop                                            ! IEU0
176
177         /* The I-cache does not snoop local stores so we
178          * better flush that too when necessary.
179          */
180         brnz,pt         %o1, __flush_icache_page
181          sllx           %o0, 11, %o0
182         retl
183          nop
184
185 dflush1:stxa            %g0, [%o4] ASI_DCACHE_TAG
186         add             %o4, (1 << 5), %o4
187 dflush2:stxa            %g0, [%o4] ASI_DCACHE_TAG
188         add             %o4, (1 << 5), %o4
189 dflush3:stxa            %g0, [%o4] ASI_DCACHE_TAG
190         add             %o4, (1 << 5), %o4
191 dflush4:stxa            %g0, [%o4] ASI_DCACHE_TAG
192         add             %o4, (1 << 5), %o4
193         membar          #Sync
194         ba,pt           %xcc, 2b
195          nop
196 #endif /* DCACHE_ALIASING_POSSIBLE */
197
198         .align          32
199 __prefill_dtlb:
200         rdpr            %pstate, %g7
201         wrpr            %g7, PSTATE_IE, %pstate
202         mov             TLB_TAG_ACCESS, %g1
203         stxa            %o5, [%g1] ASI_DMMU
204         stxa            %o2, [%g0] ASI_DTLB_DATA_IN
205         flush           %g6
206         retl
207          wrpr           %g7, %pstate
208 __prefill_itlb:
209         rdpr            %pstate, %g7
210         wrpr            %g7, PSTATE_IE, %pstate
211         mov             TLB_TAG_ACCESS, %g1
212         stxa            %o5, [%g1] ASI_IMMU
213         stxa            %o2, [%g0] ASI_ITLB_DATA_IN
214         flush           %g6
215         retl
216          wrpr           %g7, %pstate
217
218         .globl          __update_mmu_cache
219 __update_mmu_cache:     /* %o0=hw_context, %o1=address, %o2=pte, %o3=fault_code */
220         srlx            %o1, PAGE_SHIFT, %o1
221         andcc           %o3, FAULT_CODE_DTLB, %g0
222         sllx            %o1, PAGE_SHIFT, %o5
223         bne,pt          %xcc, __prefill_dtlb
224          or             %o5, %o0, %o5
225         ba,a,pt         %xcc, __prefill_itlb
226
227         /* Cheetah specific versions, patched at boot time.
228          *
229          * This writes of the PRIMARY_CONTEXT register in this file are
230          * safe even on Cheetah+ and later wrt. the page size fields.
231          * The nucleus page size fields do not matter because we make
232          * no data references, and these instructions execute out of a
233          * locked I-TLB entry sitting in the fully assosciative I-TLB.
234          * This sequence should also never trap.
235          */
236 __cheetah_flush_tlb_mm: /* 15 insns */
237         rdpr            %pstate, %g7
238         andn            %g7, PSTATE_IE, %g2
239         wrpr            %g2, 0x0, %pstate
240         wrpr            %g0, 1, %tl
241         mov             PRIMARY_CONTEXT, %o2
242         mov             0x40, %g3
243         ldxa            [%o2] ASI_DMMU, %g2
244         stxa            %o0, [%o2] ASI_DMMU
245         stxa            %g0, [%g3] ASI_DMMU_DEMAP
246         stxa            %g0, [%g3] ASI_IMMU_DEMAP
247         stxa            %g2, [%o2] ASI_DMMU
248         flush           %g6
249         wrpr            %g0, 0, %tl
250         retl
251          wrpr           %g7, 0x0, %pstate
252
253 __cheetah_flush_tlb_pending:    /* 23 insns */
254         /* %o0 = context, %o1 = nr, %o2 = vaddrs[] */
255         rdpr            %pstate, %g7
256         sllx            %o1, 3, %o1
257         andn            %g7, PSTATE_IE, %g2
258         wrpr            %g2, 0x0, %pstate
259         wrpr            %g0, 1, %tl
260         mov             PRIMARY_CONTEXT, %o4
261         ldxa            [%o4] ASI_DMMU, %g2
262         stxa            %o0, [%o4] ASI_DMMU
263 1:      sub             %o1, (1 << 3), %o1
264         ldx             [%o2 + %o1], %o3
265         andcc           %o3, 1, %g0
266         be,pn           %icc, 2f
267          andn           %o3, 1, %o3
268         stxa            %g0, [%o3] ASI_IMMU_DEMAP
269 2:      stxa            %g0, [%o3] ASI_DMMU_DEMAP       
270         membar          #Sync
271         brnz,pt         %o1, 1b
272          nop
273         stxa            %g2, [%o4] ASI_DMMU
274         flush           %g6
275         wrpr            %g0, 0, %tl
276         retl
277          wrpr           %g7, 0x0, %pstate
278
279 #ifdef DCACHE_ALIASING_POSSIBLE
280 flush_dcpage_cheetah: /* 11 insns */
281         sethi           %uhi(PAGE_OFFSET), %g1
282         sllx            %g1, 32, %g1
283         sub             %o0, %g1, %o0
284         sethi           %hi(PAGE_SIZE), %o4
285 1:      subcc           %o4, (1 << 5), %o4
286         stxa            %g0, [%o0 + %o4] ASI_DCACHE_INVALIDATE
287         membar          #Sync
288         bne,pt          %icc, 1b
289          nop
290         retl            /* I-cache flush never needed on Cheetah, see callers. */
291          nop
292 #endif /* DCACHE_ALIASING_POSSIBLE */
293
294 cheetah_patch_one:
295 1:      lduw            [%o1], %g1
296         stw             %g1, [%o0]
297         flush           %o0
298         subcc           %o2, 1, %o2
299         add             %o1, 4, %o1
300         bne,pt          %icc, 1b
301          add            %o0, 4, %o0
302         retl
303          nop
304
305         .globl          cheetah_patch_cachetlbops
306 cheetah_patch_cachetlbops:
307         save            %sp, -128, %sp
308
309         sethi           %hi(__flush_tlb_mm), %o0
310         or              %o0, %lo(__flush_tlb_mm), %o0
311         sethi           %hi(__cheetah_flush_tlb_mm), %o1
312         or              %o1, %lo(__cheetah_flush_tlb_mm), %o1
313         call            cheetah_patch_one
314          mov            15, %o2
315
316         sethi           %hi(__flush_tlb_pending), %o0
317         or              %o0, %lo(__flush_tlb_pending), %o0
318         sethi           %hi(__cheetah_flush_tlb_pending), %o1
319         or              %o1, %lo(__cheetah_flush_tlb_pending), %o1
320         call            cheetah_patch_one
321          mov            23, %o2
322
323 #ifdef DCACHE_ALIASING_POSSIBLE
324         sethi           %hi(__flush_dcache_page), %o0
325         or              %o0, %lo(__flush_dcache_page), %o0
326         sethi           %hi(flush_dcpage_cheetah), %o1
327         or              %o1, %lo(flush_dcpage_cheetah), %o1
328         call            cheetah_patch_one
329          mov            11, %o2
330 #endif /* DCACHE_ALIASING_POSSIBLE */
331
332         ret
333          restore
334
335 #ifdef CONFIG_SMP
336         /* These are all called by the slaves of a cross call, at
337          * trap level 1, with interrupts fully disabled.
338          *
339          * Register usage:
340          *   %g5        mm->context     (all tlb flushes)
341          *   %g1        address arg 1   (tlb page and range flushes)
342          *   %g7        address arg 2   (tlb range flush only)
343          *
344          *   %g6        ivector table, don't touch
345          *   %g2        scratch 1
346          *   %g3        scratch 2
347          *   %g4        scratch 3
348          *
349          * TODO: Make xcall TLB range flushes use the tricks above... -DaveM
350          */
351         .align          32
352         .globl          xcall_flush_tlb_mm
353 xcall_flush_tlb_mm:
354         mov             PRIMARY_CONTEXT, %g2
355         mov             0x40, %g4
356         ldxa            [%g2] ASI_DMMU, %g3
357         stxa            %g5, [%g2] ASI_DMMU
358         stxa            %g0, [%g4] ASI_DMMU_DEMAP
359         stxa            %g0, [%g4] ASI_IMMU_DEMAP
360         stxa            %g3, [%g2] ASI_DMMU
361         retry
362
363         .globl          xcall_flush_tlb_pending
364 xcall_flush_tlb_pending:
365         /* %g5=context, %g1=nr, %g7=vaddrs[] */
366         sllx            %g1, 3, %g1
367         mov             PRIMARY_CONTEXT, %g4
368         ldxa            [%g4] ASI_DMMU, %g2
369         stxa            %g5, [%g4] ASI_DMMU
370 1:      sub             %g1, (1 << 3), %g1
371         ldx             [%g7 + %g1], %g5
372         andcc           %g5, 0x1, %g0
373         be,pn           %icc, 2f
374
375          andn           %g5, 0x1, %g5
376         stxa            %g0, [%g5] ASI_IMMU_DEMAP
377 2:      stxa            %g0, [%g5] ASI_DMMU_DEMAP
378         membar          #Sync
379         brnz,pt         %g1, 1b
380          nop
381         stxa            %g2, [%g4] ASI_DMMU
382         retry
383
384         .globl          xcall_flush_tlb_kernel_range
385 xcall_flush_tlb_kernel_range:
386         sethi           %hi(PAGE_SIZE - 1), %g2
387         or              %g2, %lo(PAGE_SIZE - 1), %g2
388         andn            %g1, %g2, %g1
389         andn            %g7, %g2, %g7
390         sub             %g7, %g1, %g3
391         add             %g2, 1, %g2
392         sub             %g3, %g2, %g3
393         or              %g1, 0x20, %g1          ! Nucleus
394 1:      stxa            %g0, [%g1 + %g3] ASI_DMMU_DEMAP
395         stxa            %g0, [%g1 + %g3] ASI_IMMU_DEMAP
396         membar          #Sync
397         brnz,pt         %g3, 1b
398          sub            %g3, %g2, %g3
399         retry
400         nop
401         nop
402
403         /* This runs in a very controlled environment, so we do
404          * not need to worry about BH races etc.
405          */
406         .globl          xcall_sync_tick
407 xcall_sync_tick:
408         rdpr            %pstate, %g2
409         wrpr            %g2, PSTATE_IG | PSTATE_AG, %pstate
410         rdpr            %pil, %g2
411         wrpr            %g0, 15, %pil
412         sethi           %hi(109f), %g7
413         b,pt            %xcc, etrap_irq
414 109:     or             %g7, %lo(109b), %g7
415         call            smp_synchronize_tick_client
416          nop
417         clr             %l6
418         b               rtrap_xcall
419          ldx            [%sp + PTREGS_OFF + PT_V9_TSTATE], %l1
420
421         /* NOTE: This is SPECIAL!!  We do etrap/rtrap however
422          *       we choose to deal with the "BH's run with
423          *       %pil==15" problem (described in asm/pil.h)
424          *       by just invoking rtrap directly past where
425          *       BH's are checked for.
426          *
427          *       We do it like this because we do not want %pil==15
428          *       lockups to prevent regs being reported.
429          */
430         .globl          xcall_report_regs
431 xcall_report_regs:
432         rdpr            %pstate, %g2
433         wrpr            %g2, PSTATE_IG | PSTATE_AG, %pstate
434         rdpr            %pil, %g2
435         wrpr            %g0, 15, %pil
436         sethi           %hi(109f), %g7
437         b,pt            %xcc, etrap_irq
438 109:     or             %g7, %lo(109b), %g7
439         call            __show_regs
440          add            %sp, PTREGS_OFF, %o0
441         clr             %l6
442         /* Has to be a non-v9 branch due to the large distance. */
443         b               rtrap_xcall
444          ldx            [%sp + PTREGS_OFF + PT_V9_TSTATE], %l1
445
446 #ifdef DCACHE_ALIASING_POSSIBLE
447         .align          32
448         .globl          xcall_flush_dcache_page_cheetah
449 xcall_flush_dcache_page_cheetah: /* %g1 == physical page address */
450         sethi           %hi(PAGE_SIZE), %g3
451 1:      subcc           %g3, (1 << 5), %g3
452         stxa            %g0, [%g1 + %g3] ASI_DCACHE_INVALIDATE
453         membar          #Sync
454         bne,pt          %icc, 1b
455          nop
456         retry
457         nop
458 #endif /* DCACHE_ALIASING_POSSIBLE */
459
460         .globl          xcall_flush_dcache_page_spitfire
461 xcall_flush_dcache_page_spitfire: /* %g1 == physical page address
462                                      %g7 == kernel page virtual address
463                                      %g5 == (page->mapping != NULL)  */
464 #ifdef DCACHE_ALIASING_POSSIBLE
465         srlx            %g1, (13 - 2), %g1      ! Form tag comparitor
466         sethi           %hi(L1DCACHE_SIZE), %g3 ! D$ size == 16K
467         sub             %g3, (1 << 5), %g3      ! D$ linesize == 32
468 1:      ldxa            [%g3] ASI_DCACHE_TAG, %g2
469         andcc           %g2, 0x3, %g0
470         be,pn           %xcc, 2f
471          andn           %g2, 0x3, %g2
472         cmp             %g2, %g1
473
474         bne,pt          %xcc, 2f
475          nop
476         stxa            %g0, [%g3] ASI_DCACHE_TAG
477         membar          #Sync
478 2:      cmp             %g3, 0
479         bne,pt          %xcc, 1b
480          sub            %g3, (1 << 5), %g3
481
482         brz,pn          %g5, 2f
483 #endif /* DCACHE_ALIASING_POSSIBLE */
484          sethi          %hi(PAGE_SIZE), %g3
485
486 1:      flush           %g7
487         subcc           %g3, (1 << 5), %g3
488         bne,pt          %icc, 1b
489          add            %g7, (1 << 5), %g7
490
491 2:      retry
492         nop
493         nop
494
495         .globl          xcall_promstop
496 xcall_promstop:
497         rdpr            %pstate, %g2
498         wrpr            %g2, PSTATE_IG | PSTATE_AG, %pstate
499         rdpr            %pil, %g2
500         wrpr            %g0, 15, %pil
501         sethi           %hi(109f), %g7
502         b,pt            %xcc, etrap_irq
503 109:     or             %g7, %lo(109b), %g7
504         flushw
505         call            prom_stopself
506          nop
507         /* We should not return, just spin if we do... */
508 1:      b,a,pt          %xcc, 1b
509         nop
510
511         .data
512
513 errata32_hwbug:
514         .xword  0
515
516         .text
517
518         /* These two are not performance critical... */
519         .globl          xcall_flush_tlb_all_spitfire
520 xcall_flush_tlb_all_spitfire:
521         /* Spitfire Errata #32 workaround. */
522         sethi           %hi(errata32_hwbug), %g4
523         stx             %g0, [%g4 + %lo(errata32_hwbug)]
524
525         clr             %g2
526         clr             %g3
527 1:      ldxa            [%g3] ASI_DTLB_DATA_ACCESS, %g4
528         and             %g4, _PAGE_L, %g5
529         brnz,pn         %g5, 2f
530          mov            TLB_TAG_ACCESS, %g7
531
532         stxa            %g0, [%g7] ASI_DMMU
533         membar          #Sync
534         stxa            %g0, [%g3] ASI_DTLB_DATA_ACCESS
535         membar          #Sync
536
537         /* Spitfire Errata #32 workaround. */
538         sethi           %hi(errata32_hwbug), %g4
539         stx             %g0, [%g4 + %lo(errata32_hwbug)]
540
541 2:      ldxa            [%g3] ASI_ITLB_DATA_ACCESS, %g4
542         and             %g4, _PAGE_L, %g5
543         brnz,pn         %g5, 2f
544          mov            TLB_TAG_ACCESS, %g7
545
546         stxa            %g0, [%g7] ASI_IMMU
547         membar          #Sync
548         stxa            %g0, [%g3] ASI_ITLB_DATA_ACCESS
549         membar          #Sync
550
551         /* Spitfire Errata #32 workaround. */
552         sethi           %hi(errata32_hwbug), %g4
553         stx             %g0, [%g4 + %lo(errata32_hwbug)]
554
555 2:      add             %g2, 1, %g2
556         cmp             %g2, SPITFIRE_HIGHEST_LOCKED_TLBENT
557         ble,pt          %icc, 1b
558          sll            %g2, 3, %g3
559         flush           %g6
560         retry
561
562         .globl          xcall_flush_tlb_all_cheetah
563 xcall_flush_tlb_all_cheetah:
564         mov             0x80, %g2
565         stxa            %g0, [%g2] ASI_DMMU_DEMAP
566         stxa            %g0, [%g2] ASI_IMMU_DEMAP
567         retry
568
569         /* These just get rescheduled to PIL vectors. */
570         .globl          xcall_call_function
571 xcall_call_function:
572         wr              %g0, (1 << PIL_SMP_CALL_FUNC), %set_softint
573         retry
574
575         .globl          xcall_receive_signal
576 xcall_receive_signal:
577         wr              %g0, (1 << PIL_SMP_RECEIVE_SIGNAL), %set_softint
578         retry
579
580         .globl          xcall_capture
581 xcall_capture:
582         wr              %g0, (1 << PIL_SMP_CAPTURE), %set_softint
583         retry
584
585 #endif /* CONFIG_SMP */