Merge with master.kernel.org:/pub/scm/linux/kernel/git/torvalds/linux-2.6.git
[linux-2.6] / arch / sparc64 / mm / ultra.S
1 /* $Id: ultra.S,v 1.72 2002/02/09 19:49:31 davem Exp $
2  * ultra.S: Don't expand these all over the place...
3  *
4  * Copyright (C) 1997, 2000 David S. Miller (davem@redhat.com)
5  */
6
7 #include <linux/config.h>
8 #include <asm/asi.h>
9 #include <asm/pgtable.h>
10 #include <asm/page.h>
11 #include <asm/spitfire.h>
12 #include <asm/mmu_context.h>
13 #include <asm/pil.h>
14 #include <asm/head.h>
15 #include <asm/thread_info.h>
16 #include <asm/cacheflush.h>
17
18         /* Basically, most of the Spitfire vs. Cheetah madness
19          * has to do with the fact that Cheetah does not support
20          * IMMU flushes out of the secondary context.  Someone needs
21          * to throw a south lake birthday party for the folks
22          * in Microelectronics who refused to fix this shit.
23          */
24
25         /* This file is meant to be read efficiently by the CPU, not humans.
26          * Staraj sie tego nikomu nie pierdolnac...
27          */
28         .text
29         .align          32
30         .globl          __flush_tlb_mm
31 __flush_tlb_mm: /* %o0=(ctx & TAG_CONTEXT_BITS), %o1=SECONDARY_CONTEXT */
32         ldxa            [%o1] ASI_DMMU, %g2
33         cmp             %g2, %o0
34         bne,pn          %icc, __spitfire_flush_tlb_mm_slow
35          mov            0x50, %g3
36         stxa            %g0, [%g3] ASI_DMMU_DEMAP
37         stxa            %g0, [%g3] ASI_IMMU_DEMAP
38         retl
39          flush          %g6
40         nop
41         nop
42         nop
43         nop
44         nop
45         nop
46         nop
47         nop
48
49         .align          32
50         .globl          __flush_tlb_pending
51 __flush_tlb_pending:
52         /* %o0 = context, %o1 = nr, %o2 = vaddrs[] */
53         rdpr            %pstate, %g7
54         sllx            %o1, 3, %o1
55         andn            %g7, PSTATE_IE, %g2
56         wrpr            %g2, %pstate
57         mov             SECONDARY_CONTEXT, %o4
58         ldxa            [%o4] ASI_DMMU, %g2
59         stxa            %o0, [%o4] ASI_DMMU
60 1:      sub             %o1, (1 << 3), %o1
61         ldx             [%o2 + %o1], %o3
62         andcc           %o3, 1, %g0
63         andn            %o3, 1, %o3
64         be,pn           %icc, 2f
65          or             %o3, 0x10, %o3
66         stxa            %g0, [%o3] ASI_IMMU_DEMAP
67 2:      stxa            %g0, [%o3] ASI_DMMU_DEMAP
68         membar          #Sync
69         brnz,pt         %o1, 1b
70          nop
71         stxa            %g2, [%o4] ASI_DMMU
72         flush           %g6
73         retl
74          wrpr           %g7, 0x0, %pstate
75
76         .align          32
77         .globl          __flush_tlb_kernel_range
78 __flush_tlb_kernel_range:       /* %o0=start, %o1=end */
79         cmp             %o0, %o1
80         be,pn           %xcc, 2f
81          sethi          %hi(PAGE_SIZE), %o4
82         sub             %o1, %o0, %o3
83         sub             %o3, %o4, %o3
84         or              %o0, 0x20, %o0          ! Nucleus
85 1:      stxa            %g0, [%o0 + %o3] ASI_DMMU_DEMAP
86         stxa            %g0, [%o0 + %o3] ASI_IMMU_DEMAP
87         membar          #Sync
88         brnz,pt         %o3, 1b
89          sub            %o3, %o4, %o3
90 2:      retl
91          flush          %g6
92
93 __spitfire_flush_tlb_mm_slow:
94         rdpr            %pstate, %g1
95         wrpr            %g1, PSTATE_IE, %pstate
96         stxa            %o0, [%o1] ASI_DMMU
97         stxa            %g0, [%g3] ASI_DMMU_DEMAP
98         stxa            %g0, [%g3] ASI_IMMU_DEMAP
99         flush           %g6
100         stxa            %g2, [%o1] ASI_DMMU
101         flush           %g6
102         retl
103          wrpr           %g1, 0, %pstate
104
105 /*
106  * The following code flushes one page_size worth.
107  */
108 #if (PAGE_SHIFT == 13)
109 #define ITAG_MASK 0xfe
110 #elif (PAGE_SHIFT == 16)
111 #define ITAG_MASK 0x7fe
112 #else
113 #error unsupported PAGE_SIZE
114 #endif
115         .align          32
116         .globl          __flush_icache_page
117 __flush_icache_page:    /* %o0 = phys_page */
118         membar          #StoreStore
119         srlx            %o0, PAGE_SHIFT, %o0
120         sethi           %uhi(PAGE_OFFSET), %g1
121         sllx            %o0, PAGE_SHIFT, %o0
122         sethi           %hi(PAGE_SIZE), %g2
123         sllx            %g1, 32, %g1
124         add             %o0, %g1, %o0
125 1:      subcc           %g2, 32, %g2
126         bne,pt          %icc, 1b
127          flush          %o0 + %g2
128         retl
129          nop
130
131 #ifdef DCACHE_ALIASING_POSSIBLE
132
133 #if (PAGE_SHIFT != 13)
134 #error only page shift of 13 is supported by dcache flush
135 #endif
136
137 #define DTAG_MASK 0x3
138
139         .align          64
140         .globl          __flush_dcache_page
141 __flush_dcache_page:    /* %o0=kaddr, %o1=flush_icache */
142         sethi           %uhi(PAGE_OFFSET), %g1
143         sllx            %g1, 32, %g1
144         sub             %o0, %g1, %o0
145         clr             %o4
146         srlx            %o0, 11, %o0
147         sethi           %hi(1 << 14), %o2
148 1:      ldxa            [%o4] ASI_DCACHE_TAG, %o3       ! LSU   Group
149         add             %o4, (1 << 5), %o4              ! IEU0
150         ldxa            [%o4] ASI_DCACHE_TAG, %g1       ! LSU   Group
151         add             %o4, (1 << 5), %o4              ! IEU0
152         ldxa            [%o4] ASI_DCACHE_TAG, %g2       ! LSU   Group   o3 available
153         add             %o4, (1 << 5), %o4              ! IEU0
154         andn            %o3, DTAG_MASK, %o3             ! IEU1
155         ldxa            [%o4] ASI_DCACHE_TAG, %g3       ! LSU   Group
156         add             %o4, (1 << 5), %o4              ! IEU0
157         andn            %g1, DTAG_MASK, %g1             ! IEU1
158         cmp             %o0, %o3                        ! IEU1  Group
159         be,a,pn         %xcc, dflush1                   ! CTI
160          sub            %o4, (4 << 5), %o4              ! IEU0  (Group)
161         cmp             %o0, %g1                        ! IEU1  Group
162         andn            %g2, DTAG_MASK, %g2             ! IEU0
163         be,a,pn         %xcc, dflush2                   ! CTI
164          sub            %o4, (3 << 5), %o4              ! IEU0  (Group)
165         cmp             %o0, %g2                        ! IEU1  Group
166         andn            %g3, DTAG_MASK, %g3             ! IEU0
167         be,a,pn         %xcc, dflush3                   ! CTI
168          sub            %o4, (2 << 5), %o4              ! IEU0  (Group)
169         cmp             %o0, %g3                        ! IEU1  Group
170         be,a,pn         %xcc, dflush4                   ! CTI
171          sub            %o4, (1 << 5), %o4              ! IEU0
172 2:      cmp             %o4, %o2                        ! IEU1  Group
173         bne,pt          %xcc, 1b                        ! CTI
174          nop                                            ! IEU0
175
176         /* The I-cache does not snoop local stores so we
177          * better flush that too when necessary.
178          */
179         brnz,pt         %o1, __flush_icache_page
180          sllx           %o0, 11, %o0
181         retl
182          nop
183
184 dflush1:stxa            %g0, [%o4] ASI_DCACHE_TAG
185         add             %o4, (1 << 5), %o4
186 dflush2:stxa            %g0, [%o4] ASI_DCACHE_TAG
187         add             %o4, (1 << 5), %o4
188 dflush3:stxa            %g0, [%o4] ASI_DCACHE_TAG
189         add             %o4, (1 << 5), %o4
190 dflush4:stxa            %g0, [%o4] ASI_DCACHE_TAG
191         add             %o4, (1 << 5), %o4
192         membar          #Sync
193         ba,pt           %xcc, 2b
194          nop
195 #endif /* DCACHE_ALIASING_POSSIBLE */
196
197         .align          32
198 __prefill_dtlb:
199         rdpr            %pstate, %g7
200         wrpr            %g7, PSTATE_IE, %pstate
201         mov             TLB_TAG_ACCESS, %g1
202         stxa            %o5, [%g1] ASI_DMMU
203         stxa            %o2, [%g0] ASI_DTLB_DATA_IN
204         flush           %g6
205         retl
206          wrpr           %g7, %pstate
207 __prefill_itlb:
208         rdpr            %pstate, %g7
209         wrpr            %g7, PSTATE_IE, %pstate
210         mov             TLB_TAG_ACCESS, %g1
211         stxa            %o5, [%g1] ASI_IMMU
212         stxa            %o2, [%g0] ASI_ITLB_DATA_IN
213         flush           %g6
214         retl
215          wrpr           %g7, %pstate
216
217         .globl          __update_mmu_cache
218 __update_mmu_cache:     /* %o0=hw_context, %o1=address, %o2=pte, %o3=fault_code */
219         srlx            %o1, PAGE_SHIFT, %o1
220         andcc           %o3, FAULT_CODE_DTLB, %g0
221         sllx            %o1, PAGE_SHIFT, %o5
222         bne,pt          %xcc, __prefill_dtlb
223          or             %o5, %o0, %o5
224         ba,a,pt         %xcc, __prefill_itlb
225
226         /* Cheetah specific versions, patched at boot time.
227          *
228          * This writes of the PRIMARY_CONTEXT register in this file are
229          * safe even on Cheetah+ and later wrt. the page size fields.
230          * The nucleus page size fields do not matter because we make
231          * no data references, and these instructions execute out of a
232          * locked I-TLB entry sitting in the fully assosciative I-TLB.
233          * This sequence should also never trap.
234          */
235 __cheetah_flush_tlb_mm: /* 15 insns */
236         rdpr            %pstate, %g7
237         andn            %g7, PSTATE_IE, %g2
238         wrpr            %g2, 0x0, %pstate
239         wrpr            %g0, 1, %tl
240         mov             PRIMARY_CONTEXT, %o2
241         mov             0x40, %g3
242         ldxa            [%o2] ASI_DMMU, %g2
243         stxa            %o0, [%o2] ASI_DMMU
244         stxa            %g0, [%g3] ASI_DMMU_DEMAP
245         stxa            %g0, [%g3] ASI_IMMU_DEMAP
246         stxa            %g2, [%o2] ASI_DMMU
247         flush           %g6
248         wrpr            %g0, 0, %tl
249         retl
250          wrpr           %g7, 0x0, %pstate
251
252 __cheetah_flush_tlb_pending:    /* 22 insns */
253         /* %o0 = context, %o1 = nr, %o2 = vaddrs[] */
254         rdpr            %pstate, %g7
255         sllx            %o1, 3, %o1
256         andn            %g7, PSTATE_IE, %g2
257         wrpr            %g2, 0x0, %pstate
258         wrpr            %g0, 1, %tl
259         mov             PRIMARY_CONTEXT, %o4
260         ldxa            [%o4] ASI_DMMU, %g2
261         stxa            %o0, [%o4] ASI_DMMU
262 1:      sub             %o1, (1 << 3), %o1
263         ldx             [%o2 + %o1], %o3
264         andcc           %o3, 1, %g0
265         be,pn           %icc, 2f
266          andn           %o3, 1, %o3
267         stxa            %g0, [%o3] ASI_IMMU_DEMAP
268 2:      stxa            %g0, [%o3] ASI_DMMU_DEMAP       
269         membar          #Sync
270         brnz,pt         %o1, 1b
271          nop
272         stxa            %g2, [%o4] ASI_DMMU
273         flush           %g6
274         wrpr            %g0, 0, %tl
275         retl
276          wrpr           %g7, 0x0, %pstate
277
278 #ifdef DCACHE_ALIASING_POSSIBLE
279 flush_dcpage_cheetah: /* 11 insns */
280         sethi           %uhi(PAGE_OFFSET), %g1
281         sllx            %g1, 32, %g1
282         sub             %o0, %g1, %o0
283         sethi           %hi(PAGE_SIZE), %o4
284 1:      subcc           %o4, (1 << 5), %o4
285         stxa            %g0, [%o0 + %o4] ASI_DCACHE_INVALIDATE
286         membar          #Sync
287         bne,pt          %icc, 1b
288          nop
289         retl            /* I-cache flush never needed on Cheetah, see callers. */
290          nop
291 #endif /* DCACHE_ALIASING_POSSIBLE */
292
293 cheetah_patch_one:
294 1:      lduw            [%o1], %g1
295         stw             %g1, [%o0]
296         flush           %o0
297         subcc           %o2, 1, %o2
298         add             %o1, 4, %o1
299         bne,pt          %icc, 1b
300          add            %o0, 4, %o0
301         retl
302          nop
303
304         .globl          cheetah_patch_cachetlbops
305 cheetah_patch_cachetlbops:
306         save            %sp, -128, %sp
307
308         sethi           %hi(__flush_tlb_mm), %o0
309         or              %o0, %lo(__flush_tlb_mm), %o0
310         sethi           %hi(__cheetah_flush_tlb_mm), %o1
311         or              %o1, %lo(__cheetah_flush_tlb_mm), %o1
312         call            cheetah_patch_one
313          mov            15, %o2
314
315         sethi           %hi(__flush_tlb_pending), %o0
316         or              %o0, %lo(__flush_tlb_pending), %o0
317         sethi           %hi(__cheetah_flush_tlb_pending), %o1
318         or              %o1, %lo(__cheetah_flush_tlb_pending), %o1
319         call            cheetah_patch_one
320          mov            22, %o2
321
322 #ifdef DCACHE_ALIASING_POSSIBLE
323         sethi           %hi(__flush_dcache_page), %o0
324         or              %o0, %lo(__flush_dcache_page), %o0
325         sethi           %hi(flush_dcpage_cheetah), %o1
326         or              %o1, %lo(flush_dcpage_cheetah), %o1
327         call            cheetah_patch_one
328          mov            11, %o2
329 #endif /* DCACHE_ALIASING_POSSIBLE */
330
331         ret
332          restore
333
334 #ifdef CONFIG_SMP
335         /* These are all called by the slaves of a cross call, at
336          * trap level 1, with interrupts fully disabled.
337          *
338          * Register usage:
339          *   %g5        mm->context     (all tlb flushes)
340          *   %g1        address arg 1   (tlb page and range flushes)
341          *   %g7        address arg 2   (tlb range flush only)
342          *
343          *   %g6        ivector table, don't touch
344          *   %g2        scratch 1
345          *   %g3        scratch 2
346          *   %g4        scratch 3
347          *
348          * TODO: Make xcall TLB range flushes use the tricks above... -DaveM
349          */
350         .align          32
351         .globl          xcall_flush_tlb_mm
352 xcall_flush_tlb_mm:
353         mov             PRIMARY_CONTEXT, %g2
354         mov             0x40, %g4
355         ldxa            [%g2] ASI_DMMU, %g3
356         stxa            %g5, [%g2] ASI_DMMU
357         stxa            %g0, [%g4] ASI_DMMU_DEMAP
358         stxa            %g0, [%g4] ASI_IMMU_DEMAP
359         stxa            %g3, [%g2] ASI_DMMU
360         retry
361
362         .globl          xcall_flush_tlb_pending
363 xcall_flush_tlb_pending:
364         /* %g5=context, %g1=nr, %g7=vaddrs[] */
365         sllx            %g1, 3, %g1
366         mov             PRIMARY_CONTEXT, %g4
367         ldxa            [%g4] ASI_DMMU, %g2
368         stxa            %g5, [%g4] ASI_DMMU
369 1:      sub             %g1, (1 << 3), %g1
370         ldx             [%g7 + %g1], %g5
371         andcc           %g5, 0x1, %g0
372         be,pn           %icc, 2f
373
374          andn           %g5, 0x1, %g5
375         stxa            %g0, [%g5] ASI_IMMU_DEMAP
376 2:      stxa            %g0, [%g5] ASI_DMMU_DEMAP
377         membar          #Sync
378         brnz,pt         %g1, 1b
379          nop
380         stxa            %g2, [%g4] ASI_DMMU
381         retry
382
383         .globl          xcall_flush_tlb_kernel_range
384 xcall_flush_tlb_kernel_range:
385         sethi           %hi(PAGE_SIZE - 1), %g2
386         or              %g2, %lo(PAGE_SIZE - 1), %g2
387         andn            %g1, %g2, %g1
388         andn            %g7, %g2, %g7
389         sub             %g7, %g1, %g3
390         add             %g2, 1, %g2
391         sub             %g3, %g2, %g3
392         or              %g1, 0x20, %g1          ! Nucleus
393 1:      stxa            %g0, [%g1 + %g3] ASI_DMMU_DEMAP
394         stxa            %g0, [%g1 + %g3] ASI_IMMU_DEMAP
395         membar          #Sync
396         brnz,pt         %g3, 1b
397          sub            %g3, %g2, %g3
398         retry
399         nop
400         nop
401
402         /* This runs in a very controlled environment, so we do
403          * not need to worry about BH races etc.
404          */
405         .globl          xcall_sync_tick
406 xcall_sync_tick:
407         rdpr            %pstate, %g2
408         wrpr            %g2, PSTATE_IG | PSTATE_AG, %pstate
409         rdpr            %pil, %g2
410         wrpr            %g0, 15, %pil
411         sethi           %hi(109f), %g7
412         b,pt            %xcc, etrap_irq
413 109:     or             %g7, %lo(109b), %g7
414         call            smp_synchronize_tick_client
415          nop
416         clr             %l6
417         b               rtrap_xcall
418          ldx            [%sp + PTREGS_OFF + PT_V9_TSTATE], %l1
419
420         /* NOTE: This is SPECIAL!!  We do etrap/rtrap however
421          *       we choose to deal with the "BH's run with
422          *       %pil==15" problem (described in asm/pil.h)
423          *       by just invoking rtrap directly past where
424          *       BH's are checked for.
425          *
426          *       We do it like this because we do not want %pil==15
427          *       lockups to prevent regs being reported.
428          */
429         .globl          xcall_report_regs
430 xcall_report_regs:
431         rdpr            %pstate, %g2
432         wrpr            %g2, PSTATE_IG | PSTATE_AG, %pstate
433         rdpr            %pil, %g2
434         wrpr            %g0, 15, %pil
435         sethi           %hi(109f), %g7
436         b,pt            %xcc, etrap_irq
437 109:     or             %g7, %lo(109b), %g7
438         call            __show_regs
439          add            %sp, PTREGS_OFF, %o0
440         clr             %l6
441         /* Has to be a non-v9 branch due to the large distance. */
442         b               rtrap_xcall
443          ldx            [%sp + PTREGS_OFF + PT_V9_TSTATE], %l1
444
445 #ifdef DCACHE_ALIASING_POSSIBLE
446         .align          32
447         .globl          xcall_flush_dcache_page_cheetah
448 xcall_flush_dcache_page_cheetah: /* %g1 == physical page address */
449         sethi           %hi(PAGE_SIZE), %g3
450 1:      subcc           %g3, (1 << 5), %g3
451         stxa            %g0, [%g1 + %g3] ASI_DCACHE_INVALIDATE
452         membar          #Sync
453         bne,pt          %icc, 1b
454          nop
455         retry
456         nop
457 #endif /* DCACHE_ALIASING_POSSIBLE */
458
459         .globl          xcall_flush_dcache_page_spitfire
460 xcall_flush_dcache_page_spitfire: /* %g1 == physical page address
461                                      %g7 == kernel page virtual address
462                                      %g5 == (page->mapping != NULL)  */
463 #ifdef DCACHE_ALIASING_POSSIBLE
464         srlx            %g1, (13 - 2), %g1      ! Form tag comparitor
465         sethi           %hi(L1DCACHE_SIZE), %g3 ! D$ size == 16K
466         sub             %g3, (1 << 5), %g3      ! D$ linesize == 32
467 1:      ldxa            [%g3] ASI_DCACHE_TAG, %g2
468         andcc           %g2, 0x3, %g0
469         be,pn           %xcc, 2f
470          andn           %g2, 0x3, %g2
471         cmp             %g2, %g1
472
473         bne,pt          %xcc, 2f
474          nop
475         stxa            %g0, [%g3] ASI_DCACHE_TAG
476         membar          #Sync
477 2:      cmp             %g3, 0
478         bne,pt          %xcc, 1b
479          sub            %g3, (1 << 5), %g3
480
481         brz,pn          %g5, 2f
482 #endif /* DCACHE_ALIASING_POSSIBLE */
483          sethi          %hi(PAGE_SIZE), %g3
484
485 1:      flush           %g7
486         subcc           %g3, (1 << 5), %g3
487         bne,pt          %icc, 1b
488          add            %g7, (1 << 5), %g7
489
490 2:      retry
491         nop
492         nop
493
494         .globl          xcall_promstop
495 xcall_promstop:
496         rdpr            %pstate, %g2
497         wrpr            %g2, PSTATE_IG | PSTATE_AG, %pstate
498         rdpr            %pil, %g2
499         wrpr            %g0, 15, %pil
500         sethi           %hi(109f), %g7
501         b,pt            %xcc, etrap_irq
502 109:     or             %g7, %lo(109b), %g7
503         flushw
504         call            prom_stopself
505          nop
506         /* We should not return, just spin if we do... */
507 1:      b,a,pt          %xcc, 1b
508         nop
509
510         .data
511
512 errata32_hwbug:
513         .xword  0
514
515         .text
516
517         /* These two are not performance critical... */
518         .globl          xcall_flush_tlb_all_spitfire
519 xcall_flush_tlb_all_spitfire:
520         /* Spitfire Errata #32 workaround. */
521         sethi           %hi(errata32_hwbug), %g4
522         stx             %g0, [%g4 + %lo(errata32_hwbug)]
523
524         clr             %g2
525         clr             %g3
526 1:      ldxa            [%g3] ASI_DTLB_DATA_ACCESS, %g4
527         and             %g4, _PAGE_L, %g5
528         brnz,pn         %g5, 2f
529          mov            TLB_TAG_ACCESS, %g7
530
531         stxa            %g0, [%g7] ASI_DMMU
532         membar          #Sync
533         stxa            %g0, [%g3] ASI_DTLB_DATA_ACCESS
534         membar          #Sync
535
536         /* Spitfire Errata #32 workaround. */
537         sethi           %hi(errata32_hwbug), %g4
538         stx             %g0, [%g4 + %lo(errata32_hwbug)]
539
540 2:      ldxa            [%g3] ASI_ITLB_DATA_ACCESS, %g4
541         and             %g4, _PAGE_L, %g5
542         brnz,pn         %g5, 2f
543          mov            TLB_TAG_ACCESS, %g7
544
545         stxa            %g0, [%g7] ASI_IMMU
546         membar          #Sync
547         stxa            %g0, [%g3] ASI_ITLB_DATA_ACCESS
548         membar          #Sync
549
550         /* Spitfire Errata #32 workaround. */
551         sethi           %hi(errata32_hwbug), %g4
552         stx             %g0, [%g4 + %lo(errata32_hwbug)]
553
554 2:      add             %g2, 1, %g2
555         cmp             %g2, SPITFIRE_HIGHEST_LOCKED_TLBENT
556         ble,pt          %icc, 1b
557          sll            %g2, 3, %g3
558         flush           %g6
559         retry
560
561         .globl          xcall_flush_tlb_all_cheetah
562 xcall_flush_tlb_all_cheetah:
563         mov             0x80, %g2
564         stxa            %g0, [%g2] ASI_DMMU_DEMAP
565         stxa            %g0, [%g2] ASI_IMMU_DEMAP
566         retry
567
568         /* These just get rescheduled to PIL vectors. */
569         .globl          xcall_call_function
570 xcall_call_function:
571         wr              %g0, (1 << PIL_SMP_CALL_FUNC), %set_softint
572         retry
573
574         .globl          xcall_receive_signal
575 xcall_receive_signal:
576         wr              %g0, (1 << PIL_SMP_RECEIVE_SIGNAL), %set_softint
577         retry
578
579         .globl          xcall_capture
580 xcall_capture:
581         wr              %g0, (1 << PIL_SMP_CAPTURE), %set_softint
582         retry
583
584 #endif /* CONFIG_SMP */