sh: Avoid smp_processor_id() in cache desc paths.
[linux-2.6] / arch / sh / mm / cache-sh4.c
1 /*
2  * arch/sh/mm/cache-sh4.c
3  *
4  * Copyright (C) 1999, 2000, 2002  Niibe Yutaka
5  * Copyright (C) 2001 - 2006  Paul Mundt
6  * Copyright (C) 2003  Richard Curnow
7  *
8  * This file is subject to the terms and conditions of the GNU General Public
9  * License.  See the file "COPYING" in the main directory of this archive
10  * for more details.
11  */
12 #include <linux/init.h>
13 #include <linux/mm.h>
14 #include <linux/io.h>
15 #include <linux/mutex.h>
16 #include <asm/mmu_context.h>
17 #include <asm/cacheflush.h>
18
19 /*
20  * The maximum number of pages we support up to when doing ranged dcache
21  * flushing. Anything exceeding this will simply flush the dcache in its
22  * entirety.
23  */
24 #define MAX_DCACHE_PAGES        64      /* XXX: Tune for ways */
25
26 static void __flush_dcache_segment_1way(unsigned long start,
27                                         unsigned long extent);
28 static void __flush_dcache_segment_2way(unsigned long start,
29                                         unsigned long extent);
30 static void __flush_dcache_segment_4way(unsigned long start,
31                                         unsigned long extent);
32
33 static void __flush_cache_4096(unsigned long addr, unsigned long phys,
34                                unsigned long exec_offset);
35
36 /*
37  * This is initialised here to ensure that it is not placed in the BSS.  If
38  * that were to happen, note that cache_init gets called before the BSS is
39  * cleared, so this would get nulled out which would be hopeless.
40  */
41 static void (*__flush_dcache_segment_fn)(unsigned long, unsigned long) =
42         (void (*)(unsigned long, unsigned long))0xdeadbeef;
43
44 static void compute_alias(struct cache_info *c)
45 {
46         c->alias_mask = ((c->sets - 1) << c->entry_shift) & ~(PAGE_SIZE - 1);
47         c->n_aliases = (c->alias_mask >> PAGE_SHIFT) + 1;
48 }
49
50 static void __init emit_cache_params(void)
51 {
52         printk("PVR=%08x CVR=%08x PRR=%08x\n",
53                 ctrl_inl(CCN_PVR),
54                 ctrl_inl(CCN_CVR),
55                 ctrl_inl(CCN_PRR));
56         printk("I-cache : n_ways=%d n_sets=%d way_incr=%d\n",
57                 boot_cpu_data.icache.ways,
58                 boot_cpu_data.icache.sets,
59                 boot_cpu_data.icache.way_incr);
60         printk("I-cache : entry_mask=0x%08x alias_mask=0x%08x n_aliases=%d\n",
61                 boot_cpu_data.icache.entry_mask,
62                 boot_cpu_data.icache.alias_mask,
63                 boot_cpu_data.icache.n_aliases);
64         printk("D-cache : n_ways=%d n_sets=%d way_incr=%d\n",
65                 boot_cpu_data.dcache.ways,
66                 boot_cpu_data.dcache.sets,
67                 boot_cpu_data.dcache.way_incr);
68         printk("D-cache : entry_mask=0x%08x alias_mask=0x%08x n_aliases=%d\n",
69                 boot_cpu_data.dcache.entry_mask,
70                 boot_cpu_data.dcache.alias_mask,
71                 boot_cpu_data.dcache.n_aliases);
72
73         if (!__flush_dcache_segment_fn)
74                 panic("unknown number of cache ways\n");
75 }
76
77 /*
78  * SH-4 has virtually indexed and physically tagged cache.
79  */
80 void __init p3_cache_init(void)
81 {
82         compute_alias(&boot_cpu_data.icache);
83         compute_alias(&boot_cpu_data.dcache);
84
85         switch (boot_cpu_data.dcache.ways) {
86         case 1:
87                 __flush_dcache_segment_fn = __flush_dcache_segment_1way;
88                 break;
89         case 2:
90                 __flush_dcache_segment_fn = __flush_dcache_segment_2way;
91                 break;
92         case 4:
93                 __flush_dcache_segment_fn = __flush_dcache_segment_4way;
94                 break;
95         default:
96                 __flush_dcache_segment_fn = NULL;
97                 break;
98         }
99
100         emit_cache_params();
101 }
102
103 /*
104  * Write back the dirty D-caches, but not invalidate them.
105  *
106  * START: Virtual Address (U0, P1, or P3)
107  * SIZE: Size of the region.
108  */
109 void __flush_wback_region(void *start, int size)
110 {
111         unsigned long v;
112         unsigned long begin, end;
113
114         begin = (unsigned long)start & ~(L1_CACHE_BYTES-1);
115         end = ((unsigned long)start + size + L1_CACHE_BYTES-1)
116                 & ~(L1_CACHE_BYTES-1);
117         for (v = begin; v < end; v+=L1_CACHE_BYTES) {
118                 asm volatile("ocbwb     %0"
119                              : /* no output */
120                              : "m" (__m(v)));
121         }
122 }
123
124 /*
125  * Write back the dirty D-caches and invalidate them.
126  *
127  * START: Virtual Address (U0, P1, or P3)
128  * SIZE: Size of the region.
129  */
130 void __flush_purge_region(void *start, int size)
131 {
132         unsigned long v;
133         unsigned long begin, end;
134
135         begin = (unsigned long)start & ~(L1_CACHE_BYTES-1);
136         end = ((unsigned long)start + size + L1_CACHE_BYTES-1)
137                 & ~(L1_CACHE_BYTES-1);
138         for (v = begin; v < end; v+=L1_CACHE_BYTES) {
139                 asm volatile("ocbp      %0"
140                              : /* no output */
141                              : "m" (__m(v)));
142         }
143 }
144
145 /*
146  * No write back please
147  */
148 void __flush_invalidate_region(void *start, int size)
149 {
150         unsigned long v;
151         unsigned long begin, end;
152
153         begin = (unsigned long)start & ~(L1_CACHE_BYTES-1);
154         end = ((unsigned long)start + size + L1_CACHE_BYTES-1)
155                 & ~(L1_CACHE_BYTES-1);
156         for (v = begin; v < end; v+=L1_CACHE_BYTES) {
157                 asm volatile("ocbi      %0"
158                              : /* no output */
159                              : "m" (__m(v)));
160         }
161 }
162
163 /*
164  * Write back the range of D-cache, and purge the I-cache.
165  *
166  * Called from kernel/module.c:sys_init_module and routine for a.out format.
167  */
168 void flush_icache_range(unsigned long start, unsigned long end)
169 {
170         flush_cache_all();
171 }
172
173 /*
174  * Write back the D-cache and purge the I-cache for signal trampoline.
175  * .. which happens to be the same behavior as flush_icache_range().
176  * So, we simply flush out a line.
177  */
178 void flush_cache_sigtramp(unsigned long addr)
179 {
180         unsigned long v, index;
181         unsigned long flags;
182         int i;
183
184         v = addr & ~(L1_CACHE_BYTES-1);
185         asm volatile("ocbwb     %0"
186                      : /* no output */
187                      : "m" (__m(v)));
188
189         index = CACHE_IC_ADDRESS_ARRAY |
190                         (v & boot_cpu_data.icache.entry_mask);
191
192         local_irq_save(flags);
193         jump_to_P2();
194
195         for (i = 0; i < boot_cpu_data.icache.ways;
196              i++, index += boot_cpu_data.icache.way_incr)
197                 ctrl_outl(0, index);    /* Clear out Valid-bit */
198
199         back_to_P1();
200         wmb();
201         local_irq_restore(flags);
202 }
203
204 static inline void flush_cache_4096(unsigned long start,
205                                     unsigned long phys)
206 {
207         unsigned long flags, exec_offset = 0;
208
209         /*
210          * All types of SH-4 require PC to be in P2 to operate on the I-cache.
211          * Some types of SH-4 require PC to be in P2 to operate on the D-cache.
212          */
213         if ((boot_cpu_data.flags & CPU_HAS_P2_FLUSH_BUG) ||
214             (start < CACHE_OC_ADDRESS_ARRAY))
215                 exec_offset = 0x20000000;
216
217         local_irq_save(flags);
218         __flush_cache_4096(start | SH_CACHE_ASSOC,
219                            P1SEGADDR(phys), exec_offset);
220         local_irq_restore(flags);
221 }
222
223 /*
224  * Write back & invalidate the D-cache of the page.
225  * (To avoid "alias" issues)
226  */
227 void flush_dcache_page(struct page *page)
228 {
229         if (test_bit(PG_mapped, &page->flags)) {
230                 unsigned long phys = PHYSADDR(page_address(page));
231                 unsigned long addr = CACHE_OC_ADDRESS_ARRAY;
232                 int i, n;
233
234                 /* Loop all the D-cache */
235                 n = boot_cpu_data.dcache.n_aliases;
236                 for (i = 0; i < n; i++, addr += 4096)
237                         flush_cache_4096(addr, phys);
238         }
239
240         wmb();
241 }
242
243 /* TODO: Selective icache invalidation through IC address array.. */
244 static inline void flush_icache_all(void)
245 {
246         unsigned long flags, ccr;
247
248         local_irq_save(flags);
249         jump_to_P2();
250
251         /* Flush I-cache */
252         ccr = ctrl_inl(CCR);
253         ccr |= CCR_CACHE_ICI;
254         ctrl_outl(ccr, CCR);
255
256         /*
257          * back_to_P1() will take care of the barrier for us, don't add
258          * another one!
259          */
260
261         back_to_P1();
262         local_irq_restore(flags);
263 }
264
265 void flush_dcache_all(void)
266 {
267         (*__flush_dcache_segment_fn)(0UL, boot_cpu_data.dcache.way_size);
268         wmb();
269 }
270
271 void flush_cache_all(void)
272 {
273         flush_dcache_all();
274         flush_icache_all();
275 }
276
277 static void __flush_cache_mm(struct mm_struct *mm, unsigned long start,
278                              unsigned long end)
279 {
280         unsigned long d = 0, p = start & PAGE_MASK;
281         unsigned long alias_mask = boot_cpu_data.dcache.alias_mask;
282         unsigned long n_aliases = boot_cpu_data.dcache.n_aliases;
283         unsigned long select_bit;
284         unsigned long all_aliases_mask;
285         unsigned long addr_offset;
286         pgd_t *dir;
287         pmd_t *pmd;
288         pud_t *pud;
289         pte_t *pte;
290         int i;
291
292         dir = pgd_offset(mm, p);
293         pud = pud_offset(dir, p);
294         pmd = pmd_offset(pud, p);
295         end = PAGE_ALIGN(end);
296
297         all_aliases_mask = (1 << n_aliases) - 1;
298
299         do {
300                 if (pmd_none(*pmd) || unlikely(pmd_bad(*pmd))) {
301                         p &= PMD_MASK;
302                         p += PMD_SIZE;
303                         pmd++;
304
305                         continue;
306                 }
307
308                 pte = pte_offset_kernel(pmd, p);
309
310                 do {
311                         unsigned long phys;
312                         pte_t entry = *pte;
313
314                         if (!(pte_val(entry) & _PAGE_PRESENT)) {
315                                 pte++;
316                                 p += PAGE_SIZE;
317                                 continue;
318                         }
319
320                         phys = pte_val(entry) & PTE_PHYS_MASK;
321
322                         if ((p ^ phys) & alias_mask) {
323                                 d |= 1 << ((p & alias_mask) >> PAGE_SHIFT);
324                                 d |= 1 << ((phys & alias_mask) >> PAGE_SHIFT);
325
326                                 if (d == all_aliases_mask)
327                                         goto loop_exit;
328                         }
329
330                         pte++;
331                         p += PAGE_SIZE;
332                 } while (p < end && ((unsigned long)pte & ~PAGE_MASK));
333                 pmd++;
334         } while (p < end);
335
336 loop_exit:
337         addr_offset = 0;
338         select_bit = 1;
339
340         for (i = 0; i < n_aliases; i++) {
341                 if (d & select_bit) {
342                         (*__flush_dcache_segment_fn)(addr_offset, PAGE_SIZE);
343                         wmb();
344                 }
345
346                 select_bit <<= 1;
347                 addr_offset += PAGE_SIZE;
348         }
349 }
350
351 /*
352  * Note : (RPC) since the caches are physically tagged, the only point
353  * of flush_cache_mm for SH-4 is to get rid of aliases from the
354  * D-cache.  The assumption elsewhere, e.g. flush_cache_range, is that
355  * lines can stay resident so long as the virtual address they were
356  * accessed with (hence cache set) is in accord with the physical
357  * address (i.e. tag).  It's no different here.  So I reckon we don't
358  * need to flush the I-cache, since aliases don't matter for that.  We
359  * should try that.
360  *
361  * Caller takes mm->mmap_sem.
362  */
363 void flush_cache_mm(struct mm_struct *mm)
364 {
365         /*
366          * If cache is only 4k-per-way, there are never any 'aliases'.  Since
367          * the cache is physically tagged, the data can just be left in there.
368          */
369         if (boot_cpu_data.dcache.n_aliases == 0)
370                 return;
371
372         /*
373          * Don't bother groveling around the dcache for the VMA ranges
374          * if there are too many PTEs to make it worthwhile.
375          */
376         if (mm->nr_ptes >= MAX_DCACHE_PAGES)
377                 flush_dcache_all();
378         else {
379                 struct vm_area_struct *vma;
380
381                 /*
382                  * In this case there are reasonably sized ranges to flush,
383                  * iterate through the VMA list and take care of any aliases.
384                  */
385                 for (vma = mm->mmap; vma; vma = vma->vm_next)
386                         __flush_cache_mm(mm, vma->vm_start, vma->vm_end);
387         }
388
389         /* Only touch the icache if one of the VMAs has VM_EXEC set. */
390         if (mm->exec_vm)
391                 flush_icache_all();
392 }
393
394 /*
395  * Write back and invalidate I/D-caches for the page.
396  *
397  * ADDR: Virtual Address (U0 address)
398  * PFN: Physical page number
399  */
400 void flush_cache_page(struct vm_area_struct *vma, unsigned long address,
401                       unsigned long pfn)
402 {
403         unsigned long phys = pfn << PAGE_SHIFT;
404         unsigned int alias_mask;
405
406         alias_mask = boot_cpu_data.dcache.alias_mask;
407
408         /* We only need to flush D-cache when we have alias */
409         if ((address^phys) & alias_mask) {
410                 /* Loop 4K of the D-cache */
411                 flush_cache_4096(
412                         CACHE_OC_ADDRESS_ARRAY | (address & alias_mask),
413                         phys);
414                 /* Loop another 4K of the D-cache */
415                 flush_cache_4096(
416                         CACHE_OC_ADDRESS_ARRAY | (phys & alias_mask),
417                         phys);
418         }
419
420         alias_mask = boot_cpu_data.icache.alias_mask;
421         if (vma->vm_flags & VM_EXEC) {
422                 /*
423                  * Evict entries from the portion of the cache from which code
424                  * may have been executed at this address (virtual).  There's
425                  * no need to evict from the portion corresponding to the
426                  * physical address as for the D-cache, because we know the
427                  * kernel has never executed the code through its identity
428                  * translation.
429                  */
430                 flush_cache_4096(
431                         CACHE_IC_ADDRESS_ARRAY | (address & alias_mask),
432                         phys);
433         }
434 }
435
436 /*
437  * Write back and invalidate D-caches.
438  *
439  * START, END: Virtual Address (U0 address)
440  *
441  * NOTE: We need to flush the _physical_ page entry.
442  * Flushing the cache lines for U0 only isn't enough.
443  * We need to flush for P1 too, which may contain aliases.
444  */
445 void flush_cache_range(struct vm_area_struct *vma, unsigned long start,
446                        unsigned long end)
447 {
448         /*
449          * If cache is only 4k-per-way, there are never any 'aliases'.  Since
450          * the cache is physically tagged, the data can just be left in there.
451          */
452         if (boot_cpu_data.dcache.n_aliases == 0)
453                 return;
454
455         /*
456          * Don't bother with the lookup and alias check if we have a
457          * wide range to cover, just blow away the dcache in its
458          * entirety instead. -- PFM.
459          */
460         if (((end - start) >> PAGE_SHIFT) >= MAX_DCACHE_PAGES)
461                 flush_dcache_all();
462         else
463                 __flush_cache_mm(vma->vm_mm, start, end);
464
465         if (vma->vm_flags & VM_EXEC) {
466                 /*
467                  * TODO: Is this required???  Need to look at how I-cache
468                  * coherency is assured when new programs are loaded to see if
469                  * this matters.
470                  */
471                 flush_icache_all();
472         }
473 }
474
475 /*
476  * flush_icache_user_range
477  * @vma: VMA of the process
478  * @page: page
479  * @addr: U0 address
480  * @len: length of the range (< page size)
481  */
482 void flush_icache_user_range(struct vm_area_struct *vma,
483                              struct page *page, unsigned long addr, int len)
484 {
485         flush_cache_page(vma, addr, page_to_pfn(page));
486         mb();
487 }
488
489 /**
490  * __flush_cache_4096
491  *
492  * @addr:  address in memory mapped cache array
493  * @phys:  P1 address to flush (has to match tags if addr has 'A' bit
494  *         set i.e. associative write)
495  * @exec_offset: set to 0x20000000 if flush has to be executed from P2
496  *               region else 0x0
497  *
498  * The offset into the cache array implied by 'addr' selects the
499  * 'colour' of the virtual address range that will be flushed.  The
500  * operation (purge/write-back) is selected by the lower 2 bits of
501  * 'phys'.
502  */
503 static void __flush_cache_4096(unsigned long addr, unsigned long phys,
504                                unsigned long exec_offset)
505 {
506         int way_count;
507         unsigned long base_addr = addr;
508         struct cache_info *dcache;
509         unsigned long way_incr;
510         unsigned long a, ea, p;
511         unsigned long temp_pc;
512
513         dcache = &boot_cpu_data.dcache;
514         /* Write this way for better assembly. */
515         way_count = dcache->ways;
516         way_incr = dcache->way_incr;
517
518         /*
519          * Apply exec_offset (i.e. branch to P2 if required.).
520          *
521          * FIXME:
522          *
523          *      If I write "=r" for the (temp_pc), it puts this in r6 hence
524          *      trashing exec_offset before it's been added on - why?  Hence
525          *      "=&r" as a 'workaround'
526          */
527         asm volatile("mov.l 1f, %0\n\t"
528                      "add   %1, %0\n\t"
529                      "jmp   @%0\n\t"
530                      "nop\n\t"
531                      ".balign 4\n\t"
532                      "1:  .long 2f\n\t"
533                      "2:\n" : "=&r" (temp_pc) : "r" (exec_offset));
534
535         /*
536          * We know there will be >=1 iteration, so write as do-while to avoid
537          * pointless nead-of-loop check for 0 iterations.
538          */
539         do {
540                 ea = base_addr + PAGE_SIZE;
541                 a = base_addr;
542                 p = phys;
543
544                 do {
545                         *(volatile unsigned long *)a = p;
546                         /*
547                          * Next line: intentionally not p+32, saves an add, p
548                          * will do since only the cache tag bits need to
549                          * match.
550                          */
551                         *(volatile unsigned long *)(a+32) = p;
552                         a += 64;
553                         p += 64;
554                 } while (a < ea);
555
556                 base_addr += way_incr;
557         } while (--way_count != 0);
558 }
559
560 /*
561  * Break the 1, 2 and 4 way variants of this out into separate functions to
562  * avoid nearly all the overhead of having the conditional stuff in the function
563  * bodies (+ the 1 and 2 way cases avoid saving any registers too).
564  */
565 static void __flush_dcache_segment_1way(unsigned long start,
566                                         unsigned long extent_per_way)
567 {
568         unsigned long orig_sr, sr_with_bl;
569         unsigned long base_addr;
570         unsigned long way_incr, linesz, way_size;
571         struct cache_info *dcache;
572         register unsigned long a0, a0e;
573
574         asm volatile("stc sr, %0" : "=r" (orig_sr));
575         sr_with_bl = orig_sr | (1<<28);
576         base_addr = ((unsigned long)&empty_zero_page[0]);
577
578         /*
579          * The previous code aligned base_addr to 16k, i.e. the way_size of all
580          * existing SH-4 D-caches.  Whilst I don't see a need to have this
581          * aligned to any better than the cache line size (which it will be
582          * anyway by construction), let's align it to at least the way_size of
583          * any existing or conceivable SH-4 D-cache.  -- RPC
584          */
585         base_addr = ((base_addr >> 16) << 16);
586         base_addr |= start;
587
588         dcache = &boot_cpu_data.dcache;
589         linesz = dcache->linesz;
590         way_incr = dcache->way_incr;
591         way_size = dcache->way_size;
592
593         a0 = base_addr;
594         a0e = base_addr + extent_per_way;
595         do {
596                 asm volatile("ldc %0, sr" : : "r" (sr_with_bl));
597                 asm volatile("movca.l r0, @%0\n\t"
598                              "ocbi @%0" : : "r" (a0));
599                 a0 += linesz;
600                 asm volatile("movca.l r0, @%0\n\t"
601                              "ocbi @%0" : : "r" (a0));
602                 a0 += linesz;
603                 asm volatile("movca.l r0, @%0\n\t"
604                              "ocbi @%0" : : "r" (a0));
605                 a0 += linesz;
606                 asm volatile("movca.l r0, @%0\n\t"
607                              "ocbi @%0" : : "r" (a0));
608                 asm volatile("ldc %0, sr" : : "r" (orig_sr));
609                 a0 += linesz;
610         } while (a0 < a0e);
611 }
612
613 static void __flush_dcache_segment_2way(unsigned long start,
614                                         unsigned long extent_per_way)
615 {
616         unsigned long orig_sr, sr_with_bl;
617         unsigned long base_addr;
618         unsigned long way_incr, linesz, way_size;
619         struct cache_info *dcache;
620         register unsigned long a0, a1, a0e;
621
622         asm volatile("stc sr, %0" : "=r" (orig_sr));
623         sr_with_bl = orig_sr | (1<<28);
624         base_addr = ((unsigned long)&empty_zero_page[0]);
625
626         /* See comment under 1-way above */
627         base_addr = ((base_addr >> 16) << 16);
628         base_addr |= start;
629
630         dcache = &boot_cpu_data.dcache;
631         linesz = dcache->linesz;
632         way_incr = dcache->way_incr;
633         way_size = dcache->way_size;
634
635         a0 = base_addr;
636         a1 = a0 + way_incr;
637         a0e = base_addr + extent_per_way;
638         do {
639                 asm volatile("ldc %0, sr" : : "r" (sr_with_bl));
640                 asm volatile("movca.l r0, @%0\n\t"
641                              "movca.l r0, @%1\n\t"
642                              "ocbi @%0\n\t"
643                              "ocbi @%1" : :
644                              "r" (a0), "r" (a1));
645                 a0 += linesz;
646                 a1 += linesz;
647                 asm volatile("movca.l r0, @%0\n\t"
648                              "movca.l r0, @%1\n\t"
649                              "ocbi @%0\n\t"
650                              "ocbi @%1" : :
651                              "r" (a0), "r" (a1));
652                 a0 += linesz;
653                 a1 += linesz;
654                 asm volatile("movca.l r0, @%0\n\t"
655                              "movca.l r0, @%1\n\t"
656                              "ocbi @%0\n\t"
657                              "ocbi @%1" : :
658                              "r" (a0), "r" (a1));
659                 a0 += linesz;
660                 a1 += linesz;
661                 asm volatile("movca.l r0, @%0\n\t"
662                              "movca.l r0, @%1\n\t"
663                              "ocbi @%0\n\t"
664                              "ocbi @%1" : :
665                              "r" (a0), "r" (a1));
666                 asm volatile("ldc %0, sr" : : "r" (orig_sr));
667                 a0 += linesz;
668                 a1 += linesz;
669         } while (a0 < a0e);
670 }
671
672 static void __flush_dcache_segment_4way(unsigned long start,
673                                         unsigned long extent_per_way)
674 {
675         unsigned long orig_sr, sr_with_bl;
676         unsigned long base_addr;
677         unsigned long way_incr, linesz, way_size;
678         struct cache_info *dcache;
679         register unsigned long a0, a1, a2, a3, a0e;
680
681         asm volatile("stc sr, %0" : "=r" (orig_sr));
682         sr_with_bl = orig_sr | (1<<28);
683         base_addr = ((unsigned long)&empty_zero_page[0]);
684
685         /* See comment under 1-way above */
686         base_addr = ((base_addr >> 16) << 16);
687         base_addr |= start;
688
689         dcache = &boot_cpu_data.dcache;
690         linesz = dcache->linesz;
691         way_incr = dcache->way_incr;
692         way_size = dcache->way_size;
693
694         a0 = base_addr;
695         a1 = a0 + way_incr;
696         a2 = a1 + way_incr;
697         a3 = a2 + way_incr;
698         a0e = base_addr + extent_per_way;
699         do {
700                 asm volatile("ldc %0, sr" : : "r" (sr_with_bl));
701                 asm volatile("movca.l r0, @%0\n\t"
702                              "movca.l r0, @%1\n\t"
703                              "movca.l r0, @%2\n\t"
704                              "movca.l r0, @%3\n\t"
705                              "ocbi @%0\n\t"
706                              "ocbi @%1\n\t"
707                              "ocbi @%2\n\t"
708                              "ocbi @%3\n\t" : :
709                              "r" (a0), "r" (a1), "r" (a2), "r" (a3));
710                 a0 += linesz;
711                 a1 += linesz;
712                 a2 += linesz;
713                 a3 += linesz;
714                 asm volatile("movca.l r0, @%0\n\t"
715                              "movca.l r0, @%1\n\t"
716                              "movca.l r0, @%2\n\t"
717                              "movca.l r0, @%3\n\t"
718                              "ocbi @%0\n\t"
719                              "ocbi @%1\n\t"
720                              "ocbi @%2\n\t"
721                              "ocbi @%3\n\t" : :
722                              "r" (a0), "r" (a1), "r" (a2), "r" (a3));
723                 a0 += linesz;
724                 a1 += linesz;
725                 a2 += linesz;
726                 a3 += linesz;
727                 asm volatile("movca.l r0, @%0\n\t"
728                              "movca.l r0, @%1\n\t"
729                              "movca.l r0, @%2\n\t"
730                              "movca.l r0, @%3\n\t"
731                              "ocbi @%0\n\t"
732                              "ocbi @%1\n\t"
733                              "ocbi @%2\n\t"
734                              "ocbi @%3\n\t" : :
735                              "r" (a0), "r" (a1), "r" (a2), "r" (a3));
736                 a0 += linesz;
737                 a1 += linesz;
738                 a2 += linesz;
739                 a3 += linesz;
740                 asm volatile("movca.l r0, @%0\n\t"
741                              "movca.l r0, @%1\n\t"
742                              "movca.l r0, @%2\n\t"
743                              "movca.l r0, @%3\n\t"
744                              "ocbi @%0\n\t"
745                              "ocbi @%1\n\t"
746                              "ocbi @%2\n\t"
747                              "ocbi @%3\n\t" : :
748                              "r" (a0), "r" (a1), "r" (a2), "r" (a3));
749                 asm volatile("ldc %0, sr" : : "r" (orig_sr));
750                 a0 += linesz;
751                 a1 += linesz;
752                 a2 += linesz;
753                 a3 += linesz;
754         } while (a0 < a0e);
755 }