sh: Support extended mode TLB on SH-X3.
[linux-2.6] / arch / sh / mm / cache-sh4.c
1 /*
2  * arch/sh/mm/cache-sh4.c
3  *
4  * Copyright (C) 1999, 2000, 2002  Niibe Yutaka
5  * Copyright (C) 2001 - 2007  Paul Mundt
6  * Copyright (C) 2003  Richard Curnow
7  *
8  * This file is subject to the terms and conditions of the GNU General Public
9  * License.  See the file "COPYING" in the main directory of this archive
10  * for more details.
11  */
12 #include <linux/init.h>
13 #include <linux/mm.h>
14 #include <linux/io.h>
15 #include <linux/mutex.h>
16 #include <asm/mmu_context.h>
17 #include <asm/cacheflush.h>
18
19 /*
20  * The maximum number of pages we support up to when doing ranged dcache
21  * flushing. Anything exceeding this will simply flush the dcache in its
22  * entirety.
23  */
24 #define MAX_DCACHE_PAGES        64      /* XXX: Tune for ways */
25
26 static void __flush_dcache_segment_1way(unsigned long start,
27                                         unsigned long extent);
28 static void __flush_dcache_segment_2way(unsigned long start,
29                                         unsigned long extent);
30 static void __flush_dcache_segment_4way(unsigned long start,
31                                         unsigned long extent);
32
33 static void __flush_cache_4096(unsigned long addr, unsigned long phys,
34                                unsigned long exec_offset);
35
36 /*
37  * This is initialised here to ensure that it is not placed in the BSS.  If
38  * that were to happen, note that cache_init gets called before the BSS is
39  * cleared, so this would get nulled out which would be hopeless.
40  */
41 static void (*__flush_dcache_segment_fn)(unsigned long, unsigned long) =
42         (void (*)(unsigned long, unsigned long))0xdeadbeef;
43
44 static void compute_alias(struct cache_info *c)
45 {
46         c->alias_mask = ((c->sets - 1) << c->entry_shift) & ~(PAGE_SIZE - 1);
47         c->n_aliases = c->alias_mask ? (c->alias_mask >> PAGE_SHIFT) + 1 : 0;
48 }
49
50 static void __init emit_cache_params(void)
51 {
52         printk("PVR=%08x CVR=%08x PRR=%08x\n",
53                 ctrl_inl(CCN_PVR),
54                 ctrl_inl(CCN_CVR),
55                 ctrl_inl(CCN_PRR));
56         printk("I-cache : n_ways=%d n_sets=%d way_incr=%d\n",
57                 boot_cpu_data.icache.ways,
58                 boot_cpu_data.icache.sets,
59                 boot_cpu_data.icache.way_incr);
60         printk("I-cache : entry_mask=0x%08x alias_mask=0x%08x n_aliases=%d\n",
61                 boot_cpu_data.icache.entry_mask,
62                 boot_cpu_data.icache.alias_mask,
63                 boot_cpu_data.icache.n_aliases);
64         printk("D-cache : n_ways=%d n_sets=%d way_incr=%d\n",
65                 boot_cpu_data.dcache.ways,
66                 boot_cpu_data.dcache.sets,
67                 boot_cpu_data.dcache.way_incr);
68         printk("D-cache : entry_mask=0x%08x alias_mask=0x%08x n_aliases=%d\n",
69                 boot_cpu_data.dcache.entry_mask,
70                 boot_cpu_data.dcache.alias_mask,
71                 boot_cpu_data.dcache.n_aliases);
72
73         /*
74          * Emit Secondary Cache parameters if the CPU has a probed L2.
75          */
76         if (boot_cpu_data.flags & CPU_HAS_L2_CACHE) {
77                 printk("S-cache : n_ways=%d n_sets=%d way_incr=%d\n",
78                         boot_cpu_data.scache.ways,
79                         boot_cpu_data.scache.sets,
80                         boot_cpu_data.scache.way_incr);
81                 printk("S-cache : entry_mask=0x%08x alias_mask=0x%08x n_aliases=%d\n",
82                         boot_cpu_data.scache.entry_mask,
83                         boot_cpu_data.scache.alias_mask,
84                         boot_cpu_data.scache.n_aliases);
85         }
86
87         if (!__flush_dcache_segment_fn)
88                 panic("unknown number of cache ways\n");
89 }
90
91 /*
92  * SH-4 has virtually indexed and physically tagged cache.
93  */
94 void __init p3_cache_init(void)
95 {
96         compute_alias(&boot_cpu_data.icache);
97         compute_alias(&boot_cpu_data.dcache);
98         compute_alias(&boot_cpu_data.scache);
99
100         switch (boot_cpu_data.dcache.ways) {
101         case 1:
102                 __flush_dcache_segment_fn = __flush_dcache_segment_1way;
103                 break;
104         case 2:
105                 __flush_dcache_segment_fn = __flush_dcache_segment_2way;
106                 break;
107         case 4:
108                 __flush_dcache_segment_fn = __flush_dcache_segment_4way;
109                 break;
110         default:
111                 __flush_dcache_segment_fn = NULL;
112                 break;
113         }
114
115         emit_cache_params();
116 }
117
118 /*
119  * Write back the dirty D-caches, but not invalidate them.
120  *
121  * START: Virtual Address (U0, P1, or P3)
122  * SIZE: Size of the region.
123  */
124 void __flush_wback_region(void *start, int size)
125 {
126         unsigned long v;
127         unsigned long begin, end;
128
129         begin = (unsigned long)start & ~(L1_CACHE_BYTES-1);
130         end = ((unsigned long)start + size + L1_CACHE_BYTES-1)
131                 & ~(L1_CACHE_BYTES-1);
132         for (v = begin; v < end; v+=L1_CACHE_BYTES) {
133                 asm volatile("ocbwb     %0"
134                              : /* no output */
135                              : "m" (__m(v)));
136         }
137 }
138
139 /*
140  * Write back the dirty D-caches and invalidate them.
141  *
142  * START: Virtual Address (U0, P1, or P3)
143  * SIZE: Size of the region.
144  */
145 void __flush_purge_region(void *start, int size)
146 {
147         unsigned long v;
148         unsigned long begin, end;
149
150         begin = (unsigned long)start & ~(L1_CACHE_BYTES-1);
151         end = ((unsigned long)start + size + L1_CACHE_BYTES-1)
152                 & ~(L1_CACHE_BYTES-1);
153         for (v = begin; v < end; v+=L1_CACHE_BYTES) {
154                 asm volatile("ocbp      %0"
155                              : /* no output */
156                              : "m" (__m(v)));
157         }
158 }
159
160 /*
161  * No write back please
162  */
163 void __flush_invalidate_region(void *start, int size)
164 {
165         unsigned long v;
166         unsigned long begin, end;
167
168         begin = (unsigned long)start & ~(L1_CACHE_BYTES-1);
169         end = ((unsigned long)start + size + L1_CACHE_BYTES-1)
170                 & ~(L1_CACHE_BYTES-1);
171         for (v = begin; v < end; v+=L1_CACHE_BYTES) {
172                 asm volatile("ocbi      %0"
173                              : /* no output */
174                              : "m" (__m(v)));
175         }
176 }
177
178 /*
179  * Write back the range of D-cache, and purge the I-cache.
180  *
181  * Called from kernel/module.c:sys_init_module and routine for a.out format.
182  */
183 void flush_icache_range(unsigned long start, unsigned long end)
184 {
185         flush_cache_all();
186 }
187
188 /*
189  * Write back the D-cache and purge the I-cache for signal trampoline.
190  * .. which happens to be the same behavior as flush_icache_range().
191  * So, we simply flush out a line.
192  */
193 void flush_cache_sigtramp(unsigned long addr)
194 {
195         unsigned long v, index;
196         unsigned long flags;
197         int i;
198
199         v = addr & ~(L1_CACHE_BYTES-1);
200         asm volatile("ocbwb     %0"
201                      : /* no output */
202                      : "m" (__m(v)));
203
204         index = CACHE_IC_ADDRESS_ARRAY |
205                         (v & boot_cpu_data.icache.entry_mask);
206
207         local_irq_save(flags);
208         jump_to_P2();
209
210         for (i = 0; i < boot_cpu_data.icache.ways;
211              i++, index += boot_cpu_data.icache.way_incr)
212                 ctrl_outl(0, index);    /* Clear out Valid-bit */
213
214         back_to_P1();
215         wmb();
216         local_irq_restore(flags);
217 }
218
219 static inline void flush_cache_4096(unsigned long start,
220                                     unsigned long phys)
221 {
222         unsigned long flags, exec_offset = 0;
223
224         /*
225          * All types of SH-4 require PC to be in P2 to operate on the I-cache.
226          * Some types of SH-4 require PC to be in P2 to operate on the D-cache.
227          */
228         if ((boot_cpu_data.flags & CPU_HAS_P2_FLUSH_BUG) ||
229             (start < CACHE_OC_ADDRESS_ARRAY))
230                 exec_offset = 0x20000000;
231
232         local_irq_save(flags);
233         __flush_cache_4096(start | SH_CACHE_ASSOC,
234                            P1SEGADDR(phys), exec_offset);
235         local_irq_restore(flags);
236 }
237
238 /*
239  * Write back & invalidate the D-cache of the page.
240  * (To avoid "alias" issues)
241  */
242 void flush_dcache_page(struct page *page)
243 {
244         if (test_bit(PG_mapped, &page->flags)) {
245                 unsigned long phys = PHYSADDR(page_address(page));
246                 unsigned long addr = CACHE_OC_ADDRESS_ARRAY;
247                 int i, n;
248
249                 /* Loop all the D-cache */
250                 n = boot_cpu_data.dcache.n_aliases;
251                 for (i = 0; i < n; i++, addr += 4096)
252                         flush_cache_4096(addr, phys);
253         }
254
255         wmb();
256 }
257
258 /* TODO: Selective icache invalidation through IC address array.. */
259 static inline void flush_icache_all(void)
260 {
261         unsigned long flags, ccr;
262
263         local_irq_save(flags);
264         jump_to_P2();
265
266         /* Flush I-cache */
267         ccr = ctrl_inl(CCR);
268         ccr |= CCR_CACHE_ICI;
269         ctrl_outl(ccr, CCR);
270
271         /*
272          * back_to_P1() will take care of the barrier for us, don't add
273          * another one!
274          */
275
276         back_to_P1();
277         local_irq_restore(flags);
278 }
279
280 void flush_dcache_all(void)
281 {
282         (*__flush_dcache_segment_fn)(0UL, boot_cpu_data.dcache.way_size);
283         wmb();
284 }
285
286 void flush_cache_all(void)
287 {
288         flush_dcache_all();
289         flush_icache_all();
290 }
291
292 static void __flush_cache_mm(struct mm_struct *mm, unsigned long start,
293                              unsigned long end)
294 {
295         unsigned long d = 0, p = start & PAGE_MASK;
296         unsigned long alias_mask = boot_cpu_data.dcache.alias_mask;
297         unsigned long n_aliases = boot_cpu_data.dcache.n_aliases;
298         unsigned long select_bit;
299         unsigned long all_aliases_mask;
300         unsigned long addr_offset;
301         pgd_t *dir;
302         pmd_t *pmd;
303         pud_t *pud;
304         pte_t *pte;
305         int i;
306
307         dir = pgd_offset(mm, p);
308         pud = pud_offset(dir, p);
309         pmd = pmd_offset(pud, p);
310         end = PAGE_ALIGN(end);
311
312         all_aliases_mask = (1 << n_aliases) - 1;
313
314         do {
315                 if (pmd_none(*pmd) || unlikely(pmd_bad(*pmd))) {
316                         p &= PMD_MASK;
317                         p += PMD_SIZE;
318                         pmd++;
319
320                         continue;
321                 }
322
323                 pte = pte_offset_kernel(pmd, p);
324
325                 do {
326                         unsigned long phys;
327                         pte_t entry = *pte;
328
329                         if (!(pte_val(entry) & _PAGE_PRESENT)) {
330                                 pte++;
331                                 p += PAGE_SIZE;
332                                 continue;
333                         }
334
335                         phys = pte_val(entry) & PTE_PHYS_MASK;
336
337                         if ((p ^ phys) & alias_mask) {
338                                 d |= 1 << ((p & alias_mask) >> PAGE_SHIFT);
339                                 d |= 1 << ((phys & alias_mask) >> PAGE_SHIFT);
340
341                                 if (d == all_aliases_mask)
342                                         goto loop_exit;
343                         }
344
345                         pte++;
346                         p += PAGE_SIZE;
347                 } while (p < end && ((unsigned long)pte & ~PAGE_MASK));
348                 pmd++;
349         } while (p < end);
350
351 loop_exit:
352         addr_offset = 0;
353         select_bit = 1;
354
355         for (i = 0; i < n_aliases; i++) {
356                 if (d & select_bit) {
357                         (*__flush_dcache_segment_fn)(addr_offset, PAGE_SIZE);
358                         wmb();
359                 }
360
361                 select_bit <<= 1;
362                 addr_offset += PAGE_SIZE;
363         }
364 }
365
366 /*
367  * Note : (RPC) since the caches are physically tagged, the only point
368  * of flush_cache_mm for SH-4 is to get rid of aliases from the
369  * D-cache.  The assumption elsewhere, e.g. flush_cache_range, is that
370  * lines can stay resident so long as the virtual address they were
371  * accessed with (hence cache set) is in accord with the physical
372  * address (i.e. tag).  It's no different here.  So I reckon we don't
373  * need to flush the I-cache, since aliases don't matter for that.  We
374  * should try that.
375  *
376  * Caller takes mm->mmap_sem.
377  */
378 void flush_cache_mm(struct mm_struct *mm)
379 {
380         /*
381          * If cache is only 4k-per-way, there are never any 'aliases'.  Since
382          * the cache is physically tagged, the data can just be left in there.
383          */
384         if (boot_cpu_data.dcache.n_aliases == 0)
385                 return;
386
387         /*
388          * Don't bother groveling around the dcache for the VMA ranges
389          * if there are too many PTEs to make it worthwhile.
390          */
391         if (mm->nr_ptes >= MAX_DCACHE_PAGES)
392                 flush_dcache_all();
393         else {
394                 struct vm_area_struct *vma;
395
396                 /*
397                  * In this case there are reasonably sized ranges to flush,
398                  * iterate through the VMA list and take care of any aliases.
399                  */
400                 for (vma = mm->mmap; vma; vma = vma->vm_next)
401                         __flush_cache_mm(mm, vma->vm_start, vma->vm_end);
402         }
403
404         /* Only touch the icache if one of the VMAs has VM_EXEC set. */
405         if (mm->exec_vm)
406                 flush_icache_all();
407 }
408
409 /*
410  * Write back and invalidate I/D-caches for the page.
411  *
412  * ADDR: Virtual Address (U0 address)
413  * PFN: Physical page number
414  */
415 void flush_cache_page(struct vm_area_struct *vma, unsigned long address,
416                       unsigned long pfn)
417 {
418         unsigned long phys = pfn << PAGE_SHIFT;
419         unsigned int alias_mask;
420
421         alias_mask = boot_cpu_data.dcache.alias_mask;
422
423         /* We only need to flush D-cache when we have alias */
424         if ((address^phys) & alias_mask) {
425                 /* Loop 4K of the D-cache */
426                 flush_cache_4096(
427                         CACHE_OC_ADDRESS_ARRAY | (address & alias_mask),
428                         phys);
429                 /* Loop another 4K of the D-cache */
430                 flush_cache_4096(
431                         CACHE_OC_ADDRESS_ARRAY | (phys & alias_mask),
432                         phys);
433         }
434
435         alias_mask = boot_cpu_data.icache.alias_mask;
436         if (vma->vm_flags & VM_EXEC) {
437                 /*
438                  * Evict entries from the portion of the cache from which code
439                  * may have been executed at this address (virtual).  There's
440                  * no need to evict from the portion corresponding to the
441                  * physical address as for the D-cache, because we know the
442                  * kernel has never executed the code through its identity
443                  * translation.
444                  */
445                 flush_cache_4096(
446                         CACHE_IC_ADDRESS_ARRAY | (address & alias_mask),
447                         phys);
448         }
449 }
450
451 /*
452  * Write back and invalidate D-caches.
453  *
454  * START, END: Virtual Address (U0 address)
455  *
456  * NOTE: We need to flush the _physical_ page entry.
457  * Flushing the cache lines for U0 only isn't enough.
458  * We need to flush for P1 too, which may contain aliases.
459  */
460 void flush_cache_range(struct vm_area_struct *vma, unsigned long start,
461                        unsigned long end)
462 {
463         /*
464          * If cache is only 4k-per-way, there are never any 'aliases'.  Since
465          * the cache is physically tagged, the data can just be left in there.
466          */
467         if (boot_cpu_data.dcache.n_aliases == 0)
468                 return;
469
470         /*
471          * Don't bother with the lookup and alias check if we have a
472          * wide range to cover, just blow away the dcache in its
473          * entirety instead. -- PFM.
474          */
475         if (((end - start) >> PAGE_SHIFT) >= MAX_DCACHE_PAGES)
476                 flush_dcache_all();
477         else
478                 __flush_cache_mm(vma->vm_mm, start, end);
479
480         if (vma->vm_flags & VM_EXEC) {
481                 /*
482                  * TODO: Is this required???  Need to look at how I-cache
483                  * coherency is assured when new programs are loaded to see if
484                  * this matters.
485                  */
486                 flush_icache_all();
487         }
488 }
489
490 /*
491  * flush_icache_user_range
492  * @vma: VMA of the process
493  * @page: page
494  * @addr: U0 address
495  * @len: length of the range (< page size)
496  */
497 void flush_icache_user_range(struct vm_area_struct *vma,
498                              struct page *page, unsigned long addr, int len)
499 {
500         flush_cache_page(vma, addr, page_to_pfn(page));
501         mb();
502 }
503
504 /**
505  * __flush_cache_4096
506  *
507  * @addr:  address in memory mapped cache array
508  * @phys:  P1 address to flush (has to match tags if addr has 'A' bit
509  *         set i.e. associative write)
510  * @exec_offset: set to 0x20000000 if flush has to be executed from P2
511  *               region else 0x0
512  *
513  * The offset into the cache array implied by 'addr' selects the
514  * 'colour' of the virtual address range that will be flushed.  The
515  * operation (purge/write-back) is selected by the lower 2 bits of
516  * 'phys'.
517  */
518 static void __flush_cache_4096(unsigned long addr, unsigned long phys,
519                                unsigned long exec_offset)
520 {
521         int way_count;
522         unsigned long base_addr = addr;
523         struct cache_info *dcache;
524         unsigned long way_incr;
525         unsigned long a, ea, p;
526         unsigned long temp_pc;
527
528         dcache = &boot_cpu_data.dcache;
529         /* Write this way for better assembly. */
530         way_count = dcache->ways;
531         way_incr = dcache->way_incr;
532
533         /*
534          * Apply exec_offset (i.e. branch to P2 if required.).
535          *
536          * FIXME:
537          *
538          *      If I write "=r" for the (temp_pc), it puts this in r6 hence
539          *      trashing exec_offset before it's been added on - why?  Hence
540          *      "=&r" as a 'workaround'
541          */
542         asm volatile("mov.l 1f, %0\n\t"
543                      "add   %1, %0\n\t"
544                      "jmp   @%0\n\t"
545                      "nop\n\t"
546                      ".balign 4\n\t"
547                      "1:  .long 2f\n\t"
548                      "2:\n" : "=&r" (temp_pc) : "r" (exec_offset));
549
550         /*
551          * We know there will be >=1 iteration, so write as do-while to avoid
552          * pointless nead-of-loop check for 0 iterations.
553          */
554         do {
555                 ea = base_addr + PAGE_SIZE;
556                 a = base_addr;
557                 p = phys;
558
559                 do {
560                         *(volatile unsigned long *)a = p;
561                         /*
562                          * Next line: intentionally not p+32, saves an add, p
563                          * will do since only the cache tag bits need to
564                          * match.
565                          */
566                         *(volatile unsigned long *)(a+32) = p;
567                         a += 64;
568                         p += 64;
569                 } while (a < ea);
570
571                 base_addr += way_incr;
572         } while (--way_count != 0);
573 }
574
575 /*
576  * Break the 1, 2 and 4 way variants of this out into separate functions to
577  * avoid nearly all the overhead of having the conditional stuff in the function
578  * bodies (+ the 1 and 2 way cases avoid saving any registers too).
579  */
580 static void __flush_dcache_segment_1way(unsigned long start,
581                                         unsigned long extent_per_way)
582 {
583         unsigned long orig_sr, sr_with_bl;
584         unsigned long base_addr;
585         unsigned long way_incr, linesz, way_size;
586         struct cache_info *dcache;
587         register unsigned long a0, a0e;
588
589         asm volatile("stc sr, %0" : "=r" (orig_sr));
590         sr_with_bl = orig_sr | (1<<28);
591         base_addr = ((unsigned long)&empty_zero_page[0]);
592
593         /*
594          * The previous code aligned base_addr to 16k, i.e. the way_size of all
595          * existing SH-4 D-caches.  Whilst I don't see a need to have this
596          * aligned to any better than the cache line size (which it will be
597          * anyway by construction), let's align it to at least the way_size of
598          * any existing or conceivable SH-4 D-cache.  -- RPC
599          */
600         base_addr = ((base_addr >> 16) << 16);
601         base_addr |= start;
602
603         dcache = &boot_cpu_data.dcache;
604         linesz = dcache->linesz;
605         way_incr = dcache->way_incr;
606         way_size = dcache->way_size;
607
608         a0 = base_addr;
609         a0e = base_addr + extent_per_way;
610         do {
611                 asm volatile("ldc %0, sr" : : "r" (sr_with_bl));
612                 asm volatile("movca.l r0, @%0\n\t"
613                              "ocbi @%0" : : "r" (a0));
614                 a0 += linesz;
615                 asm volatile("movca.l r0, @%0\n\t"
616                              "ocbi @%0" : : "r" (a0));
617                 a0 += linesz;
618                 asm volatile("movca.l r0, @%0\n\t"
619                              "ocbi @%0" : : "r" (a0));
620                 a0 += linesz;
621                 asm volatile("movca.l r0, @%0\n\t"
622                              "ocbi @%0" : : "r" (a0));
623                 asm volatile("ldc %0, sr" : : "r" (orig_sr));
624                 a0 += linesz;
625         } while (a0 < a0e);
626 }
627
628 static void __flush_dcache_segment_2way(unsigned long start,
629                                         unsigned long extent_per_way)
630 {
631         unsigned long orig_sr, sr_with_bl;
632         unsigned long base_addr;
633         unsigned long way_incr, linesz, way_size;
634         struct cache_info *dcache;
635         register unsigned long a0, a1, a0e;
636
637         asm volatile("stc sr, %0" : "=r" (orig_sr));
638         sr_with_bl = orig_sr | (1<<28);
639         base_addr = ((unsigned long)&empty_zero_page[0]);
640
641         /* See comment under 1-way above */
642         base_addr = ((base_addr >> 16) << 16);
643         base_addr |= start;
644
645         dcache = &boot_cpu_data.dcache;
646         linesz = dcache->linesz;
647         way_incr = dcache->way_incr;
648         way_size = dcache->way_size;
649
650         a0 = base_addr;
651         a1 = a0 + way_incr;
652         a0e = base_addr + extent_per_way;
653         do {
654                 asm volatile("ldc %0, sr" : : "r" (sr_with_bl));
655                 asm volatile("movca.l r0, @%0\n\t"
656                              "movca.l r0, @%1\n\t"
657                              "ocbi @%0\n\t"
658                              "ocbi @%1" : :
659                              "r" (a0), "r" (a1));
660                 a0 += linesz;
661                 a1 += linesz;
662                 asm volatile("movca.l r0, @%0\n\t"
663                              "movca.l r0, @%1\n\t"
664                              "ocbi @%0\n\t"
665                              "ocbi @%1" : :
666                              "r" (a0), "r" (a1));
667                 a0 += linesz;
668                 a1 += linesz;
669                 asm volatile("movca.l r0, @%0\n\t"
670                              "movca.l r0, @%1\n\t"
671                              "ocbi @%0\n\t"
672                              "ocbi @%1" : :
673                              "r" (a0), "r" (a1));
674                 a0 += linesz;
675                 a1 += linesz;
676                 asm volatile("movca.l r0, @%0\n\t"
677                              "movca.l r0, @%1\n\t"
678                              "ocbi @%0\n\t"
679                              "ocbi @%1" : :
680                              "r" (a0), "r" (a1));
681                 asm volatile("ldc %0, sr" : : "r" (orig_sr));
682                 a0 += linesz;
683                 a1 += linesz;
684         } while (a0 < a0e);
685 }
686
687 static void __flush_dcache_segment_4way(unsigned long start,
688                                         unsigned long extent_per_way)
689 {
690         unsigned long orig_sr, sr_with_bl;
691         unsigned long base_addr;
692         unsigned long way_incr, linesz, way_size;
693         struct cache_info *dcache;
694         register unsigned long a0, a1, a2, a3, a0e;
695
696         asm volatile("stc sr, %0" : "=r" (orig_sr));
697         sr_with_bl = orig_sr | (1<<28);
698         base_addr = ((unsigned long)&empty_zero_page[0]);
699
700         /* See comment under 1-way above */
701         base_addr = ((base_addr >> 16) << 16);
702         base_addr |= start;
703
704         dcache = &boot_cpu_data.dcache;
705         linesz = dcache->linesz;
706         way_incr = dcache->way_incr;
707         way_size = dcache->way_size;
708
709         a0 = base_addr;
710         a1 = a0 + way_incr;
711         a2 = a1 + way_incr;
712         a3 = a2 + way_incr;
713         a0e = base_addr + extent_per_way;
714         do {
715                 asm volatile("ldc %0, sr" : : "r" (sr_with_bl));
716                 asm volatile("movca.l r0, @%0\n\t"
717                              "movca.l r0, @%1\n\t"
718                              "movca.l r0, @%2\n\t"
719                              "movca.l r0, @%3\n\t"
720                              "ocbi @%0\n\t"
721                              "ocbi @%1\n\t"
722                              "ocbi @%2\n\t"
723                              "ocbi @%3\n\t" : :
724                              "r" (a0), "r" (a1), "r" (a2), "r" (a3));
725                 a0 += linesz;
726                 a1 += linesz;
727                 a2 += linesz;
728                 a3 += linesz;
729                 asm volatile("movca.l r0, @%0\n\t"
730                              "movca.l r0, @%1\n\t"
731                              "movca.l r0, @%2\n\t"
732                              "movca.l r0, @%3\n\t"
733                              "ocbi @%0\n\t"
734                              "ocbi @%1\n\t"
735                              "ocbi @%2\n\t"
736                              "ocbi @%3\n\t" : :
737                              "r" (a0), "r" (a1), "r" (a2), "r" (a3));
738                 a0 += linesz;
739                 a1 += linesz;
740                 a2 += linesz;
741                 a3 += linesz;
742                 asm volatile("movca.l r0, @%0\n\t"
743                              "movca.l r0, @%1\n\t"
744                              "movca.l r0, @%2\n\t"
745                              "movca.l r0, @%3\n\t"
746                              "ocbi @%0\n\t"
747                              "ocbi @%1\n\t"
748                              "ocbi @%2\n\t"
749                              "ocbi @%3\n\t" : :
750                              "r" (a0), "r" (a1), "r" (a2), "r" (a3));
751                 a0 += linesz;
752                 a1 += linesz;
753                 a2 += linesz;
754                 a3 += linesz;
755                 asm volatile("movca.l r0, @%0\n\t"
756                              "movca.l r0, @%1\n\t"
757                              "movca.l r0, @%2\n\t"
758                              "movca.l r0, @%3\n\t"
759                              "ocbi @%0\n\t"
760                              "ocbi @%1\n\t"
761                              "ocbi @%2\n\t"
762                              "ocbi @%3\n\t" : :
763                              "r" (a0), "r" (a1), "r" (a2), "r" (a3));
764                 asm volatile("ldc %0, sr" : : "r" (orig_sr));
765                 a0 += linesz;
766                 a1 += linesz;
767                 a2 += linesz;
768                 a3 += linesz;
769         } while (a0 < a0e);
770 }