Merge with /pub/scm/linux/kernel/git/torvalds/linux-2.6.git
[linux-2.6] / arch / arm / mm / copypage-xsc3.S
1 /*
2  *  linux/arch/arm/lib/copypage-xsc3.S
3  *
4  *  Copyright (C) 2004 Intel Corp.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License version 2 as
8  * published by the Free Software Foundation.
9  *
10  * Adapted for 3rd gen XScale core, no more mini-dcache
11  * Author: Matt Gilbert (matthew.m.gilbert@intel.com)
12  */
13
14 #include <linux/linkage.h>
15 #include <linux/init.h>
16 #include <asm/asm-offsets.h>
17
18 /*
19  * General note:
20  *  We don't really want write-allocate cache behaviour for these functions
21  *  since that will just eat through 8K of the cache.
22  */
23
24         .text
25         .align  5
26 /*
27  * XSC3 optimised copy_user_page
28  *  r0 = destination
29  *  r1 = source
30  *  r2 = virtual user address of ultimate destination page
31  *
32  * The source page may have some clean entries in the cache already, but we
33  * can safely ignore them - break_cow() will flush them out of the cache
34  * if we eventually end up using our copied page.
35  *
36  */
37 ENTRY(xsc3_mc_copy_user_page)
38         stmfd   sp!, {r4, r5, lr}
39         mov     lr, #PAGE_SZ/64-1
40
41         pld     [r1, #0]
42         pld     [r1, #32]
43 1:      pld     [r1, #64]
44         pld     [r1, #96]
45
46 2:      ldrd    r2, [r1], #8
47         mov     ip, r0
48         ldrd    r4, [r1], #8
49         mcr     p15, 0, ip, c7, c6, 1           @ invalidate
50         strd    r2, [r0], #8
51         ldrd    r2, [r1], #8
52         strd    r4, [r0], #8
53         ldrd    r4, [r1], #8
54         strd    r2, [r0], #8
55         strd    r4, [r0], #8
56         ldrd    r2, [r1], #8
57         mov     ip, r0
58         ldrd    r4, [r1], #8
59         mcr     p15, 0, ip, c7, c6, 1           @ invalidate
60         strd    r2, [r0], #8
61         ldrd    r2, [r1], #8
62         subs    lr, lr, #1
63         strd    r4, [r0], #8
64         ldrd    r4, [r1], #8
65         strd    r2, [r0], #8
66         strd    r4, [r0], #8
67         bgt     1b
68         beq     2b
69
70         ldmfd   sp!, {r4, r5, pc}
71
72         .align  5
73 /*
74  * XScale optimised clear_user_page
75  *  r0 = destination
76  *  r1 = virtual user address of ultimate destination page
77  */
78 ENTRY(xsc3_mc_clear_user_page)
79         mov     r1, #PAGE_SZ/32
80         mov     r2, #0
81         mov     r3, #0
82 1:      mcr     p15, 0, r0, c7, c6, 1           @ invalidate line
83         strd    r2, [r0], #8
84         strd    r2, [r0], #8
85         strd    r2, [r0], #8
86         strd    r2, [r0], #8
87         subs    r1, r1, #1
88         bne     1b
89         mov     pc, lr
90
91         __INITDATA
92
93         .type   xsc3_mc_user_fns, #object
94 ENTRY(xsc3_mc_user_fns)
95         .long   xsc3_mc_clear_user_page
96         .long   xsc3_mc_copy_user_page
97         .size   xsc3_mc_user_fns, . - xsc3_mc_user_fns