[SPARC/SPARC64]: Fix usage of .section .sched.text in assembler code.
[linux-2.6] / arch / sparc64 / lib / GENmemcpy.S
1 /* GENmemcpy.S: Generic sparc64 memcpy.
2  *
3  * Copyright (C) 2007 David S. Miller (davem@davemloft.net)
4  */
5
6 #ifdef __KERNEL__
7 #define GLOBAL_SPARE    %g7
8 #else
9 #define GLOBAL_SPARE    %g5
10 #endif
11
12 #ifndef EX_LD
13 #define EX_LD(x)        x
14 #endif
15
16 #ifndef EX_ST
17 #define EX_ST(x)        x
18 #endif
19
20 #ifndef EX_RETVAL
21 #define EX_RETVAL(x)    x
22 #endif
23
24 #ifndef LOAD
25 #define LOAD(type,addr,dest)    type [addr], dest
26 #endif
27
28 #ifndef STORE
29 #define STORE(type,src,addr)    type src, [addr]
30 #endif
31
32 #ifndef FUNC_NAME
33 #define FUNC_NAME       GENmemcpy
34 #endif
35
36 #ifndef PREAMBLE
37 #define PREAMBLE
38 #endif
39
40 #ifndef XCC
41 #define XCC xcc
42 #endif
43
44         .register       %g2,#scratch
45         .register       %g3,#scratch
46
47         .text
48         .align          64
49
50         .globl  FUNC_NAME
51         .type   FUNC_NAME,#function
52 FUNC_NAME:      /* %o0=dst, %o1=src, %o2=len */
53         srlx            %o2, 31, %g2
54         cmp             %g2, 0
55         tne             %XCC, 5
56         PREAMBLE
57         mov             %o0, GLOBAL_SPARE
58
59         cmp             %o2, 0
60         be,pn           %XCC, 85f
61          or             %o0, %o1, %o3
62         cmp             %o2, 16
63         blu,a,pn        %XCC, 80f
64          or             %o3, %o2, %o3
65
66         xor             %o0, %o1, %o4
67         andcc           %o4, 0x7, %g0
68         bne,a,pn        %XCC, 90f
69          sub            %o0, %o1, %o3
70
71         and             %o0, 0x7, %o4
72         sub             %o4, 0x8, %o4
73         sub             %g0, %o4, %o4
74         sub             %o2, %o4, %o2
75 1:      subcc           %o4, 1, %o4
76         EX_LD(LOAD(ldub, %o1, %g1))
77         EX_ST(STORE(stb, %g1, %o0))
78         add             %o1, 1, %o1
79         bne,pt          %XCC, 1b
80         add             %o0, 1, %o0
81
82         andn            %o2, 0x7, %g1
83         sub             %o2, %g1, %o2
84 1:      subcc           %g1, 0x8, %g1
85         EX_LD(LOAD(ldx, %o1, %g2))
86         EX_ST(STORE(stx, %g2, %o0))
87         add             %o1, 0x8, %o1
88         bne,pt          %XCC, 1b
89          add            %o0, 0x8, %o0
90
91         brz,pt          %o2, 85f
92          sub            %o0, %o1, %o3
93         ba,a,pt         %XCC, 90f
94
95         .align          64
96 80: /* 0 < len <= 16 */
97         andcc           %o3, 0x3, %g0
98         bne,pn          %XCC, 90f
99          sub            %o0, %o1, %o3
100
101 1:
102         subcc           %o2, 4, %o2
103         EX_LD(LOAD(lduw, %o1, %g1))
104         EX_ST(STORE(stw, %g1, %o1 + %o3))
105         bgu,pt          %XCC, 1b
106          add            %o1, 4, %o1
107
108 85:     retl
109          mov            EX_RETVAL(GLOBAL_SPARE), %o0
110
111         .align          32
112 90:
113         subcc           %o2, 1, %o2
114         EX_LD(LOAD(ldub, %o1, %g1))
115         EX_ST(STORE(stb, %g1, %o1 + %o3))
116         bgu,pt          %XCC, 90b
117          add            %o1, 1, %o1
118         retl
119          mov            EX_RETVAL(GLOBAL_SPARE), %o0
120
121         .size           FUNC_NAME, .-FUNC_NAME