x86_32: apic/es7000_32, fix section mismatch
[linux-2.6] / arch / sparc / lib / memcpy.S
1 /* memcpy.S: Sparc optimized memcpy and memmove code
2  * Hand optimized from GNU libc's memcpy and memmove
3  * Copyright (C) 1991,1996 Free Software Foundation
4  * Copyright (C) 1995 Linus Torvalds (Linus.Torvalds@helsinki.fi)
5  * Copyright (C) 1996 David S. Miller (davem@caip.rutgers.edu)
6  * Copyright (C) 1996 Eddie C. Dost (ecd@skynet.be)
7  * Copyright (C) 1996 Jakub Jelinek (jj@sunsite.mff.cuni.cz)
8  */
9
10 #ifdef __KERNEL__
11
12 #define FUNC(x)                                                                                         \
13         .globl  x;              \
14         .type   x,@function;    \
15         .align  4;                                                                                      \
16 x:
17
18 #undef FASTER_REVERSE
19 #undef FASTER_NONALIGNED
20 #define FASTER_ALIGNED
21
22 /* In kernel these functions don't return a value.
23  * One should use macros in asm/string.h for that purpose.
24  * We return 0, so that bugs are more apparent.
25  */
26 #define SETUP_RETL
27 #define RETL_INSN       clr     %o0
28
29 #else
30
31 /* libc */
32
33 #include "DEFS.h"
34
35 #define FASTER_REVERSE
36 #define FASTER_NONALIGNED
37 #define FASTER_ALIGNED
38
39 #define SETUP_RETL      mov     %o0, %g6
40 #define RETL_INSN       mov     %g6, %o0
41
42 #endif
43
44 /* Both these macros have to start with exactly the same insn */
45 #define MOVE_BIGCHUNK(src, dst, offset, t0, t1, t2, t3, t4, t5, t6, t7) \
46         ldd     [%src + (offset) + 0x00], %t0; \
47         ldd     [%src + (offset) + 0x08], %t2; \
48         ldd     [%src + (offset) + 0x10], %t4; \
49         ldd     [%src + (offset) + 0x18], %t6; \
50         st      %t0, [%dst + (offset) + 0x00]; \
51         st      %t1, [%dst + (offset) + 0x04]; \
52         st      %t2, [%dst + (offset) + 0x08]; \
53         st      %t3, [%dst + (offset) + 0x0c]; \
54         st      %t4, [%dst + (offset) + 0x10]; \
55         st      %t5, [%dst + (offset) + 0x14]; \
56         st      %t6, [%dst + (offset) + 0x18]; \
57         st      %t7, [%dst + (offset) + 0x1c];
58
59 #define MOVE_BIGALIGNCHUNK(src, dst, offset, t0, t1, t2, t3, t4, t5, t6, t7) \
60         ldd     [%src + (offset) + 0x00], %t0; \
61         ldd     [%src + (offset) + 0x08], %t2; \
62         ldd     [%src + (offset) + 0x10], %t4; \
63         ldd     [%src + (offset) + 0x18], %t6; \
64         std     %t0, [%dst + (offset) + 0x00]; \
65         std     %t2, [%dst + (offset) + 0x08]; \
66         std     %t4, [%dst + (offset) + 0x10]; \
67         std     %t6, [%dst + (offset) + 0x18];
68
69 #define MOVE_LASTCHUNK(src, dst, offset, t0, t1, t2, t3) \
70         ldd     [%src - (offset) - 0x10], %t0; \
71         ldd     [%src - (offset) - 0x08], %t2; \
72         st      %t0, [%dst - (offset) - 0x10]; \
73         st      %t1, [%dst - (offset) - 0x0c]; \
74         st      %t2, [%dst - (offset) - 0x08]; \
75         st      %t3, [%dst - (offset) - 0x04];
76
77 #define MOVE_LASTALIGNCHUNK(src, dst, offset, t0, t1, t2, t3) \
78         ldd     [%src - (offset) - 0x10], %t0; \
79         ldd     [%src - (offset) - 0x08], %t2; \
80         std     %t0, [%dst - (offset) - 0x10]; \
81         std     %t2, [%dst - (offset) - 0x08];
82
83 #define MOVE_SHORTCHUNK(src, dst, offset, t0, t1) \
84         ldub    [%src - (offset) - 0x02], %t0; \
85         ldub    [%src - (offset) - 0x01], %t1; \
86         stb     %t0, [%dst - (offset) - 0x02]; \
87         stb     %t1, [%dst - (offset) - 0x01];
88
89 /* Both these macros have to start with exactly the same insn */
90 #define RMOVE_BIGCHUNK(src, dst, offset, t0, t1, t2, t3, t4, t5, t6, t7) \
91         ldd     [%src - (offset) - 0x20], %t0; \
92         ldd     [%src - (offset) - 0x18], %t2; \
93         ldd     [%src - (offset) - 0x10], %t4; \
94         ldd     [%src - (offset) - 0x08], %t6; \
95         st      %t0, [%dst - (offset) - 0x20]; \
96         st      %t1, [%dst - (offset) - 0x1c]; \
97         st      %t2, [%dst - (offset) - 0x18]; \
98         st      %t3, [%dst - (offset) - 0x14]; \
99         st      %t4, [%dst - (offset) - 0x10]; \
100         st      %t5, [%dst - (offset) - 0x0c]; \
101         st      %t6, [%dst - (offset) - 0x08]; \
102         st      %t7, [%dst - (offset) - 0x04];
103
104 #define RMOVE_BIGALIGNCHUNK(src, dst, offset, t0, t1, t2, t3, t4, t5, t6, t7) \
105         ldd     [%src - (offset) - 0x20], %t0; \
106         ldd     [%src - (offset) - 0x18], %t2; \
107         ldd     [%src - (offset) - 0x10], %t4; \
108         ldd     [%src - (offset) - 0x08], %t6; \
109         std     %t0, [%dst - (offset) - 0x20]; \
110         std     %t2, [%dst - (offset) - 0x18]; \
111         std     %t4, [%dst - (offset) - 0x10]; \
112         std     %t6, [%dst - (offset) - 0x08];
113
114 #define RMOVE_LASTCHUNK(src, dst, offset, t0, t1, t2, t3) \
115         ldd     [%src + (offset) + 0x00], %t0; \
116         ldd     [%src + (offset) + 0x08], %t2; \
117         st      %t0, [%dst + (offset) + 0x00]; \
118         st      %t1, [%dst + (offset) + 0x04]; \
119         st      %t2, [%dst + (offset) + 0x08]; \
120         st      %t3, [%dst + (offset) + 0x0c];
121
122 #define RMOVE_SHORTCHUNK(src, dst, offset, t0, t1) \
123         ldub    [%src + (offset) + 0x00], %t0; \
124         ldub    [%src + (offset) + 0x01], %t1; \
125         stb     %t0, [%dst + (offset) + 0x00]; \
126         stb     %t1, [%dst + (offset) + 0x01];
127
128 #define SMOVE_CHUNK(src, dst, offset, t0, t1, t2, t3, t4, t5, t6, prev, shil, shir, offset2) \
129         ldd     [%src + (offset) + 0x00], %t0; \
130         ldd     [%src + (offset) + 0x08], %t2; \
131         srl     %t0, shir, %t5; \
132         srl     %t1, shir, %t6; \
133         sll     %t0, shil, %t0; \
134         or      %t5, %prev, %t5; \
135         sll     %t1, shil, %prev; \
136         or      %t6, %t0, %t0; \
137         srl     %t2, shir, %t1; \
138         srl     %t3, shir, %t6; \
139         sll     %t2, shil, %t2; \
140         or      %t1, %prev, %t1; \
141         std     %t4, [%dst + (offset) + (offset2) - 0x04]; \
142         std     %t0, [%dst + (offset) + (offset2) + 0x04]; \
143         sll     %t3, shil, %prev; \
144         or      %t6, %t2, %t4;
145
146 #define SMOVE_ALIGNCHUNK(src, dst, offset, t0, t1, t2, t3, t4, t5, t6, prev, shil, shir, offset2) \
147         ldd     [%src + (offset) + 0x00], %t0; \
148         ldd     [%src + (offset) + 0x08], %t2; \
149         srl     %t0, shir, %t4; \
150         srl     %t1, shir, %t5; \
151         sll     %t0, shil, %t6; \
152         or      %t4, %prev, %t0; \
153         sll     %t1, shil, %prev; \
154         or      %t5, %t6, %t1; \
155         srl     %t2, shir, %t4; \
156         srl     %t3, shir, %t5; \
157         sll     %t2, shil, %t6; \
158         or      %t4, %prev, %t2; \
159         sll     %t3, shil, %prev; \
160         or      %t5, %t6, %t3; \
161         std     %t0, [%dst + (offset) + (offset2) + 0x00]; \
162         std     %t2, [%dst + (offset) + (offset2) + 0x08];
163
164         .text
165         .align  4
166
167 #ifdef FASTER_REVERSE
168
169 70:     /* rdword_align */
170
171         andcc           %o1, 1, %g0
172         be              4f
173          andcc          %o1, 2, %g0
174
175         ldub            [%o1 - 1], %g2
176         sub             %o1, 1, %o1
177         stb             %g2, [%o0 - 1]
178         sub             %o2, 1, %o2
179         be              3f
180          sub            %o0, 1, %o0
181 4:
182         lduh            [%o1 - 2], %g2
183         sub             %o1, 2, %o1
184         sth             %g2, [%o0 - 2]
185         sub             %o2, 2, %o2
186         b               3f
187          sub            %o0, 2, %o0
188
189 #endif /* FASTER_REVERSE */
190
191 0:
192         retl
193          nop            ! Only bcopy returns here and it retuns void...
194
195 #ifdef __KERNEL__
196 FUNC(amemmove)
197 FUNC(__memmove)
198 #endif
199 FUNC(memmove)
200         cmp             %o0, %o1
201         SETUP_RETL
202         bleu            9f
203          sub            %o0, %o1, %o4
204
205         add             %o1, %o2, %o3
206         cmp             %o3, %o0
207         bleu            0f
208          andcc          %o4, 3, %o5
209
210 #ifndef FASTER_REVERSE
211
212         add             %o1, %o2, %o1
213         add             %o0, %o2, %o0
214         sub             %o1, 1, %o1
215         sub             %o0, 1, %o0
216         
217 1:      /* reverse_bytes */
218
219         ldub            [%o1], %o4
220         subcc           %o2, 1, %o2
221         stb             %o4, [%o0]
222         sub             %o1, 1, %o1
223         bne             1b
224          sub            %o0, 1, %o0
225
226         retl
227          RETL_INSN
228
229 #else /* FASTER_REVERSE */
230
231         add             %o1, %o2, %o1
232         add             %o0, %o2, %o0
233         bne             77f
234          cmp            %o2, 15
235         bleu            91f
236          andcc          %o1, 3, %g0
237         bne             70b
238 3:
239          andcc          %o1, 4, %g0
240
241         be              2f
242          mov            %o2, %g1
243
244         ld              [%o1 - 4], %o4
245         sub             %g1, 4, %g1
246         st              %o4, [%o0 - 4]
247         sub             %o1, 4, %o1
248         sub             %o0, 4, %o0
249 2:
250         andcc           %g1, 0xffffff80, %g7
251         be              3f
252          andcc          %o0, 4, %g0
253
254         be              74f + 4
255 5:
256         RMOVE_BIGCHUNK(o1, o0, 0x00, o2, o3, o4, o5, g2, g3, g4, g5)
257         RMOVE_BIGCHUNK(o1, o0, 0x20, o2, o3, o4, o5, g2, g3, g4, g5)
258         RMOVE_BIGCHUNK(o1, o0, 0x40, o2, o3, o4, o5, g2, g3, g4, g5)
259         RMOVE_BIGCHUNK(o1, o0, 0x60, o2, o3, o4, o5, g2, g3, g4, g5)
260         subcc           %g7, 128, %g7
261         sub             %o1, 128, %o1
262         bne             5b
263          sub            %o0, 128, %o0
264 3:
265         andcc           %g1, 0x70, %g7
266         be              72f
267          andcc          %g1, 8, %g0
268
269         sethi           %hi(72f), %o5
270         srl             %g7, 1, %o4
271         add             %g7, %o4, %o4
272         sub             %o1, %g7, %o1
273         sub             %o5, %o4, %o5
274         jmpl            %o5 + %lo(72f), %g0
275          sub            %o0, %g7, %o0
276
277 71:     /* rmemcpy_table */
278         RMOVE_LASTCHUNK(o1, o0, 0x60, g2, g3, g4, g5)
279         RMOVE_LASTCHUNK(o1, o0, 0x50, g2, g3, g4, g5)
280         RMOVE_LASTCHUNK(o1, o0, 0x40, g2, g3, g4, g5)
281         RMOVE_LASTCHUNK(o1, o0, 0x30, g2, g3, g4, g5)
282         RMOVE_LASTCHUNK(o1, o0, 0x20, g2, g3, g4, g5)
283         RMOVE_LASTCHUNK(o1, o0, 0x10, g2, g3, g4, g5)
284         RMOVE_LASTCHUNK(o1, o0, 0x00, g2, g3, g4, g5)
285
286 72:     /* rmemcpy_table_end */
287
288         be              73f
289          andcc          %g1, 4, %g0
290
291         ldd             [%o1 - 0x08], %g2
292         sub             %o0, 8, %o0
293         sub             %o1, 8, %o1
294         st              %g2, [%o0]
295         st              %g3, [%o0 + 0x04]
296
297 73:     /* rmemcpy_last7 */
298
299         be              1f
300          andcc          %g1, 2, %g0
301
302         ld              [%o1 - 4], %g2
303         sub             %o1, 4, %o1
304         st              %g2, [%o0 - 4]
305         sub             %o0, 4, %o0
306 1:
307         be              1f
308          andcc          %g1, 1, %g0
309
310         lduh            [%o1 - 2], %g2
311         sub             %o1, 2, %o1
312         sth             %g2, [%o0 - 2]
313         sub             %o0, 2, %o0
314 1:
315         be              1f
316          nop
317
318         ldub            [%o1 - 1], %g2
319         stb             %g2, [%o0 - 1]
320 1:
321         retl
322          RETL_INSN
323
324 74:     /* rldd_std */
325         RMOVE_BIGALIGNCHUNK(o1, o0, 0x00, o2, o3, o4, o5, g2, g3, g4, g5)
326         RMOVE_BIGALIGNCHUNK(o1, o0, 0x20, o2, o3, o4, o5, g2, g3, g4, g5)
327         RMOVE_BIGALIGNCHUNK(o1, o0, 0x40, o2, o3, o4, o5, g2, g3, g4, g5)
328         RMOVE_BIGALIGNCHUNK(o1, o0, 0x60, o2, o3, o4, o5, g2, g3, g4, g5)
329         subcc           %g7, 128, %g7
330         sub             %o1, 128, %o1
331         bne             74b
332          sub            %o0, 128, %o0
333
334         andcc           %g1, 0x70, %g7
335         be              72b
336          andcc          %g1, 8, %g0
337
338         sethi           %hi(72b), %o5
339         srl             %g7, 1, %o4
340         add             %g7, %o4, %o4
341         sub             %o1, %g7, %o1
342         sub             %o5, %o4, %o5
343         jmpl            %o5 + %lo(72b), %g0
344          sub            %o0, %g7, %o0
345
346 75:     /* rshort_end */
347
348         and             %o2, 0xe, %o3
349 2:
350         sethi           %hi(76f), %o5
351         sll             %o3, 3, %o4
352         sub             %o0, %o3, %o0
353         sub             %o5, %o4, %o5
354         sub             %o1, %o3, %o1
355         jmpl            %o5 + %lo(76f), %g0
356          andcc          %o2, 1, %g0
357
358         RMOVE_SHORTCHUNK(o1, o0, 0x0c, g2, g3)
359         RMOVE_SHORTCHUNK(o1, o0, 0x0a, g2, g3)
360         RMOVE_SHORTCHUNK(o1, o0, 0x08, g2, g3)
361         RMOVE_SHORTCHUNK(o1, o0, 0x06, g2, g3)
362         RMOVE_SHORTCHUNK(o1, o0, 0x04, g2, g3)
363         RMOVE_SHORTCHUNK(o1, o0, 0x02, g2, g3)
364         RMOVE_SHORTCHUNK(o1, o0, 0x00, g2, g3)
365
366 76:     /* rshort_table_end */
367
368         be              1f
369          nop
370         ldub            [%o1 - 1], %g2
371         stb             %g2, [%o0 - 1]
372 1:
373         retl
374          RETL_INSN
375
376 91:     /* rshort_aligned_end */
377
378         bne             75b
379          andcc          %o2, 8, %g0
380
381         be              1f
382          andcc          %o2, 4, %g0
383
384         ld              [%o1 - 0x08], %g2
385         ld              [%o1 - 0x04], %g3
386         sub             %o1, 8, %o1
387         st              %g2, [%o0 - 0x08]
388         st              %g3, [%o0 - 0x04]
389         sub             %o0, 8, %o0
390 1:
391         b               73b
392          mov            %o2, %g1
393
394 77:     /* rnon_aligned */
395         cmp             %o2, 15
396         bleu            75b
397          andcc          %o0, 3, %g0
398         be              64f
399          andcc          %o0, 1, %g0
400         be              63f
401          andcc          %o0, 2, %g0
402         ldub            [%o1 - 1], %g5
403         sub             %o1, 1, %o1
404         stb             %g5, [%o0 - 1]
405         sub             %o0, 1, %o0
406         be              64f
407          sub            %o2, 1, %o2
408 63:
409         ldub            [%o1 - 1], %g5
410         sub             %o1, 2, %o1
411         stb             %g5, [%o0 - 1]
412         sub             %o0, 2, %o0
413         ldub            [%o1], %g5
414         sub             %o2, 2, %o2
415         stb             %g5, [%o0]
416 64:     
417         and             %o1, 3, %g2
418         and             %o1, -4, %o1
419         and             %o2, 0xc, %g3
420         add             %o1, 4, %o1
421         cmp             %g3, 4
422         sll             %g2, 3, %g4
423         mov             32, %g2
424         be              4f
425          sub            %g2, %g4, %g7
426
427         blu             3f
428          cmp            %g3, 8
429
430         be              2f
431          srl            %o2, 2, %g3
432
433         ld              [%o1 - 4], %o3
434         add             %o0, -8, %o0
435         ld              [%o1 - 8], %o4
436         add             %o1, -16, %o1
437         b               7f
438          add            %g3, 1, %g3
439 2:
440         ld              [%o1 - 4], %o4
441         add             %o0, -4, %o0
442         ld              [%o1 - 8], %g1
443         add             %o1, -12, %o1
444         b               8f
445          add            %g3, 2, %g3
446 3:
447         ld              [%o1 - 4], %o5
448         add             %o0, -12, %o0
449         ld              [%o1 - 8], %o3
450         add             %o1, -20, %o1
451         b               6f
452          srl            %o2, 2, %g3
453 4:
454         ld              [%o1 - 4], %g1
455         srl             %o2, 2, %g3
456         ld              [%o1 - 8], %o5
457         add             %o1, -24, %o1
458         add             %o0, -16, %o0
459         add             %g3, -1, %g3
460
461         ld              [%o1 + 12], %o3
462 5:
463         sll             %o5, %g4, %g2
464         srl             %g1, %g7, %g5
465         or              %g2, %g5, %g2
466         st              %g2, [%o0 + 12]
467 6:
468         ld              [%o1 + 8], %o4
469         sll             %o3, %g4, %g2
470         srl             %o5, %g7, %g5
471         or              %g2, %g5, %g2
472         st              %g2, [%o0 + 8]
473 7:
474         ld              [%o1 + 4], %g1
475         sll             %o4, %g4, %g2
476         srl             %o3, %g7, %g5
477         or              %g2, %g5, %g2
478         st              %g2, [%o0 + 4]
479 8:
480         ld              [%o1], %o5
481         sll             %g1, %g4, %g2
482         srl             %o4, %g7, %g5
483         addcc           %g3, -4, %g3
484         or              %g2, %g5, %g2
485         add             %o1, -16, %o1
486         st              %g2, [%o0]
487         add             %o0, -16, %o0
488         bne,a           5b      
489          ld             [%o1 + 12], %o3
490         sll             %o5, %g4, %g2
491         srl             %g1, %g7, %g5
492         srl             %g4, 3, %g3
493         or              %g2, %g5, %g2
494         add             %o1, %g3, %o1
495         andcc           %o2, 2, %g0
496         st              %g2, [%o0 + 12]
497         be              1f
498          andcc          %o2, 1, %g0
499         
500         ldub            [%o1 + 15], %g5
501         add             %o1, -2, %o1
502         stb             %g5, [%o0 + 11]
503         add             %o0, -2, %o0
504         ldub            [%o1 + 16], %g5
505         stb             %g5, [%o0 + 12]
506 1:
507         be              1f
508          nop
509         ldub            [%o1 + 15], %g5
510         stb             %g5, [%o0 + 11]
511 1:
512         retl
513          RETL_INSN
514
515 #endif /* FASTER_REVERSE */
516
517 /* NOTE: This code is executed just for the cases,
518          where %src (=%o1) & 3 is != 0.
519          We need to align it to 4. So, for (%src & 3)
520          1 we need to do ldub,lduh
521          2 lduh
522          3 just ldub
523          so even if it looks weird, the branches
524          are correct here. -jj
525  */
526 78:     /* dword_align */
527
528         andcc           %o1, 1, %g0
529         be              4f
530          andcc          %o1, 2, %g0
531
532         ldub            [%o1], %g2
533         add             %o1, 1, %o1
534         stb             %g2, [%o0]
535         sub             %o2, 1, %o2
536         bne             3f
537          add            %o0, 1, %o0
538 4:
539         lduh            [%o1], %g2
540         add             %o1, 2, %o1
541         sth             %g2, [%o0]
542         sub             %o2, 2, %o2
543         b               3f
544          add            %o0, 2, %o0
545
546 #ifdef __KERNEL__
547 FUNC(__memcpy)
548 #endif
549 FUNC(memcpy)    /* %o0=dst %o1=src %o2=len */
550
551         sub             %o0, %o1, %o4
552         SETUP_RETL
553 9:
554         andcc           %o4, 3, %o5
555 0:
556         bne             86f
557          cmp            %o2, 15
558
559         bleu            90f
560          andcc          %o1, 3, %g0
561
562         bne             78b
563 3:
564          andcc          %o1, 4, %g0
565
566         be              2f
567          mov            %o2, %g1
568
569         ld              [%o1], %o4
570         sub             %g1, 4, %g1
571         st              %o4, [%o0]
572         add             %o1, 4, %o1
573         add             %o0, 4, %o0
574 2:
575         andcc           %g1, 0xffffff80, %g7
576         be              3f
577          andcc          %o0, 4, %g0
578
579         be              82f + 4
580 5:
581         MOVE_BIGCHUNK(o1, o0, 0x00, o2, o3, o4, o5, g2, g3, g4, g5)
582         MOVE_BIGCHUNK(o1, o0, 0x20, o2, o3, o4, o5, g2, g3, g4, g5)
583         MOVE_BIGCHUNK(o1, o0, 0x40, o2, o3, o4, o5, g2, g3, g4, g5)
584         MOVE_BIGCHUNK(o1, o0, 0x60, o2, o3, o4, o5, g2, g3, g4, g5)
585         subcc           %g7, 128, %g7
586         add             %o1, 128, %o1
587         bne             5b
588          add            %o0, 128, %o0
589 3:
590         andcc           %g1, 0x70, %g7
591         be              80f
592          andcc          %g1, 8, %g0
593
594         sethi           %hi(80f), %o5
595         srl             %g7, 1, %o4
596         add             %g7, %o4, %o4
597         add             %o1, %g7, %o1
598         sub             %o5, %o4, %o5
599         jmpl            %o5 + %lo(80f), %g0
600          add            %o0, %g7, %o0
601
602 79:     /* memcpy_table */
603
604         MOVE_LASTCHUNK(o1, o0, 0x60, g2, g3, g4, g5)
605         MOVE_LASTCHUNK(o1, o0, 0x50, g2, g3, g4, g5)
606         MOVE_LASTCHUNK(o1, o0, 0x40, g2, g3, g4, g5)
607         MOVE_LASTCHUNK(o1, o0, 0x30, g2, g3, g4, g5)
608         MOVE_LASTCHUNK(o1, o0, 0x20, g2, g3, g4, g5)
609         MOVE_LASTCHUNK(o1, o0, 0x10, g2, g3, g4, g5)
610         MOVE_LASTCHUNK(o1, o0, 0x00, g2, g3, g4, g5)
611
612 80:     /* memcpy_table_end */
613         be              81f
614          andcc          %g1, 4, %g0
615
616         ldd             [%o1], %g2
617         add             %o0, 8, %o0
618         st              %g2, [%o0 - 0x08]
619         add             %o1, 8, %o1
620         st              %g3, [%o0 - 0x04]
621
622 81:     /* memcpy_last7 */
623
624         be              1f
625          andcc          %g1, 2, %g0
626
627         ld              [%o1], %g2
628         add             %o1, 4, %o1
629         st              %g2, [%o0]
630         add             %o0, 4, %o0
631 1:
632         be              1f
633          andcc          %g1, 1, %g0
634
635         lduh            [%o1], %g2
636         add             %o1, 2, %o1
637         sth             %g2, [%o0]
638         add             %o0, 2, %o0
639 1:
640         be              1f
641          nop
642
643         ldub            [%o1], %g2
644         stb             %g2, [%o0]
645 1:
646         retl
647          RETL_INSN
648
649 82:     /* ldd_std */
650         MOVE_BIGALIGNCHUNK(o1, o0, 0x00, o2, o3, o4, o5, g2, g3, g4, g5)
651         MOVE_BIGALIGNCHUNK(o1, o0, 0x20, o2, o3, o4, o5, g2, g3, g4, g5)
652         MOVE_BIGALIGNCHUNK(o1, o0, 0x40, o2, o3, o4, o5, g2, g3, g4, g5)
653         MOVE_BIGALIGNCHUNK(o1, o0, 0x60, o2, o3, o4, o5, g2, g3, g4, g5)
654         subcc           %g7, 128, %g7
655         add             %o1, 128, %o1
656         bne             82b
657          add            %o0, 128, %o0
658
659 #ifndef FASTER_ALIGNED
660
661         andcc           %g1, 0x70, %g7
662         be              80b
663          andcc          %g1, 8, %g0
664
665         sethi           %hi(80b), %o5
666         srl             %g7, 1, %o4
667         add             %g7, %o4, %o4
668         add             %o1, %g7, %o1
669         sub             %o5, %o4, %o5
670         jmpl            %o5 + %lo(80b), %g0
671          add            %o0, %g7, %o0
672
673 #else /* FASTER_ALIGNED */
674
675         andcc           %g1, 0x70, %g7
676         be              84f
677          andcc          %g1, 8, %g0
678
679         sethi           %hi(84f), %o5
680         add             %o1, %g7, %o1
681         sub             %o5, %g7, %o5
682         jmpl            %o5 + %lo(84f), %g0
683          add            %o0, %g7, %o0
684
685 83:     /* amemcpy_table */
686
687         MOVE_LASTALIGNCHUNK(o1, o0, 0x60, g2, g3, g4, g5)
688         MOVE_LASTALIGNCHUNK(o1, o0, 0x50, g2, g3, g4, g5)
689         MOVE_LASTALIGNCHUNK(o1, o0, 0x40, g2, g3, g4, g5)
690         MOVE_LASTALIGNCHUNK(o1, o0, 0x30, g2, g3, g4, g5)
691         MOVE_LASTALIGNCHUNK(o1, o0, 0x20, g2, g3, g4, g5)
692         MOVE_LASTALIGNCHUNK(o1, o0, 0x10, g2, g3, g4, g5)
693         MOVE_LASTALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5)
694
695 84:     /* amemcpy_table_end */
696         be              85f
697          andcc          %g1, 4, %g0
698
699         ldd             [%o1], %g2
700         add             %o0, 8, %o0
701         std             %g2, [%o0 - 0x08]
702         add             %o1, 8, %o1
703 85:     /* amemcpy_last7 */
704         be              1f
705          andcc          %g1, 2, %g0
706
707         ld              [%o1], %g2
708         add             %o1, 4, %o1
709         st              %g2, [%o0]
710         add             %o0, 4, %o0
711 1:
712         be              1f
713          andcc          %g1, 1, %g0
714
715         lduh            [%o1], %g2
716         add             %o1, 2, %o1
717         sth             %g2, [%o0]
718         add             %o0, 2, %o0
719 1:
720         be              1f
721          nop
722
723         ldub            [%o1], %g2
724         stb             %g2, [%o0]
725 1:
726         retl
727          RETL_INSN
728
729 #endif /* FASTER_ALIGNED */
730
731 86:     /* non_aligned */
732         cmp             %o2, 6
733         bleu            88f
734
735 #ifdef FASTER_NONALIGNED
736
737          cmp            %o2, 256
738         bcc             87f
739
740 #endif /* FASTER_NONALIGNED */
741
742          andcc          %o0, 3, %g0
743         be              61f
744          andcc          %o0, 1, %g0
745         be              60f
746          andcc          %o0, 2, %g0
747
748         ldub            [%o1], %g5
749         add             %o1, 1, %o1
750         stb             %g5, [%o0]
751         sub             %o2, 1, %o2
752         bne             61f
753          add            %o0, 1, %o0
754 60:
755         ldub            [%o1], %g3
756         add             %o1, 2, %o1
757         stb             %g3, [%o0]
758         sub             %o2, 2, %o2
759         ldub            [%o1 - 1], %g3
760         add             %o0, 2, %o0
761         stb             %g3, [%o0 - 1]
762 61:
763         and             %o1, 3, %g2
764         and             %o2, 0xc, %g3
765         and             %o1, -4, %o1
766         cmp             %g3, 4
767         sll             %g2, 3, %g4
768         mov             32, %g2
769         be              4f
770          sub            %g2, %g4, %g7
771         
772         blu             3f
773          cmp            %g3, 0x8
774
775         be              2f
776          srl            %o2, 2, %g3
777
778         ld              [%o1], %o3
779         add             %o0, -8, %o0
780         ld              [%o1 + 4], %o4
781         b               8f
782          add            %g3, 1, %g3
783 2:
784         ld              [%o1], %o4
785         add             %o0, -12, %o0
786         ld              [%o1 + 4], %o5
787         add             %g3, 2, %g3
788         b               9f
789          add            %o1, -4, %o1
790 3:
791         ld              [%o1], %g1
792         add             %o0, -4, %o0
793         ld              [%o1 + 4], %o3
794         srl             %o2, 2, %g3
795         b               7f
796          add            %o1, 4, %o1
797 4:
798         ld              [%o1], %o5
799         cmp             %o2, 7
800         ld              [%o1 + 4], %g1
801         srl             %o2, 2, %g3
802         bleu            10f
803          add            %o1, 8, %o1
804
805         ld              [%o1], %o3
806         add             %g3, -1, %g3
807 5:
808         sll             %o5, %g4, %g2
809         srl             %g1, %g7, %g5
810         or              %g2, %g5, %g2
811         st              %g2, [%o0]
812 7:
813         ld              [%o1 + 4], %o4
814         sll             %g1, %g4, %g2
815         srl             %o3, %g7, %g5
816         or              %g2, %g5, %g2
817         st              %g2, [%o0 + 4]
818 8:
819         ld              [%o1 + 8], %o5
820         sll             %o3, %g4, %g2
821         srl             %o4, %g7, %g5
822         or              %g2, %g5, %g2
823         st              %g2, [%o0 + 8]
824 9:
825         ld              [%o1 + 12], %g1
826         sll             %o4, %g4, %g2
827         srl             %o5, %g7, %g5
828         addcc           %g3, -4, %g3
829         or              %g2, %g5, %g2
830         add             %o1, 16, %o1
831         st              %g2, [%o0 + 12]
832         add             %o0, 16, %o0
833         bne,a           5b
834          ld             [%o1], %o3
835 10:
836         sll             %o5, %g4, %g2
837         srl             %g1, %g7, %g5
838         srl             %g7, 3, %g3
839         or              %g2, %g5, %g2
840         sub             %o1, %g3, %o1
841         andcc           %o2, 2, %g0
842         st              %g2, [%o0]
843         be              1f
844          andcc          %o2, 1, %g0
845
846         ldub            [%o1], %g2
847         add             %o1, 2, %o1
848         stb             %g2, [%o0 + 4]
849         add             %o0, 2, %o0
850         ldub            [%o1 - 1], %g2
851         stb             %g2, [%o0 + 3]
852 1:
853         be              1f
854          nop
855         ldub            [%o1], %g2
856         stb             %g2, [%o0 + 4]
857 1:
858         retl
859          RETL_INSN
860
861 #ifdef FASTER_NONALIGNED
862
863 87:     /* faster_nonaligned */
864
865         andcc           %o1, 3, %g0
866         be              3f
867          andcc          %o1, 1, %g0
868
869         be              4f
870          andcc          %o1, 2, %g0
871
872         ldub            [%o1], %g2
873         add             %o1, 1, %o1
874         stb             %g2, [%o0]
875         sub             %o2, 1, %o2
876         bne             3f
877          add            %o0, 1, %o0
878 4:
879         lduh            [%o1], %g2
880         add             %o1, 2, %o1
881         srl             %g2, 8, %g3
882         sub             %o2, 2, %o2
883         stb             %g3, [%o0]
884         add             %o0, 2, %o0
885         stb             %g2, [%o0 - 1]
886 3:
887          andcc          %o1, 4, %g0
888
889         bne             2f
890          cmp            %o5, 1
891
892         ld              [%o1], %o4
893         srl             %o4, 24, %g2
894         stb             %g2, [%o0]
895         srl             %o4, 16, %g3
896         stb             %g3, [%o0 + 1]
897         srl             %o4, 8, %g2
898         stb             %g2, [%o0 + 2]
899         sub             %o2, 4, %o2
900         stb             %o4, [%o0 + 3]
901         add             %o1, 4, %o1
902         add             %o0, 4, %o0
903 2:
904         be              33f
905          cmp            %o5, 2
906         be              32f
907          sub            %o2, 4, %o2
908 31:
909         ld              [%o1], %g2
910         add             %o1, 4, %o1
911         srl             %g2, 24, %g3
912         and             %o0, 7, %g5
913         stb             %g3, [%o0]
914         cmp             %g5, 7
915         sll             %g2, 8, %g1
916         add             %o0, 4, %o0
917         be              41f
918          and            %o2, 0xffffffc0, %o3
919         ld              [%o0 - 7], %o4
920 4:
921         SMOVE_CHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
922         SMOVE_CHUNK(o1, o0, 0x10, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
923         SMOVE_CHUNK(o1, o0, 0x20, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
924         SMOVE_CHUNK(o1, o0, 0x30, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
925         subcc           %o3, 64, %o3
926         add             %o1, 64, %o1
927         bne             4b
928          add            %o0, 64, %o0
929
930         andcc           %o2, 0x30, %o3
931         be,a            1f
932          srl            %g1, 16, %g2
933 4:
934         SMOVE_CHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
935         subcc           %o3, 16, %o3
936         add             %o1, 16, %o1
937         bne             4b
938          add            %o0, 16, %o0
939
940         srl             %g1, 16, %g2
941 1:
942         st              %o4, [%o0 - 7]
943         sth             %g2, [%o0 - 3]
944         srl             %g1, 8, %g4
945         b               88f
946          stb            %g4, [%o0 - 1]
947 32:
948         ld              [%o1], %g2
949         add             %o1, 4, %o1
950         srl             %g2, 16, %g3
951         and             %o0, 7, %g5
952         sth             %g3, [%o0]
953         cmp             %g5, 6
954         sll             %g2, 16, %g1
955         add             %o0, 4, %o0
956         be              42f
957          and            %o2, 0xffffffc0, %o3
958         ld              [%o0 - 6], %o4
959 4:
960         SMOVE_CHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
961         SMOVE_CHUNK(o1, o0, 0x10, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
962         SMOVE_CHUNK(o1, o0, 0x20, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
963         SMOVE_CHUNK(o1, o0, 0x30, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
964         subcc           %o3, 64, %o3
965         add             %o1, 64, %o1
966         bne             4b
967          add            %o0, 64, %o0
968
969         andcc           %o2, 0x30, %o3
970         be,a            1f
971          srl            %g1, 16, %g2
972 4:
973         SMOVE_CHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
974         subcc           %o3, 16, %o3
975         add             %o1, 16, %o1
976         bne             4b
977          add            %o0, 16, %o0
978
979         srl             %g1, 16, %g2
980 1:
981         st              %o4, [%o0 - 6]
982         b               88f
983          sth            %g2, [%o0 - 2]
984 33:
985         ld              [%o1], %g2
986         sub             %o2, 4, %o2
987         srl             %g2, 24, %g3
988         and             %o0, 7, %g5
989         stb             %g3, [%o0]
990         cmp             %g5, 5
991         srl             %g2, 8, %g4
992         sll             %g2, 24, %g1
993         sth             %g4, [%o0 + 1]
994         add             %o1, 4, %o1
995         be              43f
996          and            %o2, 0xffffffc0, %o3
997
998         ld              [%o0 - 1], %o4
999         add             %o0, 4, %o0
1000 4:
1001         SMOVE_CHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, -1)
1002         SMOVE_CHUNK(o1, o0, 0x10, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, -1)
1003         SMOVE_CHUNK(o1, o0, 0x20, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, -1)
1004         SMOVE_CHUNK(o1, o0, 0x30, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, -1)
1005         subcc           %o3, 64, %o3
1006         add             %o1, 64, %o1
1007         bne             4b
1008          add            %o0, 64, %o0
1009
1010         andcc           %o2, 0x30, %o3
1011         be,a            1f
1012          srl            %g1, 24, %g2
1013 4:
1014         SMOVE_CHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, -1)
1015         subcc           %o3, 16, %o3
1016         add             %o1, 16, %o1
1017         bne             4b
1018          add            %o0, 16, %o0
1019
1020         srl             %g1, 24, %g2
1021 1:
1022         st              %o4, [%o0 - 5]
1023         b               88f
1024          stb            %g2, [%o0 - 1]
1025 41:
1026         SMOVE_ALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
1027         SMOVE_ALIGNCHUNK(o1, o0, 0x10, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
1028         SMOVE_ALIGNCHUNK(o1, o0, 0x20, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
1029         SMOVE_ALIGNCHUNK(o1, o0, 0x30, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
1030         subcc           %o3, 64, %o3
1031         add             %o1, 64, %o1
1032         bne             41b
1033          add            %o0, 64, %o0
1034          
1035         andcc           %o2, 0x30, %o3
1036         be,a            1f
1037          srl            %g1, 16, %g2
1038 4:
1039         SMOVE_ALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 8, 24, -3)
1040         subcc           %o3, 16, %o3
1041         add             %o1, 16, %o1
1042         bne             4b
1043          add            %o0, 16, %o0
1044
1045         srl             %g1, 16, %g2
1046 1:
1047         sth             %g2, [%o0 - 3]
1048         srl             %g1, 8, %g4
1049         b               88f
1050          stb            %g4, [%o0 - 1]
1051 43:
1052         SMOVE_ALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, 3)
1053         SMOVE_ALIGNCHUNK(o1, o0, 0x10, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, 3)
1054         SMOVE_ALIGNCHUNK(o1, o0, 0x20, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, 3)
1055         SMOVE_ALIGNCHUNK(o1, o0, 0x30, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, 3)
1056         subcc           %o3, 64, %o3
1057         add             %o1, 64, %o1
1058         bne             43b
1059          add            %o0, 64, %o0
1060
1061         andcc           %o2, 0x30, %o3
1062         be,a            1f
1063          srl            %g1, 24, %g2
1064 4:
1065         SMOVE_ALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 24, 8, 3)
1066         subcc           %o3, 16, %o3
1067         add             %o1, 16, %o1
1068         bne             4b
1069          add            %o0, 16, %o0
1070
1071         srl             %g1, 24, %g2
1072 1:
1073         stb             %g2, [%o0 + 3]
1074         b               88f
1075          add            %o0, 4, %o0
1076 42:
1077         SMOVE_ALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
1078         SMOVE_ALIGNCHUNK(o1, o0, 0x10, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
1079         SMOVE_ALIGNCHUNK(o1, o0, 0x20, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
1080         SMOVE_ALIGNCHUNK(o1, o0, 0x30, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
1081         subcc           %o3, 64, %o3
1082         add             %o1, 64, %o1
1083         bne             42b
1084          add            %o0, 64, %o0
1085          
1086         andcc           %o2, 0x30, %o3
1087         be,a            1f
1088          srl            %g1, 16, %g2
1089 4:
1090         SMOVE_ALIGNCHUNK(o1, o0, 0x00, g2, g3, g4, g5, o4, o5, g7, g1, 16, 16, -2)
1091         subcc           %o3, 16, %o3
1092         add             %o1, 16, %o1
1093         bne             4b
1094          add            %o0, 16, %o0
1095
1096         srl             %g1, 16, %g2
1097 1:
1098         sth             %g2, [%o0 - 2]
1099
1100         /* Fall through */
1101          
1102 #endif /* FASTER_NONALIGNED */
1103
1104 88:     /* short_end */
1105
1106         and             %o2, 0xe, %o3
1107 20:
1108         sethi           %hi(89f), %o5
1109         sll             %o3, 3, %o4
1110         add             %o0, %o3, %o0
1111         sub             %o5, %o4, %o5
1112         add             %o1, %o3, %o1
1113         jmpl            %o5 + %lo(89f), %g0
1114          andcc          %o2, 1, %g0
1115
1116         MOVE_SHORTCHUNK(o1, o0, 0x0c, g2, g3)
1117         MOVE_SHORTCHUNK(o1, o0, 0x0a, g2, g3)
1118         MOVE_SHORTCHUNK(o1, o0, 0x08, g2, g3)
1119         MOVE_SHORTCHUNK(o1, o0, 0x06, g2, g3)
1120         MOVE_SHORTCHUNK(o1, o0, 0x04, g2, g3)
1121         MOVE_SHORTCHUNK(o1, o0, 0x02, g2, g3)
1122         MOVE_SHORTCHUNK(o1, o0, 0x00, g2, g3)
1123
1124 89:     /* short_table_end */
1125
1126         be              1f
1127          nop
1128
1129         ldub            [%o1], %g2
1130         stb             %g2, [%o0]
1131 1:
1132         retl
1133          RETL_INSN
1134
1135 90:     /* short_aligned_end */
1136         bne             88b
1137          andcc          %o2, 8, %g0
1138
1139         be              1f
1140          andcc          %o2, 4, %g0
1141
1142         ld              [%o1 + 0x00], %g2
1143         ld              [%o1 + 0x04], %g3
1144         add             %o1, 8, %o1
1145         st              %g2, [%o0 + 0x00]
1146         st              %g3, [%o0 + 0x04]
1147         add             %o0, 8, %o0
1148 1:
1149         b               81b
1150          mov            %o2, %g1