Merge master.kernel.org:/home/rmk/linux-2.6-arm
[linux-2.6] / arch / i386 / crypto / aes-i586-asm.S
1 // -------------------------------------------------------------------------
2 // Copyright (c) 2001, Dr Brian Gladman <                 >, Worcester, UK.
3 // All rights reserved.
4 //
5 // LICENSE TERMS
6 //
7 // The free distribution and use of this software in both source and binary 
8 // form is allowed (with or without changes) provided that:
9 //
10 //   1. distributions of this source code include the above copyright 
11 //      notice, this list of conditions and the following disclaimer//
12 //
13 //   2. distributions in binary form include the above copyright
14 //      notice, this list of conditions and the following disclaimer
15 //      in the documentation and/or other associated materials//
16 //
17 //   3. the copyright holder's name is not used to endorse products 
18 //      built using this software without specific written permission.
19 //
20 //
21 // ALTERNATIVELY, provided that this notice is retained in full, this product
22 // may be distributed under the terms of the GNU General Public License (GPL),
23 // in which case the provisions of the GPL apply INSTEAD OF those given above.
24 //
25 // Copyright (c) 2004 Linus Torvalds <torvalds@osdl.org>
26 // Copyright (c) 2004 Red Hat, Inc., James Morris <jmorris@redhat.com>
27
28 // DISCLAIMER
29 //
30 // This software is provided 'as is' with no explicit or implied warranties
31 // in respect of its properties including, but not limited to, correctness 
32 // and fitness for purpose.
33 // -------------------------------------------------------------------------
34 // Issue Date: 29/07/2002
35
36 .file "aes-i586-asm.S"
37 .text
38
39 // aes_rval aes_enc_blk(const unsigned char in_blk[], unsigned char out_blk[], const aes_ctx cx[1])//
40 // aes_rval aes_dec_blk(const unsigned char in_blk[], unsigned char out_blk[], const aes_ctx cx[1])//
41         
42 #define tlen 1024   // length of each of 4 'xor' arrays (256 32-bit words)
43
44 // offsets to parameters with one register pushed onto stack
45
46 #define in_blk    8  // input byte array address parameter
47 #define out_blk  12  // output byte array address parameter
48 #define ctx      16  // AES context structure
49
50 // offsets in context structure
51
52 #define ekey     0   // encryption key schedule base address
53 #define nrnd   256   // number of rounds
54 #define dkey   260   // decryption key schedule base address
55
56 // register mapping for encrypt and decrypt subroutines
57
58 #define r0  eax
59 #define r1  ebx
60 #define r2  ecx
61 #define r3  edx
62 #define r4  esi
63 #define r5  edi
64
65 #define eaxl  al
66 #define eaxh  ah
67 #define ebxl  bl
68 #define ebxh  bh
69 #define ecxl  cl
70 #define ecxh  ch
71 #define edxl  dl
72 #define edxh  dh
73
74 #define _h(reg) reg##h
75 #define h(reg) _h(reg)
76
77 #define _l(reg) reg##l
78 #define l(reg) _l(reg)
79
80 // This macro takes a 32-bit word representing a column and uses
81 // each of its four bytes to index into four tables of 256 32-bit
82 // words to obtain values that are then xored into the appropriate
83 // output registers r0, r1, r4 or r5.  
84
85 // Parameters:
86 // table table base address
87 //   %1  out_state[0]
88 //   %2  out_state[1]
89 //   %3  out_state[2]
90 //   %4  out_state[3]
91 //   idx input register for the round (destroyed)
92 //   tmp scratch register for the round
93 // sched key schedule
94
95 #define do_col(table, a1,a2,a3,a4, idx, tmp)    \
96         movzx   %l(idx),%tmp;                   \
97         xor     table(,%tmp,4),%a1;             \
98         movzx   %h(idx),%tmp;                   \
99         shr     $16,%idx;                       \
100         xor     table+tlen(,%tmp,4),%a2;        \
101         movzx   %l(idx),%tmp;                   \
102         movzx   %h(idx),%idx;                   \
103         xor     table+2*tlen(,%tmp,4),%a3;      \
104         xor     table+3*tlen(,%idx,4),%a4;
105
106 // initialise output registers from the key schedule
107 // NB1: original value of a3 is in idx on exit
108 // NB2: original values of a1,a2,a4 aren't used
109 #define do_fcol(table, a1,a2,a3,a4, idx, tmp, sched) \
110         mov     0 sched,%a1;                    \
111         movzx   %l(idx),%tmp;                   \
112         mov     12 sched,%a2;                   \
113         xor     table(,%tmp,4),%a1;             \
114         mov     4 sched,%a4;                    \
115         movzx   %h(idx),%tmp;                   \
116         shr     $16,%idx;                       \
117         xor     table+tlen(,%tmp,4),%a2;        \
118         movzx   %l(idx),%tmp;                   \
119         movzx   %h(idx),%idx;                   \
120         xor     table+3*tlen(,%idx,4),%a4;      \
121         mov     %a3,%idx;                       \
122         mov     8 sched,%a3;                    \
123         xor     table+2*tlen(,%tmp,4),%a3;
124
125 // initialise output registers from the key schedule
126 // NB1: original value of a3 is in idx on exit
127 // NB2: original values of a1,a2,a4 aren't used
128 #define do_icol(table, a1,a2,a3,a4, idx, tmp, sched) \
129         mov     0 sched,%a1;                    \
130         movzx   %l(idx),%tmp;                   \
131         mov     4 sched,%a2;                    \
132         xor     table(,%tmp,4),%a1;             \
133         mov     12 sched,%a4;                   \
134         movzx   %h(idx),%tmp;                   \
135         shr     $16,%idx;                       \
136         xor     table+tlen(,%tmp,4),%a2;        \
137         movzx   %l(idx),%tmp;                   \
138         movzx   %h(idx),%idx;                   \
139         xor     table+3*tlen(,%idx,4),%a4;      \
140         mov     %a3,%idx;                       \
141         mov     8 sched,%a3;                    \
142         xor     table+2*tlen(,%tmp,4),%a3;
143
144
145 // original Gladman had conditional saves to MMX regs.
146 #define save(a1, a2)            \
147         mov     %a2,4*a1(%esp)
148
149 #define restore(a1, a2)         \
150         mov     4*a2(%esp),%a1
151
152 // These macros perform a forward encryption cycle. They are entered with
153 // the first previous round column values in r0,r1,r4,r5 and
154 // exit with the final values in the same registers, using stack
155 // for temporary storage.
156
157 // round column values
158 // on entry: r0,r1,r4,r5
159 // on exit:  r2,r1,r4,r5
160 #define fwd_rnd1(arg, table)                                            \
161         save   (0,r1);                                                  \
162         save   (1,r5);                                                  \
163                                                                         \
164         /* compute new column values */                                 \
165         do_fcol(table, r2,r5,r4,r1, r0,r3, arg);        /* idx=r0 */    \
166         do_col (table, r4,r1,r2,r5, r0,r3);             /* idx=r4 */    \
167         restore(r0,0);                                                  \
168         do_col (table, r1,r2,r5,r4, r0,r3);             /* idx=r1 */    \
169         restore(r0,1);                                                  \
170         do_col (table, r5,r4,r1,r2, r0,r3);             /* idx=r5 */
171
172 // round column values
173 // on entry: r2,r1,r4,r5
174 // on exit:  r0,r1,r4,r5
175 #define fwd_rnd2(arg, table)                                            \
176         save   (0,r1);                                                  \
177         save   (1,r5);                                                  \
178                                                                         \
179         /* compute new column values */                                 \
180         do_fcol(table, r0,r5,r4,r1, r2,r3, arg);        /* idx=r2 */    \
181         do_col (table, r4,r1,r0,r5, r2,r3);             /* idx=r4 */    \
182         restore(r2,0);                                                  \
183         do_col (table, r1,r0,r5,r4, r2,r3);             /* idx=r1 */    \
184         restore(r2,1);                                                  \
185         do_col (table, r5,r4,r1,r0, r2,r3);             /* idx=r5 */
186
187 // These macros performs an inverse encryption cycle. They are entered with
188 // the first previous round column values in r0,r1,r4,r5 and
189 // exit with the final values in the same registers, using stack
190 // for temporary storage
191
192 // round column values
193 // on entry: r0,r1,r4,r5
194 // on exit:  r2,r1,r4,r5
195 #define inv_rnd1(arg, table)                                            \
196         save    (0,r1);                                                 \
197         save    (1,r5);                                                 \
198                                                                         \
199         /* compute new column values */                                 \
200         do_icol(table, r2,r1,r4,r5, r0,r3, arg);        /* idx=r0 */    \
201         do_col (table, r4,r5,r2,r1, r0,r3);             /* idx=r4 */    \
202         restore(r0,0);                                                  \
203         do_col (table, r1,r4,r5,r2, r0,r3);             /* idx=r1 */    \
204         restore(r0,1);                                                  \
205         do_col (table, r5,r2,r1,r4, r0,r3);             /* idx=r5 */
206
207 // round column values
208 // on entry: r2,r1,r4,r5
209 // on exit:  r0,r1,r4,r5
210 #define inv_rnd2(arg, table)                                            \
211         save    (0,r1);                                                 \
212         save    (1,r5);                                                 \
213                                                                         \
214         /* compute new column values */                                 \
215         do_icol(table, r0,r1,r4,r5, r2,r3, arg);        /* idx=r2 */    \
216         do_col (table, r4,r5,r0,r1, r2,r3);             /* idx=r4 */    \
217         restore(r2,0);                                                  \
218         do_col (table, r1,r4,r5,r0, r2,r3);             /* idx=r1 */    \
219         restore(r2,1);                                                  \
220         do_col (table, r5,r0,r1,r4, r2,r3);             /* idx=r5 */
221
222 // AES (Rijndael) Encryption Subroutine
223
224 .global  aes_enc_blk
225
226 .extern  ft_tab
227 .extern  fl_tab
228
229 .align 4
230
231 aes_enc_blk:
232         push    %ebp
233         mov     ctx(%esp),%ebp      // pointer to context
234
235 // CAUTION: the order and the values used in these assigns 
236 // rely on the register mappings
237
238 1:      push    %ebx
239         mov     in_blk+4(%esp),%r2
240         push    %esi
241         mov     nrnd(%ebp),%r3   // number of rounds
242         push    %edi
243 #if ekey != 0
244         lea     ekey(%ebp),%ebp  // key pointer
245 #endif
246
247 // input four columns and xor in first round key
248
249         mov     (%r2),%r0
250         mov     4(%r2),%r1
251         mov     8(%r2),%r4
252         mov     12(%r2),%r5
253         xor     (%ebp),%r0
254         xor     4(%ebp),%r1
255         xor     8(%ebp),%r4
256         xor     12(%ebp),%r5
257
258         sub     $8,%esp           // space for register saves on stack
259         add     $16,%ebp          // increment to next round key
260         sub     $10,%r3          
261         je      4f              // 10 rounds for 128-bit key
262         add     $32,%ebp
263         sub     $2,%r3
264         je      3f              // 12 rounds for 128-bit key
265         add     $32,%ebp
266
267 2:      fwd_rnd1( -64(%ebp) ,ft_tab)    // 14 rounds for 128-bit key
268         fwd_rnd2( -48(%ebp) ,ft_tab)
269 3:      fwd_rnd1( -32(%ebp) ,ft_tab)    // 12 rounds for 128-bit key
270         fwd_rnd2( -16(%ebp) ,ft_tab)
271 4:      fwd_rnd1(    (%ebp) ,ft_tab)    // 10 rounds for 128-bit key
272         fwd_rnd2( +16(%ebp) ,ft_tab)
273         fwd_rnd1( +32(%ebp) ,ft_tab)
274         fwd_rnd2( +48(%ebp) ,ft_tab)
275         fwd_rnd1( +64(%ebp) ,ft_tab)
276         fwd_rnd2( +80(%ebp) ,ft_tab)
277         fwd_rnd1( +96(%ebp) ,ft_tab)
278         fwd_rnd2(+112(%ebp) ,ft_tab)
279         fwd_rnd1(+128(%ebp) ,ft_tab)
280         fwd_rnd2(+144(%ebp) ,fl_tab)    // last round uses a different table
281
282 // move final values to the output array.  CAUTION: the 
283 // order of these assigns rely on the register mappings
284
285         add     $8,%esp
286         mov     out_blk+12(%esp),%ebp
287         mov     %r5,12(%ebp)
288         pop     %edi
289         mov     %r4,8(%ebp)
290         pop     %esi
291         mov     %r1,4(%ebp)
292         pop     %ebx
293         mov     %r0,(%ebp)
294         pop     %ebp
295         mov     $1,%eax
296         ret
297
298 // AES (Rijndael) Decryption Subroutine
299
300 .global  aes_dec_blk
301
302 .extern  it_tab
303 .extern  il_tab
304
305 .align 4
306
307 aes_dec_blk:
308         push    %ebp
309         mov     ctx(%esp),%ebp       // pointer to context
310
311 // CAUTION: the order and the values used in these assigns 
312 // rely on the register mappings
313
314 1:      push    %ebx
315         mov     in_blk+4(%esp),%r2
316         push    %esi
317         mov     nrnd(%ebp),%r3   // number of rounds
318         push    %edi
319 #if dkey != 0
320         lea     dkey(%ebp),%ebp  // key pointer
321 #endif
322         mov     %r3,%r0
323         shl     $4,%r0
324         add     %r0,%ebp
325         
326 // input four columns and xor in first round key
327
328         mov     (%r2),%r0
329         mov     4(%r2),%r1
330         mov     8(%r2),%r4
331         mov     12(%r2),%r5
332         xor     (%ebp),%r0
333         xor     4(%ebp),%r1
334         xor     8(%ebp),%r4
335         xor     12(%ebp),%r5
336
337         sub     $8,%esp         // space for register saves on stack
338         sub     $16,%ebp        // increment to next round key
339         sub     $10,%r3          
340         je      4f              // 10 rounds for 128-bit key
341         sub     $32,%ebp
342         sub     $2,%r3
343         je      3f              // 12 rounds for 128-bit key
344         sub     $32,%ebp
345
346 2:      inv_rnd1( +64(%ebp), it_tab)    // 14 rounds for 128-bit key
347         inv_rnd2( +48(%ebp), it_tab)
348 3:      inv_rnd1( +32(%ebp), it_tab)    // 12 rounds for 128-bit key
349         inv_rnd2( +16(%ebp), it_tab)
350 4:      inv_rnd1(    (%ebp), it_tab)    // 10 rounds for 128-bit key
351         inv_rnd2( -16(%ebp), it_tab)
352         inv_rnd1( -32(%ebp), it_tab)
353         inv_rnd2( -48(%ebp), it_tab)
354         inv_rnd1( -64(%ebp), it_tab)
355         inv_rnd2( -80(%ebp), it_tab)
356         inv_rnd1( -96(%ebp), it_tab)
357         inv_rnd2(-112(%ebp), it_tab)
358         inv_rnd1(-128(%ebp), it_tab)
359         inv_rnd2(-144(%ebp), il_tab)    // last round uses a different table
360
361 // move final values to the output array.  CAUTION: the 
362 // order of these assigns rely on the register mappings
363
364         add     $8,%esp
365         mov     out_blk+12(%esp),%ebp
366         mov     %r5,12(%ebp)
367         pop     %edi
368         mov     %r4,8(%ebp)
369         pop     %esi
370         mov     %r1,4(%ebp)
371         pop     %ebx
372         mov     %r0,(%ebp)
373         pop     %ebp
374         mov     $1,%eax
375         ret
376