Merge branch 'devel' of master.kernel.org:/home/rmk/linux-2.6-arm
[linux-2.6] / arch / i386 / lib / semaphore.S
1 /*
2  * i386 semaphore implementation.
3  *
4  * (C) Copyright 1999 Linus Torvalds
5  *
6  * Portions Copyright 1999 Red Hat, Inc.
7  *
8  *      This program is free software; you can redistribute it and/or
9  *      modify it under the terms of the GNU General Public License
10  *      as published by the Free Software Foundation; either version
11  *      2 of the License, or (at your option) any later version.
12  *
13  * rw semaphores implemented November 1999 by Benjamin LaHaise <bcrl@kvack.org>
14  */
15
16 #include <linux/config.h>
17 #include <linux/linkage.h>
18 #include <asm/rwlock.h>
19 #include <asm/alternative-asm.i>
20 #include <asm/frame.i>
21 #include <asm/dwarf2.h>
22
23 /*
24  * The semaphore operations have a special calling sequence that
25  * allow us to do a simpler in-line version of them. These routines
26  * need to convert that sequence back into the C sequence when
27  * there is contention on the semaphore.
28  *
29  * %eax contains the semaphore pointer on entry. Save the C-clobbered
30  * registers (%eax, %edx and %ecx) except %eax whish is either a return
31  * value or just clobbered..
32  */
33         .section .sched.text
34 ENTRY(__down_failed)
35         CFI_STARTPROC
36         FRAME
37         pushl %edx
38         CFI_ADJUST_CFA_OFFSET 4
39         CFI_REL_OFFSET edx,0
40         pushl %ecx
41         CFI_ADJUST_CFA_OFFSET 4
42         CFI_REL_OFFSET ecx,0
43         call __down
44         popl %ecx
45         CFI_ADJUST_CFA_OFFSET -4
46         CFI_RESTORE ecx
47         popl %edx
48         CFI_ADJUST_CFA_OFFSET -4
49         CFI_RESTORE edx
50         ENDFRAME
51         ret
52         CFI_ENDPROC
53         END(__down_failed)
54
55 ENTRY(__down_failed_interruptible)
56         CFI_STARTPROC
57         FRAME
58         pushl %edx
59         CFI_ADJUST_CFA_OFFSET 4
60         CFI_REL_OFFSET edx,0
61         pushl %ecx
62         CFI_ADJUST_CFA_OFFSET 4
63         CFI_REL_OFFSET ecx,0
64         call __down_interruptible
65         popl %ecx
66         CFI_ADJUST_CFA_OFFSET -4
67         CFI_RESTORE ecx
68         popl %edx
69         CFI_ADJUST_CFA_OFFSET -4
70         CFI_RESTORE edx
71         ENDFRAME
72         ret
73         CFI_ENDPROC
74         END(__down_failed_interruptible)
75
76 ENTRY(__down_failed_trylock)
77         CFI_STARTPROC
78         FRAME
79         pushl %edx
80         CFI_ADJUST_CFA_OFFSET 4
81         CFI_REL_OFFSET edx,0
82         pushl %ecx
83         CFI_ADJUST_CFA_OFFSET 4
84         CFI_REL_OFFSET ecx,0
85         call __down_trylock
86         popl %ecx
87         CFI_ADJUST_CFA_OFFSET -4
88         CFI_RESTORE ecx
89         popl %edx
90         CFI_ADJUST_CFA_OFFSET -4
91         CFI_RESTORE edx
92         ENDFRAME
93         ret
94         CFI_ENDPROC
95         END(__down_failed_trylock)
96
97 ENTRY(__up_wakeup)
98         CFI_STARTPROC
99         FRAME
100         pushl %edx
101         CFI_ADJUST_CFA_OFFSET 4
102         CFI_REL_OFFSET edx,0
103         pushl %ecx
104         CFI_ADJUST_CFA_OFFSET 4
105         CFI_REL_OFFSET ecx,0
106         call __up
107         popl %ecx
108         CFI_ADJUST_CFA_OFFSET -4
109         CFI_RESTORE ecx
110         popl %edx
111         CFI_ADJUST_CFA_OFFSET -4
112         CFI_RESTORE edx
113         ENDFRAME
114         ret
115         CFI_ENDPROC
116         END(__up_wakeup)
117
118 /*
119  * rw spinlock fallbacks
120  */
121 #ifdef CONFIG_SMP
122 ENTRY(__write_lock_failed)
123         CFI_STARTPROC simple
124         FRAME
125 2:      LOCK_PREFIX
126         addl    $ RW_LOCK_BIAS,(%eax)
127 1:      rep; nop
128         cmpl    $ RW_LOCK_BIAS,(%eax)
129         jne     1b
130         LOCK_PREFIX
131         subl    $ RW_LOCK_BIAS,(%eax)
132         jnz     2b
133         ENDFRAME
134         ret
135         CFI_ENDPROC
136         END(__write_lock_failed)
137
138 ENTRY(__read_lock_failed)
139         CFI_STARTPROC
140         FRAME
141 2:      LOCK_PREFIX
142         incl    (%eax)
143 1:      rep; nop
144         cmpl    $1,(%eax)
145         js      1b
146         LOCK_PREFIX
147         decl    (%eax)
148         js      2b
149         ENDFRAME
150         ret
151         CFI_ENDPROC
152         END(__read_lock_failed)
153
154 #endif
155
156 /* Fix up special calling conventions */
157 ENTRY(call_rwsem_down_read_failed)
158         CFI_STARTPROC
159         push %ecx
160         CFI_ADJUST_CFA_OFFSET 4
161         CFI_REL_OFFSET ecx,0
162         push %edx
163         CFI_ADJUST_CFA_OFFSET 4
164         CFI_REL_OFFSET edx,0
165         call rwsem_down_read_failed
166         pop %edx
167         CFI_ADJUST_CFA_OFFSET -4
168         pop %ecx
169         CFI_ADJUST_CFA_OFFSET -4
170         ret
171         CFI_ENDPROC
172         END(call_rwsem_down_read_failed)
173
174 ENTRY(call_rwsem_down_write_failed)
175         CFI_STARTPROC
176         push %ecx
177         CFI_ADJUST_CFA_OFFSET 4
178         CFI_REL_OFFSET ecx,0
179         calll rwsem_down_write_failed
180         pop %ecx
181         CFI_ADJUST_CFA_OFFSET -4
182         ret
183         CFI_ENDPROC
184         END(call_rwsem_down_write_failed)
185
186 ENTRY(call_rwsem_wake)
187         CFI_STARTPROC
188         decw %dx    /* do nothing if still outstanding active readers */
189         jnz 1f
190         push %ecx
191         CFI_ADJUST_CFA_OFFSET 4
192         CFI_REL_OFFSET ecx,0
193         call rwsem_wake
194         pop %ecx
195         CFI_ADJUST_CFA_OFFSET -4
196 1:      ret
197         CFI_ENDPROC
198         END(call_rwsem_wake)
199
200 /* Fix up special calling conventions */
201 ENTRY(call_rwsem_downgrade_wake)
202         CFI_STARTPROC
203         push %ecx
204         CFI_ADJUST_CFA_OFFSET 4
205         CFI_REL_OFFSET ecx,0
206         push %edx
207         CFI_ADJUST_CFA_OFFSET 4
208         CFI_REL_OFFSET edx,0
209         call rwsem_downgrade_wake
210         pop %edx
211         CFI_ADJUST_CFA_OFFSET -4
212         pop %ecx
213         CFI_ADJUST_CFA_OFFSET -4
214         ret
215         CFI_ENDPROC
216         END(call_rwsem_downgrade_wake)
217