Merge branch 'for-linus' of git://git.kernel.org/pub/scm/linux/kernel/git/avi/kvm
[linux-2.6] / include / asm-powerpc / atomic.h
1 #ifndef _ASM_POWERPC_ATOMIC_H_
2 #define _ASM_POWERPC_ATOMIC_H_
3
4 /*
5  * PowerPC atomic operations
6  */
7
8 typedef struct { volatile int counter; } atomic_t;
9
10 #ifdef __KERNEL__
11 #include <linux/compiler.h>
12 #include <asm/synch.h>
13 #include <asm/asm-compat.h>
14 #include <asm/system.h>
15
16 #define ATOMIC_INIT(i)          { (i) }
17
18 #define atomic_read(v)          ((v)->counter)
19 #define atomic_set(v,i)         (((v)->counter) = (i))
20
21 static __inline__ void atomic_add(int a, atomic_t *v)
22 {
23         int t;
24
25         __asm__ __volatile__(
26 "1:     lwarx   %0,0,%3         # atomic_add\n\
27         add     %0,%2,%0\n"
28         PPC405_ERR77(0,%3)
29 "       stwcx.  %0,0,%3 \n\
30         bne-    1b"
31         : "=&r" (t), "+m" (v->counter)
32         : "r" (a), "r" (&v->counter)
33         : "cc");
34 }
35
36 static __inline__ int atomic_add_return(int a, atomic_t *v)
37 {
38         int t;
39
40         __asm__ __volatile__(
41         LWSYNC_ON_SMP
42 "1:     lwarx   %0,0,%2         # atomic_add_return\n\
43         add     %0,%1,%0\n"
44         PPC405_ERR77(0,%2)
45 "       stwcx.  %0,0,%2 \n\
46         bne-    1b"
47         ISYNC_ON_SMP
48         : "=&r" (t)
49         : "r" (a), "r" (&v->counter)
50         : "cc", "memory");
51
52         return t;
53 }
54
55 #define atomic_add_negative(a, v)       (atomic_add_return((a), (v)) < 0)
56
57 static __inline__ void atomic_sub(int a, atomic_t *v)
58 {
59         int t;
60
61         __asm__ __volatile__(
62 "1:     lwarx   %0,0,%3         # atomic_sub\n\
63         subf    %0,%2,%0\n"
64         PPC405_ERR77(0,%3)
65 "       stwcx.  %0,0,%3 \n\
66         bne-    1b"
67         : "=&r" (t), "+m" (v->counter)
68         : "r" (a), "r" (&v->counter)
69         : "cc");
70 }
71
72 static __inline__ int atomic_sub_return(int a, atomic_t *v)
73 {
74         int t;
75
76         __asm__ __volatile__(
77         LWSYNC_ON_SMP
78 "1:     lwarx   %0,0,%2         # atomic_sub_return\n\
79         subf    %0,%1,%0\n"
80         PPC405_ERR77(0,%2)
81 "       stwcx.  %0,0,%2 \n\
82         bne-    1b"
83         ISYNC_ON_SMP
84         : "=&r" (t)
85         : "r" (a), "r" (&v->counter)
86         : "cc", "memory");
87
88         return t;
89 }
90
91 static __inline__ void atomic_inc(atomic_t *v)
92 {
93         int t;
94
95         __asm__ __volatile__(
96 "1:     lwarx   %0,0,%2         # atomic_inc\n\
97         addic   %0,%0,1\n"
98         PPC405_ERR77(0,%2)
99 "       stwcx.  %0,0,%2 \n\
100         bne-    1b"
101         : "=&r" (t), "+m" (v->counter)
102         : "r" (&v->counter)
103         : "cc");
104 }
105
106 static __inline__ int atomic_inc_return(atomic_t *v)
107 {
108         int t;
109
110         __asm__ __volatile__(
111         LWSYNC_ON_SMP
112 "1:     lwarx   %0,0,%1         # atomic_inc_return\n\
113         addic   %0,%0,1\n"
114         PPC405_ERR77(0,%1)
115 "       stwcx.  %0,0,%1 \n\
116         bne-    1b"
117         ISYNC_ON_SMP
118         : "=&r" (t)
119         : "r" (&v->counter)
120         : "cc", "memory");
121
122         return t;
123 }
124
125 /*
126  * atomic_inc_and_test - increment and test
127  * @v: pointer of type atomic_t
128  *
129  * Atomically increments @v by 1
130  * and returns true if the result is zero, or false for all
131  * other cases.
132  */
133 #define atomic_inc_and_test(v) (atomic_inc_return(v) == 0)
134
135 static __inline__ void atomic_dec(atomic_t *v)
136 {
137         int t;
138
139         __asm__ __volatile__(
140 "1:     lwarx   %0,0,%2         # atomic_dec\n\
141         addic   %0,%0,-1\n"
142         PPC405_ERR77(0,%2)\
143 "       stwcx.  %0,0,%2\n\
144         bne-    1b"
145         : "=&r" (t), "+m" (v->counter)
146         : "r" (&v->counter)
147         : "cc");
148 }
149
150 static __inline__ int atomic_dec_return(atomic_t *v)
151 {
152         int t;
153
154         __asm__ __volatile__(
155         LWSYNC_ON_SMP
156 "1:     lwarx   %0,0,%1         # atomic_dec_return\n\
157         addic   %0,%0,-1\n"
158         PPC405_ERR77(0,%1)
159 "       stwcx.  %0,0,%1\n\
160         bne-    1b"
161         ISYNC_ON_SMP
162         : "=&r" (t)
163         : "r" (&v->counter)
164         : "cc", "memory");
165
166         return t;
167 }
168
169 #define atomic_cmpxchg(v, o, n) (cmpxchg(&((v)->counter), (o), (n)))
170 #define atomic_xchg(v, new) (xchg(&((v)->counter), new))
171
172 /**
173  * atomic_add_unless - add unless the number is a given value
174  * @v: pointer of type atomic_t
175  * @a: the amount to add to v...
176  * @u: ...unless v is equal to u.
177  *
178  * Atomically adds @a to @v, so long as it was not @u.
179  * Returns non-zero if @v was not @u, and zero otherwise.
180  */
181 static __inline__ int atomic_add_unless(atomic_t *v, int a, int u)
182 {
183         int t;
184
185         __asm__ __volatile__ (
186         LWSYNC_ON_SMP
187 "1:     lwarx   %0,0,%1         # atomic_add_unless\n\
188         cmpw    0,%0,%3 \n\
189         beq-    2f \n\
190         add     %0,%2,%0 \n"
191         PPC405_ERR77(0,%2)
192 "       stwcx.  %0,0,%1 \n\
193         bne-    1b \n"
194         ISYNC_ON_SMP
195 "       subf    %0,%2,%0 \n\
196 2:"
197         : "=&r" (t)
198         : "r" (&v->counter), "r" (a), "r" (u)
199         : "cc", "memory");
200
201         return t != u;
202 }
203
204 #define atomic_inc_not_zero(v) atomic_add_unless((v), 1, 0)
205
206 #define atomic_sub_and_test(a, v)       (atomic_sub_return((a), (v)) == 0)
207 #define atomic_dec_and_test(v)          (atomic_dec_return((v)) == 0)
208
209 /*
210  * Atomically test *v and decrement if it is greater than 0.
211  * The function returns the old value of *v minus 1, even if
212  * the atomic variable, v, was not decremented.
213  */
214 static __inline__ int atomic_dec_if_positive(atomic_t *v)
215 {
216         int t;
217
218         __asm__ __volatile__(
219         LWSYNC_ON_SMP
220 "1:     lwarx   %0,0,%1         # atomic_dec_if_positive\n\
221         cmpwi   %0,1\n\
222         addi    %0,%0,-1\n\
223         blt-    2f\n"
224         PPC405_ERR77(0,%1)
225 "       stwcx.  %0,0,%1\n\
226         bne-    1b"
227         ISYNC_ON_SMP
228         "\n\
229 2:"     : "=&b" (t)
230         : "r" (&v->counter)
231         : "cc", "memory");
232
233         return t;
234 }
235
236 #define smp_mb__before_atomic_dec()     smp_mb()
237 #define smp_mb__after_atomic_dec()      smp_mb()
238 #define smp_mb__before_atomic_inc()     smp_mb()
239 #define smp_mb__after_atomic_inc()      smp_mb()
240
241 #ifdef __powerpc64__
242
243 typedef struct { volatile long counter; } atomic64_t;
244
245 #define ATOMIC64_INIT(i)        { (i) }
246
247 #define atomic64_read(v)        ((v)->counter)
248 #define atomic64_set(v,i)       (((v)->counter) = (i))
249
250 static __inline__ void atomic64_add(long a, atomic64_t *v)
251 {
252         long t;
253
254         __asm__ __volatile__(
255 "1:     ldarx   %0,0,%3         # atomic64_add\n\
256         add     %0,%2,%0\n\
257         stdcx.  %0,0,%3 \n\
258         bne-    1b"
259         : "=&r" (t), "+m" (v->counter)
260         : "r" (a), "r" (&v->counter)
261         : "cc");
262 }
263
264 static __inline__ long atomic64_add_return(long a, atomic64_t *v)
265 {
266         long t;
267
268         __asm__ __volatile__(
269         LWSYNC_ON_SMP
270 "1:     ldarx   %0,0,%2         # atomic64_add_return\n\
271         add     %0,%1,%0\n\
272         stdcx.  %0,0,%2 \n\
273         bne-    1b"
274         ISYNC_ON_SMP
275         : "=&r" (t)
276         : "r" (a), "r" (&v->counter)
277         : "cc", "memory");
278
279         return t;
280 }
281
282 #define atomic64_add_negative(a, v)     (atomic64_add_return((a), (v)) < 0)
283
284 static __inline__ void atomic64_sub(long a, atomic64_t *v)
285 {
286         long t;
287
288         __asm__ __volatile__(
289 "1:     ldarx   %0,0,%3         # atomic64_sub\n\
290         subf    %0,%2,%0\n\
291         stdcx.  %0,0,%3 \n\
292         bne-    1b"
293         : "=&r" (t), "+m" (v->counter)
294         : "r" (a), "r" (&v->counter)
295         : "cc");
296 }
297
298 static __inline__ long atomic64_sub_return(long a, atomic64_t *v)
299 {
300         long t;
301
302         __asm__ __volatile__(
303         LWSYNC_ON_SMP
304 "1:     ldarx   %0,0,%2         # atomic64_sub_return\n\
305         subf    %0,%1,%0\n\
306         stdcx.  %0,0,%2 \n\
307         bne-    1b"
308         ISYNC_ON_SMP
309         : "=&r" (t)
310         : "r" (a), "r" (&v->counter)
311         : "cc", "memory");
312
313         return t;
314 }
315
316 static __inline__ void atomic64_inc(atomic64_t *v)
317 {
318         long t;
319
320         __asm__ __volatile__(
321 "1:     ldarx   %0,0,%2         # atomic64_inc\n\
322         addic   %0,%0,1\n\
323         stdcx.  %0,0,%2 \n\
324         bne-    1b"
325         : "=&r" (t), "+m" (v->counter)
326         : "r" (&v->counter)
327         : "cc");
328 }
329
330 static __inline__ long atomic64_inc_return(atomic64_t *v)
331 {
332         long t;
333
334         __asm__ __volatile__(
335         LWSYNC_ON_SMP
336 "1:     ldarx   %0,0,%1         # atomic64_inc_return\n\
337         addic   %0,%0,1\n\
338         stdcx.  %0,0,%1 \n\
339         bne-    1b"
340         ISYNC_ON_SMP
341         : "=&r" (t)
342         : "r" (&v->counter)
343         : "cc", "memory");
344
345         return t;
346 }
347
348 /*
349  * atomic64_inc_and_test - increment and test
350  * @v: pointer of type atomic64_t
351  *
352  * Atomically increments @v by 1
353  * and returns true if the result is zero, or false for all
354  * other cases.
355  */
356 #define atomic64_inc_and_test(v) (atomic64_inc_return(v) == 0)
357
358 static __inline__ void atomic64_dec(atomic64_t *v)
359 {
360         long t;
361
362         __asm__ __volatile__(
363 "1:     ldarx   %0,0,%2         # atomic64_dec\n\
364         addic   %0,%0,-1\n\
365         stdcx.  %0,0,%2\n\
366         bne-    1b"
367         : "=&r" (t), "+m" (v->counter)
368         : "r" (&v->counter)
369         : "cc");
370 }
371
372 static __inline__ long atomic64_dec_return(atomic64_t *v)
373 {
374         long t;
375
376         __asm__ __volatile__(
377         LWSYNC_ON_SMP
378 "1:     ldarx   %0,0,%1         # atomic64_dec_return\n\
379         addic   %0,%0,-1\n\
380         stdcx.  %0,0,%1\n\
381         bne-    1b"
382         ISYNC_ON_SMP
383         : "=&r" (t)
384         : "r" (&v->counter)
385         : "cc", "memory");
386
387         return t;
388 }
389
390 #define atomic64_sub_and_test(a, v)     (atomic64_sub_return((a), (v)) == 0)
391 #define atomic64_dec_and_test(v)        (atomic64_dec_return((v)) == 0)
392
393 /*
394  * Atomically test *v and decrement if it is greater than 0.
395  * The function returns the old value of *v minus 1.
396  */
397 static __inline__ long atomic64_dec_if_positive(atomic64_t *v)
398 {
399         long t;
400
401         __asm__ __volatile__(
402         LWSYNC_ON_SMP
403 "1:     ldarx   %0,0,%1         # atomic64_dec_if_positive\n\
404         addic.  %0,%0,-1\n\
405         blt-    2f\n\
406         stdcx.  %0,0,%1\n\
407         bne-    1b"
408         ISYNC_ON_SMP
409         "\n\
410 2:"     : "=&r" (t)
411         : "r" (&v->counter)
412         : "cc", "memory");
413
414         return t;
415 }
416
417 #define atomic64_cmpxchg(v, o, n) (cmpxchg(&((v)->counter), (o), (n)))
418 #define atomic64_xchg(v, new) (xchg(&((v)->counter), new))
419
420 /**
421  * atomic64_add_unless - add unless the number is a given value
422  * @v: pointer of type atomic64_t
423  * @a: the amount to add to v...
424  * @u: ...unless v is equal to u.
425  *
426  * Atomically adds @a to @v, so long as it was not @u.
427  * Returns non-zero if @v was not @u, and zero otherwise.
428  */
429 static __inline__ int atomic64_add_unless(atomic64_t *v, long a, long u)
430 {
431         long t;
432
433         __asm__ __volatile__ (
434         LWSYNC_ON_SMP
435 "1:     ldarx   %0,0,%1         # atomic_add_unless\n\
436         cmpd    0,%0,%3 \n\
437         beq-    2f \n\
438         add     %0,%2,%0 \n"
439 "       stdcx.  %0,0,%1 \n\
440         bne-    1b \n"
441         ISYNC_ON_SMP
442 "       subf    %0,%2,%0 \n\
443 2:"
444         : "=&r" (t)
445         : "r" (&v->counter), "r" (a), "r" (u)
446         : "cc", "memory");
447
448         return t != u;
449 }
450
451 #define atomic64_inc_not_zero(v) atomic64_add_unless((v), 1, 0)
452
453 #endif /* __powerpc64__ */
454
455 #include <asm-generic/atomic.h>
456 #endif /* __KERNEL__ */
457 #endif /* _ASM_POWERPC_ATOMIC_H_ */