[POWERPC] spufs: optimize spu_run
[linux-2.6] / arch / powerpc / platforms / cell / spufs / context.c
1 /*
2  * SPU file system -- SPU context management
3  *
4  * (C) Copyright IBM Deutschland Entwicklung GmbH 2005
5  *
6  * Author: Arnd Bergmann <arndb@de.ibm.com>
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License as published by
10  * the Free Software Foundation; either version 2, or (at your option)
11  * any later version.
12  *
13  * This program is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU General Public License
19  * along with this program; if not, write to the Free Software
20  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
21  */
22
23 #include <linux/fs.h>
24 #include <linux/mm.h>
25 #include <linux/slab.h>
26 #include <asm/spu.h>
27 #include <asm/spu_csa.h>
28 #include "spufs.h"
29
30 struct spu_context *alloc_spu_context(struct spu_gang *gang)
31 {
32         struct spu_context *ctx;
33         ctx = kzalloc(sizeof *ctx, GFP_KERNEL);
34         if (!ctx)
35                 goto out;
36         /* Binding to physical processor deferred
37          * until spu_activate().
38          */
39         spu_init_csa(&ctx->csa);
40         if (!ctx->csa.lscsa) {
41                 goto out_free;
42         }
43         spin_lock_init(&ctx->mmio_lock);
44         kref_init(&ctx->kref);
45         mutex_init(&ctx->state_mutex);
46         init_MUTEX(&ctx->run_sema);
47         init_waitqueue_head(&ctx->ibox_wq);
48         init_waitqueue_head(&ctx->wbox_wq);
49         init_waitqueue_head(&ctx->stop_wq);
50         init_waitqueue_head(&ctx->mfc_wq);
51         ctx->state = SPU_STATE_SAVED;
52         ctx->ops = &spu_backing_ops;
53         ctx->owner = get_task_mm(current);
54         if (gang)
55                 spu_gang_add_ctx(gang, ctx);
56         ctx->prio = current->prio;
57         goto out;
58 out_free:
59         kfree(ctx);
60         ctx = NULL;
61 out:
62         return ctx;
63 }
64
65 void destroy_spu_context(struct kref *kref)
66 {
67         struct spu_context *ctx;
68         ctx = container_of(kref, struct spu_context, kref);
69         mutex_lock(&ctx->state_mutex);
70         spu_deactivate(ctx);
71         mutex_unlock(&ctx->state_mutex);
72         spu_fini_csa(&ctx->csa);
73         if (ctx->gang)
74                 spu_gang_remove_ctx(ctx->gang, ctx);
75         kfree(ctx);
76 }
77
78 struct spu_context * get_spu_context(struct spu_context *ctx)
79 {
80         kref_get(&ctx->kref);
81         return ctx;
82 }
83
84 int put_spu_context(struct spu_context *ctx)
85 {
86         return kref_put(&ctx->kref, &destroy_spu_context);
87 }
88
89 /* give up the mm reference when the context is about to be destroyed */
90 void spu_forget(struct spu_context *ctx)
91 {
92         struct mm_struct *mm;
93         spu_acquire_saved(ctx);
94         mm = ctx->owner;
95         ctx->owner = NULL;
96         mmput(mm);
97         spu_release(ctx);
98 }
99
100 void spu_unmap_mappings(struct spu_context *ctx)
101 {
102         if (ctx->local_store)
103                 unmap_mapping_range(ctx->local_store, 0, LS_SIZE, 1);
104         if (ctx->mfc)
105                 unmap_mapping_range(ctx->mfc, 0, 0x1000, 1);
106         if (ctx->cntl)
107                 unmap_mapping_range(ctx->cntl, 0, 0x1000, 1);
108         if (ctx->signal1)
109                 unmap_mapping_range(ctx->signal1, 0, PAGE_SIZE, 1);
110         if (ctx->signal2)
111                 unmap_mapping_range(ctx->signal2, 0, PAGE_SIZE, 1);
112         if (ctx->mss)
113                 unmap_mapping_range(ctx->mss, 0, 0x1000, 1);
114         if (ctx->psmap)
115                 unmap_mapping_range(ctx->psmap, 0, 0x20000, 1);
116 }
117
118 /**
119  * spu_acquire_exclusive - lock spu contex and protect against userspace access
120  * @ctx:        spu contex to lock
121  *
122  * Note:
123  *      Returns 0 and with the context locked on success
124  *      Returns negative error and with the context _unlocked_ on failure.
125  */
126 int spu_acquire_exclusive(struct spu_context *ctx)
127 {
128         int ret = -EINVAL;
129
130         spu_acquire(ctx);
131         /*
132          * Context is about to be freed, so we can't acquire it anymore.
133          */
134         if (!ctx->owner)
135                 goto out_unlock;
136
137         if (ctx->state == SPU_STATE_SAVED) {
138                 ret = spu_activate(ctx, 0);
139                 if (ret)
140                         goto out_unlock;
141         } else {
142                 /*
143                  * We need to exclude userspace access to the context.
144                  *
145                  * To protect against memory access we invalidate all ptes
146                  * and make sure the pagefault handlers block on the mutex.
147                  */
148                 spu_unmap_mappings(ctx);
149         }
150
151         return 0;
152
153  out_unlock:
154         spu_release(ctx);
155         return ret;
156 }
157
158 /**
159  * spu_acquire_runnable - lock spu contex and make sure it is in runnable state
160  * @ctx:        spu contex to lock
161  *
162  * Note:
163  *      Returns 0 and with the context locked on success
164  *      Returns negative error and with the context _unlocked_ on failure.
165  */
166 int spu_acquire_runnable(struct spu_context *ctx, unsigned long flags)
167 {
168         int ret = -EINVAL;
169
170         spu_acquire(ctx);
171         if (ctx->state == SPU_STATE_SAVED) {
172                 /*
173                  * Context is about to be freed, so we can't acquire it anymore.
174                  */
175                 if (!ctx->owner)
176                         goto out_unlock;
177                 ret = spu_activate(ctx, flags);
178                 if (ret)
179                         goto out_unlock;
180         }
181
182         return 0;
183
184  out_unlock:
185         spu_release(ctx);
186         return ret;
187 }
188
189 /**
190  * spu_acquire_saved - lock spu contex and make sure it is in saved state
191  * @ctx:        spu contex to lock
192  */
193 void spu_acquire_saved(struct spu_context *ctx)
194 {
195         spu_acquire(ctx);
196         if (ctx->state != SPU_STATE_SAVED)
197                 spu_deactivate(ctx);
198 }