Merge commit 'origin/master' into next
[linux-2.6] / drivers / usb / gadget / pxa27x_udc.c
1 /*
2  * Handles the Intel 27x USB Device Controller (UDC)
3  *
4  * Inspired by original driver by Frank Becker, David Brownell, and others.
5  * Copyright (C) 2008 Robert Jarzmik
6  *
7  * This program is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License as published by
9  * the Free Software Foundation; either version 2 of the License, or
10  * (at your option) any later version.
11  *
12  * This program is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15  * GNU General Public License for more details.
16  *
17  * You should have received a copy of the GNU General Public License
18  * along with this program; if not, write to the Free Software
19  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
20  *
21  */
22 #include <linux/module.h>
23 #include <linux/kernel.h>
24 #include <linux/types.h>
25 #include <linux/errno.h>
26 #include <linux/platform_device.h>
27 #include <linux/delay.h>
28 #include <linux/list.h>
29 #include <linux/interrupt.h>
30 #include <linux/proc_fs.h>
31 #include <linux/clk.h>
32 #include <linux/irq.h>
33
34 #include <asm/byteorder.h>
35 #include <mach/hardware.h>
36
37 #include <linux/usb.h>
38 #include <linux/usb/ch9.h>
39 #include <linux/usb/gadget.h>
40 #include <mach/pxa2xx-regs.h> /* FIXME: for PSSR */
41 #include <mach/udc.h>
42
43 #include "pxa27x_udc.h"
44
45 /*
46  * This driver handles the USB Device Controller (UDC) in Intel's PXA 27x
47  * series processors.
48  *
49  * Such controller drivers work with a gadget driver.  The gadget driver
50  * returns descriptors, implements configuration and data protocols used
51  * by the host to interact with this device, and allocates endpoints to
52  * the different protocol interfaces.  The controller driver virtualizes
53  * usb hardware so that the gadget drivers will be more portable.
54  *
55  * This UDC hardware wants to implement a bit too much USB protocol. The
56  * biggest issues are:  that the endpoints have to be set up before the
57  * controller can be enabled (minor, and not uncommon); and each endpoint
58  * can only have one configuration, interface and alternative interface
59  * number (major, and very unusual). Once set up, these cannot be changed
60  * without a controller reset.
61  *
62  * The workaround is to setup all combinations necessary for the gadgets which
63  * will work with this driver. This is done in pxa_udc structure, statically.
64  * See pxa_udc, udc_usb_ep versus pxa_ep, and matching function find_pxa_ep.
65  * (You could modify this if needed.  Some drivers have a "fifo_mode" module
66  * parameter to facilitate such changes.)
67  *
68  * The combinations have been tested with these gadgets :
69  *  - zero gadget
70  *  - file storage gadget
71  *  - ether gadget
72  *
73  * The driver doesn't use DMA, only IO access and IRQ callbacks. No use is
74  * made of UDC's double buffering either. USB "On-The-Go" is not implemented.
75  *
76  * All the requests are handled the same way :
77  *  - the drivers tries to handle the request directly to the IO
78  *  - if the IO fifo is not big enough, the remaining is send/received in
79  *    interrupt handling.
80  */
81
82 #define DRIVER_VERSION  "2008-04-18"
83 #define DRIVER_DESC     "PXA 27x USB Device Controller driver"
84
85 static const char driver_name[] = "pxa27x_udc";
86 static struct pxa_udc *the_controller;
87
88 static void handle_ep(struct pxa_ep *ep);
89
90 /*
91  * Debug filesystem
92  */
93 #ifdef CONFIG_USB_GADGET_DEBUG_FS
94
95 #include <linux/debugfs.h>
96 #include <linux/uaccess.h>
97 #include <linux/seq_file.h>
98
99 static int state_dbg_show(struct seq_file *s, void *p)
100 {
101         struct pxa_udc *udc = s->private;
102         int pos = 0, ret;
103         u32 tmp;
104
105         ret = -ENODEV;
106         if (!udc->driver)
107                 goto out;
108
109         /* basic device status */
110         pos += seq_printf(s, DRIVER_DESC "\n"
111                          "%s version: %s\nGadget driver: %s\n",
112                          driver_name, DRIVER_VERSION,
113                          udc->driver ? udc->driver->driver.name : "(none)");
114
115         tmp = udc_readl(udc, UDCCR);
116         pos += seq_printf(s,
117                          "udccr=0x%0x(%s%s%s%s%s%s%s%s%s%s), "
118                          "con=%d,inter=%d,altinter=%d\n", tmp,
119                          (tmp & UDCCR_OEN) ? " oen":"",
120                          (tmp & UDCCR_AALTHNP) ? " aalthnp":"",
121                          (tmp & UDCCR_AHNP) ? " rem" : "",
122                          (tmp & UDCCR_BHNP) ? " rstir" : "",
123                          (tmp & UDCCR_DWRE) ? " dwre" : "",
124                          (tmp & UDCCR_SMAC) ? " smac" : "",
125                          (tmp & UDCCR_EMCE) ? " emce" : "",
126                          (tmp & UDCCR_UDR) ? " udr" : "",
127                          (tmp & UDCCR_UDA) ? " uda" : "",
128                          (tmp & UDCCR_UDE) ? " ude" : "",
129                          (tmp & UDCCR_ACN) >> UDCCR_ACN_S,
130                          (tmp & UDCCR_AIN) >> UDCCR_AIN_S,
131                          (tmp & UDCCR_AAISN) >> UDCCR_AAISN_S);
132         /* registers for device and ep0 */
133         pos += seq_printf(s, "udcicr0=0x%08x udcicr1=0x%08x\n",
134                         udc_readl(udc, UDCICR0), udc_readl(udc, UDCICR1));
135         pos += seq_printf(s, "udcisr0=0x%08x udcisr1=0x%08x\n",
136                         udc_readl(udc, UDCISR0), udc_readl(udc, UDCISR1));
137         pos += seq_printf(s, "udcfnr=%d\n", udc_readl(udc, UDCFNR));
138         pos += seq_printf(s, "irqs: reset=%lu, suspend=%lu, resume=%lu, "
139                         "reconfig=%lu\n",
140                         udc->stats.irqs_reset, udc->stats.irqs_suspend,
141                         udc->stats.irqs_resume, udc->stats.irqs_reconfig);
142
143         ret = 0;
144 out:
145         return ret;
146 }
147
148 static int queues_dbg_show(struct seq_file *s, void *p)
149 {
150         struct pxa_udc *udc = s->private;
151         struct pxa_ep *ep;
152         struct pxa27x_request *req;
153         int pos = 0, i, maxpkt, ret;
154
155         ret = -ENODEV;
156         if (!udc->driver)
157                 goto out;
158
159         /* dump endpoint queues */
160         for (i = 0; i < NR_PXA_ENDPOINTS; i++) {
161                 ep = &udc->pxa_ep[i];
162                 maxpkt = ep->fifo_size;
163                 pos += seq_printf(s,  "%-12s max_pkt=%d %s\n",
164                                 EPNAME(ep), maxpkt, "pio");
165
166                 if (list_empty(&ep->queue)) {
167                         pos += seq_printf(s, "\t(nothing queued)\n");
168                         continue;
169                 }
170
171                 list_for_each_entry(req, &ep->queue, queue) {
172                         pos += seq_printf(s,  "\treq %p len %d/%d buf %p\n",
173                                         &req->req, req->req.actual,
174                                         req->req.length, req->req.buf);
175                 }
176         }
177
178         ret = 0;
179 out:
180         return ret;
181 }
182
183 static int eps_dbg_show(struct seq_file *s, void *p)
184 {
185         struct pxa_udc *udc = s->private;
186         struct pxa_ep *ep;
187         int pos = 0, i, ret;
188         u32 tmp;
189
190         ret = -ENODEV;
191         if (!udc->driver)
192                 goto out;
193
194         ep = &udc->pxa_ep[0];
195         tmp = udc_ep_readl(ep, UDCCSR);
196         pos += seq_printf(s, "udccsr0=0x%03x(%s%s%s%s%s%s%s)\n", tmp,
197                          (tmp & UDCCSR0_SA) ? " sa" : "",
198                          (tmp & UDCCSR0_RNE) ? " rne" : "",
199                          (tmp & UDCCSR0_FST) ? " fst" : "",
200                          (tmp & UDCCSR0_SST) ? " sst" : "",
201                          (tmp & UDCCSR0_DME) ? " dme" : "",
202                          (tmp & UDCCSR0_IPR) ? " ipr" : "",
203                          (tmp & UDCCSR0_OPC) ? " opc" : "");
204         for (i = 0; i < NR_PXA_ENDPOINTS; i++) {
205                 ep = &udc->pxa_ep[i];
206                 tmp = i? udc_ep_readl(ep, UDCCR) : udc_readl(udc, UDCCR);
207                 pos += seq_printf(s, "%-12s: "
208                                 "IN %lu(%lu reqs), OUT %lu(%lu reqs), "
209                                 "irqs=%lu, udccr=0x%08x, udccsr=0x%03x, "
210                                 "udcbcr=%d\n",
211                                 EPNAME(ep),
212                                 ep->stats.in_bytes, ep->stats.in_ops,
213                                 ep->stats.out_bytes, ep->stats.out_ops,
214                                 ep->stats.irqs,
215                                 tmp, udc_ep_readl(ep, UDCCSR),
216                                 udc_ep_readl(ep, UDCBCR));
217         }
218
219         ret = 0;
220 out:
221         return ret;
222 }
223
224 static int eps_dbg_open(struct inode *inode, struct file *file)
225 {
226         return single_open(file, eps_dbg_show, inode->i_private);
227 }
228
229 static int queues_dbg_open(struct inode *inode, struct file *file)
230 {
231         return single_open(file, queues_dbg_show, inode->i_private);
232 }
233
234 static int state_dbg_open(struct inode *inode, struct file *file)
235 {
236         return single_open(file, state_dbg_show, inode->i_private);
237 }
238
239 static const struct file_operations state_dbg_fops = {
240         .owner          = THIS_MODULE,
241         .open           = state_dbg_open,
242         .llseek         = seq_lseek,
243         .read           = seq_read,
244         .release        = single_release,
245 };
246
247 static const struct file_operations queues_dbg_fops = {
248         .owner          = THIS_MODULE,
249         .open           = queues_dbg_open,
250         .llseek         = seq_lseek,
251         .read           = seq_read,
252         .release        = single_release,
253 };
254
255 static const struct file_operations eps_dbg_fops = {
256         .owner          = THIS_MODULE,
257         .open           = eps_dbg_open,
258         .llseek         = seq_lseek,
259         .read           = seq_read,
260         .release        = single_release,
261 };
262
263 static void pxa_init_debugfs(struct pxa_udc *udc)
264 {
265         struct dentry *root, *state, *queues, *eps;
266
267         root = debugfs_create_dir(udc->gadget.name, NULL);
268         if (IS_ERR(root) || !root)
269                 goto err_root;
270
271         state = debugfs_create_file("udcstate", 0400, root, udc,
272                         &state_dbg_fops);
273         if (!state)
274                 goto err_state;
275         queues = debugfs_create_file("queues", 0400, root, udc,
276                         &queues_dbg_fops);
277         if (!queues)
278                 goto err_queues;
279         eps = debugfs_create_file("epstate", 0400, root, udc,
280                         &eps_dbg_fops);
281         if (!queues)
282                 goto err_eps;
283
284         udc->debugfs_root = root;
285         udc->debugfs_state = state;
286         udc->debugfs_queues = queues;
287         udc->debugfs_eps = eps;
288         return;
289 err_eps:
290         debugfs_remove(eps);
291 err_queues:
292         debugfs_remove(queues);
293 err_state:
294         debugfs_remove(root);
295 err_root:
296         dev_err(udc->dev, "debugfs is not available\n");
297 }
298
299 static void pxa_cleanup_debugfs(struct pxa_udc *udc)
300 {
301         debugfs_remove(udc->debugfs_eps);
302         debugfs_remove(udc->debugfs_queues);
303         debugfs_remove(udc->debugfs_state);
304         debugfs_remove(udc->debugfs_root);
305         udc->debugfs_eps = NULL;
306         udc->debugfs_queues = NULL;
307         udc->debugfs_state = NULL;
308         udc->debugfs_root = NULL;
309 }
310
311 #else
312 static inline void pxa_init_debugfs(struct pxa_udc *udc)
313 {
314 }
315
316 static inline void pxa_cleanup_debugfs(struct pxa_udc *udc)
317 {
318 }
319 #endif
320
321 /**
322  * is_match_usb_pxa - check if usb_ep and pxa_ep match
323  * @udc_usb_ep: usb endpoint
324  * @ep: pxa endpoint
325  * @config: configuration required in pxa_ep
326  * @interface: interface required in pxa_ep
327  * @altsetting: altsetting required in pxa_ep
328  *
329  * Returns 1 if all criteria match between pxa and usb endpoint, 0 otherwise
330  */
331 static int is_match_usb_pxa(struct udc_usb_ep *udc_usb_ep, struct pxa_ep *ep,
332                 int config, int interface, int altsetting)
333 {
334         if (usb_endpoint_num(&udc_usb_ep->desc) != ep->addr)
335                 return 0;
336         if (usb_endpoint_dir_in(&udc_usb_ep->desc) != ep->dir_in)
337                 return 0;
338         if (usb_endpoint_type(&udc_usb_ep->desc) != ep->type)
339                 return 0;
340         if ((ep->config != config) || (ep->interface != interface)
341                         || (ep->alternate != altsetting))
342                 return 0;
343         return 1;
344 }
345
346 /**
347  * find_pxa_ep - find pxa_ep structure matching udc_usb_ep
348  * @udc: pxa udc
349  * @udc_usb_ep: udc_usb_ep structure
350  *
351  * Match udc_usb_ep and all pxa_ep available, to see if one matches.
352  * This is necessary because of the strong pxa hardware restriction requiring
353  * that once pxa endpoints are initialized, their configuration is freezed, and
354  * no change can be made to their address, direction, or in which configuration,
355  * interface or altsetting they are active ... which differs from more usual
356  * models which have endpoints be roughly just addressable fifos, and leave
357  * configuration events up to gadget drivers (like all control messages).
358  *
359  * Note that there is still a blurred point here :
360  *   - we rely on UDCCR register "active interface" and "active altsetting".
361  *     This is a nonsense in regard of USB spec, where multiple interfaces are
362  *     active at the same time.
363  *   - if we knew for sure that the pxa can handle multiple interface at the
364  *     same time, assuming Intel's Developer Guide is wrong, this function
365  *     should be reviewed, and a cache of couples (iface, altsetting) should
366  *     be kept in the pxa_udc structure. In this case this function would match
367  *     against the cache of couples instead of the "last altsetting" set up.
368  *
369  * Returns the matched pxa_ep structure or NULL if none found
370  */
371 static struct pxa_ep *find_pxa_ep(struct pxa_udc *udc,
372                 struct udc_usb_ep *udc_usb_ep)
373 {
374         int i;
375         struct pxa_ep *ep;
376         int cfg = udc->config;
377         int iface = udc->last_interface;
378         int alt = udc->last_alternate;
379
380         if (udc_usb_ep == &udc->udc_usb_ep[0])
381                 return &udc->pxa_ep[0];
382
383         for (i = 1; i < NR_PXA_ENDPOINTS; i++) {
384                 ep = &udc->pxa_ep[i];
385                 if (is_match_usb_pxa(udc_usb_ep, ep, cfg, iface, alt))
386                         return ep;
387         }
388         return NULL;
389 }
390
391 /**
392  * update_pxa_ep_matches - update pxa_ep cached values in all udc_usb_ep
393  * @udc: pxa udc
394  *
395  * Context: in_interrupt()
396  *
397  * Updates all pxa_ep fields in udc_usb_ep structures, if this field was
398  * previously set up (and is not NULL). The update is necessary is a
399  * configuration change or altsetting change was issued by the USB host.
400  */
401 static void update_pxa_ep_matches(struct pxa_udc *udc)
402 {
403         int i;
404         struct udc_usb_ep *udc_usb_ep;
405
406         for (i = 1; i < NR_USB_ENDPOINTS; i++) {
407                 udc_usb_ep = &udc->udc_usb_ep[i];
408                 if (udc_usb_ep->pxa_ep)
409                         udc_usb_ep->pxa_ep = find_pxa_ep(udc, udc_usb_ep);
410         }
411 }
412
413 /**
414  * pio_irq_enable - Enables irq generation for one endpoint
415  * @ep: udc endpoint
416  */
417 static void pio_irq_enable(struct pxa_ep *ep)
418 {
419         struct pxa_udc *udc = ep->dev;
420         int index = EPIDX(ep);
421         u32 udcicr0 = udc_readl(udc, UDCICR0);
422         u32 udcicr1 = udc_readl(udc, UDCICR1);
423
424         if (index < 16)
425                 udc_writel(udc, UDCICR0, udcicr0 | (3 << (index * 2)));
426         else
427                 udc_writel(udc, UDCICR1, udcicr1 | (3 << ((index - 16) * 2)));
428 }
429
430 /**
431  * pio_irq_disable - Disables irq generation for one endpoint
432  * @ep: udc endpoint
433  */
434 static void pio_irq_disable(struct pxa_ep *ep)
435 {
436         struct pxa_udc *udc = ep->dev;
437         int index = EPIDX(ep);
438         u32 udcicr0 = udc_readl(udc, UDCICR0);
439         u32 udcicr1 = udc_readl(udc, UDCICR1);
440
441         if (index < 16)
442                 udc_writel(udc, UDCICR0, udcicr0 & ~(3 << (index * 2)));
443         else
444                 udc_writel(udc, UDCICR1, udcicr1 & ~(3 << ((index - 16) * 2)));
445 }
446
447 /**
448  * udc_set_mask_UDCCR - set bits in UDCCR
449  * @udc: udc device
450  * @mask: bits to set in UDCCR
451  *
452  * Sets bits in UDCCR, leaving DME and FST bits as they were.
453  */
454 static inline void udc_set_mask_UDCCR(struct pxa_udc *udc, int mask)
455 {
456         u32 udccr = udc_readl(udc, UDCCR);
457         udc_writel(udc, UDCCR,
458                         (udccr & UDCCR_MASK_BITS) | (mask & UDCCR_MASK_BITS));
459 }
460
461 /**
462  * udc_clear_mask_UDCCR - clears bits in UDCCR
463  * @udc: udc device
464  * @mask: bit to clear in UDCCR
465  *
466  * Clears bits in UDCCR, leaving DME and FST bits as they were.
467  */
468 static inline void udc_clear_mask_UDCCR(struct pxa_udc *udc, int mask)
469 {
470         u32 udccr = udc_readl(udc, UDCCR);
471         udc_writel(udc, UDCCR,
472                         (udccr & UDCCR_MASK_BITS) & ~(mask & UDCCR_MASK_BITS));
473 }
474
475 /**
476  * ep_count_bytes_remain - get how many bytes in udc endpoint
477  * @ep: udc endpoint
478  *
479  * Returns number of bytes in OUT fifos. Broken for IN fifos (-EOPNOTSUPP)
480  */
481 static int ep_count_bytes_remain(struct pxa_ep *ep)
482 {
483         if (ep->dir_in)
484                 return -EOPNOTSUPP;
485         return udc_ep_readl(ep, UDCBCR) & 0x3ff;
486 }
487
488 /**
489  * ep_is_empty - checks if ep has byte ready for reading
490  * @ep: udc endpoint
491  *
492  * If endpoint is the control endpoint, checks if there are bytes in the
493  * control endpoint fifo. If endpoint is a data endpoint, checks if bytes
494  * are ready for reading on OUT endpoint.
495  *
496  * Returns 0 if ep not empty, 1 if ep empty, -EOPNOTSUPP if IN endpoint
497  */
498 static int ep_is_empty(struct pxa_ep *ep)
499 {
500         int ret;
501
502         if (!is_ep0(ep) && ep->dir_in)
503                 return -EOPNOTSUPP;
504         if (is_ep0(ep))
505                 ret = !(udc_ep_readl(ep, UDCCSR) & UDCCSR0_RNE);
506         else
507                 ret = !(udc_ep_readl(ep, UDCCSR) & UDCCSR_BNE);
508         return ret;
509 }
510
511 /**
512  * ep_is_full - checks if ep has place to write bytes
513  * @ep: udc endpoint
514  *
515  * If endpoint is not the control endpoint and is an IN endpoint, checks if
516  * there is place to write bytes into the endpoint.
517  *
518  * Returns 0 if ep not full, 1 if ep full, -EOPNOTSUPP if OUT endpoint
519  */
520 static int ep_is_full(struct pxa_ep *ep)
521 {
522         if (is_ep0(ep))
523                 return (udc_ep_readl(ep, UDCCSR) & UDCCSR0_IPR);
524         if (!ep->dir_in)
525                 return -EOPNOTSUPP;
526         return (!(udc_ep_readl(ep, UDCCSR) & UDCCSR_BNF));
527 }
528
529 /**
530  * epout_has_pkt - checks if OUT endpoint fifo has a packet available
531  * @ep: pxa endpoint
532  *
533  * Returns 1 if a complete packet is available, 0 if not, -EOPNOTSUPP for IN ep.
534  */
535 static int epout_has_pkt(struct pxa_ep *ep)
536 {
537         if (!is_ep0(ep) && ep->dir_in)
538                 return -EOPNOTSUPP;
539         if (is_ep0(ep))
540                 return (udc_ep_readl(ep, UDCCSR) & UDCCSR0_OPC);
541         return (udc_ep_readl(ep, UDCCSR) & UDCCSR_PC);
542 }
543
544 /**
545  * set_ep0state - Set ep0 automata state
546  * @dev: udc device
547  * @state: state
548  */
549 static void set_ep0state(struct pxa_udc *udc, int state)
550 {
551         struct pxa_ep *ep = &udc->pxa_ep[0];
552         char *old_stname = EP0_STNAME(udc);
553
554         udc->ep0state = state;
555         ep_dbg(ep, "state=%s->%s, udccsr0=0x%03x, udcbcr=%d\n", old_stname,
556                 EP0_STNAME(udc), udc_ep_readl(ep, UDCCSR),
557                 udc_ep_readl(ep, UDCBCR));
558 }
559
560 /**
561  * ep0_idle - Put control endpoint into idle state
562  * @dev: udc device
563  */
564 static void ep0_idle(struct pxa_udc *dev)
565 {
566         set_ep0state(dev, WAIT_FOR_SETUP);
567 }
568
569 /**
570  * inc_ep_stats_reqs - Update ep stats counts
571  * @ep: physical endpoint
572  * @req: usb request
573  * @is_in: ep direction (USB_DIR_IN or 0)
574  *
575  */
576 static void inc_ep_stats_reqs(struct pxa_ep *ep, int is_in)
577 {
578         if (is_in)
579                 ep->stats.in_ops++;
580         else
581                 ep->stats.out_ops++;
582 }
583
584 /**
585  * inc_ep_stats_bytes - Update ep stats counts
586  * @ep: physical endpoint
587  * @count: bytes transfered on endpoint
588  * @is_in: ep direction (USB_DIR_IN or 0)
589  */
590 static void inc_ep_stats_bytes(struct pxa_ep *ep, int count, int is_in)
591 {
592         if (is_in)
593                 ep->stats.in_bytes += count;
594         else
595                 ep->stats.out_bytes += count;
596 }
597
598 /**
599  * pxa_ep_setup - Sets up an usb physical endpoint
600  * @ep: pxa27x physical endpoint
601  *
602  * Find the physical pxa27x ep, and setup its UDCCR
603  */
604 static __init void pxa_ep_setup(struct pxa_ep *ep)
605 {
606         u32 new_udccr;
607
608         new_udccr = ((ep->config << UDCCONR_CN_S) & UDCCONR_CN)
609                 | ((ep->interface << UDCCONR_IN_S) & UDCCONR_IN)
610                 | ((ep->alternate << UDCCONR_AISN_S) & UDCCONR_AISN)
611                 | ((EPADDR(ep) << UDCCONR_EN_S) & UDCCONR_EN)
612                 | ((EPXFERTYPE(ep) << UDCCONR_ET_S) & UDCCONR_ET)
613                 | ((ep->dir_in) ? UDCCONR_ED : 0)
614                 | ((ep->fifo_size << UDCCONR_MPS_S) & UDCCONR_MPS)
615                 | UDCCONR_EE;
616
617         udc_ep_writel(ep, UDCCR, new_udccr);
618 }
619
620 /**
621  * pxa_eps_setup - Sets up all usb physical endpoints
622  * @dev: udc device
623  *
624  * Setup all pxa physical endpoints, except ep0
625  */
626 static __init void pxa_eps_setup(struct pxa_udc *dev)
627 {
628         unsigned int i;
629
630         dev_dbg(dev->dev, "%s: dev=%p\n", __func__, dev);
631
632         for (i = 1; i < NR_PXA_ENDPOINTS; i++)
633                 pxa_ep_setup(&dev->pxa_ep[i]);
634 }
635
636 /**
637  * pxa_ep_alloc_request - Allocate usb request
638  * @_ep: usb endpoint
639  * @gfp_flags:
640  *
641  * For the pxa27x, these can just wrap kmalloc/kfree.  gadget drivers
642  * must still pass correctly initialized endpoints, since other controller
643  * drivers may care about how it's currently set up (dma issues etc).
644   */
645 static struct usb_request *
646 pxa_ep_alloc_request(struct usb_ep *_ep, gfp_t gfp_flags)
647 {
648         struct pxa27x_request *req;
649
650         req = kzalloc(sizeof *req, gfp_flags);
651         if (!req)
652                 return NULL;
653
654         INIT_LIST_HEAD(&req->queue);
655         req->in_use = 0;
656         req->udc_usb_ep = container_of(_ep, struct udc_usb_ep, usb_ep);
657
658         return &req->req;
659 }
660
661 /**
662  * pxa_ep_free_request - Free usb request
663  * @_ep: usb endpoint
664  * @_req: usb request
665  *
666  * Wrapper around kfree to free _req
667  */
668 static void pxa_ep_free_request(struct usb_ep *_ep, struct usb_request *_req)
669 {
670         struct pxa27x_request *req;
671
672         req = container_of(_req, struct pxa27x_request, req);
673         WARN_ON(!list_empty(&req->queue));
674         kfree(req);
675 }
676
677 /**
678  * ep_add_request - add a request to the endpoint's queue
679  * @ep: usb endpoint
680  * @req: usb request
681  *
682  * Context: ep->lock held
683  *
684  * Queues the request in the endpoint's queue, and enables the interrupts
685  * on the endpoint.
686  */
687 static void ep_add_request(struct pxa_ep *ep, struct pxa27x_request *req)
688 {
689         if (unlikely(!req))
690                 return;
691         ep_vdbg(ep, "req:%p, lg=%d, udccsr=0x%03x\n", req,
692                 req->req.length, udc_ep_readl(ep, UDCCSR));
693
694         req->in_use = 1;
695         list_add_tail(&req->queue, &ep->queue);
696         pio_irq_enable(ep);
697 }
698
699 /**
700  * ep_del_request - removes a request from the endpoint's queue
701  * @ep: usb endpoint
702  * @req: usb request
703  *
704  * Context: ep->lock held
705  *
706  * Unqueue the request from the endpoint's queue. If there are no more requests
707  * on the endpoint, and if it's not the control endpoint, interrupts are
708  * disabled on the endpoint.
709  */
710 static void ep_del_request(struct pxa_ep *ep, struct pxa27x_request *req)
711 {
712         if (unlikely(!req))
713                 return;
714         ep_vdbg(ep, "req:%p, lg=%d, udccsr=0x%03x\n", req,
715                 req->req.length, udc_ep_readl(ep, UDCCSR));
716
717         list_del_init(&req->queue);
718         req->in_use = 0;
719         if (!is_ep0(ep) && list_empty(&ep->queue))
720                 pio_irq_disable(ep);
721 }
722
723 /**
724  * req_done - Complete an usb request
725  * @ep: pxa physical endpoint
726  * @req: pxa request
727  * @status: usb request status sent to gadget API
728  *
729  * Context: ep->lock held
730  *
731  * Retire a pxa27x usb request. Endpoint must be locked.
732  */
733 static void req_done(struct pxa_ep *ep, struct pxa27x_request *req, int status)
734 {
735         ep_del_request(ep, req);
736         if (likely(req->req.status == -EINPROGRESS))
737                 req->req.status = status;
738         else
739                 status = req->req.status;
740
741         if (status && status != -ESHUTDOWN)
742                 ep_dbg(ep, "complete req %p stat %d len %u/%u\n",
743                         &req->req, status,
744                         req->req.actual, req->req.length);
745
746         req->req.complete(&req->udc_usb_ep->usb_ep, &req->req);
747 }
748
749 /**
750  * ep_end_out_req - Ends control endpoint in request
751  * @ep: physical endpoint
752  * @req: pxa request
753  *
754  * Context: ep->lock held
755  *
756  * Ends endpoint in request (completes usb request).
757  */
758 static void ep_end_out_req(struct pxa_ep *ep, struct pxa27x_request *req)
759 {
760         inc_ep_stats_reqs(ep, !USB_DIR_IN);
761         req_done(ep, req, 0);
762 }
763
764 /**
765  * ep0_end_out_req - Ends control endpoint in request (ends data stage)
766  * @ep: physical endpoint
767  * @req: pxa request
768  *
769  * Context: ep->lock held
770  *
771  * Ends control endpoint in request (completes usb request), and puts
772  * control endpoint into idle state
773  */
774 static void ep0_end_out_req(struct pxa_ep *ep, struct pxa27x_request *req)
775 {
776         set_ep0state(ep->dev, OUT_STATUS_STAGE);
777         ep_end_out_req(ep, req);
778         ep0_idle(ep->dev);
779 }
780
781 /**
782  * ep_end_in_req - Ends endpoint out request
783  * @ep: physical endpoint
784  * @req: pxa request
785  *
786  * Context: ep->lock held
787  *
788  * Ends endpoint out request (completes usb request).
789  */
790 static void ep_end_in_req(struct pxa_ep *ep, struct pxa27x_request *req)
791 {
792         inc_ep_stats_reqs(ep, USB_DIR_IN);
793         req_done(ep, req, 0);
794 }
795
796 /**
797  * ep0_end_in_req - Ends control endpoint out request (ends data stage)
798  * @ep: physical endpoint
799  * @req: pxa request
800  *
801  * Context: ep->lock held
802  *
803  * Ends control endpoint out request (completes usb request), and puts
804  * control endpoint into status state
805  */
806 static void ep0_end_in_req(struct pxa_ep *ep, struct pxa27x_request *req)
807 {
808         struct pxa_udc *udc = ep->dev;
809
810         set_ep0state(udc, IN_STATUS_STAGE);
811         ep_end_in_req(ep, req);
812 }
813
814 /**
815  * nuke - Dequeue all requests
816  * @ep: pxa endpoint
817  * @status: usb request status
818  *
819  * Context: ep->lock held
820  *
821  * Dequeues all requests on an endpoint. As a side effect, interrupts will be
822  * disabled on that endpoint (because no more requests).
823  */
824 static void nuke(struct pxa_ep *ep, int status)
825 {
826         struct pxa27x_request *req;
827
828         while (!list_empty(&ep->queue)) {
829                 req = list_entry(ep->queue.next, struct pxa27x_request, queue);
830                 req_done(ep, req, status);
831         }
832 }
833
834 /**
835  * read_packet - transfer 1 packet from an OUT endpoint into request
836  * @ep: pxa physical endpoint
837  * @req: usb request
838  *
839  * Takes bytes from OUT endpoint and transfers them info the usb request.
840  * If there is less space in request than bytes received in OUT endpoint,
841  * bytes are left in the OUT endpoint.
842  *
843  * Returns how many bytes were actually transfered
844  */
845 static int read_packet(struct pxa_ep *ep, struct pxa27x_request *req)
846 {
847         u32 *buf;
848         int bytes_ep, bufferspace, count, i;
849
850         bytes_ep = ep_count_bytes_remain(ep);
851         bufferspace = req->req.length - req->req.actual;
852
853         buf = (u32 *)(req->req.buf + req->req.actual);
854         prefetchw(buf);
855
856         if (likely(!ep_is_empty(ep)))
857                 count = min(bytes_ep, bufferspace);
858         else /* zlp */
859                 count = 0;
860
861         for (i = count; i > 0; i -= 4)
862                 *buf++ = udc_ep_readl(ep, UDCDR);
863         req->req.actual += count;
864
865         udc_ep_writel(ep, UDCCSR, UDCCSR_PC);
866
867         return count;
868 }
869
870 /**
871  * write_packet - transfer 1 packet from request into an IN endpoint
872  * @ep: pxa physical endpoint
873  * @req: usb request
874  * @max: max bytes that fit into endpoint
875  *
876  * Takes bytes from usb request, and transfers them into the physical
877  * endpoint. If there are no bytes to transfer, doesn't write anything
878  * to physical endpoint.
879  *
880  * Returns how many bytes were actually transfered.
881  */
882 static int write_packet(struct pxa_ep *ep, struct pxa27x_request *req,
883                         unsigned int max)
884 {
885         int length, count, remain, i;
886         u32 *buf;
887         u8 *buf_8;
888
889         buf = (u32 *)(req->req.buf + req->req.actual);
890         prefetch(buf);
891
892         length = min(req->req.length - req->req.actual, max);
893         req->req.actual += length;
894
895         remain = length & 0x3;
896         count = length & ~(0x3);
897         for (i = count; i > 0 ; i -= 4)
898                 udc_ep_writel(ep, UDCDR, *buf++);
899
900         buf_8 = (u8 *)buf;
901         for (i = remain; i > 0; i--)
902                 udc_ep_writeb(ep, UDCDR, *buf_8++);
903
904         ep_vdbg(ep, "length=%d+%d, udccsr=0x%03x\n", count, remain,
905                 udc_ep_readl(ep, UDCCSR));
906
907         return length;
908 }
909
910 /**
911  * read_fifo - Transfer packets from OUT endpoint into usb request
912  * @ep: pxa physical endpoint
913  * @req: usb request
914  *
915  * Context: callable when in_interrupt()
916  *
917  * Unload as many packets as possible from the fifo we use for usb OUT
918  * transfers and put them into the request. Caller should have made sure
919  * there's at least one packet ready.
920  * Doesn't complete the request, that's the caller's job
921  *
922  * Returns 1 if the request completed, 0 otherwise
923  */
924 static int read_fifo(struct pxa_ep *ep, struct pxa27x_request *req)
925 {
926         int count, is_short, completed = 0;
927
928         while (epout_has_pkt(ep)) {
929                 count = read_packet(ep, req);
930                 inc_ep_stats_bytes(ep, count, !USB_DIR_IN);
931
932                 is_short = (count < ep->fifo_size);
933                 ep_dbg(ep, "read udccsr:%03x, count:%d bytes%s req %p %d/%d\n",
934                         udc_ep_readl(ep, UDCCSR), count, is_short ? "/S" : "",
935                         &req->req, req->req.actual, req->req.length);
936
937                 /* completion */
938                 if (is_short || req->req.actual == req->req.length) {
939                         completed = 1;
940                         break;
941                 }
942                 /* finished that packet.  the next one may be waiting... */
943         }
944         return completed;
945 }
946
947 /**
948  * write_fifo - transfer packets from usb request into an IN endpoint
949  * @ep: pxa physical endpoint
950  * @req: pxa usb request
951  *
952  * Write to an IN endpoint fifo, as many packets as possible.
953  * irqs will use this to write the rest later.
954  * caller guarantees at least one packet buffer is ready (or a zlp).
955  * Doesn't complete the request, that's the caller's job
956  *
957  * Returns 1 if request fully transfered, 0 if partial transfer
958  */
959 static int write_fifo(struct pxa_ep *ep, struct pxa27x_request *req)
960 {
961         unsigned max;
962         int count, is_short, is_last = 0, completed = 0, totcount = 0;
963         u32 udccsr;
964
965         max = ep->fifo_size;
966         do {
967                 is_short = 0;
968
969                 udccsr = udc_ep_readl(ep, UDCCSR);
970                 if (udccsr & UDCCSR_PC) {
971                         ep_vdbg(ep, "Clearing Transmit Complete, udccsr=%x\n",
972                                 udccsr);
973                         udc_ep_writel(ep, UDCCSR, UDCCSR_PC);
974                 }
975                 if (udccsr & UDCCSR_TRN) {
976                         ep_vdbg(ep, "Clearing Underrun on, udccsr=%x\n",
977                                 udccsr);
978                         udc_ep_writel(ep, UDCCSR, UDCCSR_TRN);
979                 }
980
981                 count = write_packet(ep, req, max);
982                 inc_ep_stats_bytes(ep, count, USB_DIR_IN);
983                 totcount += count;
984
985                 /* last packet is usually short (or a zlp) */
986                 if (unlikely(count < max)) {
987                         is_last = 1;
988                         is_short = 1;
989                 } else {
990                         if (likely(req->req.length > req->req.actual)
991                                         || req->req.zero)
992                                 is_last = 0;
993                         else
994                                 is_last = 1;
995                         /* interrupt/iso maxpacket may not fill the fifo */
996                         is_short = unlikely(max < ep->fifo_size);
997                 }
998
999                 if (is_short)
1000                         udc_ep_writel(ep, UDCCSR, UDCCSR_SP);
1001
1002                 /* requests complete when all IN data is in the FIFO */
1003                 if (is_last) {
1004                         completed = 1;
1005                         break;
1006                 }
1007         } while (!ep_is_full(ep));
1008
1009         ep_dbg(ep, "wrote count:%d bytes%s%s, left:%d req=%p\n",
1010                         totcount, is_last ? "/L" : "", is_short ? "/S" : "",
1011                         req->req.length - req->req.actual, &req->req);
1012
1013         return completed;
1014 }
1015
1016 /**
1017  * read_ep0_fifo - Transfer packets from control endpoint into usb request
1018  * @ep: control endpoint
1019  * @req: pxa usb request
1020  *
1021  * Special ep0 version of the above read_fifo. Reads as many bytes from control
1022  * endpoint as can be read, and stores them into usb request (limited by request
1023  * maximum length).
1024  *
1025  * Returns 0 if usb request only partially filled, 1 if fully filled
1026  */
1027 static int read_ep0_fifo(struct pxa_ep *ep, struct pxa27x_request *req)
1028 {
1029         int count, is_short, completed = 0;
1030
1031         while (epout_has_pkt(ep)) {
1032                 count = read_packet(ep, req);
1033                 udc_ep_writel(ep, UDCCSR, UDCCSR0_OPC);
1034                 inc_ep_stats_bytes(ep, count, !USB_DIR_IN);
1035
1036                 is_short = (count < ep->fifo_size);
1037                 ep_dbg(ep, "read udccsr:%03x, count:%d bytes%s req %p %d/%d\n",
1038                         udc_ep_readl(ep, UDCCSR), count, is_short ? "/S" : "",
1039                         &req->req, req->req.actual, req->req.length);
1040
1041                 if (is_short || req->req.actual >= req->req.length) {
1042                         completed = 1;
1043                         break;
1044                 }
1045         }
1046
1047         return completed;
1048 }
1049
1050 /**
1051  * write_ep0_fifo - Send a request to control endpoint (ep0 in)
1052  * @ep: control endpoint
1053  * @req: request
1054  *
1055  * Context: callable when in_interrupt()
1056  *
1057  * Sends a request (or a part of the request) to the control endpoint (ep0 in).
1058  * If the request doesn't fit, the remaining part will be sent from irq.
1059  * The request is considered fully written only if either :
1060  *   - last write transfered all remaining bytes, but fifo was not fully filled
1061  *   - last write was a 0 length write
1062  *
1063  * Returns 1 if request fully written, 0 if request only partially sent
1064  */
1065 static int write_ep0_fifo(struct pxa_ep *ep, struct pxa27x_request *req)
1066 {
1067         unsigned        count;
1068         int             is_last, is_short;
1069
1070         count = write_packet(ep, req, EP0_FIFO_SIZE);
1071         inc_ep_stats_bytes(ep, count, USB_DIR_IN);
1072
1073         is_short = (count < EP0_FIFO_SIZE);
1074         is_last = ((count == 0) || (count < EP0_FIFO_SIZE));
1075
1076         /* Sends either a short packet or a 0 length packet */
1077         if (unlikely(is_short))
1078                 udc_ep_writel(ep, UDCCSR, UDCCSR0_IPR);
1079
1080         ep_dbg(ep, "in %d bytes%s%s, %d left, req=%p, udccsr0=0x%03x\n",
1081                 count, is_short ? "/S" : "", is_last ? "/L" : "",
1082                 req->req.length - req->req.actual,
1083                 &req->req, udc_ep_readl(ep, UDCCSR));
1084
1085         return is_last;
1086 }
1087
1088 /**
1089  * pxa_ep_queue - Queue a request into an IN endpoint
1090  * @_ep: usb endpoint
1091  * @_req: usb request
1092  * @gfp_flags: flags
1093  *
1094  * Context: normally called when !in_interrupt, but callable when in_interrupt()
1095  * in the special case of ep0 setup :
1096  *   (irq->handle_ep0_ctrl_req->gadget_setup->pxa_ep_queue)
1097  *
1098  * Returns 0 if succedeed, error otherwise
1099  */
1100 static int pxa_ep_queue(struct usb_ep *_ep, struct usb_request *_req,
1101                         gfp_t gfp_flags)
1102 {
1103         struct udc_usb_ep       *udc_usb_ep;
1104         struct pxa_ep           *ep;
1105         struct pxa27x_request   *req;
1106         struct pxa_udc          *dev;
1107         unsigned long           flags;
1108         int                     rc = 0;
1109         int                     is_first_req;
1110         unsigned                length;
1111
1112         req = container_of(_req, struct pxa27x_request, req);
1113         udc_usb_ep = container_of(_ep, struct udc_usb_ep, usb_ep);
1114
1115         if (unlikely(!_req || !_req->complete || !_req->buf))
1116                 return -EINVAL;
1117
1118         if (unlikely(!_ep))
1119                 return -EINVAL;
1120
1121         dev = udc_usb_ep->dev;
1122         ep = udc_usb_ep->pxa_ep;
1123         if (unlikely(!ep))
1124                 return -EINVAL;
1125
1126         dev = ep->dev;
1127         if (unlikely(!dev->driver || dev->gadget.speed == USB_SPEED_UNKNOWN)) {
1128                 ep_dbg(ep, "bogus device state\n");
1129                 return -ESHUTDOWN;
1130         }
1131
1132         /* iso is always one packet per request, that's the only way
1133          * we can report per-packet status.  that also helps with dma.
1134          */
1135         if (unlikely(EPXFERTYPE_is_ISO(ep)
1136                         && req->req.length > ep->fifo_size))
1137                 return -EMSGSIZE;
1138
1139         spin_lock_irqsave(&ep->lock, flags);
1140
1141         is_first_req = list_empty(&ep->queue);
1142         ep_dbg(ep, "queue req %p(first=%s), len %d buf %p\n",
1143                         _req, is_first_req ? "yes" : "no",
1144                         _req->length, _req->buf);
1145
1146         if (!ep->enabled) {
1147                 _req->status = -ESHUTDOWN;
1148                 rc = -ESHUTDOWN;
1149                 goto out;
1150         }
1151
1152         if (req->in_use) {
1153                 ep_err(ep, "refusing to queue req %p (already queued)\n", req);
1154                 goto out;
1155         }
1156
1157         length = _req->length;
1158         _req->status = -EINPROGRESS;
1159         _req->actual = 0;
1160
1161         ep_add_request(ep, req);
1162
1163         if (is_ep0(ep)) {
1164                 switch (dev->ep0state) {
1165                 case WAIT_ACK_SET_CONF_INTERF:
1166                         if (length == 0) {
1167                                 ep_end_in_req(ep, req);
1168                         } else {
1169                                 ep_err(ep, "got a request of %d bytes while"
1170                                         "in state WATI_ACK_SET_CONF_INTERF\n",
1171                                         length);
1172                                 ep_del_request(ep, req);
1173                                 rc = -EL2HLT;
1174                         }
1175                         ep0_idle(ep->dev);
1176                         break;
1177                 case IN_DATA_STAGE:
1178                         if (!ep_is_full(ep))
1179                                 if (write_ep0_fifo(ep, req))
1180                                         ep0_end_in_req(ep, req);
1181                         break;
1182                 case OUT_DATA_STAGE:
1183                         if ((length == 0) || !epout_has_pkt(ep))
1184                                 if (read_ep0_fifo(ep, req))
1185                                         ep0_end_out_req(ep, req);
1186                         break;
1187                 default:
1188                         ep_err(ep, "odd state %s to send me a request\n",
1189                                 EP0_STNAME(ep->dev));
1190                         ep_del_request(ep, req);
1191                         rc = -EL2HLT;
1192                         break;
1193                 }
1194         } else {
1195                 handle_ep(ep);
1196         }
1197
1198 out:
1199         spin_unlock_irqrestore(&ep->lock, flags);
1200         return rc;
1201 }
1202
1203 /**
1204  * pxa_ep_dequeue - Dequeue one request
1205  * @_ep: usb endpoint
1206  * @_req: usb request
1207  *
1208  * Return 0 if no error, -EINVAL or -ECONNRESET otherwise
1209  */
1210 static int pxa_ep_dequeue(struct usb_ep *_ep, struct usb_request *_req)
1211 {
1212         struct pxa_ep           *ep;
1213         struct udc_usb_ep       *udc_usb_ep;
1214         struct pxa27x_request   *req;
1215         unsigned long           flags;
1216         int                     rc;
1217
1218         if (!_ep)
1219                 return -EINVAL;
1220         udc_usb_ep = container_of(_ep, struct udc_usb_ep, usb_ep);
1221         ep = udc_usb_ep->pxa_ep;
1222         if (!ep || is_ep0(ep))
1223                 return -EINVAL;
1224
1225         spin_lock_irqsave(&ep->lock, flags);
1226
1227         /* make sure it's actually queued on this endpoint */
1228         list_for_each_entry(req, &ep->queue, queue) {
1229                 if (&req->req == _req)
1230                         break;
1231         }
1232
1233         rc = -EINVAL;
1234         if (&req->req != _req)
1235                 goto out;
1236
1237         rc = 0;
1238         req_done(ep, req, -ECONNRESET);
1239 out:
1240         spin_unlock_irqrestore(&ep->lock, flags);
1241         return rc;
1242 }
1243
1244 /**
1245  * pxa_ep_set_halt - Halts operations on one endpoint
1246  * @_ep: usb endpoint
1247  * @value:
1248  *
1249  * Returns 0 if no error, -EINVAL, -EROFS, -EAGAIN otherwise
1250  */
1251 static int pxa_ep_set_halt(struct usb_ep *_ep, int value)
1252 {
1253         struct pxa_ep           *ep;
1254         struct udc_usb_ep       *udc_usb_ep;
1255         unsigned long flags;
1256         int rc;
1257
1258
1259         if (!_ep)
1260                 return -EINVAL;
1261         udc_usb_ep = container_of(_ep, struct udc_usb_ep, usb_ep);
1262         ep = udc_usb_ep->pxa_ep;
1263         if (!ep || is_ep0(ep))
1264                 return -EINVAL;
1265
1266         if (value == 0) {
1267                 /*
1268                  * This path (reset toggle+halt) is needed to implement
1269                  * SET_INTERFACE on normal hardware.  but it can't be
1270                  * done from software on the PXA UDC, and the hardware
1271                  * forgets to do it as part of SET_INTERFACE automagic.
1272                  */
1273                 ep_dbg(ep, "only host can clear halt\n");
1274                 return -EROFS;
1275         }
1276
1277         spin_lock_irqsave(&ep->lock, flags);
1278
1279         rc = -EAGAIN;
1280         if (ep->dir_in  && (ep_is_full(ep) || !list_empty(&ep->queue)))
1281                 goto out;
1282
1283         /* FST, FEF bits are the same for control and non control endpoints */
1284         rc = 0;
1285         udc_ep_writel(ep, UDCCSR, UDCCSR_FST | UDCCSR_FEF);
1286         if (is_ep0(ep))
1287                 set_ep0state(ep->dev, STALL);
1288
1289 out:
1290         spin_unlock_irqrestore(&ep->lock, flags);
1291         return rc;
1292 }
1293
1294 /**
1295  * pxa_ep_fifo_status - Get how many bytes in physical endpoint
1296  * @_ep: usb endpoint
1297  *
1298  * Returns number of bytes in OUT fifos. Broken for IN fifos.
1299  */
1300 static int pxa_ep_fifo_status(struct usb_ep *_ep)
1301 {
1302         struct pxa_ep           *ep;
1303         struct udc_usb_ep       *udc_usb_ep;
1304
1305         if (!_ep)
1306                 return -ENODEV;
1307         udc_usb_ep = container_of(_ep, struct udc_usb_ep, usb_ep);
1308         ep = udc_usb_ep->pxa_ep;
1309         if (!ep || is_ep0(ep))
1310                 return -ENODEV;
1311
1312         if (ep->dir_in)
1313                 return -EOPNOTSUPP;
1314         if (ep->dev->gadget.speed == USB_SPEED_UNKNOWN || ep_is_empty(ep))
1315                 return 0;
1316         else
1317                 return ep_count_bytes_remain(ep) + 1;
1318 }
1319
1320 /**
1321  * pxa_ep_fifo_flush - Flushes one endpoint
1322  * @_ep: usb endpoint
1323  *
1324  * Discards all data in one endpoint(IN or OUT), except control endpoint.
1325  */
1326 static void pxa_ep_fifo_flush(struct usb_ep *_ep)
1327 {
1328         struct pxa_ep           *ep;
1329         struct udc_usb_ep       *udc_usb_ep;
1330         unsigned long           flags;
1331
1332         if (!_ep)
1333                 return;
1334         udc_usb_ep = container_of(_ep, struct udc_usb_ep, usb_ep);
1335         ep = udc_usb_ep->pxa_ep;
1336         if (!ep || is_ep0(ep))
1337                 return;
1338
1339         spin_lock_irqsave(&ep->lock, flags);
1340
1341         if (unlikely(!list_empty(&ep->queue)))
1342                 ep_dbg(ep, "called while queue list not empty\n");
1343         ep_dbg(ep, "called\n");
1344
1345         /* for OUT, just read and discard the FIFO contents. */
1346         if (!ep->dir_in) {
1347                 while (!ep_is_empty(ep))
1348                         udc_ep_readl(ep, UDCDR);
1349         } else {
1350                 /* most IN status is the same, but ISO can't stall */
1351                 udc_ep_writel(ep, UDCCSR,
1352                                 UDCCSR_PC | UDCCSR_FEF | UDCCSR_TRN
1353                                 | (EPXFERTYPE_is_ISO(ep) ? 0 : UDCCSR_SST));
1354         }
1355
1356         spin_unlock_irqrestore(&ep->lock, flags);
1357
1358         return;
1359 }
1360
1361 /**
1362  * pxa_ep_enable - Enables usb endpoint
1363  * @_ep: usb endpoint
1364  * @desc: usb endpoint descriptor
1365  *
1366  * Nothing much to do here, as ep configuration is done once and for all
1367  * before udc is enabled. After udc enable, no physical endpoint configuration
1368  * can be changed.
1369  * Function makes sanity checks and flushes the endpoint.
1370  */
1371 static int pxa_ep_enable(struct usb_ep *_ep,
1372         const struct usb_endpoint_descriptor *desc)
1373 {
1374         struct pxa_ep           *ep;
1375         struct udc_usb_ep       *udc_usb_ep;
1376         struct pxa_udc          *udc;
1377
1378         if (!_ep || !desc)
1379                 return -EINVAL;
1380
1381         udc_usb_ep = container_of(_ep, struct udc_usb_ep, usb_ep);
1382         if (udc_usb_ep->pxa_ep) {
1383                 ep = udc_usb_ep->pxa_ep;
1384                 ep_warn(ep, "usb_ep %s already enabled, doing nothing\n",
1385                         _ep->name);
1386         } else {
1387                 ep = find_pxa_ep(udc_usb_ep->dev, udc_usb_ep);
1388         }
1389
1390         if (!ep || is_ep0(ep)) {
1391                 dev_err(udc_usb_ep->dev->dev,
1392                         "unable to match pxa_ep for ep %s\n",
1393                         _ep->name);
1394                 return -EINVAL;
1395         }
1396
1397         if ((desc->bDescriptorType != USB_DT_ENDPOINT)
1398                         || (ep->type != usb_endpoint_type(desc))) {
1399                 ep_err(ep, "type mismatch\n");
1400                 return -EINVAL;
1401         }
1402
1403         if (ep->fifo_size < le16_to_cpu(desc->wMaxPacketSize)) {
1404                 ep_err(ep, "bad maxpacket\n");
1405                 return -ERANGE;
1406         }
1407
1408         udc_usb_ep->pxa_ep = ep;
1409         udc = ep->dev;
1410
1411         if (!udc->driver || udc->gadget.speed == USB_SPEED_UNKNOWN) {
1412                 ep_err(ep, "bogus device state\n");
1413                 return -ESHUTDOWN;
1414         }
1415
1416         ep->enabled = 1;
1417
1418         /* flush fifo (mostly for OUT buffers) */
1419         pxa_ep_fifo_flush(_ep);
1420
1421         ep_dbg(ep, "enabled\n");
1422         return 0;
1423 }
1424
1425 /**
1426  * pxa_ep_disable - Disable usb endpoint
1427  * @_ep: usb endpoint
1428  *
1429  * Same as for pxa_ep_enable, no physical endpoint configuration can be
1430  * changed.
1431  * Function flushes the endpoint and related requests.
1432  */
1433 static int pxa_ep_disable(struct usb_ep *_ep)
1434 {
1435         struct pxa_ep           *ep;
1436         struct udc_usb_ep       *udc_usb_ep;
1437         unsigned long           flags;
1438
1439         if (!_ep)
1440                 return -EINVAL;
1441
1442         udc_usb_ep = container_of(_ep, struct udc_usb_ep, usb_ep);
1443         ep = udc_usb_ep->pxa_ep;
1444         if (!ep || is_ep0(ep) || !list_empty(&ep->queue))
1445                 return -EINVAL;
1446
1447         spin_lock_irqsave(&ep->lock, flags);
1448         ep->enabled = 0;
1449         nuke(ep, -ESHUTDOWN);
1450         spin_unlock_irqrestore(&ep->lock, flags);
1451
1452         pxa_ep_fifo_flush(_ep);
1453         udc_usb_ep->pxa_ep = NULL;
1454
1455         ep_dbg(ep, "disabled\n");
1456         return 0;
1457 }
1458
1459 static struct usb_ep_ops pxa_ep_ops = {
1460         .enable         = pxa_ep_enable,
1461         .disable        = pxa_ep_disable,
1462
1463         .alloc_request  = pxa_ep_alloc_request,
1464         .free_request   = pxa_ep_free_request,
1465
1466         .queue          = pxa_ep_queue,
1467         .dequeue        = pxa_ep_dequeue,
1468
1469         .set_halt       = pxa_ep_set_halt,
1470         .fifo_status    = pxa_ep_fifo_status,
1471         .fifo_flush     = pxa_ep_fifo_flush,
1472 };
1473
1474
1475 /**
1476  * pxa_udc_get_frame - Returns usb frame number
1477  * @_gadget: usb gadget
1478  */
1479 static int pxa_udc_get_frame(struct usb_gadget *_gadget)
1480 {
1481         struct pxa_udc *udc = to_gadget_udc(_gadget);
1482
1483         return (udc_readl(udc, UDCFNR) & 0x7ff);
1484 }
1485
1486 /**
1487  * pxa_udc_wakeup - Force udc device out of suspend
1488  * @_gadget: usb gadget
1489  *
1490  * Returns 0 if succesfull, error code otherwise
1491  */
1492 static int pxa_udc_wakeup(struct usb_gadget *_gadget)
1493 {
1494         struct pxa_udc *udc = to_gadget_udc(_gadget);
1495
1496         /* host may not have enabled remote wakeup */
1497         if ((udc_readl(udc, UDCCR) & UDCCR_DWRE) == 0)
1498                 return -EHOSTUNREACH;
1499         udc_set_mask_UDCCR(udc, UDCCR_UDR);
1500         return 0;
1501 }
1502
1503 static const struct usb_gadget_ops pxa_udc_ops = {
1504         .get_frame      = pxa_udc_get_frame,
1505         .wakeup         = pxa_udc_wakeup,
1506         /* current versions must always be self-powered */
1507 };
1508
1509 /**
1510  * udc_disable - disable udc device controller
1511  * @udc: udc device
1512  *
1513  * Disables the udc device : disables clocks, udc interrupts, control endpoint
1514  * interrupts.
1515  */
1516 static void udc_disable(struct pxa_udc *udc)
1517 {
1518         udc_writel(udc, UDCICR0, 0);
1519         udc_writel(udc, UDCICR1, 0);
1520
1521         udc_clear_mask_UDCCR(udc, UDCCR_UDE);
1522         clk_disable(udc->clk);
1523
1524         ep0_idle(udc);
1525         udc->gadget.speed = USB_SPEED_UNKNOWN;
1526         if (udc->mach->udc_command)
1527                 udc->mach->udc_command(PXA2XX_UDC_CMD_DISCONNECT);
1528 }
1529
1530 /**
1531  * udc_init_data - Initialize udc device data structures
1532  * @dev: udc device
1533  *
1534  * Initializes gadget endpoint list, endpoints locks. No action is taken
1535  * on the hardware.
1536  */
1537 static __init void udc_init_data(struct pxa_udc *dev)
1538 {
1539         int i;
1540         struct pxa_ep *ep;
1541
1542         /* device/ep0 records init */
1543         INIT_LIST_HEAD(&dev->gadget.ep_list);
1544         INIT_LIST_HEAD(&dev->gadget.ep0->ep_list);
1545         dev->udc_usb_ep[0].pxa_ep = &dev->pxa_ep[0];
1546         ep0_idle(dev);
1547
1548         /* PXA endpoints init */
1549         for (i = 0; i < NR_PXA_ENDPOINTS; i++) {
1550                 ep = &dev->pxa_ep[i];
1551
1552                 ep->enabled = is_ep0(ep);
1553                 INIT_LIST_HEAD(&ep->queue);
1554                 spin_lock_init(&ep->lock);
1555         }
1556
1557         /* USB endpoints init */
1558         for (i = 0; i < NR_USB_ENDPOINTS; i++)
1559                 if (i != 0)
1560                         list_add_tail(&dev->udc_usb_ep[i].usb_ep.ep_list,
1561                                         &dev->gadget.ep_list);
1562 }
1563
1564 /**
1565  * udc_enable - Enables the udc device
1566  * @dev: udc device
1567  *
1568  * Enables the udc device : enables clocks, udc interrupts, control endpoint
1569  * interrupts, sets usb as UDC client and setups endpoints.
1570  */
1571 static void udc_enable(struct pxa_udc *udc)
1572 {
1573         udc_writel(udc, UDCICR0, 0);
1574         udc_writel(udc, UDCICR1, 0);
1575         udc_clear_mask_UDCCR(udc, UDCCR_UDE);
1576
1577         clk_enable(udc->clk);
1578
1579         ep0_idle(udc);
1580         udc->gadget.speed = USB_SPEED_FULL;
1581         memset(&udc->stats, 0, sizeof(udc->stats));
1582
1583         udc_set_mask_UDCCR(udc, UDCCR_UDE);
1584         udelay(2);
1585         if (udc_readl(udc, UDCCR) & UDCCR_EMCE)
1586                 dev_err(udc->dev, "Configuration errors, udc disabled\n");
1587
1588         /*
1589          * Caller must be able to sleep in order to cope with startup transients
1590          */
1591         msleep(100);
1592
1593         /* enable suspend/resume and reset irqs */
1594         udc_writel(udc, UDCICR1,
1595                         UDCICR1_IECC | UDCICR1_IERU
1596                         | UDCICR1_IESU | UDCICR1_IERS);
1597
1598         /* enable ep0 irqs */
1599         pio_irq_enable(&udc->pxa_ep[0]);
1600
1601         dev_info(udc->dev, "UDC connecting\n");
1602         if (udc->mach->udc_command)
1603                 udc->mach->udc_command(PXA2XX_UDC_CMD_CONNECT);
1604 }
1605
1606 /**
1607  * usb_gadget_register_driver - Register gadget driver
1608  * @driver: gadget driver
1609  *
1610  * When a driver is successfully registered, it will receive control requests
1611  * including set_configuration(), which enables non-control requests.  Then
1612  * usb traffic follows until a disconnect is reported.  Then a host may connect
1613  * again, or the driver might get unbound.
1614  *
1615  * Returns 0 if no error, -EINVAL, -ENODEV, -EBUSY otherwise
1616  */
1617 int usb_gadget_register_driver(struct usb_gadget_driver *driver)
1618 {
1619         struct pxa_udc *udc = the_controller;
1620         int retval;
1621
1622         if (!driver || driver->speed < USB_SPEED_FULL || !driver->bind
1623                         || !driver->disconnect || !driver->setup)
1624                 return -EINVAL;
1625         if (!udc)
1626                 return -ENODEV;
1627         if (udc->driver)
1628                 return -EBUSY;
1629
1630         /* first hook up the driver ... */
1631         udc->driver = driver;
1632         udc->gadget.dev.driver = &driver->driver;
1633
1634         retval = device_add(&udc->gadget.dev);
1635         if (retval) {
1636                 dev_err(udc->dev, "device_add error %d\n", retval);
1637                 goto add_fail;
1638         }
1639         retval = driver->bind(&udc->gadget);
1640         if (retval) {
1641                 dev_err(udc->dev, "bind to driver %s --> error %d\n",
1642                         driver->driver.name, retval);
1643                 goto bind_fail;
1644         }
1645         dev_dbg(udc->dev, "registered gadget driver '%s'\n",
1646                 driver->driver.name);
1647
1648         udc_enable(udc);
1649         return 0;
1650
1651 bind_fail:
1652         device_del(&udc->gadget.dev);
1653 add_fail:
1654         udc->driver = NULL;
1655         udc->gadget.dev.driver = NULL;
1656         return retval;
1657 }
1658 EXPORT_SYMBOL(usb_gadget_register_driver);
1659
1660
1661 /**
1662  * stop_activity - Stops udc endpoints
1663  * @udc: udc device
1664  * @driver: gadget driver
1665  *
1666  * Disables all udc endpoints (even control endpoint), report disconnect to
1667  * the gadget user.
1668  */
1669 static void stop_activity(struct pxa_udc *udc, struct usb_gadget_driver *driver)
1670 {
1671         int i;
1672
1673         /* don't disconnect drivers more than once */
1674         if (udc->gadget.speed == USB_SPEED_UNKNOWN)
1675                 driver = NULL;
1676         udc->gadget.speed = USB_SPEED_UNKNOWN;
1677
1678         for (i = 0; i < NR_USB_ENDPOINTS; i++)
1679                 pxa_ep_disable(&udc->udc_usb_ep[i].usb_ep);
1680
1681         if (driver)
1682                 driver->disconnect(&udc->gadget);
1683 }
1684
1685 /**
1686  * usb_gadget_unregister_driver - Unregister the gadget driver
1687  * @driver: gadget driver
1688  *
1689  * Returns 0 if no error, -ENODEV, -EINVAL otherwise
1690  */
1691 int usb_gadget_unregister_driver(struct usb_gadget_driver *driver)
1692 {
1693         struct pxa_udc *udc = the_controller;
1694
1695         if (!udc)
1696                 return -ENODEV;
1697         if (!driver || driver != udc->driver || !driver->unbind)
1698                 return -EINVAL;
1699
1700         stop_activity(udc, driver);
1701         udc_disable(udc);
1702
1703         driver->unbind(&udc->gadget);
1704         udc->driver = NULL;
1705
1706         device_del(&udc->gadget.dev);
1707
1708         dev_info(udc->dev, "unregistered gadget driver '%s'\n",
1709                  driver->driver.name);
1710         return 0;
1711 }
1712 EXPORT_SYMBOL(usb_gadget_unregister_driver);
1713
1714 /**
1715  * handle_ep0_ctrl_req - handle control endpoint control request
1716  * @udc: udc device
1717  * @req: control request
1718  */
1719 static void handle_ep0_ctrl_req(struct pxa_udc *udc,
1720                                 struct pxa27x_request *req)
1721 {
1722         struct pxa_ep *ep = &udc->pxa_ep[0];
1723         union {
1724                 struct usb_ctrlrequest  r;
1725                 u32                     word[2];
1726         } u;
1727         int i;
1728         int have_extrabytes = 0;
1729
1730         nuke(ep, -EPROTO);
1731
1732         /* read SETUP packet */
1733         for (i = 0; i < 2; i++) {
1734                 if (unlikely(ep_is_empty(ep)))
1735                         goto stall;
1736                 u.word[i] = udc_ep_readl(ep, UDCDR);
1737         }
1738
1739         have_extrabytes = !ep_is_empty(ep);
1740         while (!ep_is_empty(ep)) {
1741                 i = udc_ep_readl(ep, UDCDR);
1742                 ep_err(ep, "wrong to have extra bytes for setup : 0x%08x\n", i);
1743         }
1744
1745         ep_dbg(ep, "SETUP %02x.%02x v%04x i%04x l%04x\n",
1746                 u.r.bRequestType, u.r.bRequest,
1747                 le16_to_cpu(u.r.wValue), le16_to_cpu(u.r.wIndex),
1748                 le16_to_cpu(u.r.wLength));
1749         if (unlikely(have_extrabytes))
1750                 goto stall;
1751
1752         if (u.r.bRequestType & USB_DIR_IN)
1753                 set_ep0state(udc, IN_DATA_STAGE);
1754         else
1755                 set_ep0state(udc, OUT_DATA_STAGE);
1756
1757         /* Tell UDC to enter Data Stage */
1758         udc_ep_writel(ep, UDCCSR, UDCCSR0_SA | UDCCSR0_OPC);
1759
1760         i = udc->driver->setup(&udc->gadget, &u.r);
1761         if (i < 0)
1762                 goto stall;
1763 out:
1764         return;
1765 stall:
1766         ep_dbg(ep, "protocol STALL, udccsr0=%03x err %d\n",
1767                 udc_ep_readl(ep, UDCCSR), i);
1768         udc_ep_writel(ep, UDCCSR, UDCCSR0_FST | UDCCSR0_FTF);
1769         set_ep0state(udc, STALL);
1770         goto out;
1771 }
1772
1773 /**
1774  * handle_ep0 - Handle control endpoint data transfers
1775  * @udc: udc device
1776  * @fifo_irq: 1 if triggered by fifo service type irq
1777  * @opc_irq: 1 if triggered by output packet complete type irq
1778  *
1779  * Context : when in_interrupt() or with ep->lock held
1780  *
1781  * Tries to transfer all pending request data into the endpoint and/or
1782  * transfer all pending data in the endpoint into usb requests.
1783  * Handles states of ep0 automata.
1784  *
1785  * PXA27x hardware handles several standard usb control requests without
1786  * driver notification.  The requests fully handled by hardware are :
1787  *  SET_ADDRESS, SET_FEATURE, CLEAR_FEATURE, GET_CONFIGURATION, GET_INTERFACE,
1788  *  GET_STATUS
1789  * The requests handled by hardware, but with irq notification are :
1790  *  SYNCH_FRAME, SET_CONFIGURATION, SET_INTERFACE
1791  * The remaining standard requests really handled by handle_ep0 are :
1792  *  GET_DESCRIPTOR, SET_DESCRIPTOR, specific requests.
1793  * Requests standardized outside of USB 2.0 chapter 9 are handled more
1794  * uniformly, by gadget drivers.
1795  *
1796  * The control endpoint state machine is _not_ USB spec compliant, it's even
1797  * hardly compliant with Intel PXA270 developers guide.
1798  * The key points which inferred this state machine are :
1799  *   - on every setup token, bit UDCCSR0_SA is raised and held until cleared by
1800  *     software.
1801  *   - on every OUT packet received, UDCCSR0_OPC is raised and held until
1802  *     cleared by software.
1803  *   - clearing UDCCSR0_OPC always flushes ep0. If in setup stage, never do it
1804  *     before reading ep0.
1805  *   - irq can be called on a "packet complete" event (opc_irq=1), while
1806  *     UDCCSR0_OPC is not yet raised (delta can be as big as 100ms
1807  *     from experimentation).
1808  *   - as UDCCSR0_SA can be activated while in irq handling, and clearing
1809  *     UDCCSR0_OPC would flush the setup data, we almost never clear UDCCSR0_OPC
1810  *     => we never actually read the "status stage" packet of an IN data stage
1811  *     => this is not documented in Intel documentation
1812  *   - hardware as no idea of STATUS STAGE, it only handle SETUP STAGE and DATA
1813  *     STAGE. The driver add STATUS STAGE to send last zero length packet in
1814  *     OUT_STATUS_STAGE.
1815  *   - special attention was needed for IN_STATUS_STAGE. If a packet complete
1816  *     event is detected, we terminate the status stage without ackowledging the
1817  *     packet (not to risk to loose a potential SETUP packet)
1818  */
1819 static void handle_ep0(struct pxa_udc *udc, int fifo_irq, int opc_irq)
1820 {
1821         u32                     udccsr0;
1822         struct pxa_ep           *ep = &udc->pxa_ep[0];
1823         struct pxa27x_request   *req = NULL;
1824         int                     completed = 0;
1825
1826         udccsr0 = udc_ep_readl(ep, UDCCSR);
1827         ep_dbg(ep, "state=%s, req=%p, udccsr0=0x%03x, udcbcr=%d, irq_msk=%x\n",
1828                 EP0_STNAME(udc), req, udccsr0, udc_ep_readl(ep, UDCBCR),
1829                 (fifo_irq << 1 | opc_irq));
1830
1831         if (!list_empty(&ep->queue))
1832                 req = list_entry(ep->queue.next, struct pxa27x_request, queue);
1833
1834         if (udccsr0 & UDCCSR0_SST) {
1835                 ep_dbg(ep, "clearing stall status\n");
1836                 nuke(ep, -EPIPE);
1837                 udc_ep_writel(ep, UDCCSR, UDCCSR0_SST);
1838                 ep0_idle(udc);
1839         }
1840
1841         if (udccsr0 & UDCCSR0_SA) {
1842                 nuke(ep, 0);
1843                 set_ep0state(udc, SETUP_STAGE);
1844         }
1845
1846         switch (udc->ep0state) {
1847         case WAIT_FOR_SETUP:
1848                 /*
1849                  * Hardware bug : beware, we cannot clear OPC, since we would
1850                  * miss a potential OPC irq for a setup packet.
1851                  * So, we only do ... nothing, and hope for a next irq with
1852                  * UDCCSR0_SA set.
1853                  */
1854                 break;
1855         case SETUP_STAGE:
1856                 udccsr0 &= UDCCSR0_CTRL_REQ_MASK;
1857                 if (likely(udccsr0 == UDCCSR0_CTRL_REQ_MASK))
1858                         handle_ep0_ctrl_req(udc, req);
1859                 break;
1860         case IN_DATA_STAGE:                     /* GET_DESCRIPTOR */
1861                 if (epout_has_pkt(ep))
1862                         udc_ep_writel(ep, UDCCSR, UDCCSR0_OPC);
1863                 if (req && !ep_is_full(ep))
1864                         completed = write_ep0_fifo(ep, req);
1865                 if (completed)
1866                         ep0_end_in_req(ep, req);
1867                 break;
1868         case OUT_DATA_STAGE:                    /* SET_DESCRIPTOR */
1869                 if (epout_has_pkt(ep) && req)
1870                         completed = read_ep0_fifo(ep, req);
1871                 if (completed)
1872                         ep0_end_out_req(ep, req);
1873                 break;
1874         case STALL:
1875                 udc_ep_writel(ep, UDCCSR, UDCCSR0_FST);
1876                 break;
1877         case IN_STATUS_STAGE:
1878                 /*
1879                  * Hardware bug : beware, we cannot clear OPC, since we would
1880                  * miss a potential PC irq for a setup packet.
1881                  * So, we only put the ep0 into WAIT_FOR_SETUP state.
1882                  */
1883                 if (opc_irq)
1884                         ep0_idle(udc);
1885                 break;
1886         case OUT_STATUS_STAGE:
1887         case WAIT_ACK_SET_CONF_INTERF:
1888                 ep_warn(ep, "should never get in %s state here!!!\n",
1889                                 EP0_STNAME(ep->dev));
1890                 ep0_idle(udc);
1891                 break;
1892         }
1893 }
1894
1895 /**
1896  * handle_ep - Handle endpoint data tranfers
1897  * @ep: pxa physical endpoint
1898  *
1899  * Tries to transfer all pending request data into the endpoint and/or
1900  * transfer all pending data in the endpoint into usb requests.
1901  *
1902  * Is always called when in_interrupt() or with ep->lock held.
1903  */
1904 static void handle_ep(struct pxa_ep *ep)
1905 {
1906         struct pxa27x_request   *req;
1907         int completed;
1908         u32 udccsr;
1909         int is_in = ep->dir_in;
1910         int loop = 0;
1911
1912         do {
1913                 completed = 0;
1914                 udccsr = udc_ep_readl(ep, UDCCSR);
1915                 if (likely(!list_empty(&ep->queue)))
1916                         req = list_entry(ep->queue.next,
1917                                         struct pxa27x_request, queue);
1918                 else
1919                         req = NULL;
1920
1921                 ep_dbg(ep, "req:%p, udccsr 0x%03x loop=%d\n",
1922                                 req, udccsr, loop++);
1923
1924                 if (unlikely(udccsr & (UDCCSR_SST | UDCCSR_TRN)))
1925                         udc_ep_writel(ep, UDCCSR,
1926                                         udccsr & (UDCCSR_SST | UDCCSR_TRN));
1927                 if (!req)
1928                         break;
1929
1930                 if (unlikely(is_in)) {
1931                         if (likely(!ep_is_full(ep)))
1932                                 completed = write_fifo(ep, req);
1933                         if (completed)
1934                                 ep_end_in_req(ep, req);
1935                 } else {
1936                         if (likely(epout_has_pkt(ep)))
1937                                 completed = read_fifo(ep, req);
1938                         if (completed)
1939                                 ep_end_out_req(ep, req);
1940                 }
1941         } while (completed);
1942 }
1943
1944 /**
1945  * pxa27x_change_configuration - Handle SET_CONF usb request notification
1946  * @udc: udc device
1947  * @config: usb configuration
1948  *
1949  * Post the request to upper level.
1950  * Don't use any pxa specific harware configuration capabilities
1951  */
1952 static void pxa27x_change_configuration(struct pxa_udc *udc, int config)
1953 {
1954         struct usb_ctrlrequest req ;
1955
1956         dev_dbg(udc->dev, "config=%d\n", config);
1957
1958         udc->config = config;
1959         udc->last_interface = 0;
1960         udc->last_alternate = 0;
1961
1962         req.bRequestType = 0;
1963         req.bRequest = USB_REQ_SET_CONFIGURATION;
1964         req.wValue = config;
1965         req.wIndex = 0;
1966         req.wLength = 0;
1967
1968         set_ep0state(udc, WAIT_ACK_SET_CONF_INTERF);
1969         udc->driver->setup(&udc->gadget, &req);
1970 }
1971
1972 /**
1973  * pxa27x_change_interface - Handle SET_INTERF usb request notification
1974  * @udc: udc device
1975  * @iface: interface number
1976  * @alt: alternate setting number
1977  *
1978  * Post the request to upper level.
1979  * Don't use any pxa specific harware configuration capabilities
1980  */
1981 static void pxa27x_change_interface(struct pxa_udc *udc, int iface, int alt)
1982 {
1983         struct usb_ctrlrequest  req;
1984
1985         dev_dbg(udc->dev, "interface=%d, alternate setting=%d\n", iface, alt);
1986
1987         udc->last_interface = iface;
1988         udc->last_alternate = alt;
1989
1990         req.bRequestType = USB_RECIP_INTERFACE;
1991         req.bRequest = USB_REQ_SET_INTERFACE;
1992         req.wValue = alt;
1993         req.wIndex = iface;
1994         req.wLength = 0;
1995
1996         set_ep0state(udc, WAIT_ACK_SET_CONF_INTERF);
1997         udc->driver->setup(&udc->gadget, &req);
1998 }
1999
2000 /*
2001  * irq_handle_data - Handle data transfer
2002  * @irq: irq IRQ number
2003  * @udc: dev pxa_udc device structure
2004  *
2005  * Called from irq handler, transferts data to or from endpoint to queue
2006  */
2007 static void irq_handle_data(int irq, struct pxa_udc *udc)
2008 {
2009         int i;
2010         struct pxa_ep *ep;
2011         u32 udcisr0 = udc_readl(udc, UDCISR0) & UDCCISR0_EP_MASK;
2012         u32 udcisr1 = udc_readl(udc, UDCISR1) & UDCCISR1_EP_MASK;
2013
2014         if (udcisr0 & UDCISR_INT_MASK) {
2015                 udc->pxa_ep[0].stats.irqs++;
2016                 udc_writel(udc, UDCISR0, UDCISR_INT(0, UDCISR_INT_MASK));
2017                 handle_ep0(udc, !!(udcisr0 & UDCICR_FIFOERR),
2018                                 !!(udcisr0 & UDCICR_PKTCOMPL));
2019         }
2020
2021         udcisr0 >>= 2;
2022         for (i = 1; udcisr0 != 0 && i < 16; udcisr0 >>= 2, i++) {
2023                 if (!(udcisr0 & UDCISR_INT_MASK))
2024                         continue;
2025
2026                 udc_writel(udc, UDCISR0, UDCISR_INT(i, UDCISR_INT_MASK));
2027                 ep = &udc->pxa_ep[i];
2028                 ep->stats.irqs++;
2029                 handle_ep(ep);
2030         }
2031
2032         for (i = 16; udcisr1 != 0 && i < 24; udcisr1 >>= 2, i++) {
2033                 udc_writel(udc, UDCISR1, UDCISR_INT(i - 16, UDCISR_INT_MASK));
2034                 if (!(udcisr1 & UDCISR_INT_MASK))
2035                         continue;
2036
2037                 ep = &udc->pxa_ep[i];
2038                 ep->stats.irqs++;
2039                 handle_ep(ep);
2040         }
2041
2042 }
2043
2044 /**
2045  * irq_udc_suspend - Handle IRQ "UDC Suspend"
2046  * @udc: udc device
2047  */
2048 static void irq_udc_suspend(struct pxa_udc *udc)
2049 {
2050         udc_writel(udc, UDCISR1, UDCISR1_IRSU);
2051         udc->stats.irqs_suspend++;
2052
2053         if (udc->gadget.speed != USB_SPEED_UNKNOWN
2054                         && udc->driver && udc->driver->suspend)
2055                 udc->driver->suspend(&udc->gadget);
2056         ep0_idle(udc);
2057 }
2058
2059 /**
2060   * irq_udc_resume - Handle IRQ "UDC Resume"
2061   * @udc: udc device
2062   */
2063 static void irq_udc_resume(struct pxa_udc *udc)
2064 {
2065         udc_writel(udc, UDCISR1, UDCISR1_IRRU);
2066         udc->stats.irqs_resume++;
2067
2068         if (udc->gadget.speed != USB_SPEED_UNKNOWN
2069                         && udc->driver && udc->driver->resume)
2070                 udc->driver->resume(&udc->gadget);
2071 }
2072
2073 /**
2074  * irq_udc_reconfig - Handle IRQ "UDC Change Configuration"
2075  * @udc: udc device
2076  */
2077 static void irq_udc_reconfig(struct pxa_udc *udc)
2078 {
2079         unsigned config, interface, alternate, config_change;
2080         u32 udccr = udc_readl(udc, UDCCR);
2081
2082         udc_writel(udc, UDCISR1, UDCISR1_IRCC);
2083         udc->stats.irqs_reconfig++;
2084
2085         config = (udccr & UDCCR_ACN) >> UDCCR_ACN_S;
2086         config_change = (config != udc->config);
2087         pxa27x_change_configuration(udc, config);
2088
2089         interface = (udccr & UDCCR_AIN) >> UDCCR_AIN_S;
2090         alternate = (udccr & UDCCR_AAISN) >> UDCCR_AAISN_S;
2091         pxa27x_change_interface(udc, interface, alternate);
2092
2093         if (config_change)
2094                 update_pxa_ep_matches(udc);
2095         udc_set_mask_UDCCR(udc, UDCCR_SMAC);
2096 }
2097
2098 /**
2099  * irq_udc_reset - Handle IRQ "UDC Reset"
2100  * @udc: udc device
2101  */
2102 static void irq_udc_reset(struct pxa_udc *udc)
2103 {
2104         u32 udccr = udc_readl(udc, UDCCR);
2105         struct pxa_ep *ep = &udc->pxa_ep[0];
2106
2107         dev_info(udc->dev, "USB reset\n");
2108         udc_writel(udc, UDCISR1, UDCISR1_IRRS);
2109         udc->stats.irqs_reset++;
2110
2111         if ((udccr & UDCCR_UDA) == 0) {
2112                 dev_dbg(udc->dev, "USB reset start\n");
2113                 stop_activity(udc, udc->driver);
2114         }
2115         udc->gadget.speed = USB_SPEED_FULL;
2116         memset(&udc->stats, 0, sizeof udc->stats);
2117
2118         nuke(ep, -EPROTO);
2119         udc_ep_writel(ep, UDCCSR, UDCCSR0_FTF | UDCCSR0_OPC);
2120         ep0_idle(udc);
2121 }
2122
2123 /**
2124  * pxa_udc_irq - Main irq handler
2125  * @irq: irq number
2126  * @_dev: udc device
2127  *
2128  * Handles all udc interrupts
2129  */
2130 static irqreturn_t pxa_udc_irq(int irq, void *_dev)
2131 {
2132         struct pxa_udc *udc = _dev;
2133         u32 udcisr0 = udc_readl(udc, UDCISR0);
2134         u32 udcisr1 = udc_readl(udc, UDCISR1);
2135         u32 udccr = udc_readl(udc, UDCCR);
2136         u32 udcisr1_spec;
2137
2138         dev_vdbg(udc->dev, "Interrupt, UDCISR0:0x%08x, UDCISR1:0x%08x, "
2139                  "UDCCR:0x%08x\n", udcisr0, udcisr1, udccr);
2140
2141         udcisr1_spec = udcisr1 & 0xf8000000;
2142         if (unlikely(udcisr1_spec & UDCISR1_IRSU))
2143                 irq_udc_suspend(udc);
2144         if (unlikely(udcisr1_spec & UDCISR1_IRRU))
2145                 irq_udc_resume(udc);
2146         if (unlikely(udcisr1_spec & UDCISR1_IRCC))
2147                 irq_udc_reconfig(udc);
2148         if (unlikely(udcisr1_spec & UDCISR1_IRRS))
2149                 irq_udc_reset(udc);
2150
2151         if ((udcisr0 & UDCCISR0_EP_MASK) | (udcisr1 & UDCCISR1_EP_MASK))
2152                 irq_handle_data(irq, udc);
2153
2154         return IRQ_HANDLED;
2155 }
2156
2157 static struct pxa_udc memory = {
2158         .gadget = {
2159                 .ops            = &pxa_udc_ops,
2160                 .ep0            = &memory.udc_usb_ep[0].usb_ep,
2161                 .name           = driver_name,
2162                 .dev = {
2163                         .init_name      = "gadget",
2164                 },
2165         },
2166
2167         .udc_usb_ep = {
2168                 USB_EP_CTRL,
2169                 USB_EP_OUT_BULK(1),
2170                 USB_EP_IN_BULK(2),
2171                 USB_EP_IN_ISO(3),
2172                 USB_EP_OUT_ISO(4),
2173                 USB_EP_IN_INT(5),
2174         },
2175
2176         .pxa_ep = {
2177                 PXA_EP_CTRL,
2178                 /* Endpoints for gadget zero */
2179                 PXA_EP_OUT_BULK(1, 1, 3, 0, 0),
2180                 PXA_EP_IN_BULK(2,  2, 3, 0, 0),
2181                 /* Endpoints for ether gadget, file storage gadget */
2182                 PXA_EP_OUT_BULK(3, 1, 1, 0, 0),
2183                 PXA_EP_IN_BULK(4,  2, 1, 0, 0),
2184                 PXA_EP_IN_ISO(5,   3, 1, 0, 0),
2185                 PXA_EP_OUT_ISO(6,  4, 1, 0, 0),
2186                 PXA_EP_IN_INT(7,   5, 1, 0, 0),
2187                 /* Endpoints for RNDIS, serial */
2188                 PXA_EP_OUT_BULK(8, 1, 2, 0, 0),
2189                 PXA_EP_IN_BULK(9,  2, 2, 0, 0),
2190                 PXA_EP_IN_INT(10,  5, 2, 0, 0),
2191                 /*
2192                  * All the following endpoints are only for completion.  They
2193                  * won't never work, as multiple interfaces are really broken on
2194                  * the pxa.
2195                 */
2196                 PXA_EP_OUT_BULK(11, 1, 2, 1, 0),
2197                 PXA_EP_IN_BULK(12,  2, 2, 1, 0),
2198                 /* Endpoint for CDC Ether */
2199                 PXA_EP_OUT_BULK(13, 1, 1, 1, 1),
2200                 PXA_EP_IN_BULK(14,  2, 1, 1, 1),
2201         }
2202 };
2203
2204 /**
2205  * pxa_udc_probe - probes the udc device
2206  * @_dev: platform device
2207  *
2208  * Perform basic init : allocates udc clock, creates sysfs files, requests
2209  * irq.
2210  */
2211 static int __init pxa_udc_probe(struct platform_device *pdev)
2212 {
2213         struct resource *regs;
2214         struct pxa_udc *udc = &memory;
2215         int retval;
2216
2217         regs = platform_get_resource(pdev, IORESOURCE_MEM, 0);
2218         if (!regs)
2219                 return -ENXIO;
2220         udc->irq = platform_get_irq(pdev, 0);
2221         if (udc->irq < 0)
2222                 return udc->irq;
2223
2224         udc->dev = &pdev->dev;
2225         udc->mach = pdev->dev.platform_data;
2226
2227         udc->clk = clk_get(&pdev->dev, NULL);
2228         if (IS_ERR(udc->clk)) {
2229                 retval = PTR_ERR(udc->clk);
2230                 goto err_clk;
2231         }
2232
2233         retval = -ENOMEM;
2234         udc->regs = ioremap(regs->start, regs->end - regs->start + 1);
2235         if (!udc->regs) {
2236                 dev_err(&pdev->dev, "Unable to map UDC I/O memory\n");
2237                 goto err_map;
2238         }
2239
2240         device_initialize(&udc->gadget.dev);
2241         udc->gadget.dev.parent = &pdev->dev;
2242         udc->gadget.dev.dma_mask = NULL;
2243
2244         the_controller = udc;
2245         platform_set_drvdata(pdev, udc);
2246         udc_init_data(udc);
2247         pxa_eps_setup(udc);
2248
2249         /* irq setup after old hardware state is cleaned up */
2250         retval = request_irq(udc->irq, pxa_udc_irq,
2251                         IRQF_SHARED, driver_name, udc);
2252         if (retval != 0) {
2253                 dev_err(udc->dev, "%s: can't get irq %i, err %d\n",
2254                         driver_name, IRQ_USB, retval);
2255                 goto err_irq;
2256         }
2257
2258         pxa_init_debugfs(udc);
2259         return 0;
2260 err_irq:
2261         iounmap(udc->regs);
2262 err_map:
2263         clk_put(udc->clk);
2264         udc->clk = NULL;
2265 err_clk:
2266         return retval;
2267 }
2268
2269 /**
2270  * pxa_udc_remove - removes the udc device driver
2271  * @_dev: platform device
2272  */
2273 static int __exit pxa_udc_remove(struct platform_device *_dev)
2274 {
2275         struct pxa_udc *udc = platform_get_drvdata(_dev);
2276
2277         usb_gadget_unregister_driver(udc->driver);
2278         free_irq(udc->irq, udc);
2279         pxa_cleanup_debugfs(udc);
2280
2281         platform_set_drvdata(_dev, NULL);
2282         the_controller = NULL;
2283         clk_put(udc->clk);
2284
2285         return 0;
2286 }
2287
2288 static void pxa_udc_shutdown(struct platform_device *_dev)
2289 {
2290         struct pxa_udc *udc = platform_get_drvdata(_dev);
2291
2292         if (udc_readl(udc, UDCCR) & UDCCR_UDE)
2293                 udc_disable(udc);
2294 }
2295
2296 #ifdef CONFIG_PM
2297 /**
2298  * pxa_udc_suspend - Suspend udc device
2299  * @_dev: platform device
2300  * @state: suspend state
2301  *
2302  * Suspends udc : saves configuration registers (UDCCR*), then disables the udc
2303  * device.
2304  */
2305 static int pxa_udc_suspend(struct platform_device *_dev, pm_message_t state)
2306 {
2307         int i;
2308         struct pxa_udc *udc = platform_get_drvdata(_dev);
2309         struct pxa_ep *ep;
2310
2311         ep = &udc->pxa_ep[0];
2312         udc->udccsr0 = udc_ep_readl(ep, UDCCSR);
2313         for (i = 1; i < NR_PXA_ENDPOINTS; i++) {
2314                 ep = &udc->pxa_ep[i];
2315                 ep->udccsr_value = udc_ep_readl(ep, UDCCSR);
2316                 ep->udccr_value  = udc_ep_readl(ep, UDCCR);
2317                 ep_dbg(ep, "udccsr:0x%03x, udccr:0x%x\n",
2318                                 ep->udccsr_value, ep->udccr_value);
2319         }
2320
2321         udc_disable(udc);
2322
2323         return 0;
2324 }
2325
2326 /**
2327  * pxa_udc_resume - Resume udc device
2328  * @_dev: platform device
2329  *
2330  * Resumes udc : restores configuration registers (UDCCR*), then enables the udc
2331  * device.
2332  */
2333 static int pxa_udc_resume(struct platform_device *_dev)
2334 {
2335         int i;
2336         struct pxa_udc *udc = platform_get_drvdata(_dev);
2337         struct pxa_ep *ep;
2338
2339         ep = &udc->pxa_ep[0];
2340         udc_ep_writel(ep, UDCCSR, udc->udccsr0 & (UDCCSR0_FST | UDCCSR0_DME));
2341         for (i = 1; i < NR_PXA_ENDPOINTS; i++) {
2342                 ep = &udc->pxa_ep[i];
2343                 udc_ep_writel(ep, UDCCSR, ep->udccsr_value);
2344                 udc_ep_writel(ep, UDCCR,  ep->udccr_value);
2345                 ep_dbg(ep, "udccsr:0x%03x, udccr:0x%x\n",
2346                                 ep->udccsr_value, ep->udccr_value);
2347         }
2348
2349         udc_enable(udc);
2350         /*
2351          * We do not handle OTG yet.
2352          *
2353          * OTGPH bit is set when sleep mode is entered.
2354          * it indicates that OTG pad is retaining its state.
2355          * Upon exit from sleep mode and before clearing OTGPH,
2356          * Software must configure the USB OTG pad, UDC, and UHC
2357          * to the state they were in before entering sleep mode.
2358          */
2359         if (cpu_is_pxa27x())
2360                 PSSR |= PSSR_OTGPH;
2361
2362         return 0;
2363 }
2364 #endif
2365
2366 /* work with hotplug and coldplug */
2367 MODULE_ALIAS("platform:pxa27x-udc");
2368
2369 static struct platform_driver udc_driver = {
2370         .driver         = {
2371                 .name   = "pxa27x-udc",
2372                 .owner  = THIS_MODULE,
2373         },
2374         .remove         = __exit_p(pxa_udc_remove),
2375         .shutdown       = pxa_udc_shutdown,
2376 #ifdef CONFIG_PM
2377         .suspend        = pxa_udc_suspend,
2378         .resume         = pxa_udc_resume
2379 #endif
2380 };
2381
2382 static int __init udc_init(void)
2383 {
2384         if (!cpu_is_pxa27x())
2385                 return -ENODEV;
2386
2387         printk(KERN_INFO "%s: version %s\n", driver_name, DRIVER_VERSION);
2388         return platform_driver_probe(&udc_driver, pxa_udc_probe);
2389 }
2390 module_init(udc_init);
2391
2392
2393 static void __exit udc_exit(void)
2394 {
2395         platform_driver_unregister(&udc_driver);
2396 }
2397 module_exit(udc_exit);
2398
2399 MODULE_DESCRIPTION(DRIVER_DESC);
2400 MODULE_AUTHOR("Robert Jarzmik");
2401 MODULE_LICENSE("GPL");