Merge master.kernel.org:/pub/scm/linux/kernel/git/sfrench/cifs-2.6
[linux-2.6] / drivers / ata / libata-core.c
1 /*
2  *  libata-core.c - helper library for ATA
3  *
4  *  Maintained by:  Jeff Garzik <jgarzik@pobox.com>
5  *                  Please ALWAYS copy linux-ide@vger.kernel.org
6  *                  on emails.
7  *
8  *  Copyright 2003-2004 Red Hat, Inc.  All rights reserved.
9  *  Copyright 2003-2004 Jeff Garzik
10  *
11  *
12  *  This program is free software; you can redistribute it and/or modify
13  *  it under the terms of the GNU General Public License as published by
14  *  the Free Software Foundation; either version 2, or (at your option)
15  *  any later version.
16  *
17  *  This program is distributed in the hope that it will be useful,
18  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
19  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
20  *  GNU General Public License for more details.
21  *
22  *  You should have received a copy of the GNU General Public License
23  *  along with this program; see the file COPYING.  If not, write to
24  *  the Free Software Foundation, 675 Mass Ave, Cambridge, MA 02139, USA.
25  *
26  *
27  *  libata documentation is available via 'make {ps|pdf}docs',
28  *  as Documentation/DocBook/libata.*
29  *
30  *  Hardware documentation available from http://www.t13.org/ and
31  *  http://www.sata-io.org/
32  *
33  */
34
35 #include <linux/kernel.h>
36 #include <linux/module.h>
37 #include <linux/pci.h>
38 #include <linux/init.h>
39 #include <linux/list.h>
40 #include <linux/mm.h>
41 #include <linux/highmem.h>
42 #include <linux/spinlock.h>
43 #include <linux/blkdev.h>
44 #include <linux/delay.h>
45 #include <linux/timer.h>
46 #include <linux/interrupt.h>
47 #include <linux/completion.h>
48 #include <linux/suspend.h>
49 #include <linux/workqueue.h>
50 #include <linux/jiffies.h>
51 #include <linux/scatterlist.h>
52 #include <scsi/scsi.h>
53 #include <scsi/scsi_cmnd.h>
54 #include <scsi/scsi_host.h>
55 #include <linux/libata.h>
56 #include <asm/io.h>
57 #include <asm/semaphore.h>
58 #include <asm/byteorder.h>
59
60 #include "libata.h"
61
62 #define DRV_VERSION     "2.10"  /* must be exactly four chars */
63
64
65 /* debounce timing parameters in msecs { interval, duration, timeout } */
66 const unsigned long sata_deb_timing_normal[]            = {   5,  100, 2000 };
67 const unsigned long sata_deb_timing_hotplug[]           = {  25,  500, 2000 };
68 const unsigned long sata_deb_timing_long[]              = { 100, 2000, 5000 };
69
70 static unsigned int ata_dev_init_params(struct ata_device *dev,
71                                         u16 heads, u16 sectors);
72 static unsigned int ata_dev_set_xfermode(struct ata_device *dev);
73 static void ata_dev_xfermask(struct ata_device *dev);
74
75 static unsigned int ata_unique_id = 1;
76 static struct workqueue_struct *ata_wq;
77
78 struct workqueue_struct *ata_aux_wq;
79
80 int atapi_enabled = 1;
81 module_param(atapi_enabled, int, 0444);
82 MODULE_PARM_DESC(atapi_enabled, "Enable discovery of ATAPI devices (0=off, 1=on)");
83
84 int atapi_dmadir = 0;
85 module_param(atapi_dmadir, int, 0444);
86 MODULE_PARM_DESC(atapi_dmadir, "Enable ATAPI DMADIR bridge support (0=off, 1=on)");
87
88 int libata_fua = 0;
89 module_param_named(fua, libata_fua, int, 0444);
90 MODULE_PARM_DESC(fua, "FUA support (0=off, 1=on)");
91
92 static int ata_probe_timeout = ATA_TMOUT_INTERNAL / HZ;
93 module_param(ata_probe_timeout, int, 0444);
94 MODULE_PARM_DESC(ata_probe_timeout, "Set ATA probing timeout (seconds)");
95
96 MODULE_AUTHOR("Jeff Garzik");
97 MODULE_DESCRIPTION("Library module for ATA devices");
98 MODULE_LICENSE("GPL");
99 MODULE_VERSION(DRV_VERSION);
100
101
102 /**
103  *      ata_tf_to_fis - Convert ATA taskfile to SATA FIS structure
104  *      @tf: Taskfile to convert
105  *      @fis: Buffer into which data will output
106  *      @pmp: Port multiplier port
107  *
108  *      Converts a standard ATA taskfile to a Serial ATA
109  *      FIS structure (Register - Host to Device).
110  *
111  *      LOCKING:
112  *      Inherited from caller.
113  */
114
115 void ata_tf_to_fis(const struct ata_taskfile *tf, u8 *fis, u8 pmp)
116 {
117         fis[0] = 0x27;  /* Register - Host to Device FIS */
118         fis[1] = (pmp & 0xf) | (1 << 7); /* Port multiplier number,
119                                             bit 7 indicates Command FIS */
120         fis[2] = tf->command;
121         fis[3] = tf->feature;
122
123         fis[4] = tf->lbal;
124         fis[5] = tf->lbam;
125         fis[6] = tf->lbah;
126         fis[7] = tf->device;
127
128         fis[8] = tf->hob_lbal;
129         fis[9] = tf->hob_lbam;
130         fis[10] = tf->hob_lbah;
131         fis[11] = tf->hob_feature;
132
133         fis[12] = tf->nsect;
134         fis[13] = tf->hob_nsect;
135         fis[14] = 0;
136         fis[15] = tf->ctl;
137
138         fis[16] = 0;
139         fis[17] = 0;
140         fis[18] = 0;
141         fis[19] = 0;
142 }
143
144 /**
145  *      ata_tf_from_fis - Convert SATA FIS to ATA taskfile
146  *      @fis: Buffer from which data will be input
147  *      @tf: Taskfile to output
148  *
149  *      Converts a serial ATA FIS structure to a standard ATA taskfile.
150  *
151  *      LOCKING:
152  *      Inherited from caller.
153  */
154
155 void ata_tf_from_fis(const u8 *fis, struct ata_taskfile *tf)
156 {
157         tf->command     = fis[2];       /* status */
158         tf->feature     = fis[3];       /* error */
159
160         tf->lbal        = fis[4];
161         tf->lbam        = fis[5];
162         tf->lbah        = fis[6];
163         tf->device      = fis[7];
164
165         tf->hob_lbal    = fis[8];
166         tf->hob_lbam    = fis[9];
167         tf->hob_lbah    = fis[10];
168
169         tf->nsect       = fis[12];
170         tf->hob_nsect   = fis[13];
171 }
172
173 static const u8 ata_rw_cmds[] = {
174         /* pio multi */
175         ATA_CMD_READ_MULTI,
176         ATA_CMD_WRITE_MULTI,
177         ATA_CMD_READ_MULTI_EXT,
178         ATA_CMD_WRITE_MULTI_EXT,
179         0,
180         0,
181         0,
182         ATA_CMD_WRITE_MULTI_FUA_EXT,
183         /* pio */
184         ATA_CMD_PIO_READ,
185         ATA_CMD_PIO_WRITE,
186         ATA_CMD_PIO_READ_EXT,
187         ATA_CMD_PIO_WRITE_EXT,
188         0,
189         0,
190         0,
191         0,
192         /* dma */
193         ATA_CMD_READ,
194         ATA_CMD_WRITE,
195         ATA_CMD_READ_EXT,
196         ATA_CMD_WRITE_EXT,
197         0,
198         0,
199         0,
200         ATA_CMD_WRITE_FUA_EXT
201 };
202
203 /**
204  *      ata_rwcmd_protocol - set taskfile r/w commands and protocol
205  *      @tf: command to examine and configure
206  *      @dev: device tf belongs to
207  *
208  *      Examine the device configuration and tf->flags to calculate
209  *      the proper read/write commands and protocol to use.
210  *
211  *      LOCKING:
212  *      caller.
213  */
214 static int ata_rwcmd_protocol(struct ata_taskfile *tf, struct ata_device *dev)
215 {
216         u8 cmd;
217
218         int index, fua, lba48, write;
219
220         fua = (tf->flags & ATA_TFLAG_FUA) ? 4 : 0;
221         lba48 = (tf->flags & ATA_TFLAG_LBA48) ? 2 : 0;
222         write = (tf->flags & ATA_TFLAG_WRITE) ? 1 : 0;
223
224         if (dev->flags & ATA_DFLAG_PIO) {
225                 tf->protocol = ATA_PROT_PIO;
226                 index = dev->multi_count ? 0 : 8;
227         } else if (lba48 && (dev->ap->flags & ATA_FLAG_PIO_LBA48)) {
228                 /* Unable to use DMA due to host limitation */
229                 tf->protocol = ATA_PROT_PIO;
230                 index = dev->multi_count ? 0 : 8;
231         } else {
232                 tf->protocol = ATA_PROT_DMA;
233                 index = 16;
234         }
235
236         cmd = ata_rw_cmds[index + fua + lba48 + write];
237         if (cmd) {
238                 tf->command = cmd;
239                 return 0;
240         }
241         return -1;
242 }
243
244 /**
245  *      ata_tf_read_block - Read block address from ATA taskfile
246  *      @tf: ATA taskfile of interest
247  *      @dev: ATA device @tf belongs to
248  *
249  *      LOCKING:
250  *      None.
251  *
252  *      Read block address from @tf.  This function can handle all
253  *      three address formats - LBA, LBA48 and CHS.  tf->protocol and
254  *      flags select the address format to use.
255  *
256  *      RETURNS:
257  *      Block address read from @tf.
258  */
259 u64 ata_tf_read_block(struct ata_taskfile *tf, struct ata_device *dev)
260 {
261         u64 block = 0;
262
263         if (tf->flags & ATA_TFLAG_LBA) {
264                 if (tf->flags & ATA_TFLAG_LBA48) {
265                         block |= (u64)tf->hob_lbah << 40;
266                         block |= (u64)tf->hob_lbam << 32;
267                         block |= tf->hob_lbal << 24;
268                 } else
269                         block |= (tf->device & 0xf) << 24;
270
271                 block |= tf->lbah << 16;
272                 block |= tf->lbam << 8;
273                 block |= tf->lbal;
274         } else {
275                 u32 cyl, head, sect;
276
277                 cyl = tf->lbam | (tf->lbah << 8);
278                 head = tf->device & 0xf;
279                 sect = tf->lbal;
280
281                 block = (cyl * dev->heads + head) * dev->sectors + sect;
282         }
283
284         return block;
285 }
286
287 /**
288  *      ata_build_rw_tf - Build ATA taskfile for given read/write request
289  *      @tf: Target ATA taskfile
290  *      @dev: ATA device @tf belongs to
291  *      @block: Block address
292  *      @n_block: Number of blocks
293  *      @tf_flags: RW/FUA etc...
294  *      @tag: tag
295  *
296  *      LOCKING:
297  *      None.
298  *
299  *      Build ATA taskfile @tf for read/write request described by
300  *      @block, @n_block, @tf_flags and @tag on @dev.
301  *
302  *      RETURNS:
303  *
304  *      0 on success, -ERANGE if the request is too large for @dev,
305  *      -EINVAL if the request is invalid.
306  */
307 int ata_build_rw_tf(struct ata_taskfile *tf, struct ata_device *dev,
308                     u64 block, u32 n_block, unsigned int tf_flags,
309                     unsigned int tag)
310 {
311         tf->flags |= ATA_TFLAG_ISADDR | ATA_TFLAG_DEVICE;
312         tf->flags |= tf_flags;
313
314         if ((dev->flags & (ATA_DFLAG_PIO | ATA_DFLAG_NCQ_OFF |
315                            ATA_DFLAG_NCQ)) == ATA_DFLAG_NCQ &&
316             likely(tag != ATA_TAG_INTERNAL)) {
317                 /* yay, NCQ */
318                 if (!lba_48_ok(block, n_block))
319                         return -ERANGE;
320
321                 tf->protocol = ATA_PROT_NCQ;
322                 tf->flags |= ATA_TFLAG_LBA | ATA_TFLAG_LBA48;
323
324                 if (tf->flags & ATA_TFLAG_WRITE)
325                         tf->command = ATA_CMD_FPDMA_WRITE;
326                 else
327                         tf->command = ATA_CMD_FPDMA_READ;
328
329                 tf->nsect = tag << 3;
330                 tf->hob_feature = (n_block >> 8) & 0xff;
331                 tf->feature = n_block & 0xff;
332
333                 tf->hob_lbah = (block >> 40) & 0xff;
334                 tf->hob_lbam = (block >> 32) & 0xff;
335                 tf->hob_lbal = (block >> 24) & 0xff;
336                 tf->lbah = (block >> 16) & 0xff;
337                 tf->lbam = (block >> 8) & 0xff;
338                 tf->lbal = block & 0xff;
339
340                 tf->device = 1 << 6;
341                 if (tf->flags & ATA_TFLAG_FUA)
342                         tf->device |= 1 << 7;
343         } else if (dev->flags & ATA_DFLAG_LBA) {
344                 tf->flags |= ATA_TFLAG_LBA;
345
346                 if (lba_28_ok(block, n_block)) {
347                         /* use LBA28 */
348                         tf->device |= (block >> 24) & 0xf;
349                 } else if (lba_48_ok(block, n_block)) {
350                         if (!(dev->flags & ATA_DFLAG_LBA48))
351                                 return -ERANGE;
352
353                         /* use LBA48 */
354                         tf->flags |= ATA_TFLAG_LBA48;
355
356                         tf->hob_nsect = (n_block >> 8) & 0xff;
357
358                         tf->hob_lbah = (block >> 40) & 0xff;
359                         tf->hob_lbam = (block >> 32) & 0xff;
360                         tf->hob_lbal = (block >> 24) & 0xff;
361                 } else
362                         /* request too large even for LBA48 */
363                         return -ERANGE;
364
365                 if (unlikely(ata_rwcmd_protocol(tf, dev) < 0))
366                         return -EINVAL;
367
368                 tf->nsect = n_block & 0xff;
369
370                 tf->lbah = (block >> 16) & 0xff;
371                 tf->lbam = (block >> 8) & 0xff;
372                 tf->lbal = block & 0xff;
373
374                 tf->device |= ATA_LBA;
375         } else {
376                 /* CHS */
377                 u32 sect, head, cyl, track;
378
379                 /* The request -may- be too large for CHS addressing. */
380                 if (!lba_28_ok(block, n_block))
381                         return -ERANGE;
382
383                 if (unlikely(ata_rwcmd_protocol(tf, dev) < 0))
384                         return -EINVAL;
385
386                 /* Convert LBA to CHS */
387                 track = (u32)block / dev->sectors;
388                 cyl   = track / dev->heads;
389                 head  = track % dev->heads;
390                 sect  = (u32)block % dev->sectors + 1;
391
392                 DPRINTK("block %u track %u cyl %u head %u sect %u\n",
393                         (u32)block, track, cyl, head, sect);
394
395                 /* Check whether the converted CHS can fit.
396                    Cylinder: 0-65535
397                    Head: 0-15
398                    Sector: 1-255*/
399                 if ((cyl >> 16) || (head >> 4) || (sect >> 8) || (!sect))
400                         return -ERANGE;
401
402                 tf->nsect = n_block & 0xff; /* Sector count 0 means 256 sectors */
403                 tf->lbal = sect;
404                 tf->lbam = cyl;
405                 tf->lbah = cyl >> 8;
406                 tf->device |= head;
407         }
408
409         return 0;
410 }
411
412 /**
413  *      ata_pack_xfermask - Pack pio, mwdma and udma masks into xfer_mask
414  *      @pio_mask: pio_mask
415  *      @mwdma_mask: mwdma_mask
416  *      @udma_mask: udma_mask
417  *
418  *      Pack @pio_mask, @mwdma_mask and @udma_mask into a single
419  *      unsigned int xfer_mask.
420  *
421  *      LOCKING:
422  *      None.
423  *
424  *      RETURNS:
425  *      Packed xfer_mask.
426  */
427 static unsigned int ata_pack_xfermask(unsigned int pio_mask,
428                                       unsigned int mwdma_mask,
429                                       unsigned int udma_mask)
430 {
431         return ((pio_mask << ATA_SHIFT_PIO) & ATA_MASK_PIO) |
432                 ((mwdma_mask << ATA_SHIFT_MWDMA) & ATA_MASK_MWDMA) |
433                 ((udma_mask << ATA_SHIFT_UDMA) & ATA_MASK_UDMA);
434 }
435
436 /**
437  *      ata_unpack_xfermask - Unpack xfer_mask into pio, mwdma and udma masks
438  *      @xfer_mask: xfer_mask to unpack
439  *      @pio_mask: resulting pio_mask
440  *      @mwdma_mask: resulting mwdma_mask
441  *      @udma_mask: resulting udma_mask
442  *
443  *      Unpack @xfer_mask into @pio_mask, @mwdma_mask and @udma_mask.
444  *      Any NULL distination masks will be ignored.
445  */
446 static void ata_unpack_xfermask(unsigned int xfer_mask,
447                                 unsigned int *pio_mask,
448                                 unsigned int *mwdma_mask,
449                                 unsigned int *udma_mask)
450 {
451         if (pio_mask)
452                 *pio_mask = (xfer_mask & ATA_MASK_PIO) >> ATA_SHIFT_PIO;
453         if (mwdma_mask)
454                 *mwdma_mask = (xfer_mask & ATA_MASK_MWDMA) >> ATA_SHIFT_MWDMA;
455         if (udma_mask)
456                 *udma_mask = (xfer_mask & ATA_MASK_UDMA) >> ATA_SHIFT_UDMA;
457 }
458
459 static const struct ata_xfer_ent {
460         int shift, bits;
461         u8 base;
462 } ata_xfer_tbl[] = {
463         { ATA_SHIFT_PIO, ATA_BITS_PIO, XFER_PIO_0 },
464         { ATA_SHIFT_MWDMA, ATA_BITS_MWDMA, XFER_MW_DMA_0 },
465         { ATA_SHIFT_UDMA, ATA_BITS_UDMA, XFER_UDMA_0 },
466         { -1, },
467 };
468
469 /**
470  *      ata_xfer_mask2mode - Find matching XFER_* for the given xfer_mask
471  *      @xfer_mask: xfer_mask of interest
472  *
473  *      Return matching XFER_* value for @xfer_mask.  Only the highest
474  *      bit of @xfer_mask is considered.
475  *
476  *      LOCKING:
477  *      None.
478  *
479  *      RETURNS:
480  *      Matching XFER_* value, 0 if no match found.
481  */
482 static u8 ata_xfer_mask2mode(unsigned int xfer_mask)
483 {
484         int highbit = fls(xfer_mask) - 1;
485         const struct ata_xfer_ent *ent;
486
487         for (ent = ata_xfer_tbl; ent->shift >= 0; ent++)
488                 if (highbit >= ent->shift && highbit < ent->shift + ent->bits)
489                         return ent->base + highbit - ent->shift;
490         return 0;
491 }
492
493 /**
494  *      ata_xfer_mode2mask - Find matching xfer_mask for XFER_*
495  *      @xfer_mode: XFER_* of interest
496  *
497  *      Return matching xfer_mask for @xfer_mode.
498  *
499  *      LOCKING:
500  *      None.
501  *
502  *      RETURNS:
503  *      Matching xfer_mask, 0 if no match found.
504  */
505 static unsigned int ata_xfer_mode2mask(u8 xfer_mode)
506 {
507         const struct ata_xfer_ent *ent;
508
509         for (ent = ata_xfer_tbl; ent->shift >= 0; ent++)
510                 if (xfer_mode >= ent->base && xfer_mode < ent->base + ent->bits)
511                         return 1 << (ent->shift + xfer_mode - ent->base);
512         return 0;
513 }
514
515 /**
516  *      ata_xfer_mode2shift - Find matching xfer_shift for XFER_*
517  *      @xfer_mode: XFER_* of interest
518  *
519  *      Return matching xfer_shift for @xfer_mode.
520  *
521  *      LOCKING:
522  *      None.
523  *
524  *      RETURNS:
525  *      Matching xfer_shift, -1 if no match found.
526  */
527 static int ata_xfer_mode2shift(unsigned int xfer_mode)
528 {
529         const struct ata_xfer_ent *ent;
530
531         for (ent = ata_xfer_tbl; ent->shift >= 0; ent++)
532                 if (xfer_mode >= ent->base && xfer_mode < ent->base + ent->bits)
533                         return ent->shift;
534         return -1;
535 }
536
537 /**
538  *      ata_mode_string - convert xfer_mask to string
539  *      @xfer_mask: mask of bits supported; only highest bit counts.
540  *
541  *      Determine string which represents the highest speed
542  *      (highest bit in @modemask).
543  *
544  *      LOCKING:
545  *      None.
546  *
547  *      RETURNS:
548  *      Constant C string representing highest speed listed in
549  *      @mode_mask, or the constant C string "<n/a>".
550  */
551 static const char *ata_mode_string(unsigned int xfer_mask)
552 {
553         static const char * const xfer_mode_str[] = {
554                 "PIO0",
555                 "PIO1",
556                 "PIO2",
557                 "PIO3",
558                 "PIO4",
559                 "PIO5",
560                 "PIO6",
561                 "MWDMA0",
562                 "MWDMA1",
563                 "MWDMA2",
564                 "MWDMA3",
565                 "MWDMA4",
566                 "UDMA/16",
567                 "UDMA/25",
568                 "UDMA/33",
569                 "UDMA/44",
570                 "UDMA/66",
571                 "UDMA/100",
572                 "UDMA/133",
573                 "UDMA7",
574         };
575         int highbit;
576
577         highbit = fls(xfer_mask) - 1;
578         if (highbit >= 0 && highbit < ARRAY_SIZE(xfer_mode_str))
579                 return xfer_mode_str[highbit];
580         return "<n/a>";
581 }
582
583 static const char *sata_spd_string(unsigned int spd)
584 {
585         static const char * const spd_str[] = {
586                 "1.5 Gbps",
587                 "3.0 Gbps",
588         };
589
590         if (spd == 0 || (spd - 1) >= ARRAY_SIZE(spd_str))
591                 return "<unknown>";
592         return spd_str[spd - 1];
593 }
594
595 void ata_dev_disable(struct ata_device *dev)
596 {
597         if (ata_dev_enabled(dev) && ata_msg_drv(dev->ap)) {
598                 ata_dev_printk(dev, KERN_WARNING, "disabled\n");
599                 dev->class++;
600         }
601 }
602
603 /**
604  *      ata_devchk - PATA device presence detection
605  *      @ap: ATA channel to examine
606  *      @device: Device to examine (starting at zero)
607  *
608  *      This technique was originally described in
609  *      Hale Landis's ATADRVR (www.ata-atapi.com), and
610  *      later found its way into the ATA/ATAPI spec.
611  *
612  *      Write a pattern to the ATA shadow registers,
613  *      and if a device is present, it will respond by
614  *      correctly storing and echoing back the
615  *      ATA shadow register contents.
616  *
617  *      LOCKING:
618  *      caller.
619  */
620
621 static unsigned int ata_devchk(struct ata_port *ap, unsigned int device)
622 {
623         struct ata_ioports *ioaddr = &ap->ioaddr;
624         u8 nsect, lbal;
625
626         ap->ops->dev_select(ap, device);
627
628         iowrite8(0x55, ioaddr->nsect_addr);
629         iowrite8(0xaa, ioaddr->lbal_addr);
630
631         iowrite8(0xaa, ioaddr->nsect_addr);
632         iowrite8(0x55, ioaddr->lbal_addr);
633
634         iowrite8(0x55, ioaddr->nsect_addr);
635         iowrite8(0xaa, ioaddr->lbal_addr);
636
637         nsect = ioread8(ioaddr->nsect_addr);
638         lbal = ioread8(ioaddr->lbal_addr);
639
640         if ((nsect == 0x55) && (lbal == 0xaa))
641                 return 1;       /* we found a device */
642
643         return 0;               /* nothing found */
644 }
645
646 /**
647  *      ata_dev_classify - determine device type based on ATA-spec signature
648  *      @tf: ATA taskfile register set for device to be identified
649  *
650  *      Determine from taskfile register contents whether a device is
651  *      ATA or ATAPI, as per "Signature and persistence" section
652  *      of ATA/PI spec (volume 1, sect 5.14).
653  *
654  *      LOCKING:
655  *      None.
656  *
657  *      RETURNS:
658  *      Device type, %ATA_DEV_ATA, %ATA_DEV_ATAPI, or %ATA_DEV_UNKNOWN
659  *      the event of failure.
660  */
661
662 unsigned int ata_dev_classify(const struct ata_taskfile *tf)
663 {
664         /* Apple's open source Darwin code hints that some devices only
665          * put a proper signature into the LBA mid/high registers,
666          * So, we only check those.  It's sufficient for uniqueness.
667          */
668
669         if (((tf->lbam == 0) && (tf->lbah == 0)) ||
670             ((tf->lbam == 0x3c) && (tf->lbah == 0xc3))) {
671                 DPRINTK("found ATA device by sig\n");
672                 return ATA_DEV_ATA;
673         }
674
675         if (((tf->lbam == 0x14) && (tf->lbah == 0xeb)) ||
676             ((tf->lbam == 0x69) && (tf->lbah == 0x96))) {
677                 DPRINTK("found ATAPI device by sig\n");
678                 return ATA_DEV_ATAPI;
679         }
680
681         DPRINTK("unknown device\n");
682         return ATA_DEV_UNKNOWN;
683 }
684
685 /**
686  *      ata_dev_try_classify - Parse returned ATA device signature
687  *      @ap: ATA channel to examine
688  *      @device: Device to examine (starting at zero)
689  *      @r_err: Value of error register on completion
690  *
691  *      After an event -- SRST, E.D.D., or SATA COMRESET -- occurs,
692  *      an ATA/ATAPI-defined set of values is placed in the ATA
693  *      shadow registers, indicating the results of device detection
694  *      and diagnostics.
695  *
696  *      Select the ATA device, and read the values from the ATA shadow
697  *      registers.  Then parse according to the Error register value,
698  *      and the spec-defined values examined by ata_dev_classify().
699  *
700  *      LOCKING:
701  *      caller.
702  *
703  *      RETURNS:
704  *      Device type - %ATA_DEV_ATA, %ATA_DEV_ATAPI or %ATA_DEV_NONE.
705  */
706
707 static unsigned int
708 ata_dev_try_classify(struct ata_port *ap, unsigned int device, u8 *r_err)
709 {
710         struct ata_taskfile tf;
711         unsigned int class;
712         u8 err;
713
714         ap->ops->dev_select(ap, device);
715
716         memset(&tf, 0, sizeof(tf));
717
718         ap->ops->tf_read(ap, &tf);
719         err = tf.feature;
720         if (r_err)
721                 *r_err = err;
722
723         /* see if device passed diags: if master then continue and warn later */
724         if (err == 0 && device == 0)
725                 /* diagnostic fail : do nothing _YET_ */
726                 ap->device[device].horkage |= ATA_HORKAGE_DIAGNOSTIC;
727         else if (err == 1)
728                 /* do nothing */ ;
729         else if ((device == 0) && (err == 0x81))
730                 /* do nothing */ ;
731         else
732                 return ATA_DEV_NONE;
733
734         /* determine if device is ATA or ATAPI */
735         class = ata_dev_classify(&tf);
736
737         if (class == ATA_DEV_UNKNOWN)
738                 return ATA_DEV_NONE;
739         if ((class == ATA_DEV_ATA) && (ata_chk_status(ap) == 0))
740                 return ATA_DEV_NONE;
741         return class;
742 }
743
744 /**
745  *      ata_id_string - Convert IDENTIFY DEVICE page into string
746  *      @id: IDENTIFY DEVICE results we will examine
747  *      @s: string into which data is output
748  *      @ofs: offset into identify device page
749  *      @len: length of string to return. must be an even number.
750  *
751  *      The strings in the IDENTIFY DEVICE page are broken up into
752  *      16-bit chunks.  Run through the string, and output each
753  *      8-bit chunk linearly, regardless of platform.
754  *
755  *      LOCKING:
756  *      caller.
757  */
758
759 void ata_id_string(const u16 *id, unsigned char *s,
760                    unsigned int ofs, unsigned int len)
761 {
762         unsigned int c;
763
764         while (len > 0) {
765                 c = id[ofs] >> 8;
766                 *s = c;
767                 s++;
768
769                 c = id[ofs] & 0xff;
770                 *s = c;
771                 s++;
772
773                 ofs++;
774                 len -= 2;
775         }
776 }
777
778 /**
779  *      ata_id_c_string - Convert IDENTIFY DEVICE page into C string
780  *      @id: IDENTIFY DEVICE results we will examine
781  *      @s: string into which data is output
782  *      @ofs: offset into identify device page
783  *      @len: length of string to return. must be an odd number.
784  *
785  *      This function is identical to ata_id_string except that it
786  *      trims trailing spaces and terminates the resulting string with
787  *      null.  @len must be actual maximum length (even number) + 1.
788  *
789  *      LOCKING:
790  *      caller.
791  */
792 void ata_id_c_string(const u16 *id, unsigned char *s,
793                      unsigned int ofs, unsigned int len)
794 {
795         unsigned char *p;
796
797         WARN_ON(!(len & 1));
798
799         ata_id_string(id, s, ofs, len - 1);
800
801         p = s + strnlen(s, len - 1);
802         while (p > s && p[-1] == ' ')
803                 p--;
804         *p = '\0';
805 }
806
807 static u64 ata_id_n_sectors(const u16 *id)
808 {
809         if (ata_id_has_lba(id)) {
810                 if (ata_id_has_lba48(id))
811                         return ata_id_u64(id, 100);
812                 else
813                         return ata_id_u32(id, 60);
814         } else {
815                 if (ata_id_current_chs_valid(id))
816                         return ata_id_u32(id, 57);
817                 else
818                         return id[1] * id[3] * id[6];
819         }
820 }
821
822 /**
823  *      ata_noop_dev_select - Select device 0/1 on ATA bus
824  *      @ap: ATA channel to manipulate
825  *      @device: ATA device (numbered from zero) to select
826  *
827  *      This function performs no actual function.
828  *
829  *      May be used as the dev_select() entry in ata_port_operations.
830  *
831  *      LOCKING:
832  *      caller.
833  */
834 void ata_noop_dev_select (struct ata_port *ap, unsigned int device)
835 {
836 }
837
838
839 /**
840  *      ata_std_dev_select - Select device 0/1 on ATA bus
841  *      @ap: ATA channel to manipulate
842  *      @device: ATA device (numbered from zero) to select
843  *
844  *      Use the method defined in the ATA specification to
845  *      make either device 0, or device 1, active on the
846  *      ATA channel.  Works with both PIO and MMIO.
847  *
848  *      May be used as the dev_select() entry in ata_port_operations.
849  *
850  *      LOCKING:
851  *      caller.
852  */
853
854 void ata_std_dev_select (struct ata_port *ap, unsigned int device)
855 {
856         u8 tmp;
857
858         if (device == 0)
859                 tmp = ATA_DEVICE_OBS;
860         else
861                 tmp = ATA_DEVICE_OBS | ATA_DEV1;
862
863         iowrite8(tmp, ap->ioaddr.device_addr);
864         ata_pause(ap);          /* needed; also flushes, for mmio */
865 }
866
867 /**
868  *      ata_dev_select - Select device 0/1 on ATA bus
869  *      @ap: ATA channel to manipulate
870  *      @device: ATA device (numbered from zero) to select
871  *      @wait: non-zero to wait for Status register BSY bit to clear
872  *      @can_sleep: non-zero if context allows sleeping
873  *
874  *      Use the method defined in the ATA specification to
875  *      make either device 0, or device 1, active on the
876  *      ATA channel.
877  *
878  *      This is a high-level version of ata_std_dev_select(),
879  *      which additionally provides the services of inserting
880  *      the proper pauses and status polling, where needed.
881  *
882  *      LOCKING:
883  *      caller.
884  */
885
886 void ata_dev_select(struct ata_port *ap, unsigned int device,
887                            unsigned int wait, unsigned int can_sleep)
888 {
889         if (ata_msg_probe(ap))
890                 ata_port_printk(ap, KERN_INFO, "ata_dev_select: ENTER, ata%u: "
891                                 "device %u, wait %u\n", ap->id, device, wait);
892
893         if (wait)
894                 ata_wait_idle(ap);
895
896         ap->ops->dev_select(ap, device);
897
898         if (wait) {
899                 if (can_sleep && ap->device[device].class == ATA_DEV_ATAPI)
900                         msleep(150);
901                 ata_wait_idle(ap);
902         }
903 }
904
905 /**
906  *      ata_dump_id - IDENTIFY DEVICE info debugging output
907  *      @id: IDENTIFY DEVICE page to dump
908  *
909  *      Dump selected 16-bit words from the given IDENTIFY DEVICE
910  *      page.
911  *
912  *      LOCKING:
913  *      caller.
914  */
915
916 static inline void ata_dump_id(const u16 *id)
917 {
918         DPRINTK("49==0x%04x  "
919                 "53==0x%04x  "
920                 "63==0x%04x  "
921                 "64==0x%04x  "
922                 "75==0x%04x  \n",
923                 id[49],
924                 id[53],
925                 id[63],
926                 id[64],
927                 id[75]);
928         DPRINTK("80==0x%04x  "
929                 "81==0x%04x  "
930                 "82==0x%04x  "
931                 "83==0x%04x  "
932                 "84==0x%04x  \n",
933                 id[80],
934                 id[81],
935                 id[82],
936                 id[83],
937                 id[84]);
938         DPRINTK("88==0x%04x  "
939                 "93==0x%04x\n",
940                 id[88],
941                 id[93]);
942 }
943
944 /**
945  *      ata_id_xfermask - Compute xfermask from the given IDENTIFY data
946  *      @id: IDENTIFY data to compute xfer mask from
947  *
948  *      Compute the xfermask for this device. This is not as trivial
949  *      as it seems if we must consider early devices correctly.
950  *
951  *      FIXME: pre IDE drive timing (do we care ?).
952  *
953  *      LOCKING:
954  *      None.
955  *
956  *      RETURNS:
957  *      Computed xfermask
958  */
959 static unsigned int ata_id_xfermask(const u16 *id)
960 {
961         unsigned int pio_mask, mwdma_mask, udma_mask;
962
963         /* Usual case. Word 53 indicates word 64 is valid */
964         if (id[ATA_ID_FIELD_VALID] & (1 << 1)) {
965                 pio_mask = id[ATA_ID_PIO_MODES] & 0x03;
966                 pio_mask <<= 3;
967                 pio_mask |= 0x7;
968         } else {
969                 /* If word 64 isn't valid then Word 51 high byte holds
970                  * the PIO timing number for the maximum. Turn it into
971                  * a mask.
972                  */
973                 u8 mode = (id[ATA_ID_OLD_PIO_MODES] >> 8) & 0xFF;
974                 if (mode < 5)   /* Valid PIO range */
975                         pio_mask = (2 << mode) - 1;
976                 else
977                         pio_mask = 1;
978
979                 /* But wait.. there's more. Design your standards by
980                  * committee and you too can get a free iordy field to
981                  * process. However its the speeds not the modes that
982                  * are supported... Note drivers using the timing API
983                  * will get this right anyway
984                  */
985         }
986
987         mwdma_mask = id[ATA_ID_MWDMA_MODES] & 0x07;
988
989         if (ata_id_is_cfa(id)) {
990                 /*
991                  *      Process compact flash extended modes
992                  */
993                 int pio = id[163] & 0x7;
994                 int dma = (id[163] >> 3) & 7;
995
996                 if (pio)
997                         pio_mask |= (1 << 5);
998                 if (pio > 1)
999                         pio_mask |= (1 << 6);
1000                 if (dma)
1001                         mwdma_mask |= (1 << 3);
1002                 if (dma > 1)
1003                         mwdma_mask |= (1 << 4);
1004         }
1005
1006         udma_mask = 0;
1007         if (id[ATA_ID_FIELD_VALID] & (1 << 2))
1008                 udma_mask = id[ATA_ID_UDMA_MODES] & 0xff;
1009
1010         return ata_pack_xfermask(pio_mask, mwdma_mask, udma_mask);
1011 }
1012
1013 /**
1014  *      ata_port_queue_task - Queue port_task
1015  *      @ap: The ata_port to queue port_task for
1016  *      @fn: workqueue function to be scheduled
1017  *      @data: data for @fn to use
1018  *      @delay: delay time for workqueue function
1019  *
1020  *      Schedule @fn(@data) for execution after @delay jiffies using
1021  *      port_task.  There is one port_task per port and it's the
1022  *      user(low level driver)'s responsibility to make sure that only
1023  *      one task is active at any given time.
1024  *
1025  *      libata core layer takes care of synchronization between
1026  *      port_task and EH.  ata_port_queue_task() may be ignored for EH
1027  *      synchronization.
1028  *
1029  *      LOCKING:
1030  *      Inherited from caller.
1031  */
1032 void ata_port_queue_task(struct ata_port *ap, work_func_t fn, void *data,
1033                          unsigned long delay)
1034 {
1035         int rc;
1036
1037         if (ap->pflags & ATA_PFLAG_FLUSH_PORT_TASK)
1038                 return;
1039
1040         PREPARE_DELAYED_WORK(&ap->port_task, fn);
1041         ap->port_task_data = data;
1042
1043         rc = queue_delayed_work(ata_wq, &ap->port_task, delay);
1044
1045         /* rc == 0 means that another user is using port task */
1046         WARN_ON(rc == 0);
1047 }
1048
1049 /**
1050  *      ata_port_flush_task - Flush port_task
1051  *      @ap: The ata_port to flush port_task for
1052  *
1053  *      After this function completes, port_task is guranteed not to
1054  *      be running or scheduled.
1055  *
1056  *      LOCKING:
1057  *      Kernel thread context (may sleep)
1058  */
1059 void ata_port_flush_task(struct ata_port *ap)
1060 {
1061         unsigned long flags;
1062
1063         DPRINTK("ENTER\n");
1064
1065         spin_lock_irqsave(ap->lock, flags);
1066         ap->pflags |= ATA_PFLAG_FLUSH_PORT_TASK;
1067         spin_unlock_irqrestore(ap->lock, flags);
1068
1069         DPRINTK("flush #1\n");
1070         flush_workqueue(ata_wq);
1071
1072         /*
1073          * At this point, if a task is running, it's guaranteed to see
1074          * the FLUSH flag; thus, it will never queue pio tasks again.
1075          * Cancel and flush.
1076          */
1077         if (!cancel_delayed_work(&ap->port_task)) {
1078                 if (ata_msg_ctl(ap))
1079                         ata_port_printk(ap, KERN_DEBUG, "%s: flush #2\n",
1080                                         __FUNCTION__);
1081                 flush_workqueue(ata_wq);
1082         }
1083
1084         spin_lock_irqsave(ap->lock, flags);
1085         ap->pflags &= ~ATA_PFLAG_FLUSH_PORT_TASK;
1086         spin_unlock_irqrestore(ap->lock, flags);
1087
1088         if (ata_msg_ctl(ap))
1089                 ata_port_printk(ap, KERN_DEBUG, "%s: EXIT\n", __FUNCTION__);
1090 }
1091
1092 static void ata_qc_complete_internal(struct ata_queued_cmd *qc)
1093 {
1094         struct completion *waiting = qc->private_data;
1095
1096         complete(waiting);
1097 }
1098
1099 /**
1100  *      ata_exec_internal_sg - execute libata internal command
1101  *      @dev: Device to which the command is sent
1102  *      @tf: Taskfile registers for the command and the result
1103  *      @cdb: CDB for packet command
1104  *      @dma_dir: Data tranfer direction of the command
1105  *      @sg: sg list for the data buffer of the command
1106  *      @n_elem: Number of sg entries
1107  *
1108  *      Executes libata internal command with timeout.  @tf contains
1109  *      command on entry and result on return.  Timeout and error
1110  *      conditions are reported via return value.  No recovery action
1111  *      is taken after a command times out.  It's caller's duty to
1112  *      clean up after timeout.
1113  *
1114  *      LOCKING:
1115  *      None.  Should be called with kernel context, might sleep.
1116  *
1117  *      RETURNS:
1118  *      Zero on success, AC_ERR_* mask on failure
1119  */
1120 unsigned ata_exec_internal_sg(struct ata_device *dev,
1121                               struct ata_taskfile *tf, const u8 *cdb,
1122                               int dma_dir, struct scatterlist *sg,
1123                               unsigned int n_elem)
1124 {
1125         struct ata_port *ap = dev->ap;
1126         u8 command = tf->command;
1127         struct ata_queued_cmd *qc;
1128         unsigned int tag, preempted_tag;
1129         u32 preempted_sactive, preempted_qc_active;
1130         DECLARE_COMPLETION_ONSTACK(wait);
1131         unsigned long flags;
1132         unsigned int err_mask;
1133         int rc;
1134
1135         spin_lock_irqsave(ap->lock, flags);
1136
1137         /* no internal command while frozen */
1138         if (ap->pflags & ATA_PFLAG_FROZEN) {
1139                 spin_unlock_irqrestore(ap->lock, flags);
1140                 return AC_ERR_SYSTEM;
1141         }
1142
1143         /* initialize internal qc */
1144
1145         /* XXX: Tag 0 is used for drivers with legacy EH as some
1146          * drivers choke if any other tag is given.  This breaks
1147          * ata_tag_internal() test for those drivers.  Don't use new
1148          * EH stuff without converting to it.
1149          */
1150         if (ap->ops->error_handler)
1151                 tag = ATA_TAG_INTERNAL;
1152         else
1153                 tag = 0;
1154
1155         if (test_and_set_bit(tag, &ap->qc_allocated))
1156                 BUG();
1157         qc = __ata_qc_from_tag(ap, tag);
1158
1159         qc->tag = tag;
1160         qc->scsicmd = NULL;
1161         qc->ap = ap;
1162         qc->dev = dev;
1163         ata_qc_reinit(qc);
1164
1165         preempted_tag = ap->active_tag;
1166         preempted_sactive = ap->sactive;
1167         preempted_qc_active = ap->qc_active;
1168         ap->active_tag = ATA_TAG_POISON;
1169         ap->sactive = 0;
1170         ap->qc_active = 0;
1171
1172         /* prepare & issue qc */
1173         qc->tf = *tf;
1174         if (cdb)
1175                 memcpy(qc->cdb, cdb, ATAPI_CDB_LEN);
1176         qc->flags |= ATA_QCFLAG_RESULT_TF;
1177         qc->dma_dir = dma_dir;
1178         if (dma_dir != DMA_NONE) {
1179                 unsigned int i, buflen = 0;
1180
1181                 for (i = 0; i < n_elem; i++)
1182                         buflen += sg[i].length;
1183
1184                 ata_sg_init(qc, sg, n_elem);
1185                 qc->nbytes = buflen;
1186         }
1187
1188         qc->private_data = &wait;
1189         qc->complete_fn = ata_qc_complete_internal;
1190
1191         ata_qc_issue(qc);
1192
1193         spin_unlock_irqrestore(ap->lock, flags);
1194
1195         rc = wait_for_completion_timeout(&wait, ata_probe_timeout);
1196
1197         ata_port_flush_task(ap);
1198
1199         if (!rc) {
1200                 spin_lock_irqsave(ap->lock, flags);
1201
1202                 /* We're racing with irq here.  If we lose, the
1203                  * following test prevents us from completing the qc
1204                  * twice.  If we win, the port is frozen and will be
1205                  * cleaned up by ->post_internal_cmd().
1206                  */
1207                 if (qc->flags & ATA_QCFLAG_ACTIVE) {
1208                         qc->err_mask |= AC_ERR_TIMEOUT;
1209
1210                         if (ap->ops->error_handler)
1211                                 ata_port_freeze(ap);
1212                         else
1213                                 ata_qc_complete(qc);
1214
1215                         if (ata_msg_warn(ap))
1216                                 ata_dev_printk(dev, KERN_WARNING,
1217                                         "qc timeout (cmd 0x%x)\n", command);
1218                 }
1219
1220                 spin_unlock_irqrestore(ap->lock, flags);
1221         }
1222
1223         /* do post_internal_cmd */
1224         if (ap->ops->post_internal_cmd)
1225                 ap->ops->post_internal_cmd(qc);
1226
1227         if ((qc->flags & ATA_QCFLAG_FAILED) && !qc->err_mask) {
1228                 if (ata_msg_warn(ap))
1229                         ata_dev_printk(dev, KERN_WARNING,
1230                                 "zero err_mask for failed "
1231                                 "internal command, assuming AC_ERR_OTHER\n");
1232                 qc->err_mask |= AC_ERR_OTHER;
1233         }
1234
1235         /* finish up */
1236         spin_lock_irqsave(ap->lock, flags);
1237
1238         *tf = qc->result_tf;
1239         err_mask = qc->err_mask;
1240
1241         ata_qc_free(qc);
1242         ap->active_tag = preempted_tag;
1243         ap->sactive = preempted_sactive;
1244         ap->qc_active = preempted_qc_active;
1245
1246         /* XXX - Some LLDDs (sata_mv) disable port on command failure.
1247          * Until those drivers are fixed, we detect the condition
1248          * here, fail the command with AC_ERR_SYSTEM and reenable the
1249          * port.
1250          *
1251          * Note that this doesn't change any behavior as internal
1252          * command failure results in disabling the device in the
1253          * higher layer for LLDDs without new reset/EH callbacks.
1254          *
1255          * Kill the following code as soon as those drivers are fixed.
1256          */
1257         if (ap->flags & ATA_FLAG_DISABLED) {
1258                 err_mask |= AC_ERR_SYSTEM;
1259                 ata_port_probe(ap);
1260         }
1261
1262         spin_unlock_irqrestore(ap->lock, flags);
1263
1264         return err_mask;
1265 }
1266
1267 /**
1268  *      ata_exec_internal - execute libata internal command
1269  *      @dev: Device to which the command is sent
1270  *      @tf: Taskfile registers for the command and the result
1271  *      @cdb: CDB for packet command
1272  *      @dma_dir: Data tranfer direction of the command
1273  *      @buf: Data buffer of the command
1274  *      @buflen: Length of data buffer
1275  *
1276  *      Wrapper around ata_exec_internal_sg() which takes simple
1277  *      buffer instead of sg list.
1278  *
1279  *      LOCKING:
1280  *      None.  Should be called with kernel context, might sleep.
1281  *
1282  *      RETURNS:
1283  *      Zero on success, AC_ERR_* mask on failure
1284  */
1285 unsigned ata_exec_internal(struct ata_device *dev,
1286                            struct ata_taskfile *tf, const u8 *cdb,
1287                            int dma_dir, void *buf, unsigned int buflen)
1288 {
1289         struct scatterlist *psg = NULL, sg;
1290         unsigned int n_elem = 0;
1291
1292         if (dma_dir != DMA_NONE) {
1293                 WARN_ON(!buf);
1294                 sg_init_one(&sg, buf, buflen);
1295                 psg = &sg;
1296                 n_elem++;
1297         }
1298
1299         return ata_exec_internal_sg(dev, tf, cdb, dma_dir, psg, n_elem);
1300 }
1301
1302 /**
1303  *      ata_do_simple_cmd - execute simple internal command
1304  *      @dev: Device to which the command is sent
1305  *      @cmd: Opcode to execute
1306  *
1307  *      Execute a 'simple' command, that only consists of the opcode
1308  *      'cmd' itself, without filling any other registers
1309  *
1310  *      LOCKING:
1311  *      Kernel thread context (may sleep).
1312  *
1313  *      RETURNS:
1314  *      Zero on success, AC_ERR_* mask on failure
1315  */
1316 unsigned int ata_do_simple_cmd(struct ata_device *dev, u8 cmd)
1317 {
1318         struct ata_taskfile tf;
1319
1320         ata_tf_init(dev, &tf);
1321
1322         tf.command = cmd;
1323         tf.flags |= ATA_TFLAG_DEVICE;
1324         tf.protocol = ATA_PROT_NODATA;
1325
1326         return ata_exec_internal(dev, &tf, NULL, DMA_NONE, NULL, 0);
1327 }
1328
1329 /**
1330  *      ata_pio_need_iordy      -       check if iordy needed
1331  *      @adev: ATA device
1332  *
1333  *      Check if the current speed of the device requires IORDY. Used
1334  *      by various controllers for chip configuration.
1335  */
1336
1337 unsigned int ata_pio_need_iordy(const struct ata_device *adev)
1338 {
1339         int pio;
1340         int speed = adev->pio_mode - XFER_PIO_0;
1341
1342         if (speed < 2)
1343                 return 0;
1344         if (speed > 2)
1345                 return 1;
1346
1347         /* If we have no drive specific rule, then PIO 2 is non IORDY */
1348
1349         if (adev->id[ATA_ID_FIELD_VALID] & 2) { /* EIDE */
1350                 pio = adev->id[ATA_ID_EIDE_PIO];
1351                 /* Is the speed faster than the drive allows non IORDY ? */
1352                 if (pio) {
1353                         /* This is cycle times not frequency - watch the logic! */
1354                         if (pio > 240)  /* PIO2 is 240nS per cycle */
1355                                 return 1;
1356                         return 0;
1357                 }
1358         }
1359         return 0;
1360 }
1361
1362 /**
1363  *      ata_dev_read_id - Read ID data from the specified device
1364  *      @dev: target device
1365  *      @p_class: pointer to class of the target device (may be changed)
1366  *      @flags: ATA_READID_* flags
1367  *      @id: buffer to read IDENTIFY data into
1368  *
1369  *      Read ID data from the specified device.  ATA_CMD_ID_ATA is
1370  *      performed on ATA devices and ATA_CMD_ID_ATAPI on ATAPI
1371  *      devices.  This function also issues ATA_CMD_INIT_DEV_PARAMS
1372  *      for pre-ATA4 drives.
1373  *
1374  *      LOCKING:
1375  *      Kernel thread context (may sleep)
1376  *
1377  *      RETURNS:
1378  *      0 on success, -errno otherwise.
1379  */
1380 int ata_dev_read_id(struct ata_device *dev, unsigned int *p_class,
1381                     unsigned int flags, u16 *id)
1382 {
1383         struct ata_port *ap = dev->ap;
1384         unsigned int class = *p_class;
1385         struct ata_taskfile tf;
1386         unsigned int err_mask = 0;
1387         const char *reason;
1388         int rc;
1389
1390         if (ata_msg_ctl(ap))
1391                 ata_dev_printk(dev, KERN_DEBUG, "%s: ENTER, host %u, dev %u\n",
1392                                __FUNCTION__, ap->id, dev->devno);
1393
1394         ata_dev_select(ap, dev->devno, 1, 1); /* select device 0/1 */
1395
1396  retry:
1397         ata_tf_init(dev, &tf);
1398
1399         switch (class) {
1400         case ATA_DEV_ATA:
1401                 tf.command = ATA_CMD_ID_ATA;
1402                 break;
1403         case ATA_DEV_ATAPI:
1404                 tf.command = ATA_CMD_ID_ATAPI;
1405                 break;
1406         default:
1407                 rc = -ENODEV;
1408                 reason = "unsupported class";
1409                 goto err_out;
1410         }
1411
1412         tf.protocol = ATA_PROT_PIO;
1413         tf.flags |= ATA_TFLAG_POLLING; /* for polling presence detection */
1414
1415         err_mask = ata_exec_internal(dev, &tf, NULL, DMA_FROM_DEVICE,
1416                                      id, sizeof(id[0]) * ATA_ID_WORDS);
1417         if (err_mask) {
1418                 if (err_mask & AC_ERR_NODEV_HINT) {
1419                         DPRINTK("ata%u.%d: NODEV after polling detection\n",
1420                                 ap->id, dev->devno);
1421                         return -ENOENT;
1422                 }
1423
1424                 rc = -EIO;
1425                 reason = "I/O error";
1426                 goto err_out;
1427         }
1428
1429         swap_buf_le16(id, ATA_ID_WORDS);
1430
1431         /* sanity check */
1432         rc = -EINVAL;
1433         reason = "device reports illegal type";
1434
1435         if (class == ATA_DEV_ATA) {
1436                 if (!ata_id_is_ata(id) && !ata_id_is_cfa(id))
1437                         goto err_out;
1438         } else {
1439                 if (ata_id_is_ata(id))
1440                         goto err_out;
1441         }
1442
1443         if ((flags & ATA_READID_POSTRESET) && class == ATA_DEV_ATA) {
1444                 /*
1445                  * The exact sequence expected by certain pre-ATA4 drives is:
1446                  * SRST RESET
1447                  * IDENTIFY
1448                  * INITIALIZE DEVICE PARAMETERS
1449                  * anything else..
1450                  * Some drives were very specific about that exact sequence.
1451                  */
1452                 if (ata_id_major_version(id) < 4 || !ata_id_has_lba(id)) {
1453                         err_mask = ata_dev_init_params(dev, id[3], id[6]);
1454                         if (err_mask) {
1455                                 rc = -EIO;
1456                                 reason = "INIT_DEV_PARAMS failed";
1457                                 goto err_out;
1458                         }
1459
1460                         /* current CHS translation info (id[53-58]) might be
1461                          * changed. reread the identify device info.
1462                          */
1463                         flags &= ~ATA_READID_POSTRESET;
1464                         goto retry;
1465                 }
1466         }
1467
1468         *p_class = class;
1469
1470         return 0;
1471
1472  err_out:
1473         if (ata_msg_warn(ap))
1474                 ata_dev_printk(dev, KERN_WARNING, "failed to IDENTIFY "
1475                                "(%s, err_mask=0x%x)\n", reason, err_mask);
1476         return rc;
1477 }
1478
1479 static inline u8 ata_dev_knobble(struct ata_device *dev)
1480 {
1481         return ((dev->ap->cbl == ATA_CBL_SATA) && (!ata_id_is_sata(dev->id)));
1482 }
1483
1484 static void ata_dev_config_ncq(struct ata_device *dev,
1485                                char *desc, size_t desc_sz)
1486 {
1487         struct ata_port *ap = dev->ap;
1488         int hdepth = 0, ddepth = ata_id_queue_depth(dev->id);
1489
1490         if (!ata_id_has_ncq(dev->id)) {
1491                 desc[0] = '\0';
1492                 return;
1493         }
1494         if (ata_device_blacklisted(dev) & ATA_HORKAGE_NONCQ) {
1495                 snprintf(desc, desc_sz, "NCQ (not used)");
1496                 return;
1497         }
1498         if (ap->flags & ATA_FLAG_NCQ) {
1499                 hdepth = min(ap->scsi_host->can_queue, ATA_MAX_QUEUE - 1);
1500                 dev->flags |= ATA_DFLAG_NCQ;
1501         }
1502
1503         if (hdepth >= ddepth)
1504                 snprintf(desc, desc_sz, "NCQ (depth %d)", ddepth);
1505         else
1506                 snprintf(desc, desc_sz, "NCQ (depth %d/%d)", hdepth, ddepth);
1507 }
1508
1509 static void ata_set_port_max_cmd_len(struct ata_port *ap)
1510 {
1511         int i;
1512
1513         if (ap->scsi_host) {
1514                 unsigned int len = 0;
1515
1516                 for (i = 0; i < ATA_MAX_DEVICES; i++)
1517                         len = max(len, ap->device[i].cdb_len);
1518
1519                 ap->scsi_host->max_cmd_len = len;
1520         }
1521 }
1522
1523 /**
1524  *      ata_dev_configure - Configure the specified ATA/ATAPI device
1525  *      @dev: Target device to configure
1526  *
1527  *      Configure @dev according to @dev->id.  Generic and low-level
1528  *      driver specific fixups are also applied.
1529  *
1530  *      LOCKING:
1531  *      Kernel thread context (may sleep)
1532  *
1533  *      RETURNS:
1534  *      0 on success, -errno otherwise
1535  */
1536 int ata_dev_configure(struct ata_device *dev)
1537 {
1538         struct ata_port *ap = dev->ap;
1539         int print_info = ap->eh_context.i.flags & ATA_EHI_PRINTINFO;
1540         const u16 *id = dev->id;
1541         unsigned int xfer_mask;
1542         char revbuf[7];         /* XYZ-99\0 */
1543         char fwrevbuf[ATA_ID_FW_REV_LEN+1];
1544         char modelbuf[ATA_ID_PROD_LEN+1];
1545         int rc;
1546
1547         if (!ata_dev_enabled(dev) && ata_msg_info(ap)) {
1548                 ata_dev_printk(dev, KERN_INFO,
1549                                "%s: ENTER/EXIT (host %u, dev %u) -- nodev\n",
1550                                __FUNCTION__, ap->id, dev->devno);
1551                 return 0;
1552         }
1553
1554         if (ata_msg_probe(ap))
1555                 ata_dev_printk(dev, KERN_DEBUG, "%s: ENTER, host %u, dev %u\n",
1556                                __FUNCTION__, ap->id, dev->devno);
1557
1558         /* print device capabilities */
1559         if (ata_msg_probe(ap))
1560                 ata_dev_printk(dev, KERN_DEBUG,
1561                                "%s: cfg 49:%04x 82:%04x 83:%04x 84:%04x "
1562                                "85:%04x 86:%04x 87:%04x 88:%04x\n",
1563                                __FUNCTION__,
1564                                id[49], id[82], id[83], id[84],
1565                                id[85], id[86], id[87], id[88]);
1566
1567         /* initialize to-be-configured parameters */
1568         dev->flags &= ~ATA_DFLAG_CFG_MASK;
1569         dev->max_sectors = 0;
1570         dev->cdb_len = 0;
1571         dev->n_sectors = 0;
1572         dev->cylinders = 0;
1573         dev->heads = 0;
1574         dev->sectors = 0;
1575
1576         /*
1577          * common ATA, ATAPI feature tests
1578          */
1579
1580         /* find max transfer mode; for printk only */
1581         xfer_mask = ata_id_xfermask(id);
1582
1583         if (ata_msg_probe(ap))
1584                 ata_dump_id(id);
1585
1586         /* ATA-specific feature tests */
1587         if (dev->class == ATA_DEV_ATA) {
1588                 if (ata_id_is_cfa(id)) {
1589                         if (id[162] & 1) /* CPRM may make this media unusable */
1590                                 ata_dev_printk(dev, KERN_WARNING, "ata%u: device %u  supports DRM functions and may not be fully accessable.\n",
1591                                         ap->id, dev->devno);
1592                         snprintf(revbuf, 7, "CFA");
1593                 }
1594                 else
1595                         snprintf(revbuf, 7, "ATA-%d",  ata_id_major_version(id));
1596
1597                 dev->n_sectors = ata_id_n_sectors(id);
1598
1599                 /* SCSI only uses 4-char revisions, dump full 8 chars from ATA */
1600                 ata_id_c_string(dev->id, fwrevbuf, ATA_ID_FW_REV,
1601                                 sizeof(fwrevbuf));
1602
1603                 ata_id_c_string(dev->id, modelbuf, ATA_ID_PROD,
1604                                 sizeof(modelbuf));
1605
1606                 if (dev->id[59] & 0x100)
1607                         dev->multi_count = dev->id[59] & 0xff;
1608
1609                 if (ata_id_has_lba(id)) {
1610                         const char *lba_desc;
1611                         char ncq_desc[20];
1612
1613                         lba_desc = "LBA";
1614                         dev->flags |= ATA_DFLAG_LBA;
1615                         if (ata_id_has_lba48(id)) {
1616                                 dev->flags |= ATA_DFLAG_LBA48;
1617                                 lba_desc = "LBA48";
1618
1619                                 if (dev->n_sectors >= (1UL << 28) &&
1620                                     ata_id_has_flush_ext(id))
1621                                         dev->flags |= ATA_DFLAG_FLUSH_EXT;
1622                         }
1623
1624                         /* config NCQ */
1625                         ata_dev_config_ncq(dev, ncq_desc, sizeof(ncq_desc));
1626
1627                         /* print device info to dmesg */
1628                         if (ata_msg_drv(ap) && print_info) {
1629                                 ata_dev_printk(dev, KERN_INFO,
1630                                         "%s: %s, %s, max %s\n",
1631                                         revbuf, modelbuf, fwrevbuf,
1632                                         ata_mode_string(xfer_mask));
1633                                 ata_dev_printk(dev, KERN_INFO,
1634                                         "%Lu sectors, multi %u: %s %s\n",
1635                                         (unsigned long long)dev->n_sectors,
1636                                         dev->multi_count, lba_desc, ncq_desc);
1637                         }
1638                 } else {
1639                         /* CHS */
1640
1641                         /* Default translation */
1642                         dev->cylinders  = id[1];
1643                         dev->heads      = id[3];
1644                         dev->sectors    = id[6];
1645
1646                         if (ata_id_current_chs_valid(id)) {
1647                                 /* Current CHS translation is valid. */
1648                                 dev->cylinders = id[54];
1649                                 dev->heads     = id[55];
1650                                 dev->sectors   = id[56];
1651                         }
1652
1653                         /* print device info to dmesg */
1654                         if (ata_msg_drv(ap) && print_info) {
1655                                 ata_dev_printk(dev, KERN_INFO,
1656                                         "%s: %s, %s, max %s\n",
1657                                         revbuf, modelbuf, fwrevbuf,
1658                                         ata_mode_string(xfer_mask));
1659                                 ata_dev_printk(dev, KERN_INFO, 
1660                                         "%Lu sectors, multi %u, CHS %u/%u/%u\n",
1661                                         (unsigned long long)dev->n_sectors,
1662                                         dev->multi_count, dev->cylinders,
1663                                         dev->heads, dev->sectors);
1664                         }
1665                 }
1666
1667                 dev->cdb_len = 16;
1668         }
1669
1670         /* ATAPI-specific feature tests */
1671         else if (dev->class == ATA_DEV_ATAPI) {
1672                 char *cdb_intr_string = "";
1673
1674                 rc = atapi_cdb_len(id);
1675                 if ((rc < 12) || (rc > ATAPI_CDB_LEN)) {
1676                         if (ata_msg_warn(ap))
1677                                 ata_dev_printk(dev, KERN_WARNING,
1678                                                "unsupported CDB len\n");
1679                         rc = -EINVAL;
1680                         goto err_out_nosup;
1681                 }
1682                 dev->cdb_len = (unsigned int) rc;
1683
1684                 if (ata_id_cdb_intr(dev->id)) {
1685                         dev->flags |= ATA_DFLAG_CDB_INTR;
1686                         cdb_intr_string = ", CDB intr";
1687                 }
1688
1689                 /* print device info to dmesg */
1690                 if (ata_msg_drv(ap) && print_info)
1691                         ata_dev_printk(dev, KERN_INFO, "ATAPI, max %s%s\n",
1692                                        ata_mode_string(xfer_mask),
1693                                        cdb_intr_string);
1694         }
1695
1696         /* determine max_sectors */
1697         dev->max_sectors = ATA_MAX_SECTORS;
1698         if (dev->flags & ATA_DFLAG_LBA48)
1699                 dev->max_sectors = ATA_MAX_SECTORS_LBA48;
1700
1701         if (dev->horkage & ATA_HORKAGE_DIAGNOSTIC) {
1702                 /* Let the user know. We don't want to disallow opens for
1703                    rescue purposes, or in case the vendor is just a blithering
1704                    idiot */
1705                 if (print_info) {
1706                         ata_dev_printk(dev, KERN_WARNING,
1707 "Drive reports diagnostics failure. This may indicate a drive\n");
1708                         ata_dev_printk(dev, KERN_WARNING,
1709 "fault or invalid emulation. Contact drive vendor for information.\n");
1710                 }
1711         }
1712
1713         ata_set_port_max_cmd_len(ap);
1714
1715         /* limit bridge transfers to udma5, 200 sectors */
1716         if (ata_dev_knobble(dev)) {
1717                 if (ata_msg_drv(ap) && print_info)
1718                         ata_dev_printk(dev, KERN_INFO,
1719                                        "applying bridge limits\n");
1720                 dev->udma_mask &= ATA_UDMA5;
1721                 dev->max_sectors = ATA_MAX_SECTORS;
1722         }
1723
1724         if (ap->ops->dev_config)
1725                 ap->ops->dev_config(ap, dev);
1726
1727         if (ata_msg_probe(ap))
1728                 ata_dev_printk(dev, KERN_DEBUG, "%s: EXIT, drv_stat = 0x%x\n",
1729                         __FUNCTION__, ata_chk_status(ap));
1730         return 0;
1731
1732 err_out_nosup:
1733         if (ata_msg_probe(ap))
1734                 ata_dev_printk(dev, KERN_DEBUG,
1735                                "%s: EXIT, err\n", __FUNCTION__);
1736         return rc;
1737 }
1738
1739 /**
1740  *      ata_bus_probe - Reset and probe ATA bus
1741  *      @ap: Bus to probe
1742  *
1743  *      Master ATA bus probing function.  Initiates a hardware-dependent
1744  *      bus reset, then attempts to identify any devices found on
1745  *      the bus.
1746  *
1747  *      LOCKING:
1748  *      PCI/etc. bus probe sem.
1749  *
1750  *      RETURNS:
1751  *      Zero on success, negative errno otherwise.
1752  */
1753
1754 int ata_bus_probe(struct ata_port *ap)
1755 {
1756         unsigned int classes[ATA_MAX_DEVICES];
1757         int tries[ATA_MAX_DEVICES];
1758         int i, rc, down_xfermask;
1759         struct ata_device *dev;
1760
1761         ata_port_probe(ap);
1762
1763         for (i = 0; i < ATA_MAX_DEVICES; i++)
1764                 tries[i] = ATA_PROBE_MAX_TRIES;
1765
1766  retry:
1767         down_xfermask = 0;
1768
1769         /* reset and determine device classes */
1770         ap->ops->phy_reset(ap);
1771
1772         for (i = 0; i < ATA_MAX_DEVICES; i++) {
1773                 dev = &ap->device[i];
1774
1775                 if (!(ap->flags & ATA_FLAG_DISABLED) &&
1776                     dev->class != ATA_DEV_UNKNOWN)
1777                         classes[dev->devno] = dev->class;
1778                 else
1779                         classes[dev->devno] = ATA_DEV_NONE;
1780
1781                 dev->class = ATA_DEV_UNKNOWN;
1782         }
1783
1784         ata_port_probe(ap);
1785
1786         /* after the reset the device state is PIO 0 and the controller
1787            state is undefined. Record the mode */
1788
1789         for (i = 0; i < ATA_MAX_DEVICES; i++)
1790                 ap->device[i].pio_mode = XFER_PIO_0;
1791
1792         /* read IDENTIFY page and configure devices */
1793         for (i = 0; i < ATA_MAX_DEVICES; i++) {
1794                 dev = &ap->device[i];
1795
1796                 if (tries[i])
1797                         dev->class = classes[i];
1798
1799                 if (!ata_dev_enabled(dev))
1800                         continue;
1801
1802                 rc = ata_dev_read_id(dev, &dev->class, ATA_READID_POSTRESET,
1803                                      dev->id);
1804                 if (rc)
1805                         goto fail;
1806
1807                 ap->eh_context.i.flags |= ATA_EHI_PRINTINFO;
1808                 rc = ata_dev_configure(dev);
1809                 ap->eh_context.i.flags &= ~ATA_EHI_PRINTINFO;
1810                 if (rc)
1811                         goto fail;
1812         }
1813
1814         /* configure transfer mode */
1815         rc = ata_set_mode(ap, &dev);
1816         if (rc) {
1817                 down_xfermask = 1;
1818                 goto fail;
1819         }
1820
1821         for (i = 0; i < ATA_MAX_DEVICES; i++)
1822                 if (ata_dev_enabled(&ap->device[i]))
1823                         return 0;
1824
1825         /* no device present, disable port */
1826         ata_port_disable(ap);
1827         ap->ops->port_disable(ap);
1828         return -ENODEV;
1829
1830  fail:
1831         switch (rc) {
1832         case -EINVAL:
1833         case -ENODEV:
1834                 tries[dev->devno] = 0;
1835                 break;
1836         case -EIO:
1837                 sata_down_spd_limit(ap);
1838                 /* fall through */
1839         default:
1840                 tries[dev->devno]--;
1841                 if (down_xfermask &&
1842                     ata_down_xfermask_limit(dev, tries[dev->devno] == 1))
1843                         tries[dev->devno] = 0;
1844         }
1845
1846         if (!tries[dev->devno]) {
1847                 ata_down_xfermask_limit(dev, 1);
1848                 ata_dev_disable(dev);
1849         }
1850
1851         goto retry;
1852 }
1853
1854 /**
1855  *      ata_port_probe - Mark port as enabled
1856  *      @ap: Port for which we indicate enablement
1857  *
1858  *      Modify @ap data structure such that the system
1859  *      thinks that the entire port is enabled.
1860  *
1861  *      LOCKING: host lock, or some other form of
1862  *      serialization.
1863  */
1864
1865 void ata_port_probe(struct ata_port *ap)
1866 {
1867         ap->flags &= ~ATA_FLAG_DISABLED;
1868 }
1869
1870 /**
1871  *      sata_print_link_status - Print SATA link status
1872  *      @ap: SATA port to printk link status about
1873  *
1874  *      This function prints link speed and status of a SATA link.
1875  *
1876  *      LOCKING:
1877  *      None.
1878  */
1879 static void sata_print_link_status(struct ata_port *ap)
1880 {
1881         u32 sstatus, scontrol, tmp;
1882
1883         if (sata_scr_read(ap, SCR_STATUS, &sstatus))
1884                 return;
1885         sata_scr_read(ap, SCR_CONTROL, &scontrol);
1886
1887         if (ata_port_online(ap)) {
1888                 tmp = (sstatus >> 4) & 0xf;
1889                 ata_port_printk(ap, KERN_INFO,
1890                                 "SATA link up %s (SStatus %X SControl %X)\n",
1891                                 sata_spd_string(tmp), sstatus, scontrol);
1892         } else {
1893                 ata_port_printk(ap, KERN_INFO,
1894                                 "SATA link down (SStatus %X SControl %X)\n",
1895                                 sstatus, scontrol);
1896         }
1897 }
1898
1899 /**
1900  *      __sata_phy_reset - Wake/reset a low-level SATA PHY
1901  *      @ap: SATA port associated with target SATA PHY.
1902  *
1903  *      This function issues commands to standard SATA Sxxx
1904  *      PHY registers, to wake up the phy (and device), and
1905  *      clear any reset condition.
1906  *
1907  *      LOCKING:
1908  *      PCI/etc. bus probe sem.
1909  *
1910  */
1911 void __sata_phy_reset(struct ata_port *ap)
1912 {
1913         u32 sstatus;
1914         unsigned long timeout = jiffies + (HZ * 5);
1915
1916         if (ap->flags & ATA_FLAG_SATA_RESET) {
1917                 /* issue phy wake/reset */
1918                 sata_scr_write_flush(ap, SCR_CONTROL, 0x301);
1919                 /* Couldn't find anything in SATA I/II specs, but
1920                  * AHCI-1.1 10.4.2 says at least 1 ms. */
1921                 mdelay(1);
1922         }
1923         /* phy wake/clear reset */
1924         sata_scr_write_flush(ap, SCR_CONTROL, 0x300);
1925
1926         /* wait for phy to become ready, if necessary */
1927         do {
1928                 msleep(200);
1929                 sata_scr_read(ap, SCR_STATUS, &sstatus);
1930                 if ((sstatus & 0xf) != 1)
1931                         break;
1932         } while (time_before(jiffies, timeout));
1933
1934         /* print link status */
1935         sata_print_link_status(ap);
1936
1937         /* TODO: phy layer with polling, timeouts, etc. */
1938         if (!ata_port_offline(ap))
1939                 ata_port_probe(ap);
1940         else
1941                 ata_port_disable(ap);
1942
1943         if (ap->flags & ATA_FLAG_DISABLED)
1944                 return;
1945
1946         if (ata_busy_sleep(ap, ATA_TMOUT_BOOT_QUICK, ATA_TMOUT_BOOT)) {
1947                 ata_port_disable(ap);
1948                 return;
1949         }
1950
1951         ap->cbl = ATA_CBL_SATA;
1952 }
1953
1954 /**
1955  *      sata_phy_reset - Reset SATA bus.
1956  *      @ap: SATA port associated with target SATA PHY.
1957  *
1958  *      This function resets the SATA bus, and then probes
1959  *      the bus for devices.
1960  *
1961  *      LOCKING:
1962  *      PCI/etc. bus probe sem.
1963  *
1964  */
1965 void sata_phy_reset(struct ata_port *ap)
1966 {
1967         __sata_phy_reset(ap);
1968         if (ap->flags & ATA_FLAG_DISABLED)
1969                 return;
1970         ata_bus_reset(ap);
1971 }
1972
1973 /**
1974  *      ata_dev_pair            -       return other device on cable
1975  *      @adev: device
1976  *
1977  *      Obtain the other device on the same cable, or if none is
1978  *      present NULL is returned
1979  */
1980
1981 struct ata_device *ata_dev_pair(struct ata_device *adev)
1982 {
1983         struct ata_port *ap = adev->ap;
1984         struct ata_device *pair = &ap->device[1 - adev->devno];
1985         if (!ata_dev_enabled(pair))
1986                 return NULL;
1987         return pair;
1988 }
1989
1990 /**
1991  *      ata_port_disable - Disable port.
1992  *      @ap: Port to be disabled.
1993  *
1994  *      Modify @ap data structure such that the system
1995  *      thinks that the entire port is disabled, and should
1996  *      never attempt to probe or communicate with devices
1997  *      on this port.
1998  *
1999  *      LOCKING: host lock, or some other form of
2000  *      serialization.
2001  */
2002
2003 void ata_port_disable(struct ata_port *ap)
2004 {
2005         ap->device[0].class = ATA_DEV_NONE;
2006         ap->device[1].class = ATA_DEV_NONE;
2007         ap->flags |= ATA_FLAG_DISABLED;
2008 }
2009
2010 /**
2011  *      sata_down_spd_limit - adjust SATA spd limit downward
2012  *      @ap: Port to adjust SATA spd limit for
2013  *
2014  *      Adjust SATA spd limit of @ap downward.  Note that this
2015  *      function only adjusts the limit.  The change must be applied
2016  *      using sata_set_spd().
2017  *
2018  *      LOCKING:
2019  *      Inherited from caller.
2020  *
2021  *      RETURNS:
2022  *      0 on success, negative errno on failure
2023  */
2024 int sata_down_spd_limit(struct ata_port *ap)
2025 {
2026         u32 sstatus, spd, mask;
2027         int rc, highbit;
2028
2029         rc = sata_scr_read(ap, SCR_STATUS, &sstatus);
2030         if (rc)
2031                 return rc;
2032
2033         mask = ap->sata_spd_limit;
2034         if (mask <= 1)
2035                 return -EINVAL;
2036         highbit = fls(mask) - 1;
2037         mask &= ~(1 << highbit);
2038
2039         spd = (sstatus >> 4) & 0xf;
2040         if (spd <= 1)
2041                 return -EINVAL;
2042         spd--;
2043         mask &= (1 << spd) - 1;
2044         if (!mask)
2045                 return -EINVAL;
2046
2047         ap->sata_spd_limit = mask;
2048
2049         ata_port_printk(ap, KERN_WARNING, "limiting SATA link speed to %s\n",
2050                         sata_spd_string(fls(mask)));
2051
2052         return 0;
2053 }
2054
2055 static int __sata_set_spd_needed(struct ata_port *ap, u32 *scontrol)
2056 {
2057         u32 spd, limit;
2058
2059         if (ap->sata_spd_limit == UINT_MAX)
2060                 limit = 0;
2061         else
2062                 limit = fls(ap->sata_spd_limit);
2063
2064         spd = (*scontrol >> 4) & 0xf;
2065         *scontrol = (*scontrol & ~0xf0) | ((limit & 0xf) << 4);
2066
2067         return spd != limit;
2068 }
2069
2070 /**
2071  *      sata_set_spd_needed - is SATA spd configuration needed
2072  *      @ap: Port in question
2073  *
2074  *      Test whether the spd limit in SControl matches
2075  *      @ap->sata_spd_limit.  This function is used to determine
2076  *      whether hardreset is necessary to apply SATA spd
2077  *      configuration.
2078  *
2079  *      LOCKING:
2080  *      Inherited from caller.
2081  *
2082  *      RETURNS:
2083  *      1 if SATA spd configuration is needed, 0 otherwise.
2084  */
2085 int sata_set_spd_needed(struct ata_port *ap)
2086 {
2087         u32 scontrol;
2088
2089         if (sata_scr_read(ap, SCR_CONTROL, &scontrol))
2090                 return 0;
2091
2092         return __sata_set_spd_needed(ap, &scontrol);
2093 }
2094
2095 /**
2096  *      sata_set_spd - set SATA spd according to spd limit
2097  *      @ap: Port to set SATA spd for
2098  *
2099  *      Set SATA spd of @ap according to sata_spd_limit.
2100  *
2101  *      LOCKING:
2102  *      Inherited from caller.
2103  *
2104  *      RETURNS:
2105  *      0 if spd doesn't need to be changed, 1 if spd has been
2106  *      changed.  Negative errno if SCR registers are inaccessible.
2107  */
2108 int sata_set_spd(struct ata_port *ap)
2109 {
2110         u32 scontrol;
2111         int rc;
2112
2113         if ((rc = sata_scr_read(ap, SCR_CONTROL, &scontrol)))
2114                 return rc;
2115
2116         if (!__sata_set_spd_needed(ap, &scontrol))
2117                 return 0;
2118
2119         if ((rc = sata_scr_write(ap, SCR_CONTROL, scontrol)))
2120                 return rc;
2121
2122         return 1;
2123 }
2124
2125 /*
2126  * This mode timing computation functionality is ported over from
2127  * drivers/ide/ide-timing.h and was originally written by Vojtech Pavlik
2128  */
2129 /*
2130  * PIO 0-4, MWDMA 0-2 and UDMA 0-6 timings (in nanoseconds).
2131  * These were taken from ATA/ATAPI-6 standard, rev 0a, except
2132  * for UDMA6, which is currently supported only by Maxtor drives.
2133  *
2134  * For PIO 5/6 MWDMA 3/4 see the CFA specification 3.0.
2135  */
2136
2137 static const struct ata_timing ata_timing[] = {
2138
2139         { XFER_UDMA_6,     0,   0,   0,   0,   0,   0,   0,  15 },
2140         { XFER_UDMA_5,     0,   0,   0,   0,   0,   0,   0,  20 },
2141         { XFER_UDMA_4,     0,   0,   0,   0,   0,   0,   0,  30 },
2142         { XFER_UDMA_3,     0,   0,   0,   0,   0,   0,   0,  45 },
2143
2144         { XFER_MW_DMA_4,  25,   0,   0,   0,  55,  20,  80,   0 },
2145         { XFER_MW_DMA_3,  25,   0,   0,   0,  65,  25, 100,   0 },
2146         { XFER_UDMA_2,     0,   0,   0,   0,   0,   0,   0,  60 },
2147         { XFER_UDMA_1,     0,   0,   0,   0,   0,   0,   0,  80 },
2148         { XFER_UDMA_0,     0,   0,   0,   0,   0,   0,   0, 120 },
2149
2150 /*      { XFER_UDMA_SLOW,  0,   0,   0,   0,   0,   0,   0, 150 }, */
2151
2152         { XFER_MW_DMA_2,  25,   0,   0,   0,  70,  25, 120,   0 },
2153         { XFER_MW_DMA_1,  45,   0,   0,   0,  80,  50, 150,   0 },
2154         { XFER_MW_DMA_0,  60,   0,   0,   0, 215, 215, 480,   0 },
2155
2156         { XFER_SW_DMA_2,  60,   0,   0,   0, 120, 120, 240,   0 },
2157         { XFER_SW_DMA_1,  90,   0,   0,   0, 240, 240, 480,   0 },
2158         { XFER_SW_DMA_0, 120,   0,   0,   0, 480, 480, 960,   0 },
2159
2160         { XFER_PIO_6,     10,  55,  20,  80,  55,  20,  80,   0 },
2161         { XFER_PIO_5,     15,  65,  25, 100,  65,  25, 100,   0 },
2162         { XFER_PIO_4,     25,  70,  25, 120,  70,  25, 120,   0 },
2163         { XFER_PIO_3,     30,  80,  70, 180,  80,  70, 180,   0 },
2164
2165         { XFER_PIO_2,     30, 290,  40, 330, 100,  90, 240,   0 },
2166         { XFER_PIO_1,     50, 290,  93, 383, 125, 100, 383,   0 },
2167         { XFER_PIO_0,     70, 290, 240, 600, 165, 150, 600,   0 },
2168
2169 /*      { XFER_PIO_SLOW, 120, 290, 240, 960, 290, 240, 960,   0 }, */
2170
2171         { 0xFF }
2172 };
2173
2174 #define ENOUGH(v,unit)          (((v)-1)/(unit)+1)
2175 #define EZ(v,unit)              ((v)?ENOUGH(v,unit):0)
2176
2177 static void ata_timing_quantize(const struct ata_timing *t, struct ata_timing *q, int T, int UT)
2178 {
2179         q->setup   = EZ(t->setup   * 1000,  T);
2180         q->act8b   = EZ(t->act8b   * 1000,  T);
2181         q->rec8b   = EZ(t->rec8b   * 1000,  T);
2182         q->cyc8b   = EZ(t->cyc8b   * 1000,  T);
2183         q->active  = EZ(t->active  * 1000,  T);
2184         q->recover = EZ(t->recover * 1000,  T);
2185         q->cycle   = EZ(t->cycle   * 1000,  T);
2186         q->udma    = EZ(t->udma    * 1000, UT);
2187 }
2188
2189 void ata_timing_merge(const struct ata_timing *a, const struct ata_timing *b,
2190                       struct ata_timing *m, unsigned int what)
2191 {
2192         if (what & ATA_TIMING_SETUP  ) m->setup   = max(a->setup,   b->setup);
2193         if (what & ATA_TIMING_ACT8B  ) m->act8b   = max(a->act8b,   b->act8b);
2194         if (what & ATA_TIMING_REC8B  ) m->rec8b   = max(a->rec8b,   b->rec8b);
2195         if (what & ATA_TIMING_CYC8B  ) m->cyc8b   = max(a->cyc8b,   b->cyc8b);
2196         if (what & ATA_TIMING_ACTIVE ) m->active  = max(a->active,  b->active);
2197         if (what & ATA_TIMING_RECOVER) m->recover = max(a->recover, b->recover);
2198         if (what & ATA_TIMING_CYCLE  ) m->cycle   = max(a->cycle,   b->cycle);
2199         if (what & ATA_TIMING_UDMA   ) m->udma    = max(a->udma,    b->udma);
2200 }
2201
2202 static const struct ata_timing* ata_timing_find_mode(unsigned short speed)
2203 {
2204         const struct ata_timing *t;
2205
2206         for (t = ata_timing; t->mode != speed; t++)
2207                 if (t->mode == 0xFF)
2208                         return NULL;
2209         return t;
2210 }
2211
2212 int ata_timing_compute(struct ata_device *adev, unsigned short speed,
2213                        struct ata_timing *t, int T, int UT)
2214 {
2215         const struct ata_timing *s;
2216         struct ata_timing p;
2217
2218         /*
2219          * Find the mode.
2220          */
2221
2222         if (!(s = ata_timing_find_mode(speed)))
2223                 return -EINVAL;
2224
2225         memcpy(t, s, sizeof(*s));
2226
2227         /*
2228          * If the drive is an EIDE drive, it can tell us it needs extended
2229          * PIO/MW_DMA cycle timing.
2230          */
2231
2232         if (adev->id[ATA_ID_FIELD_VALID] & 2) { /* EIDE drive */
2233                 memset(&p, 0, sizeof(p));
2234                 if(speed >= XFER_PIO_0 && speed <= XFER_SW_DMA_0) {
2235                         if (speed <= XFER_PIO_2) p.cycle = p.cyc8b = adev->id[ATA_ID_EIDE_PIO];
2236                                             else p.cycle = p.cyc8b = adev->id[ATA_ID_EIDE_PIO_IORDY];
2237                 } else if(speed >= XFER_MW_DMA_0 && speed <= XFER_MW_DMA_2) {
2238                         p.cycle = adev->id[ATA_ID_EIDE_DMA_MIN];
2239                 }
2240                 ata_timing_merge(&p, t, t, ATA_TIMING_CYCLE | ATA_TIMING_CYC8B);
2241         }
2242
2243         /*
2244          * Convert the timing to bus clock counts.
2245          */
2246
2247         ata_timing_quantize(t, t, T, UT);
2248
2249         /*
2250          * Even in DMA/UDMA modes we still use PIO access for IDENTIFY,
2251          * S.M.A.R.T * and some other commands. We have to ensure that the
2252          * DMA cycle timing is slower/equal than the fastest PIO timing.
2253          */
2254
2255         if (speed > XFER_PIO_6) {
2256                 ata_timing_compute(adev, adev->pio_mode, &p, T, UT);
2257                 ata_timing_merge(&p, t, t, ATA_TIMING_ALL);
2258         }
2259
2260         /*
2261          * Lengthen active & recovery time so that cycle time is correct.
2262          */
2263
2264         if (t->act8b + t->rec8b < t->cyc8b) {
2265                 t->act8b += (t->cyc8b - (t->act8b + t->rec8b)) / 2;
2266                 t->rec8b = t->cyc8b - t->act8b;
2267         }
2268
2269         if (t->active + t->recover < t->cycle) {
2270                 t->active += (t->cycle - (t->active + t->recover)) / 2;
2271                 t->recover = t->cycle - t->active;
2272         }
2273
2274         return 0;
2275 }
2276
2277 /**
2278  *      ata_down_xfermask_limit - adjust dev xfer masks downward
2279  *      @dev: Device to adjust xfer masks
2280  *      @force_pio0: Force PIO0
2281  *
2282  *      Adjust xfer masks of @dev downward.  Note that this function
2283  *      does not apply the change.  Invoking ata_set_mode() afterwards
2284  *      will apply the limit.
2285  *
2286  *      LOCKING:
2287  *      Inherited from caller.
2288  *
2289  *      RETURNS:
2290  *      0 on success, negative errno on failure
2291  */
2292 int ata_down_xfermask_limit(struct ata_device *dev, int force_pio0)
2293 {
2294         unsigned long xfer_mask;
2295         int highbit;
2296
2297         xfer_mask = ata_pack_xfermask(dev->pio_mask, dev->mwdma_mask,
2298                                       dev->udma_mask);
2299
2300         if (!xfer_mask)
2301                 goto fail;
2302         /* don't gear down to MWDMA from UDMA, go directly to PIO */
2303         if (xfer_mask & ATA_MASK_UDMA)
2304                 xfer_mask &= ~ATA_MASK_MWDMA;
2305
2306         highbit = fls(xfer_mask) - 1;
2307         xfer_mask &= ~(1 << highbit);
2308         if (force_pio0)
2309                 xfer_mask &= 1 << ATA_SHIFT_PIO;
2310         if (!xfer_mask)
2311                 goto fail;
2312
2313         ata_unpack_xfermask(xfer_mask, &dev->pio_mask, &dev->mwdma_mask,
2314                             &dev->udma_mask);
2315
2316         ata_dev_printk(dev, KERN_WARNING, "limiting speed to %s\n",
2317                        ata_mode_string(xfer_mask));
2318
2319         return 0;
2320
2321  fail:
2322         return -EINVAL;
2323 }
2324
2325 static int ata_dev_set_mode(struct ata_device *dev)
2326 {
2327         struct ata_eh_context *ehc = &dev->ap->eh_context;
2328         unsigned int err_mask;
2329         int rc;
2330
2331         dev->flags &= ~ATA_DFLAG_PIO;
2332         if (dev->xfer_shift == ATA_SHIFT_PIO)
2333                 dev->flags |= ATA_DFLAG_PIO;
2334
2335         err_mask = ata_dev_set_xfermode(dev);
2336         /* Old CFA may refuse this command, which is just fine */
2337         if (dev->xfer_shift == ATA_SHIFT_PIO && ata_id_is_cfa(dev->id))
2338                 err_mask &= ~AC_ERR_DEV;
2339
2340         if (err_mask) {
2341                 ata_dev_printk(dev, KERN_ERR, "failed to set xfermode "
2342                                "(err_mask=0x%x)\n", err_mask);
2343                 return -EIO;
2344         }
2345
2346         ehc->i.flags |= ATA_EHI_POST_SETMODE;
2347         rc = ata_dev_revalidate(dev, 0);
2348         ehc->i.flags &= ~ATA_EHI_POST_SETMODE;
2349         if (rc)
2350                 return rc;
2351
2352         DPRINTK("xfer_shift=%u, xfer_mode=0x%x\n",
2353                 dev->xfer_shift, (int)dev->xfer_mode);
2354
2355         ata_dev_printk(dev, KERN_INFO, "configured for %s\n",
2356                        ata_mode_string(ata_xfer_mode2mask(dev->xfer_mode)));
2357         return 0;
2358 }
2359
2360 /**
2361  *      ata_set_mode - Program timings and issue SET FEATURES - XFER
2362  *      @ap: port on which timings will be programmed
2363  *      @r_failed_dev: out paramter for failed device
2364  *
2365  *      Set ATA device disk transfer mode (PIO3, UDMA6, etc.).  If
2366  *      ata_set_mode() fails, pointer to the failing device is
2367  *      returned in @r_failed_dev.
2368  *
2369  *      LOCKING:
2370  *      PCI/etc. bus probe sem.
2371  *
2372  *      RETURNS:
2373  *      0 on success, negative errno otherwise
2374  */
2375 int ata_set_mode(struct ata_port *ap, struct ata_device **r_failed_dev)
2376 {
2377         struct ata_device *dev;
2378         int i, rc = 0, used_dma = 0, found = 0;
2379
2380         /* has private set_mode? */
2381         if (ap->ops->set_mode)
2382                 return ap->ops->set_mode(ap, r_failed_dev);
2383
2384         /* step 1: calculate xfer_mask */
2385         for (i = 0; i < ATA_MAX_DEVICES; i++) {
2386                 unsigned int pio_mask, dma_mask;
2387
2388                 dev = &ap->device[i];
2389
2390                 if (!ata_dev_enabled(dev))
2391                         continue;
2392
2393                 ata_dev_xfermask(dev);
2394
2395                 pio_mask = ata_pack_xfermask(dev->pio_mask, 0, 0);
2396                 dma_mask = ata_pack_xfermask(0, dev->mwdma_mask, dev->udma_mask);
2397                 dev->pio_mode = ata_xfer_mask2mode(pio_mask);
2398                 dev->dma_mode = ata_xfer_mask2mode(dma_mask);
2399
2400                 found = 1;
2401                 if (dev->dma_mode)
2402                         used_dma = 1;
2403         }
2404         if (!found)
2405                 goto out;
2406
2407         /* step 2: always set host PIO timings */
2408         for (i = 0; i < ATA_MAX_DEVICES; i++) {
2409                 dev = &ap->device[i];
2410                 if (!ata_dev_enabled(dev))
2411                         continue;
2412
2413                 if (!dev->pio_mode) {
2414                         ata_dev_printk(dev, KERN_WARNING, "no PIO support\n");
2415                         rc = -EINVAL;
2416                         goto out;
2417                 }
2418
2419                 dev->xfer_mode = dev->pio_mode;
2420                 dev->xfer_shift = ATA_SHIFT_PIO;
2421                 if (ap->ops->set_piomode)
2422                         ap->ops->set_piomode(ap, dev);
2423         }
2424
2425         /* step 3: set host DMA timings */
2426         for (i = 0; i < ATA_MAX_DEVICES; i++) {
2427                 dev = &ap->device[i];
2428
2429                 if (!ata_dev_enabled(dev) || !dev->dma_mode)
2430                         continue;
2431
2432                 dev->xfer_mode = dev->dma_mode;
2433                 dev->xfer_shift = ata_xfer_mode2shift(dev->dma_mode);
2434                 if (ap->ops->set_dmamode)
2435                         ap->ops->set_dmamode(ap, dev);
2436         }
2437
2438         /* step 4: update devices' xfer mode */
2439         for (i = 0; i < ATA_MAX_DEVICES; i++) {
2440                 dev = &ap->device[i];
2441
2442                 /* don't update suspended devices' xfer mode */
2443                 if (!ata_dev_ready(dev))
2444                         continue;
2445
2446                 rc = ata_dev_set_mode(dev);
2447                 if (rc)
2448                         goto out;
2449         }
2450
2451         /* Record simplex status. If we selected DMA then the other
2452          * host channels are not permitted to do so.
2453          */
2454         if (used_dma && (ap->host->flags & ATA_HOST_SIMPLEX))
2455                 ap->host->simplex_claimed = 1;
2456
2457         /* step5: chip specific finalisation */
2458         if (ap->ops->post_set_mode)
2459                 ap->ops->post_set_mode(ap);
2460
2461  out:
2462         if (rc)
2463                 *r_failed_dev = dev;
2464         return rc;
2465 }
2466
2467 /**
2468  *      ata_tf_to_host - issue ATA taskfile to host controller
2469  *      @ap: port to which command is being issued
2470  *      @tf: ATA taskfile register set
2471  *
2472  *      Issues ATA taskfile register set to ATA host controller,
2473  *      with proper synchronization with interrupt handler and
2474  *      other threads.
2475  *
2476  *      LOCKING:
2477  *      spin_lock_irqsave(host lock)
2478  */
2479
2480 static inline void ata_tf_to_host(struct ata_port *ap,
2481                                   const struct ata_taskfile *tf)
2482 {
2483         ap->ops->tf_load(ap, tf);
2484         ap->ops->exec_command(ap, tf);
2485 }
2486
2487 /**
2488  *      ata_busy_sleep - sleep until BSY clears, or timeout
2489  *      @ap: port containing status register to be polled
2490  *      @tmout_pat: impatience timeout
2491  *      @tmout: overall timeout
2492  *
2493  *      Sleep until ATA Status register bit BSY clears,
2494  *      or a timeout occurs.
2495  *
2496  *      LOCKING:
2497  *      Kernel thread context (may sleep).
2498  *
2499  *      RETURNS:
2500  *      0 on success, -errno otherwise.
2501  */
2502 int ata_busy_sleep(struct ata_port *ap,
2503                    unsigned long tmout_pat, unsigned long tmout)
2504 {
2505         unsigned long timer_start, timeout;
2506         u8 status;
2507
2508         status = ata_busy_wait(ap, ATA_BUSY, 300);
2509         timer_start = jiffies;
2510         timeout = timer_start + tmout_pat;
2511         while (status != 0xff && (status & ATA_BUSY) &&
2512                time_before(jiffies, timeout)) {
2513                 msleep(50);
2514                 status = ata_busy_wait(ap, ATA_BUSY, 3);
2515         }
2516
2517         if (status != 0xff && (status & ATA_BUSY))
2518                 ata_port_printk(ap, KERN_WARNING,
2519                                 "port is slow to respond, please be patient "
2520                                 "(Status 0x%x)\n", status);
2521
2522         timeout = timer_start + tmout;
2523         while (status != 0xff && (status & ATA_BUSY) &&
2524                time_before(jiffies, timeout)) {
2525                 msleep(50);
2526                 status = ata_chk_status(ap);
2527         }
2528
2529         if (status == 0xff)
2530                 return -ENODEV;
2531
2532         if (status & ATA_BUSY) {
2533                 ata_port_printk(ap, KERN_ERR, "port failed to respond "
2534                                 "(%lu secs, Status 0x%x)\n",
2535                                 tmout / HZ, status);
2536                 return -EBUSY;
2537         }
2538
2539         return 0;
2540 }
2541
2542 static void ata_bus_post_reset(struct ata_port *ap, unsigned int devmask)
2543 {
2544         struct ata_ioports *ioaddr = &ap->ioaddr;
2545         unsigned int dev0 = devmask & (1 << 0);
2546         unsigned int dev1 = devmask & (1 << 1);
2547         unsigned long timeout;
2548
2549         /* if device 0 was found in ata_devchk, wait for its
2550          * BSY bit to clear
2551          */
2552         if (dev0)
2553                 ata_busy_sleep(ap, ATA_TMOUT_BOOT_QUICK, ATA_TMOUT_BOOT);
2554
2555         /* if device 1 was found in ata_devchk, wait for
2556          * register access, then wait for BSY to clear
2557          */
2558         timeout = jiffies + ATA_TMOUT_BOOT;
2559         while (dev1) {
2560                 u8 nsect, lbal;
2561
2562                 ap->ops->dev_select(ap, 1);
2563                 nsect = ioread8(ioaddr->nsect_addr);
2564                 lbal = ioread8(ioaddr->lbal_addr);
2565                 if ((nsect == 1) && (lbal == 1))
2566                         break;
2567                 if (time_after(jiffies, timeout)) {
2568                         dev1 = 0;
2569                         break;
2570                 }
2571                 msleep(50);     /* give drive a breather */
2572         }
2573         if (dev1)
2574                 ata_busy_sleep(ap, ATA_TMOUT_BOOT_QUICK, ATA_TMOUT_BOOT);
2575
2576         /* is all this really necessary? */
2577         ap->ops->dev_select(ap, 0);
2578         if (dev1)
2579                 ap->ops->dev_select(ap, 1);
2580         if (dev0)
2581                 ap->ops->dev_select(ap, 0);
2582 }
2583
2584 static unsigned int ata_bus_softreset(struct ata_port *ap,
2585                                       unsigned int devmask)
2586 {
2587         struct ata_ioports *ioaddr = &ap->ioaddr;
2588
2589         DPRINTK("ata%u: bus reset via SRST\n", ap->id);
2590
2591         /* software reset.  causes dev0 to be selected */
2592         iowrite8(ap->ctl, ioaddr->ctl_addr);
2593         udelay(20);     /* FIXME: flush */
2594         iowrite8(ap->ctl | ATA_SRST, ioaddr->ctl_addr);
2595         udelay(20);     /* FIXME: flush */
2596         iowrite8(ap->ctl, ioaddr->ctl_addr);
2597
2598         /* spec mandates ">= 2ms" before checking status.
2599          * We wait 150ms, because that was the magic delay used for
2600          * ATAPI devices in Hale Landis's ATADRVR, for the period of time
2601          * between when the ATA command register is written, and then
2602          * status is checked.  Because waiting for "a while" before
2603          * checking status is fine, post SRST, we perform this magic
2604          * delay here as well.
2605          *
2606          * Old drivers/ide uses the 2mS rule and then waits for ready
2607          */
2608         msleep(150);
2609
2610         /* Before we perform post reset processing we want to see if
2611          * the bus shows 0xFF because the odd clown forgets the D7
2612          * pulldown resistor.
2613          */
2614         if (ata_check_status(ap) == 0xFF)
2615                 return 0;
2616
2617         ata_bus_post_reset(ap, devmask);
2618
2619         return 0;
2620 }
2621
2622 /**
2623  *      ata_bus_reset - reset host port and associated ATA channel
2624  *      @ap: port to reset
2625  *
2626  *      This is typically the first time we actually start issuing
2627  *      commands to the ATA channel.  We wait for BSY to clear, then
2628  *      issue EXECUTE DEVICE DIAGNOSTIC command, polling for its
2629  *      result.  Determine what devices, if any, are on the channel
2630  *      by looking at the device 0/1 error register.  Look at the signature
2631  *      stored in each device's taskfile registers, to determine if
2632  *      the device is ATA or ATAPI.
2633  *
2634  *      LOCKING:
2635  *      PCI/etc. bus probe sem.
2636  *      Obtains host lock.
2637  *
2638  *      SIDE EFFECTS:
2639  *      Sets ATA_FLAG_DISABLED if bus reset fails.
2640  */
2641
2642 void ata_bus_reset(struct ata_port *ap)
2643 {
2644         struct ata_ioports *ioaddr = &ap->ioaddr;
2645         unsigned int slave_possible = ap->flags & ATA_FLAG_SLAVE_POSS;
2646         u8 err;
2647         unsigned int dev0, dev1 = 0, devmask = 0;
2648
2649         DPRINTK("ENTER, host %u, port %u\n", ap->id, ap->port_no);
2650
2651         /* determine if device 0/1 are present */
2652         if (ap->flags & ATA_FLAG_SATA_RESET)
2653                 dev0 = 1;
2654         else {
2655                 dev0 = ata_devchk(ap, 0);
2656                 if (slave_possible)
2657                         dev1 = ata_devchk(ap, 1);
2658         }
2659
2660         if (dev0)
2661                 devmask |= (1 << 0);
2662         if (dev1)
2663                 devmask |= (1 << 1);
2664
2665         /* select device 0 again */
2666         ap->ops->dev_select(ap, 0);
2667
2668         /* issue bus reset */
2669         if (ap->flags & ATA_FLAG_SRST)
2670                 if (ata_bus_softreset(ap, devmask))
2671                         goto err_out;
2672
2673         /*
2674          * determine by signature whether we have ATA or ATAPI devices
2675          */
2676         ap->device[0].class = ata_dev_try_classify(ap, 0, &err);
2677         if ((slave_possible) && (err != 0x81))
2678                 ap->device[1].class = ata_dev_try_classify(ap, 1, &err);
2679
2680         /* re-enable interrupts */
2681         ap->ops->irq_on(ap);
2682
2683         /* is double-select really necessary? */
2684         if (ap->device[1].class != ATA_DEV_NONE)
2685                 ap->ops->dev_select(ap, 1);
2686         if (ap->device[0].class != ATA_DEV_NONE)
2687                 ap->ops->dev_select(ap, 0);
2688
2689         /* if no devices were detected, disable this port */
2690         if ((ap->device[0].class == ATA_DEV_NONE) &&
2691             (ap->device[1].class == ATA_DEV_NONE))
2692                 goto err_out;
2693
2694         if (ap->flags & (ATA_FLAG_SATA_RESET | ATA_FLAG_SRST)) {
2695                 /* set up device control for ATA_FLAG_SATA_RESET */
2696                 iowrite8(ap->ctl, ioaddr->ctl_addr);
2697         }
2698
2699         DPRINTK("EXIT\n");
2700         return;
2701
2702 err_out:
2703         ata_port_printk(ap, KERN_ERR, "disabling port\n");
2704         ap->ops->port_disable(ap);
2705
2706         DPRINTK("EXIT\n");
2707 }
2708
2709 /**
2710  *      sata_phy_debounce - debounce SATA phy status
2711  *      @ap: ATA port to debounce SATA phy status for
2712  *      @params: timing parameters { interval, duratinon, timeout } in msec
2713  *
2714  *      Make sure SStatus of @ap reaches stable state, determined by
2715  *      holding the same value where DET is not 1 for @duration polled
2716  *      every @interval, before @timeout.  Timeout constraints the
2717  *      beginning of the stable state.  Because, after hot unplugging,
2718  *      DET gets stuck at 1 on some controllers, this functions waits
2719  *      until timeout then returns 0 if DET is stable at 1.
2720  *
2721  *      LOCKING:
2722  *      Kernel thread context (may sleep)
2723  *
2724  *      RETURNS:
2725  *      0 on success, -errno on failure.
2726  */
2727 int sata_phy_debounce(struct ata_port *ap, const unsigned long *params)
2728 {
2729         unsigned long interval_msec = params[0];
2730         unsigned long duration = params[1] * HZ / 1000;
2731         unsigned long timeout = jiffies + params[2] * HZ / 1000;
2732         unsigned long last_jiffies;
2733         u32 last, cur;
2734         int rc;
2735
2736         if ((rc = sata_scr_read(ap, SCR_STATUS, &cur)))
2737                 return rc;
2738         cur &= 0xf;
2739
2740         last = cur;
2741         last_jiffies = jiffies;
2742
2743         while (1) {
2744                 msleep(interval_msec);
2745                 if ((rc = sata_scr_read(ap, SCR_STATUS, &cur)))
2746                         return rc;
2747                 cur &= 0xf;
2748
2749                 /* DET stable? */
2750                 if (cur == last) {
2751                         if (cur == 1 && time_before(jiffies, timeout))
2752                                 continue;
2753                         if (time_after(jiffies, last_jiffies + duration))
2754                                 return 0;
2755                         continue;
2756                 }
2757
2758                 /* unstable, start over */
2759                 last = cur;
2760                 last_jiffies = jiffies;
2761
2762                 /* check timeout */
2763                 if (time_after(jiffies, timeout))
2764                         return -EBUSY;
2765         }
2766 }
2767
2768 /**
2769  *      sata_phy_resume - resume SATA phy
2770  *      @ap: ATA port to resume SATA phy for
2771  *      @params: timing parameters { interval, duratinon, timeout } in msec
2772  *
2773  *      Resume SATA phy of @ap and debounce it.
2774  *
2775  *      LOCKING:
2776  *      Kernel thread context (may sleep)
2777  *
2778  *      RETURNS:
2779  *      0 on success, -errno on failure.
2780  */
2781 int sata_phy_resume(struct ata_port *ap, const unsigned long *params)
2782 {
2783         u32 scontrol;
2784         int rc;
2785
2786         if ((rc = sata_scr_read(ap, SCR_CONTROL, &scontrol)))
2787                 return rc;
2788
2789         scontrol = (scontrol & 0x0f0) | 0x300;
2790
2791         if ((rc = sata_scr_write(ap, SCR_CONTROL, scontrol)))
2792                 return rc;
2793
2794         /* Some PHYs react badly if SStatus is pounded immediately
2795          * after resuming.  Delay 200ms before debouncing.
2796          */
2797         msleep(200);
2798
2799         return sata_phy_debounce(ap, params);
2800 }
2801
2802 static void ata_wait_spinup(struct ata_port *ap)
2803 {
2804         struct ata_eh_context *ehc = &ap->eh_context;
2805         unsigned long end, secs;
2806         int rc;
2807
2808         /* first, debounce phy if SATA */
2809         if (ap->cbl == ATA_CBL_SATA) {
2810                 rc = sata_phy_debounce(ap, sata_deb_timing_hotplug);
2811
2812                 /* if debounced successfully and offline, no need to wait */
2813                 if ((rc == 0 || rc == -EOPNOTSUPP) && ata_port_offline(ap))
2814                         return;
2815         }
2816
2817         /* okay, let's give the drive time to spin up */
2818         end = ehc->i.hotplug_timestamp + ATA_SPINUP_WAIT * HZ / 1000;
2819         secs = ((end - jiffies) + HZ - 1) / HZ;
2820
2821         if (time_after(jiffies, end))
2822                 return;
2823
2824         if (secs > 5)
2825                 ata_port_printk(ap, KERN_INFO, "waiting for device to spin up "
2826                                 "(%lu secs)\n", secs);
2827
2828         schedule_timeout_uninterruptible(end - jiffies);
2829 }
2830
2831 /**
2832  *      ata_std_prereset - prepare for reset
2833  *      @ap: ATA port to be reset
2834  *
2835  *      @ap is about to be reset.  Initialize it.
2836  *
2837  *      LOCKING:
2838  *      Kernel thread context (may sleep)
2839  *
2840  *      RETURNS:
2841  *      0 on success, -errno otherwise.
2842  */
2843 int ata_std_prereset(struct ata_port *ap)
2844 {
2845         struct ata_eh_context *ehc = &ap->eh_context;
2846         const unsigned long *timing = sata_ehc_deb_timing(ehc);
2847         int rc;
2848
2849         /* handle link resume & hotplug spinup */
2850         if ((ehc->i.flags & ATA_EHI_RESUME_LINK) &&
2851             (ap->flags & ATA_FLAG_HRST_TO_RESUME))
2852                 ehc->i.action |= ATA_EH_HARDRESET;
2853
2854         if ((ehc->i.flags & ATA_EHI_HOTPLUGGED) &&
2855             (ap->flags & ATA_FLAG_SKIP_D2H_BSY))
2856                 ata_wait_spinup(ap);
2857
2858         /* if we're about to do hardreset, nothing more to do */
2859         if (ehc->i.action & ATA_EH_HARDRESET)
2860                 return 0;
2861
2862         /* if SATA, resume phy */
2863         if (ap->cbl == ATA_CBL_SATA) {
2864                 rc = sata_phy_resume(ap, timing);
2865                 if (rc && rc != -EOPNOTSUPP) {
2866                         /* phy resume failed */
2867                         ata_port_printk(ap, KERN_WARNING, "failed to resume "
2868                                         "link for reset (errno=%d)\n", rc);
2869                         return rc;
2870                 }
2871         }
2872
2873         /* Wait for !BSY if the controller can wait for the first D2H
2874          * Reg FIS and we don't know that no device is attached.
2875          */
2876         if (!(ap->flags & ATA_FLAG_SKIP_D2H_BSY) && !ata_port_offline(ap))
2877                 ata_busy_sleep(ap, ATA_TMOUT_BOOT_QUICK, ATA_TMOUT_BOOT);
2878
2879         return 0;
2880 }
2881
2882 /**
2883  *      ata_std_softreset - reset host port via ATA SRST
2884  *      @ap: port to reset
2885  *      @classes: resulting classes of attached devices
2886  *
2887  *      Reset host port using ATA SRST.
2888  *
2889  *      LOCKING:
2890  *      Kernel thread context (may sleep)
2891  *
2892  *      RETURNS:
2893  *      0 on success, -errno otherwise.
2894  */
2895 int ata_std_softreset(struct ata_port *ap, unsigned int *classes)
2896 {
2897         unsigned int slave_possible = ap->flags & ATA_FLAG_SLAVE_POSS;
2898         unsigned int devmask = 0, err_mask;
2899         u8 err;
2900
2901         DPRINTK("ENTER\n");
2902
2903         if (ata_port_offline(ap)) {
2904                 classes[0] = ATA_DEV_NONE;
2905                 goto out;
2906         }
2907
2908         /* determine if device 0/1 are present */
2909         if (ata_devchk(ap, 0))
2910                 devmask |= (1 << 0);
2911         if (slave_possible && ata_devchk(ap, 1))
2912                 devmask |= (1 << 1);
2913
2914         /* select device 0 again */
2915         ap->ops->dev_select(ap, 0);
2916
2917         /* issue bus reset */
2918         DPRINTK("about to softreset, devmask=%x\n", devmask);
2919         err_mask = ata_bus_softreset(ap, devmask);
2920         if (err_mask) {
2921                 ata_port_printk(ap, KERN_ERR, "SRST failed (err_mask=0x%x)\n",
2922                                 err_mask);
2923                 return -EIO;
2924         }
2925
2926         /* determine by signature whether we have ATA or ATAPI devices */
2927         classes[0] = ata_dev_try_classify(ap, 0, &err);
2928         if (slave_possible && err != 0x81)
2929                 classes[1] = ata_dev_try_classify(ap, 1, &err);
2930
2931  out:
2932         DPRINTK("EXIT, classes[0]=%u [1]=%u\n", classes[0], classes[1]);
2933         return 0;
2934 }
2935
2936 /**
2937  *      sata_port_hardreset - reset port via SATA phy reset
2938  *      @ap: port to reset
2939  *      @timing: timing parameters { interval, duratinon, timeout } in msec
2940  *
2941  *      SATA phy-reset host port using DET bits of SControl register.
2942  *
2943  *      LOCKING:
2944  *      Kernel thread context (may sleep)
2945  *
2946  *      RETURNS:
2947  *      0 on success, -errno otherwise.
2948  */
2949 int sata_port_hardreset(struct ata_port *ap, const unsigned long *timing)
2950 {
2951         u32 scontrol;
2952         int rc;
2953
2954         DPRINTK("ENTER\n");
2955
2956         if (sata_set_spd_needed(ap)) {
2957                 /* SATA spec says nothing about how to reconfigure
2958                  * spd.  To be on the safe side, turn off phy during
2959                  * reconfiguration.  This works for at least ICH7 AHCI
2960                  * and Sil3124.
2961                  */
2962                 if ((rc = sata_scr_read(ap, SCR_CONTROL, &scontrol)))
2963                         goto out;
2964
2965                 scontrol = (scontrol & 0x0f0) | 0x304;
2966
2967                 if ((rc = sata_scr_write(ap, SCR_CONTROL, scontrol)))
2968                         goto out;
2969
2970                 sata_set_spd(ap);
2971         }
2972
2973         /* issue phy wake/reset */
2974         if ((rc = sata_scr_read(ap, SCR_CONTROL, &scontrol)))
2975                 goto out;
2976
2977         scontrol = (scontrol & 0x0f0) | 0x301;
2978
2979         if ((rc = sata_scr_write_flush(ap, SCR_CONTROL, scontrol)))
2980                 goto out;
2981
2982         /* Couldn't find anything in SATA I/II specs, but AHCI-1.1
2983          * 10.4.2 says at least 1 ms.
2984          */
2985         msleep(1);
2986
2987         /* bring phy back */
2988         rc = sata_phy_resume(ap, timing);
2989  out:
2990         DPRINTK("EXIT, rc=%d\n", rc);
2991         return rc;
2992 }
2993
2994 /**
2995  *      sata_std_hardreset - reset host port via SATA phy reset
2996  *      @ap: port to reset
2997  *      @class: resulting class of attached device
2998  *
2999  *      SATA phy-reset host port using DET bits of SControl register,
3000  *      wait for !BSY and classify the attached device.
3001  *
3002  *      LOCKING:
3003  *      Kernel thread context (may sleep)
3004  *
3005  *      RETURNS:
3006  *      0 on success, -errno otherwise.
3007  */
3008 int sata_std_hardreset(struct ata_port *ap, unsigned int *class)
3009 {
3010         const unsigned long *timing = sata_ehc_deb_timing(&ap->eh_context);
3011         int rc;
3012
3013         DPRINTK("ENTER\n");
3014
3015         /* do hardreset */
3016         rc = sata_port_hardreset(ap, timing);
3017         if (rc) {
3018                 ata_port_printk(ap, KERN_ERR,
3019                                 "COMRESET failed (errno=%d)\n", rc);
3020                 return rc;
3021         }
3022
3023         /* TODO: phy layer with polling, timeouts, etc. */
3024         if (ata_port_offline(ap)) {
3025                 *class = ATA_DEV_NONE;
3026                 DPRINTK("EXIT, link offline\n");
3027                 return 0;
3028         }
3029
3030         /* wait a while before checking status, see SRST for more info */
3031         msleep(150);
3032
3033         if (ata_busy_sleep(ap, ATA_TMOUT_BOOT_QUICK, ATA_TMOUT_BOOT)) {
3034                 ata_port_printk(ap, KERN_ERR,
3035                                 "COMRESET failed (device not ready)\n");
3036                 return -EIO;
3037         }
3038
3039         ap->ops->dev_select(ap, 0);     /* probably unnecessary */
3040
3041         *class = ata_dev_try_classify(ap, 0, NULL);
3042
3043         DPRINTK("EXIT, class=%u\n", *class);
3044         return 0;
3045 }
3046
3047 /**
3048  *      ata_std_postreset - standard postreset callback
3049  *      @ap: the target ata_port
3050  *      @classes: classes of attached devices
3051  *
3052  *      This function is invoked after a successful reset.  Note that
3053  *      the device might have been reset more than once using
3054  *      different reset methods before postreset is invoked.
3055  *
3056  *      LOCKING:
3057  *      Kernel thread context (may sleep)
3058  */
3059 void ata_std_postreset(struct ata_port *ap, unsigned int *classes)
3060 {
3061         u32 serror;
3062
3063         DPRINTK("ENTER\n");
3064
3065         /* print link status */
3066         sata_print_link_status(ap);
3067
3068         /* clear SError */
3069         if (sata_scr_read(ap, SCR_ERROR, &serror) == 0)
3070                 sata_scr_write(ap, SCR_ERROR, serror);
3071
3072         /* re-enable interrupts */
3073         if (!ap->ops->error_handler)
3074                 ap->ops->irq_on(ap);
3075
3076         /* is double-select really necessary? */
3077         if (classes[0] != ATA_DEV_NONE)
3078                 ap->ops->dev_select(ap, 1);
3079         if (classes[1] != ATA_DEV_NONE)
3080                 ap->ops->dev_select(ap, 0);
3081
3082         /* bail out if no device is present */
3083         if (classes[0] == ATA_DEV_NONE && classes[1] == ATA_DEV_NONE) {
3084                 DPRINTK("EXIT, no device\n");
3085                 return;
3086         }
3087
3088         /* set up device control */
3089         if (ap->ioaddr.ctl_addr)
3090                 iowrite8(ap->ctl, ap->ioaddr.ctl_addr);
3091
3092         DPRINTK("EXIT\n");
3093 }
3094
3095 /**
3096  *      ata_dev_same_device - Determine whether new ID matches configured device
3097  *      @dev: device to compare against
3098  *      @new_class: class of the new device
3099  *      @new_id: IDENTIFY page of the new device
3100  *
3101  *      Compare @new_class and @new_id against @dev and determine
3102  *      whether @dev is the device indicated by @new_class and
3103  *      @new_id.
3104  *
3105  *      LOCKING:
3106  *      None.
3107  *
3108  *      RETURNS:
3109  *      1 if @dev matches @new_class and @new_id, 0 otherwise.
3110  */
3111 static int ata_dev_same_device(struct ata_device *dev, unsigned int new_class,
3112                                const u16 *new_id)
3113 {
3114         const u16 *old_id = dev->id;
3115         unsigned char model[2][ATA_ID_PROD_LEN + 1];
3116         unsigned char serial[2][ATA_ID_SERNO_LEN + 1];
3117         u64 new_n_sectors;
3118
3119         if (dev->class != new_class) {
3120                 ata_dev_printk(dev, KERN_INFO, "class mismatch %d != %d\n",
3121                                dev->class, new_class);
3122                 return 0;
3123         }
3124
3125         ata_id_c_string(old_id, model[0], ATA_ID_PROD, sizeof(model[0]));
3126         ata_id_c_string(new_id, model[1], ATA_ID_PROD, sizeof(model[1]));
3127         ata_id_c_string(old_id, serial[0], ATA_ID_SERNO, sizeof(serial[0]));
3128         ata_id_c_string(new_id, serial[1], ATA_ID_SERNO, sizeof(serial[1]));
3129         new_n_sectors = ata_id_n_sectors(new_id);
3130
3131         if (strcmp(model[0], model[1])) {
3132                 ata_dev_printk(dev, KERN_INFO, "model number mismatch "
3133                                "'%s' != '%s'\n", model[0], model[1]);
3134                 return 0;
3135         }
3136
3137         if (strcmp(serial[0], serial[1])) {
3138                 ata_dev_printk(dev, KERN_INFO, "serial number mismatch "
3139                                "'%s' != '%s'\n", serial[0], serial[1]);
3140                 return 0;
3141         }
3142
3143         if (dev->class == ATA_DEV_ATA && dev->n_sectors != new_n_sectors) {
3144                 ata_dev_printk(dev, KERN_INFO, "n_sectors mismatch "
3145                                "%llu != %llu\n",
3146                                (unsigned long long)dev->n_sectors,
3147                                (unsigned long long)new_n_sectors);
3148                 return 0;
3149         }
3150
3151         return 1;
3152 }
3153
3154 /**
3155  *      ata_dev_revalidate - Revalidate ATA device
3156  *      @dev: device to revalidate
3157  *      @readid_flags: read ID flags
3158  *
3159  *      Re-read IDENTIFY page and make sure @dev is still attached to
3160  *      the port.
3161  *
3162  *      LOCKING:
3163  *      Kernel thread context (may sleep)
3164  *
3165  *      RETURNS:
3166  *      0 on success, negative errno otherwise
3167  */
3168 int ata_dev_revalidate(struct ata_device *dev, unsigned int readid_flags)
3169 {
3170         unsigned int class = dev->class;
3171         u16 *id = (void *)dev->ap->sector_buf;
3172         int rc;
3173
3174         if (!ata_dev_enabled(dev)) {
3175                 rc = -ENODEV;
3176                 goto fail;
3177         }
3178
3179         /* read ID data */
3180         rc = ata_dev_read_id(dev, &class, readid_flags, id);
3181         if (rc)
3182                 goto fail;
3183
3184         /* is the device still there? */
3185         if (!ata_dev_same_device(dev, class, id)) {
3186                 rc = -ENODEV;
3187                 goto fail;
3188         }
3189
3190         memcpy(dev->id, id, sizeof(id[0]) * ATA_ID_WORDS);
3191
3192         /* configure device according to the new ID */
3193         rc = ata_dev_configure(dev);
3194         if (rc == 0)
3195                 return 0;
3196
3197  fail:
3198         ata_dev_printk(dev, KERN_ERR, "revalidation failed (errno=%d)\n", rc);
3199         return rc;
3200 }
3201
3202 struct ata_blacklist_entry {
3203         const char *model_num;
3204         const char *model_rev;
3205         unsigned long horkage;
3206 };
3207
3208 static const struct ata_blacklist_entry ata_device_blacklist [] = {
3209         /* Devices with DMA related problems under Linux */
3210         { "WDC AC11000H",       NULL,           ATA_HORKAGE_NODMA },
3211         { "WDC AC22100H",       NULL,           ATA_HORKAGE_NODMA },
3212         { "WDC AC32500H",       NULL,           ATA_HORKAGE_NODMA },
3213         { "WDC AC33100H",       NULL,           ATA_HORKAGE_NODMA },
3214         { "WDC AC31600H",       NULL,           ATA_HORKAGE_NODMA },
3215         { "WDC AC32100H",       "24.09P07",     ATA_HORKAGE_NODMA },
3216         { "WDC AC23200L",       "21.10N21",     ATA_HORKAGE_NODMA },
3217         { "Compaq CRD-8241B",   NULL,           ATA_HORKAGE_NODMA },
3218         { "CRD-8400B",          NULL,           ATA_HORKAGE_NODMA },
3219         { "CRD-8480B",          NULL,           ATA_HORKAGE_NODMA },
3220         { "CRD-8482B",          NULL,           ATA_HORKAGE_NODMA },
3221         { "CRD-84",             NULL,           ATA_HORKAGE_NODMA },
3222         { "SanDisk SDP3B",      NULL,           ATA_HORKAGE_NODMA },
3223         { "SanDisk SDP3B-64",   NULL,           ATA_HORKAGE_NODMA },
3224         { "SANYO CD-ROM CRD",   NULL,           ATA_HORKAGE_NODMA },
3225         { "HITACHI CDR-8",      NULL,           ATA_HORKAGE_NODMA },
3226         { "HITACHI CDR-8335",   NULL,           ATA_HORKAGE_NODMA },
3227         { "HITACHI CDR-8435",   NULL,           ATA_HORKAGE_NODMA },
3228         { "Toshiba CD-ROM XM-6202B", NULL,      ATA_HORKAGE_NODMA },
3229         { "TOSHIBA CD-ROM XM-1702BC", NULL,     ATA_HORKAGE_NODMA },
3230         { "CD-532E-A",          NULL,           ATA_HORKAGE_NODMA },
3231         { "E-IDE CD-ROM CR-840",NULL,           ATA_HORKAGE_NODMA },
3232         { "CD-ROM Drive/F5A",   NULL,           ATA_HORKAGE_NODMA },
3233         { "WPI CDD-820",        NULL,           ATA_HORKAGE_NODMA },
3234         { "SAMSUNG CD-ROM SC-148C", NULL,       ATA_HORKAGE_NODMA },
3235         { "SAMSUNG CD-ROM SC",  NULL,           ATA_HORKAGE_NODMA },
3236         { "SanDisk SDP3B-64",   NULL,           ATA_HORKAGE_NODMA },
3237         { "ATAPI CD-ROM DRIVE 40X MAXIMUM",NULL,ATA_HORKAGE_NODMA },
3238         { "_NEC DV5800A",       NULL,           ATA_HORKAGE_NODMA },
3239         { "SAMSUNG CD-ROM SN-124","N001",       ATA_HORKAGE_NODMA },
3240
3241         /* Devices we expect to fail diagnostics */
3242
3243         /* Devices where NCQ should be avoided */
3244         /* NCQ is slow */
3245         { "WDC WD740ADFD-00",   NULL,           ATA_HORKAGE_NONCQ },
3246
3247         /* Devices with NCQ limits */
3248
3249         /* End Marker */
3250         { }
3251 };
3252
3253 unsigned long ata_device_blacklisted(const struct ata_device *dev)
3254 {
3255         unsigned char model_num[ATA_ID_PROD_LEN + 1];
3256         unsigned char model_rev[ATA_ID_FW_REV_LEN + 1];
3257         const struct ata_blacklist_entry *ad = ata_device_blacklist;
3258
3259         ata_id_c_string(dev->id, model_num, ATA_ID_PROD, sizeof(model_num));
3260         ata_id_c_string(dev->id, model_rev, ATA_ID_FW_REV, sizeof(model_rev));
3261
3262         while (ad->model_num) {
3263                 if (!strcmp(ad->model_num, model_num)) {
3264                         if (ad->model_rev == NULL)
3265                                 return ad->horkage;
3266                         if (!strcmp(ad->model_rev, model_rev))
3267                                 return ad->horkage;
3268                 }
3269                 ad++;
3270         }
3271         return 0;
3272 }
3273
3274 static int ata_dma_blacklisted(const struct ata_device *dev)
3275 {
3276         /* We don't support polling DMA.
3277          * DMA blacklist those ATAPI devices with CDB-intr (and use PIO)
3278          * if the LLDD handles only interrupts in the HSM_ST_LAST state.
3279          */
3280         if ((dev->ap->flags & ATA_FLAG_PIO_POLLING) &&
3281             (dev->flags & ATA_DFLAG_CDB_INTR))
3282                 return 1;
3283         return (ata_device_blacklisted(dev) & ATA_HORKAGE_NODMA) ? 1 : 0;
3284 }
3285
3286 /**
3287  *      ata_dev_xfermask - Compute supported xfermask of the given device
3288  *      @dev: Device to compute xfermask for
3289  *
3290  *      Compute supported xfermask of @dev and store it in
3291  *      dev->*_mask.  This function is responsible for applying all
3292  *      known limits including host controller limits, device
3293  *      blacklist, etc...
3294  *
3295  *      LOCKING:
3296  *      None.
3297  */
3298 static void ata_dev_xfermask(struct ata_device *dev)
3299 {
3300         struct ata_port *ap = dev->ap;
3301         struct ata_host *host = ap->host;
3302         unsigned long xfer_mask;
3303
3304         /* controller modes available */
3305         xfer_mask = ata_pack_xfermask(ap->pio_mask,
3306                                       ap->mwdma_mask, ap->udma_mask);
3307
3308         /* Apply cable rule here.  Don't apply it early because when
3309          * we handle hot plug the cable type can itself change.
3310          */
3311         if (ap->cbl == ATA_CBL_PATA40)
3312                 xfer_mask &= ~(0xF8 << ATA_SHIFT_UDMA);
3313         /* Apply drive side cable rule. Unknown or 80 pin cables reported
3314          * host side are checked drive side as well. Cases where we know a
3315          * 40wire cable is used safely for 80 are not checked here.
3316          */
3317         if (ata_drive_40wire(dev->id) && (ap->cbl == ATA_CBL_PATA_UNK || ap->cbl == ATA_CBL_PATA80))
3318                 xfer_mask &= ~(0xF8 << ATA_SHIFT_UDMA);
3319
3320
3321         xfer_mask &= ata_pack_xfermask(dev->pio_mask,
3322                                        dev->mwdma_mask, dev->udma_mask);
3323         xfer_mask &= ata_id_xfermask(dev->id);
3324
3325         /*
3326          *      CFA Advanced TrueIDE timings are not allowed on a shared
3327          *      cable
3328          */
3329         if (ata_dev_pair(dev)) {
3330                 /* No PIO5 or PIO6 */
3331                 xfer_mask &= ~(0x03 << (ATA_SHIFT_PIO + 5));
3332                 /* No MWDMA3 or MWDMA 4 */
3333                 xfer_mask &= ~(0x03 << (ATA_SHIFT_MWDMA + 3));
3334         }
3335
3336         if (ata_dma_blacklisted(dev)) {
3337                 xfer_mask &= ~(ATA_MASK_MWDMA | ATA_MASK_UDMA);
3338                 ata_dev_printk(dev, KERN_WARNING,
3339                                "device is on DMA blacklist, disabling DMA\n");
3340         }
3341
3342         if ((host->flags & ATA_HOST_SIMPLEX) && host->simplex_claimed) {
3343                 xfer_mask &= ~(ATA_MASK_MWDMA | ATA_MASK_UDMA);
3344                 ata_dev_printk(dev, KERN_WARNING, "simplex DMA is claimed by "
3345                                "other device, disabling DMA\n");
3346         }
3347
3348         if (ap->ops->mode_filter)
3349                 xfer_mask = ap->ops->mode_filter(ap, dev, xfer_mask);
3350
3351         ata_unpack_xfermask(xfer_mask, &dev->pio_mask,
3352                             &dev->mwdma_mask, &dev->udma_mask);
3353 }
3354
3355 /**
3356  *      ata_dev_set_xfermode - Issue SET FEATURES - XFER MODE command
3357  *      @dev: Device to which command will be sent
3358  *
3359  *      Issue SET FEATURES - XFER MODE command to device @dev
3360  *      on port @ap.
3361  *
3362  *      LOCKING:
3363  *      PCI/etc. bus probe sem.
3364  *
3365  *      RETURNS:
3366  *      0 on success, AC_ERR_* mask otherwise.
3367  */
3368
3369 static unsigned int ata_dev_set_xfermode(struct ata_device *dev)
3370 {
3371         struct ata_taskfile tf;
3372         unsigned int err_mask;
3373
3374         /* set up set-features taskfile */
3375         DPRINTK("set features - xfer mode\n");
3376
3377         ata_tf_init(dev, &tf);
3378         tf.command = ATA_CMD_SET_FEATURES;
3379         tf.feature = SETFEATURES_XFER;
3380         tf.flags |= ATA_TFLAG_ISADDR | ATA_TFLAG_DEVICE;
3381         tf.protocol = ATA_PROT_NODATA;
3382         tf.nsect = dev->xfer_mode;
3383
3384         err_mask = ata_exec_internal(dev, &tf, NULL, DMA_NONE, NULL, 0);
3385
3386         DPRINTK("EXIT, err_mask=%x\n", err_mask);
3387         return err_mask;
3388 }
3389
3390 /**
3391  *      ata_dev_init_params - Issue INIT DEV PARAMS command
3392  *      @dev: Device to which command will be sent
3393  *      @heads: Number of heads (taskfile parameter)
3394  *      @sectors: Number of sectors (taskfile parameter)
3395  *
3396  *      LOCKING:
3397  *      Kernel thread context (may sleep)
3398  *
3399  *      RETURNS:
3400  *      0 on success, AC_ERR_* mask otherwise.
3401  */
3402 static unsigned int ata_dev_init_params(struct ata_device *dev,
3403                                         u16 heads, u16 sectors)
3404 {
3405         struct ata_taskfile tf;
3406         unsigned int err_mask;
3407
3408         /* Number of sectors per track 1-255. Number of heads 1-16 */
3409         if (sectors < 1 || sectors > 255 || heads < 1 || heads > 16)
3410                 return AC_ERR_INVALID;
3411
3412         /* set up init dev params taskfile */
3413         DPRINTK("init dev params \n");
3414
3415         ata_tf_init(dev, &tf);
3416         tf.command = ATA_CMD_INIT_DEV_PARAMS;
3417         tf.flags |= ATA_TFLAG_ISADDR | ATA_TFLAG_DEVICE;
3418         tf.protocol = ATA_PROT_NODATA;
3419         tf.nsect = sectors;
3420         tf.device |= (heads - 1) & 0x0f; /* max head = num. of heads - 1 */
3421
3422         err_mask = ata_exec_internal(dev, &tf, NULL, DMA_NONE, NULL, 0);
3423
3424         DPRINTK("EXIT, err_mask=%x\n", err_mask);
3425         return err_mask;
3426 }
3427
3428 /**
3429  *      ata_sg_clean - Unmap DMA memory associated with command
3430  *      @qc: Command containing DMA memory to be released
3431  *
3432  *      Unmap all mapped DMA memory associated with this command.
3433  *
3434  *      LOCKING:
3435  *      spin_lock_irqsave(host lock)
3436  */
3437 void ata_sg_clean(struct ata_queued_cmd *qc)
3438 {
3439         struct ata_port *ap = qc->ap;
3440         struct scatterlist *sg = qc->__sg;
3441         int dir = qc->dma_dir;
3442         void *pad_buf = NULL;
3443
3444         WARN_ON(!(qc->flags & ATA_QCFLAG_DMAMAP));
3445         WARN_ON(sg == NULL);
3446
3447         if (qc->flags & ATA_QCFLAG_SINGLE)
3448                 WARN_ON(qc->n_elem > 1);
3449
3450         VPRINTK("unmapping %u sg elements\n", qc->n_elem);
3451
3452         /* if we padded the buffer out to 32-bit bound, and data
3453          * xfer direction is from-device, we must copy from the
3454          * pad buffer back into the supplied buffer
3455          */
3456         if (qc->pad_len && !(qc->tf.flags & ATA_TFLAG_WRITE))
3457                 pad_buf = ap->pad + (qc->tag * ATA_DMA_PAD_SZ);
3458
3459         if (qc->flags & ATA_QCFLAG_SG) {
3460                 if (qc->n_elem)
3461                         dma_unmap_sg(ap->dev, sg, qc->n_elem, dir);
3462                 /* restore last sg */
3463                 sg[qc->orig_n_elem - 1].length += qc->pad_len;
3464                 if (pad_buf) {
3465                         struct scatterlist *psg = &qc->pad_sgent;
3466                         void *addr = kmap_atomic(psg->page, KM_IRQ0);
3467                         memcpy(addr + psg->offset, pad_buf, qc->pad_len);
3468                         kunmap_atomic(addr, KM_IRQ0);
3469                 }
3470         } else {
3471                 if (qc->n_elem)
3472                         dma_unmap_single(ap->dev,
3473                                 sg_dma_address(&sg[0]), sg_dma_len(&sg[0]),
3474                                 dir);
3475                 /* restore sg */
3476                 sg->length += qc->pad_len;
3477                 if (pad_buf)
3478                         memcpy(qc->buf_virt + sg->length - qc->pad_len,
3479                                pad_buf, qc->pad_len);
3480         }
3481
3482         qc->flags &= ~ATA_QCFLAG_DMAMAP;
3483         qc->__sg = NULL;
3484 }
3485
3486 /**
3487  *      ata_fill_sg - Fill PCI IDE PRD table
3488  *      @qc: Metadata associated with taskfile to be transferred
3489  *
3490  *      Fill PCI IDE PRD (scatter-gather) table with segments
3491  *      associated with the current disk command.
3492  *
3493  *      LOCKING:
3494  *      spin_lock_irqsave(host lock)
3495  *
3496  */
3497 static void ata_fill_sg(struct ata_queued_cmd *qc)
3498 {
3499         struct ata_port *ap = qc->ap;
3500         struct scatterlist *sg;
3501         unsigned int idx;
3502
3503         WARN_ON(qc->__sg == NULL);
3504         WARN_ON(qc->n_elem == 0 && qc->pad_len == 0);
3505
3506         idx = 0;
3507         ata_for_each_sg(sg, qc) {
3508                 u32 addr, offset;
3509                 u32 sg_len, len;
3510
3511                 /* determine if physical DMA addr spans 64K boundary.
3512                  * Note h/w doesn't support 64-bit, so we unconditionally
3513                  * truncate dma_addr_t to u32.
3514                  */
3515                 addr = (u32) sg_dma_address(sg);
3516                 sg_len = sg_dma_len(sg);
3517
3518                 while (sg_len) {
3519                         offset = addr & 0xffff;
3520                         len = sg_len;
3521                         if ((offset + sg_len) > 0x10000)
3522                                 len = 0x10000 - offset;
3523
3524                         ap->prd[idx].addr = cpu_to_le32(addr);
3525                         ap->prd[idx].flags_len = cpu_to_le32(len & 0xffff);
3526                         VPRINTK("PRD[%u] = (0x%X, 0x%X)\n", idx, addr, len);
3527
3528                         idx++;
3529                         sg_len -= len;
3530                         addr += len;
3531                 }
3532         }
3533
3534         if (idx)
3535                 ap->prd[idx - 1].flags_len |= cpu_to_le32(ATA_PRD_EOT);
3536 }
3537 /**
3538  *      ata_check_atapi_dma - Check whether ATAPI DMA can be supported
3539  *      @qc: Metadata associated with taskfile to check
3540  *
3541  *      Allow low-level driver to filter ATA PACKET commands, returning
3542  *      a status indicating whether or not it is OK to use DMA for the
3543  *      supplied PACKET command.
3544  *
3545  *      LOCKING:
3546  *      spin_lock_irqsave(host lock)
3547  *
3548  *      RETURNS: 0 when ATAPI DMA can be used
3549  *               nonzero otherwise
3550  */
3551 int ata_check_atapi_dma(struct ata_queued_cmd *qc)
3552 {
3553         struct ata_port *ap = qc->ap;
3554         int rc = 0; /* Assume ATAPI DMA is OK by default */
3555
3556         if (ap->ops->check_atapi_dma)
3557                 rc = ap->ops->check_atapi_dma(qc);
3558
3559         return rc;
3560 }
3561 /**
3562  *      ata_qc_prep - Prepare taskfile for submission
3563  *      @qc: Metadata associated with taskfile to be prepared
3564  *
3565  *      Prepare ATA taskfile for submission.
3566  *
3567  *      LOCKING:
3568  *      spin_lock_irqsave(host lock)
3569  */
3570 void ata_qc_prep(struct ata_queued_cmd *qc)
3571 {
3572         if (!(qc->flags & ATA_QCFLAG_DMAMAP))
3573                 return;
3574
3575         ata_fill_sg(qc);
3576 }
3577
3578 void ata_noop_qc_prep(struct ata_queued_cmd *qc) { }
3579
3580 /**
3581  *      ata_sg_init_one - Associate command with memory buffer
3582  *      @qc: Command to be associated
3583  *      @buf: Memory buffer
3584  *      @buflen: Length of memory buffer, in bytes.
3585  *
3586  *      Initialize the data-related elements of queued_cmd @qc
3587  *      to point to a single memory buffer, @buf of byte length @buflen.
3588  *
3589  *      LOCKING:
3590  *      spin_lock_irqsave(host lock)
3591  */
3592
3593 void ata_sg_init_one(struct ata_queued_cmd *qc, void *buf, unsigned int buflen)
3594 {
3595         qc->flags |= ATA_QCFLAG_SINGLE;
3596
3597         qc->__sg = &qc->sgent;
3598         qc->n_elem = 1;
3599         qc->orig_n_elem = 1;
3600         qc->buf_virt = buf;
3601         qc->nbytes = buflen;
3602
3603         sg_init_one(&qc->sgent, buf, buflen);
3604 }
3605
3606 /**
3607  *      ata_sg_init - Associate command with scatter-gather table.
3608  *      @qc: Command to be associated
3609  *      @sg: Scatter-gather table.
3610  *      @n_elem: Number of elements in s/g table.
3611  *
3612  *      Initialize the data-related elements of queued_cmd @qc
3613  *      to point to a scatter-gather table @sg, containing @n_elem
3614  *      elements.
3615  *
3616  *      LOCKING:
3617  *      spin_lock_irqsave(host lock)
3618  */
3619
3620 void ata_sg_init(struct ata_queued_cmd *qc, struct scatterlist *sg,
3621                  unsigned int n_elem)
3622 {
3623         qc->flags |= ATA_QCFLAG_SG;
3624         qc->__sg = sg;
3625         qc->n_elem = n_elem;
3626         qc->orig_n_elem = n_elem;
3627 }
3628
3629 /**
3630  *      ata_sg_setup_one - DMA-map the memory buffer associated with a command.
3631  *      @qc: Command with memory buffer to be mapped.
3632  *
3633  *      DMA-map the memory buffer associated with queued_cmd @qc.
3634  *
3635  *      LOCKING:
3636  *      spin_lock_irqsave(host lock)
3637  *
3638  *      RETURNS:
3639  *      Zero on success, negative on error.
3640  */
3641
3642 static int ata_sg_setup_one(struct ata_queued_cmd *qc)
3643 {
3644         struct ata_port *ap = qc->ap;
3645         int dir = qc->dma_dir;
3646         struct scatterlist *sg = qc->__sg;
3647         dma_addr_t dma_address;
3648         int trim_sg = 0;
3649
3650         /* we must lengthen transfers to end on a 32-bit boundary */
3651         qc->pad_len = sg->length & 3;
3652         if (qc->pad_len) {
3653                 void *pad_buf = ap->pad + (qc->tag * ATA_DMA_PAD_SZ);
3654                 struct scatterlist *psg = &qc->pad_sgent;
3655
3656                 WARN_ON(qc->dev->class != ATA_DEV_ATAPI);
3657
3658                 memset(pad_buf, 0, ATA_DMA_PAD_SZ);
3659
3660                 if (qc->tf.flags & ATA_TFLAG_WRITE)
3661                         memcpy(pad_buf, qc->buf_virt + sg->length - qc->pad_len,
3662                                qc->pad_len);
3663
3664                 sg_dma_address(psg) = ap->pad_dma + (qc->tag * ATA_DMA_PAD_SZ);
3665                 sg_dma_len(psg) = ATA_DMA_PAD_SZ;
3666                 /* trim sg */
3667                 sg->length -= qc->pad_len;
3668                 if (sg->length == 0)
3669                         trim_sg = 1;
3670
3671                 DPRINTK("padding done, sg->length=%u pad_len=%u\n",
3672                         sg->length, qc->pad_len);
3673         }
3674
3675         if (trim_sg) {
3676                 qc->n_elem--;
3677                 goto skip_map;
3678         }
3679
3680         dma_address = dma_map_single(ap->dev, qc->buf_virt,
3681                                      sg->length, dir);
3682         if (dma_mapping_error(dma_address)) {
3683                 /* restore sg */
3684                 sg->length += qc->pad_len;
3685                 return -1;
3686         }
3687
3688         sg_dma_address(sg) = dma_address;
3689         sg_dma_len(sg) = sg->length;
3690
3691 skip_map:
3692         DPRINTK("mapped buffer of %d bytes for %s\n", sg_dma_len(sg),
3693                 qc->tf.flags & ATA_TFLAG_WRITE ? "write" : "read");
3694
3695         return 0;
3696 }
3697
3698 /**
3699  *      ata_sg_setup - DMA-map the scatter-gather table associated with a command.
3700  *      @qc: Command with scatter-gather table to be mapped.
3701  *
3702  *      DMA-map the scatter-gather table associated with queued_cmd @qc.
3703  *
3704  *      LOCKING:
3705  *      spin_lock_irqsave(host lock)
3706  *
3707  *      RETURNS:
3708  *      Zero on success, negative on error.
3709  *
3710  */
3711
3712 static int ata_sg_setup(struct ata_queued_cmd *qc)
3713 {
3714         struct ata_port *ap = qc->ap;
3715         struct scatterlist *sg = qc->__sg;
3716         struct scatterlist *lsg = &sg[qc->n_elem - 1];
3717         int n_elem, pre_n_elem, dir, trim_sg = 0;
3718
3719         VPRINTK("ENTER, ata%u\n", ap->id);
3720         WARN_ON(!(qc->flags & ATA_QCFLAG_SG));
3721
3722         /* we must lengthen transfers to end on a 32-bit boundary */
3723         qc->pad_len = lsg->length & 3;
3724         if (qc->pad_len) {
3725                 void *pad_buf = ap->pad + (qc->tag * ATA_DMA_PAD_SZ);
3726                 struct scatterlist *psg = &qc->pad_sgent;
3727                 unsigned int offset;
3728
3729                 WARN_ON(qc->dev->class != ATA_DEV_ATAPI);
3730
3731                 memset(pad_buf, 0, ATA_DMA_PAD_SZ);
3732
3733                 /*
3734                  * psg->page/offset are used to copy to-be-written
3735                  * data in this function or read data in ata_sg_clean.
3736                  */
3737                 offset = lsg->offset + lsg->length - qc->pad_len;
3738                 psg->page = nth_page(lsg->page, offset >> PAGE_SHIFT);
3739                 psg->offset = offset_in_page(offset);
3740
3741                 if (qc->tf.flags & ATA_TFLAG_WRITE) {
3742                         void *addr = kmap_atomic(psg->page, KM_IRQ0);
3743                         memcpy(pad_buf, addr + psg->offset, qc->pad_len);
3744                         kunmap_atomic(addr, KM_IRQ0);
3745                 }
3746
3747                 sg_dma_address(psg) = ap->pad_dma + (qc->tag * ATA_DMA_PAD_SZ);
3748                 sg_dma_len(psg) = ATA_DMA_PAD_SZ;
3749                 /* trim last sg */
3750                 lsg->length -= qc->pad_len;
3751                 if (lsg->length == 0)
3752                         trim_sg = 1;
3753
3754                 DPRINTK("padding done, sg[%d].length=%u pad_len=%u\n",
3755                         qc->n_elem - 1, lsg->length, qc->pad_len);
3756         }
3757
3758         pre_n_elem = qc->n_elem;
3759         if (trim_sg && pre_n_elem)
3760                 pre_n_elem--;
3761
3762         if (!pre_n_elem) {
3763                 n_elem = 0;
3764                 goto skip_map;
3765         }
3766
3767         dir = qc->dma_dir;
3768         n_elem = dma_map_sg(ap->dev, sg, pre_n_elem, dir);
3769         if (n_elem < 1) {
3770                 /* restore last sg */
3771                 lsg->length += qc->pad_len;
3772                 return -1;
3773         }
3774
3775         DPRINTK("%d sg elements mapped\n", n_elem);
3776
3777 skip_map:
3778         qc->n_elem = n_elem;
3779
3780         return 0;
3781 }
3782
3783 /**
3784  *      swap_buf_le16 - swap halves of 16-bit words in place
3785  *      @buf:  Buffer to swap
3786  *      @buf_words:  Number of 16-bit words in buffer.
3787  *
3788  *      Swap halves of 16-bit words if needed to convert from
3789  *      little-endian byte order to native cpu byte order, or
3790  *      vice-versa.
3791  *
3792  *      LOCKING:
3793  *      Inherited from caller.
3794  */
3795 void swap_buf_le16(u16 *buf, unsigned int buf_words)
3796 {
3797 #ifdef __BIG_ENDIAN
3798         unsigned int i;
3799
3800         for (i = 0; i < buf_words; i++)
3801                 buf[i] = le16_to_cpu(buf[i]);
3802 #endif /* __BIG_ENDIAN */
3803 }
3804
3805 /**
3806  *      ata_data_xfer - Transfer data by PIO
3807  *      @adev: device to target
3808  *      @buf: data buffer
3809  *      @buflen: buffer length
3810  *      @write_data: read/write
3811  *
3812  *      Transfer data from/to the device data register by PIO.
3813  *
3814  *      LOCKING:
3815  *      Inherited from caller.
3816  */
3817 void ata_data_xfer(struct ata_device *adev, unsigned char *buf,
3818                    unsigned int buflen, int write_data)
3819 {
3820         struct ata_port *ap = adev->ap;
3821         unsigned int words = buflen >> 1;
3822
3823         /* Transfer multiple of 2 bytes */
3824         if (write_data)
3825                 iowrite16_rep(ap->ioaddr.data_addr, buf, words);
3826         else
3827                 ioread16_rep(ap->ioaddr.data_addr, buf, words);
3828
3829         /* Transfer trailing 1 byte, if any. */
3830         if (unlikely(buflen & 0x01)) {
3831                 u16 align_buf[1] = { 0 };
3832                 unsigned char *trailing_buf = buf + buflen - 1;
3833
3834                 if (write_data) {
3835                         memcpy(align_buf, trailing_buf, 1);
3836                         iowrite16(le16_to_cpu(align_buf[0]), ap->ioaddr.data_addr);
3837                 } else {
3838                         align_buf[0] = cpu_to_le16(ioread16(ap->ioaddr.data_addr));
3839                         memcpy(trailing_buf, align_buf, 1);
3840                 }
3841         }
3842 }
3843
3844 /**
3845  *      ata_data_xfer_noirq - Transfer data by PIO
3846  *      @adev: device to target
3847  *      @buf: data buffer
3848  *      @buflen: buffer length
3849  *      @write_data: read/write
3850  *
3851  *      Transfer data from/to the device data register by PIO. Do the
3852  *      transfer with interrupts disabled.
3853  *
3854  *      LOCKING:
3855  *      Inherited from caller.
3856  */
3857 void ata_data_xfer_noirq(struct ata_device *adev, unsigned char *buf,
3858                          unsigned int buflen, int write_data)
3859 {
3860         unsigned long flags;
3861         local_irq_save(flags);
3862         ata_data_xfer(adev, buf, buflen, write_data);
3863         local_irq_restore(flags);
3864 }
3865
3866
3867 /**
3868  *      ata_pio_sector - Transfer ATA_SECT_SIZE (512 bytes) of data.
3869  *      @qc: Command on going
3870  *
3871  *      Transfer ATA_SECT_SIZE of data from/to the ATA device.
3872  *
3873  *      LOCKING:
3874  *      Inherited from caller.
3875  */
3876
3877 static void ata_pio_sector(struct ata_queued_cmd *qc)
3878 {
3879         int do_write = (qc->tf.flags & ATA_TFLAG_WRITE);
3880         struct scatterlist *sg = qc->__sg;
3881         struct ata_port *ap = qc->ap;
3882         struct page *page;
3883         unsigned int offset;
3884         unsigned char *buf;
3885
3886         if (qc->curbytes == qc->nbytes - ATA_SECT_SIZE)
3887                 ap->hsm_task_state = HSM_ST_LAST;
3888
3889         page = sg[qc->cursg].page;
3890         offset = sg[qc->cursg].offset + qc->cursg_ofs;
3891
3892         /* get the current page and offset */
3893         page = nth_page(page, (offset >> PAGE_SHIFT));
3894         offset %= PAGE_SIZE;
3895
3896         DPRINTK("data %s\n", qc->tf.flags & ATA_TFLAG_WRITE ? "write" : "read");
3897
3898         if (PageHighMem(page)) {
3899                 unsigned long flags;
3900
3901                 /* FIXME: use a bounce buffer */
3902                 local_irq_save(flags);
3903                 buf = kmap_atomic(page, KM_IRQ0);
3904
3905                 /* do the actual data transfer */
3906                 ap->ops->data_xfer(qc->dev, buf + offset, ATA_SECT_SIZE, do_write);
3907
3908                 kunmap_atomic(buf, KM_IRQ0);
3909                 local_irq_restore(flags);
3910         } else {
3911                 buf = page_address(page);
3912                 ap->ops->data_xfer(qc->dev, buf + offset, ATA_SECT_SIZE, do_write);
3913         }
3914
3915         qc->curbytes += ATA_SECT_SIZE;
3916         qc->cursg_ofs += ATA_SECT_SIZE;
3917
3918         if (qc->cursg_ofs == (&sg[qc->cursg])->length) {
3919                 qc->cursg++;
3920                 qc->cursg_ofs = 0;
3921         }
3922 }
3923
3924 /**
3925  *      ata_pio_sectors - Transfer one or many 512-byte sectors.
3926  *      @qc: Command on going
3927  *
3928  *      Transfer one or many ATA_SECT_SIZE of data from/to the
3929  *      ATA device for the DRQ request.
3930  *
3931  *      LOCKING:
3932  *      Inherited from caller.
3933  */
3934
3935 static void ata_pio_sectors(struct ata_queued_cmd *qc)
3936 {
3937         if (is_multi_taskfile(&qc->tf)) {
3938                 /* READ/WRITE MULTIPLE */
3939                 unsigned int nsect;
3940
3941                 WARN_ON(qc->dev->multi_count == 0);
3942
3943                 nsect = min((qc->nbytes - qc->curbytes) / ATA_SECT_SIZE,
3944                             qc->dev->multi_count);
3945                 while (nsect--)
3946                         ata_pio_sector(qc);
3947         } else
3948                 ata_pio_sector(qc);
3949 }
3950
3951 /**
3952  *      atapi_send_cdb - Write CDB bytes to hardware
3953  *      @ap: Port to which ATAPI device is attached.
3954  *      @qc: Taskfile currently active
3955  *
3956  *      When device has indicated its readiness to accept
3957  *      a CDB, this function is called.  Send the CDB.
3958  *
3959  *      LOCKING:
3960  *      caller.
3961  */
3962
3963 static void atapi_send_cdb(struct ata_port *ap, struct ata_queued_cmd *qc)
3964 {
3965         /* send SCSI cdb */
3966         DPRINTK("send cdb\n");
3967         WARN_ON(qc->dev->cdb_len < 12);
3968
3969         ap->ops->data_xfer(qc->dev, qc->cdb, qc->dev->cdb_len, 1);
3970         ata_altstatus(ap); /* flush */
3971
3972         switch (qc->tf.protocol) {
3973         case ATA_PROT_ATAPI:
3974                 ap->hsm_task_state = HSM_ST;
3975                 break;
3976         case ATA_PROT_ATAPI_NODATA:
3977                 ap->hsm_task_state = HSM_ST_LAST;
3978                 break;
3979         case ATA_PROT_ATAPI_DMA:
3980                 ap->hsm_task_state = HSM_ST_LAST;
3981                 /* initiate bmdma */
3982                 ap->ops->bmdma_start(qc);
3983                 break;
3984         }
3985 }
3986
3987 /**
3988  *      __atapi_pio_bytes - Transfer data from/to the ATAPI device.
3989  *      @qc: Command on going
3990  *      @bytes: number of bytes
3991  *
3992  *      Transfer Transfer data from/to the ATAPI device.
3993  *
3994  *      LOCKING:
3995  *      Inherited from caller.
3996  *
3997  */
3998
3999 static void __atapi_pio_bytes(struct ata_queued_cmd *qc, unsigned int bytes)
4000 {
4001         int do_write = (qc->tf.flags & ATA_TFLAG_WRITE);
4002         struct scatterlist *sg = qc->__sg;
4003         struct ata_port *ap = qc->ap;
4004         struct page *page;
4005         unsigned char *buf;
4006         unsigned int offset, count;
4007
4008         if (qc->curbytes + bytes >= qc->nbytes)
4009                 ap->hsm_task_state = HSM_ST_LAST;
4010
4011 next_sg:
4012         if (unlikely(qc->cursg >= qc->n_elem)) {
4013                 /*
4014                  * The end of qc->sg is reached and the device expects
4015                  * more data to transfer. In order not to overrun qc->sg
4016                  * and fulfill length specified in the byte count register,
4017                  *    - for read case, discard trailing data from the device
4018                  *    - for write case, padding zero data to the device
4019                  */
4020                 u16 pad_buf[1] = { 0 };
4021                 unsigned int words = bytes >> 1;
4022                 unsigned int i;
4023
4024                 if (words) /* warning if bytes > 1 */
4025                         ata_dev_printk(qc->dev, KERN_WARNING,
4026                                        "%u bytes trailing data\n", bytes);
4027
4028                 for (i = 0; i < words; i++)
4029                         ap->ops->data_xfer(qc->dev, (unsigned char*)pad_buf, 2, do_write);
4030
4031                 ap->hsm_task_state = HSM_ST_LAST;
4032                 return;
4033         }
4034
4035         sg = &qc->__sg[qc->cursg];
4036
4037         page = sg->page;
4038         offset = sg->offset + qc->cursg_ofs;
4039
4040         /* get the current page and offset */
4041         page = nth_page(page, (offset >> PAGE_SHIFT));
4042         offset %= PAGE_SIZE;
4043
4044         /* don't overrun current sg */
4045         count = min(sg->length - qc->cursg_ofs, bytes);
4046
4047         /* don't cross page boundaries */
4048         count = min(count, (unsigned int)PAGE_SIZE - offset);
4049
4050         DPRINTK("data %s\n", qc->tf.flags & ATA_TFLAG_WRITE ? "write" : "read");
4051
4052         if (PageHighMem(page)) {
4053                 unsigned long flags;
4054
4055                 /* FIXME: use bounce buffer */
4056                 local_irq_save(flags);
4057                 buf = kmap_atomic(page, KM_IRQ0);
4058
4059                 /* do the actual data transfer */
4060                 ap->ops->data_xfer(qc->dev,  buf + offset, count, do_write);
4061
4062                 kunmap_atomic(buf, KM_IRQ0);
4063                 local_irq_restore(flags);
4064         } else {
4065                 buf = page_address(page);
4066                 ap->ops->data_xfer(qc->dev,  buf + offset, count, do_write);
4067         }
4068
4069         bytes -= count;
4070         qc->curbytes += count;
4071         qc->cursg_ofs += count;
4072
4073         if (qc->cursg_ofs == sg->length) {
4074                 qc->cursg++;
4075                 qc->cursg_ofs = 0;
4076         }
4077
4078         if (bytes)
4079                 goto next_sg;
4080 }
4081
4082 /**
4083  *      atapi_pio_bytes - Transfer data from/to the ATAPI device.
4084  *      @qc: Command on going
4085  *
4086  *      Transfer Transfer data from/to the ATAPI device.
4087  *
4088  *      LOCKING:
4089  *      Inherited from caller.
4090  */
4091
4092 static void atapi_pio_bytes(struct ata_queued_cmd *qc)
4093 {
4094         struct ata_port *ap = qc->ap;
4095         struct ata_device *dev = qc->dev;
4096         unsigned int ireason, bc_lo, bc_hi, bytes;
4097         int i_write, do_write = (qc->tf.flags & ATA_TFLAG_WRITE) ? 1 : 0;
4098
4099         /* Abuse qc->result_tf for temp storage of intermediate TF
4100          * here to save some kernel stack usage.
4101          * For normal completion, qc->result_tf is not relevant. For
4102          * error, qc->result_tf is later overwritten by ata_qc_complete().
4103          * So, the correctness of qc->result_tf is not affected.
4104          */
4105         ap->ops->tf_read(ap, &qc->result_tf);
4106         ireason = qc->result_tf.nsect;
4107         bc_lo = qc->result_tf.lbam;
4108         bc_hi = qc->result_tf.lbah;
4109         bytes = (bc_hi << 8) | bc_lo;
4110
4111         /* shall be cleared to zero, indicating xfer of data */
4112         if (ireason & (1 << 0))
4113                 goto err_out;
4114
4115         /* make sure transfer direction matches expected */
4116         i_write = ((ireason & (1 << 1)) == 0) ? 1 : 0;
4117         if (do_write != i_write)
4118                 goto err_out;
4119
4120         VPRINTK("ata%u: xfering %d bytes\n", ap->id, bytes);
4121
4122         __atapi_pio_bytes(qc, bytes);
4123
4124         return;
4125
4126 err_out:
4127         ata_dev_printk(dev, KERN_INFO, "ATAPI check failed\n");
4128         qc->err_mask |= AC_ERR_HSM;
4129         ap->hsm_task_state = HSM_ST_ERR;
4130 }
4131
4132 /**
4133  *      ata_hsm_ok_in_wq - Check if the qc can be handled in the workqueue.
4134  *      @ap: the target ata_port
4135  *      @qc: qc on going
4136  *
4137  *      RETURNS:
4138  *      1 if ok in workqueue, 0 otherwise.
4139  */
4140
4141 static inline int ata_hsm_ok_in_wq(struct ata_port *ap, struct ata_queued_cmd *qc)
4142 {
4143         if (qc->tf.flags & ATA_TFLAG_POLLING)
4144                 return 1;
4145
4146         if (ap->hsm_task_state == HSM_ST_FIRST) {
4147                 if (qc->tf.protocol == ATA_PROT_PIO &&
4148                     (qc->tf.flags & ATA_TFLAG_WRITE))
4149                     return 1;
4150
4151                 if (is_atapi_taskfile(&qc->tf) &&
4152                     !(qc->dev->flags & ATA_DFLAG_CDB_INTR))
4153                         return 1;
4154         }
4155
4156         return 0;
4157 }
4158
4159 /**
4160  *      ata_hsm_qc_complete - finish a qc running on standard HSM
4161  *      @qc: Command to complete
4162  *      @in_wq: 1 if called from workqueue, 0 otherwise
4163  *
4164  *      Finish @qc which is running on standard HSM.
4165  *
4166  *      LOCKING:
4167  *      If @in_wq is zero, spin_lock_irqsave(host lock).
4168  *      Otherwise, none on entry and grabs host lock.
4169  */
4170 static void ata_hsm_qc_complete(struct ata_queued_cmd *qc, int in_wq)
4171 {
4172         struct ata_port *ap = qc->ap;
4173         unsigned long flags;
4174
4175         if (ap->ops->error_handler) {
4176                 if (in_wq) {
4177                         spin_lock_irqsave(ap->lock, flags);
4178
4179                         /* EH might have kicked in while host lock is
4180                          * released.
4181                          */
4182                         qc = ata_qc_from_tag(ap, qc->tag);
4183                         if (qc) {
4184                                 if (likely(!(qc->err_mask & AC_ERR_HSM))) {
4185                                         ap->ops->irq_on(ap);
4186                                         ata_qc_complete(qc);
4187                                 } else
4188                                         ata_port_freeze(ap);
4189                         }
4190
4191                         spin_unlock_irqrestore(ap->lock, flags);
4192                 } else {
4193                         if (likely(!(qc->err_mask & AC_ERR_HSM)))
4194                                 ata_qc_complete(qc);
4195                         else
4196                                 ata_port_freeze(ap);
4197                 }
4198         } else {
4199                 if (in_wq) {
4200                         spin_lock_irqsave(ap->lock, flags);
4201                         ap->ops->irq_on(ap);
4202                         ata_qc_complete(qc);
4203                         spin_unlock_irqrestore(ap->lock, flags);
4204                 } else
4205                         ata_qc_complete(qc);
4206         }
4207
4208         ata_altstatus(ap); /* flush */
4209 }
4210
4211 /**
4212  *      ata_hsm_move - move the HSM to the next state.
4213  *      @ap: the target ata_port
4214  *      @qc: qc on going
4215  *      @status: current device status
4216  *      @in_wq: 1 if called from workqueue, 0 otherwise
4217  *
4218  *      RETURNS:
4219  *      1 when poll next status needed, 0 otherwise.
4220  */
4221 int ata_hsm_move(struct ata_port *ap, struct ata_queued_cmd *qc,
4222                  u8 status, int in_wq)
4223 {
4224         unsigned long flags = 0;
4225         int poll_next;
4226
4227         WARN_ON((qc->flags & ATA_QCFLAG_ACTIVE) == 0);
4228
4229         /* Make sure ata_qc_issue_prot() does not throw things
4230          * like DMA polling into the workqueue. Notice that
4231          * in_wq is not equivalent to (qc->tf.flags & ATA_TFLAG_POLLING).
4232          */
4233         WARN_ON(in_wq != ata_hsm_ok_in_wq(ap, qc));
4234
4235 fsm_start:
4236         DPRINTK("ata%u: protocol %d task_state %d (dev_stat 0x%X)\n",
4237                 ap->id, qc->tf.protocol, ap->hsm_task_state, status);
4238
4239         switch (ap->hsm_task_state) {
4240         case HSM_ST_FIRST:
4241                 /* Send first data block or PACKET CDB */
4242
4243                 /* If polling, we will stay in the work queue after
4244                  * sending the data. Otherwise, interrupt handler
4245                  * takes over after sending the data.
4246                  */
4247                 poll_next = (qc->tf.flags & ATA_TFLAG_POLLING);
4248
4249                 /* check device status */
4250                 if (unlikely((status & ATA_DRQ) == 0)) {
4251                         /* handle BSY=0, DRQ=0 as error */
4252                         if (likely(status & (ATA_ERR | ATA_DF)))
4253                                 /* device stops HSM for abort/error */
4254                                 qc->err_mask |= AC_ERR_DEV;
4255                         else
4256                                 /* HSM violation. Let EH handle this */
4257                                 qc->err_mask |= AC_ERR_HSM;
4258
4259                         ap->hsm_task_state = HSM_ST_ERR;
4260                         goto fsm_start;
4261                 }
4262
4263                 /* Device should not ask for data transfer (DRQ=1)
4264                  * when it finds something wrong.
4265                  * We ignore DRQ here and stop the HSM by
4266                  * changing hsm_task_state to HSM_ST_ERR and
4267                  * let the EH abort the command or reset the device.
4268                  */
4269                 if (unlikely(status & (ATA_ERR | ATA_DF))) {
4270                         printk(KERN_WARNING "ata%d: DRQ=1 with device error, dev_stat 0x%X\n",
4271                                ap->id, status);
4272                         qc->err_mask |= AC_ERR_HSM;
4273                         ap->hsm_task_state = HSM_ST_ERR;
4274                         goto fsm_start;
4275                 }
4276
4277                 /* Send the CDB (atapi) or the first data block (ata pio out).
4278                  * During the state transition, interrupt handler shouldn't
4279                  * be invoked before the data transfer is complete and
4280                  * hsm_task_state is changed. Hence, the following locking.
4281                  */
4282                 if (in_wq)
4283                         spin_lock_irqsave(ap->lock, flags);
4284
4285                 if (qc->tf.protocol == ATA_PROT_PIO) {
4286                         /* PIO data out protocol.
4287                          * send first data block.
4288                          */
4289
4290                         /* ata_pio_sectors() might change the state
4291                          * to HSM_ST_LAST. so, the state is changed here
4292                          * before ata_pio_sectors().
4293                          */
4294                         ap->hsm_task_state = HSM_ST;
4295                         ata_pio_sectors(qc);
4296                         ata_altstatus(ap); /* flush */
4297                 } else
4298                         /* send CDB */
4299                         atapi_send_cdb(ap, qc);
4300
4301                 if (in_wq)
4302                         spin_unlock_irqrestore(ap->lock, flags);
4303
4304                 /* if polling, ata_pio_task() handles the rest.
4305                  * otherwise, interrupt handler takes over from here.
4306                  */
4307                 break;
4308
4309         case HSM_ST:
4310                 /* complete command or read/write the data register */
4311                 if (qc->tf.protocol == ATA_PROT_ATAPI) {
4312                         /* ATAPI PIO protocol */
4313                         if ((status & ATA_DRQ) == 0) {
4314                                 /* No more data to transfer or device error.
4315                                  * Device error will be tagged in HSM_ST_LAST.
4316                                  */
4317                                 ap->hsm_task_state = HSM_ST_LAST;
4318                                 goto fsm_start;
4319                         }
4320
4321                         /* Device should not ask for data transfer (DRQ=1)
4322                          * when it finds something wrong.
4323                          * We ignore DRQ here and stop the HSM by
4324                          * changing hsm_task_state to HSM_ST_ERR and
4325                          * let the EH abort the command or reset the device.
4326                          */
4327                         if (unlikely(status & (ATA_ERR | ATA_DF))) {
4328                                 printk(KERN_WARNING "ata%d: DRQ=1 with device error, dev_stat 0x%X\n",
4329                                        ap->id, status);
4330                                 qc->err_mask |= AC_ERR_HSM;
4331                                 ap->hsm_task_state = HSM_ST_ERR;
4332                                 goto fsm_start;
4333                         }
4334
4335                         atapi_pio_bytes(qc);
4336
4337                         if (unlikely(ap->hsm_task_state == HSM_ST_ERR))
4338                                 /* bad ireason reported by device */
4339                                 goto fsm_start;
4340
4341                 } else {
4342                         /* ATA PIO protocol */
4343                         if (unlikely((status & ATA_DRQ) == 0)) {
4344                                 /* handle BSY=0, DRQ=0 as error */
4345                                 if (likely(status & (ATA_ERR | ATA_DF)))
4346                                         /* device stops HSM for abort/error */
4347                                         qc->err_mask |= AC_ERR_DEV;
4348                                 else
4349                                         /* HSM violation. Let EH handle this.
4350                                          * Phantom devices also trigger this
4351                                          * condition.  Mark hint.
4352                                          */
4353                                         qc->err_mask |= AC_ERR_HSM |
4354                                                         AC_ERR_NODEV_HINT;
4355
4356                                 ap->hsm_task_state = HSM_ST_ERR;
4357                                 goto fsm_start;
4358                         }
4359
4360                         /* For PIO reads, some devices may ask for
4361                          * data transfer (DRQ=1) alone with ERR=1.
4362                          * We respect DRQ here and transfer one
4363                          * block of junk data before changing the
4364                          * hsm_task_state to HSM_ST_ERR.
4365                          *
4366                          * For PIO writes, ERR=1 DRQ=1 doesn't make
4367                          * sense since the data block has been
4368                          * transferred to the device.
4369                          */
4370                         if (unlikely(status & (ATA_ERR | ATA_DF))) {
4371                                 /* data might be corrputed */
4372                                 qc->err_mask |= AC_ERR_DEV;
4373
4374                                 if (!(qc->tf.flags & ATA_TFLAG_WRITE)) {
4375                                         ata_pio_sectors(qc);
4376                                         ata_altstatus(ap);
4377                                         status = ata_wait_idle(ap);
4378                                 }
4379
4380                                 if (status & (ATA_BUSY | ATA_DRQ))
4381                                         qc->err_mask |= AC_ERR_HSM;
4382
4383                                 /* ata_pio_sectors() might change the
4384                                  * state to HSM_ST_LAST. so, the state
4385                                  * is changed after ata_pio_sectors().
4386                                  */
4387                                 ap->hsm_task_state = HSM_ST_ERR;
4388                                 goto fsm_start;
4389                         }
4390
4391                         ata_pio_sectors(qc);
4392
4393                         if (ap->hsm_task_state == HSM_ST_LAST &&
4394                             (!(qc->tf.flags & ATA_TFLAG_WRITE))) {
4395                                 /* all data read */
4396                                 ata_altstatus(ap);
4397                                 status = ata_wait_idle(ap);
4398                                 goto fsm_start;
4399                         }
4400                 }
4401
4402                 ata_altstatus(ap); /* flush */
4403                 poll_next = 1;
4404                 break;
4405
4406         case HSM_ST_LAST:
4407                 if (unlikely(!ata_ok(status))) {
4408                         qc->err_mask |= __ac_err_mask(status);
4409                         ap->hsm_task_state = HSM_ST_ERR;
4410                         goto fsm_start;
4411                 }
4412
4413                 /* no more data to transfer */
4414                 DPRINTK("ata%u: dev %u command complete, drv_stat 0x%x\n",
4415                         ap->id, qc->dev->devno, status);
4416
4417                 WARN_ON(qc->err_mask);
4418
4419                 ap->hsm_task_state = HSM_ST_IDLE;
4420
4421                 /* complete taskfile transaction */
4422                 ata_hsm_qc_complete(qc, in_wq);
4423
4424                 poll_next = 0;
4425                 break;
4426
4427         case HSM_ST_ERR:
4428                 /* make sure qc->err_mask is available to
4429                  * know what's wrong and recover
4430                  */
4431                 WARN_ON(qc->err_mask == 0);
4432
4433                 ap->hsm_task_state = HSM_ST_IDLE;
4434
4435                 /* complete taskfile transaction */
4436                 ata_hsm_qc_complete(qc, in_wq);
4437
4438                 poll_next = 0;
4439                 break;
4440         default:
4441                 poll_next = 0;
4442                 BUG();
4443         }
4444
4445         return poll_next;
4446 }
4447
4448 static void ata_pio_task(struct work_struct *work)
4449 {
4450         struct ata_port *ap =
4451                 container_of(work, struct ata_port, port_task.work);
4452         struct ata_queued_cmd *qc = ap->port_task_data;
4453         u8 status;
4454         int poll_next;
4455
4456 fsm_start:
4457         WARN_ON(ap->hsm_task_state == HSM_ST_IDLE);
4458
4459         /*
4460          * This is purely heuristic.  This is a fast path.
4461          * Sometimes when we enter, BSY will be cleared in
4462          * a chk-status or two.  If not, the drive is probably seeking
4463          * or something.  Snooze for a couple msecs, then
4464          * chk-status again.  If still busy, queue delayed work.
4465          */
4466         status = ata_busy_wait(ap, ATA_BUSY, 5);
4467         if (status & ATA_BUSY) {
4468                 msleep(2);
4469                 status = ata_busy_wait(ap, ATA_BUSY, 10);
4470                 if (status & ATA_BUSY) {
4471                         ata_port_queue_task(ap, ata_pio_task, qc, ATA_SHORT_PAUSE);
4472                         return;
4473                 }
4474         }
4475
4476         /* move the HSM */
4477         poll_next = ata_hsm_move(ap, qc, status, 1);
4478
4479         /* another command or interrupt handler
4480          * may be running at this point.
4481          */
4482         if (poll_next)
4483                 goto fsm_start;
4484 }
4485
4486 /**
4487  *      ata_qc_new - Request an available ATA command, for queueing
4488  *      @ap: Port associated with device @dev
4489  *      @dev: Device from whom we request an available command structure
4490  *
4491  *      LOCKING:
4492  *      None.
4493  */
4494
4495 static struct ata_queued_cmd *ata_qc_new(struct ata_port *ap)
4496 {
4497         struct ata_queued_cmd *qc = NULL;
4498         unsigned int i;
4499
4500         /* no command while frozen */
4501         if (unlikely(ap->pflags & ATA_PFLAG_FROZEN))
4502                 return NULL;
4503
4504         /* the last tag is reserved for internal command. */
4505         for (i = 0; i < ATA_MAX_QUEUE - 1; i++)
4506                 if (!test_and_set_bit(i, &ap->qc_allocated)) {
4507                         qc = __ata_qc_from_tag(ap, i);
4508                         break;
4509                 }
4510
4511         if (qc)
4512                 qc->tag = i;
4513
4514         return qc;
4515 }
4516
4517 /**
4518  *      ata_qc_new_init - Request an available ATA command, and initialize it
4519  *      @dev: Device from whom we request an available command structure
4520  *
4521  *      LOCKING:
4522  *      None.
4523  */
4524
4525 struct ata_queued_cmd *ata_qc_new_init(struct ata_device *dev)
4526 {
4527         struct ata_port *ap = dev->ap;
4528         struct ata_queued_cmd *qc;
4529
4530         qc = ata_qc_new(ap);
4531         if (qc) {
4532                 qc->scsicmd = NULL;
4533                 qc->ap = ap;
4534                 qc->dev = dev;
4535
4536                 ata_qc_reinit(qc);
4537         }
4538
4539         return qc;
4540 }
4541
4542 /**
4543  *      ata_qc_free - free unused ata_queued_cmd
4544  *      @qc: Command to complete
4545  *
4546  *      Designed to free unused ata_queued_cmd object
4547  *      in case something prevents using it.
4548  *
4549  *      LOCKING:
4550  *      spin_lock_irqsave(host lock)
4551  */
4552 void ata_qc_free(struct ata_queued_cmd *qc)
4553 {
4554         struct ata_port *ap = qc->ap;
4555         unsigned int tag;
4556
4557         WARN_ON(qc == NULL);    /* ata_qc_from_tag _might_ return NULL */
4558
4559         qc->flags = 0;
4560         tag = qc->tag;
4561         if (likely(ata_tag_valid(tag))) {
4562                 qc->tag = ATA_TAG_POISON;
4563                 clear_bit(tag, &ap->qc_allocated);
4564         }
4565 }
4566
4567 void __ata_qc_complete(struct ata_queued_cmd *qc)
4568 {
4569         struct ata_port *ap = qc->ap;
4570
4571         WARN_ON(qc == NULL);    /* ata_qc_from_tag _might_ return NULL */
4572         WARN_ON(!(qc->flags & ATA_QCFLAG_ACTIVE));
4573
4574         if (likely(qc->flags & ATA_QCFLAG_DMAMAP))
4575                 ata_sg_clean(qc);
4576
4577         /* command should be marked inactive atomically with qc completion */
4578         if (qc->tf.protocol == ATA_PROT_NCQ)
4579                 ap->sactive &= ~(1 << qc->tag);
4580         else
4581                 ap->active_tag = ATA_TAG_POISON;
4582
4583         /* atapi: mark qc as inactive to prevent the interrupt handler
4584          * from completing the command twice later, before the error handler
4585          * is called. (when rc != 0 and atapi request sense is needed)
4586          */
4587         qc->flags &= ~ATA_QCFLAG_ACTIVE;
4588         ap->qc_active &= ~(1 << qc->tag);
4589
4590         /* call completion callback */
4591         qc->complete_fn(qc);
4592 }
4593
4594 static void fill_result_tf(struct ata_queued_cmd *qc)
4595 {
4596         struct ata_port *ap = qc->ap;
4597
4598         ap->ops->tf_read(ap, &qc->result_tf);
4599         qc->result_tf.flags = qc->tf.flags;
4600 }
4601
4602 /**
4603  *      ata_qc_complete - Complete an active ATA command
4604  *      @qc: Command to complete
4605  *      @err_mask: ATA Status register contents
4606  *
4607  *      Indicate to the mid and upper layers that an ATA
4608  *      command has completed, with either an ok or not-ok status.
4609  *
4610  *      LOCKING:
4611  *      spin_lock_irqsave(host lock)
4612  */
4613 void ata_qc_complete(struct ata_queued_cmd *qc)
4614 {
4615         struct ata_port *ap = qc->ap;
4616
4617         /* XXX: New EH and old EH use different mechanisms to
4618          * synchronize EH with regular execution path.
4619          *
4620          * In new EH, a failed qc is marked with ATA_QCFLAG_FAILED.
4621          * Normal execution path is responsible for not accessing a
4622          * failed qc.  libata core enforces the rule by returning NULL
4623          * from ata_qc_from_tag() for failed qcs.
4624          *
4625          * Old EH depends on ata_qc_complete() nullifying completion
4626          * requests if ATA_QCFLAG_EH_SCHEDULED is set.  Old EH does
4627          * not synchronize with interrupt handler.  Only PIO task is
4628          * taken care of.
4629          */
4630         if (ap->ops->error_handler) {
4631                 WARN_ON(ap->pflags & ATA_PFLAG_FROZEN);
4632
4633                 if (unlikely(qc->err_mask))
4634                         qc->flags |= ATA_QCFLAG_FAILED;
4635
4636                 if (unlikely(qc->flags & ATA_QCFLAG_FAILED)) {
4637                         if (!ata_tag_internal(qc->tag)) {
4638                                 /* always fill result TF for failed qc */
4639                                 fill_result_tf(qc);
4640                                 ata_qc_schedule_eh(qc);
4641                                 return;
4642                         }
4643                 }
4644
4645                 /* read result TF if requested */
4646                 if (qc->flags & ATA_QCFLAG_RESULT_TF)
4647                         fill_result_tf(qc);
4648
4649                 __ata_qc_complete(qc);
4650         } else {
4651                 if (qc->flags & ATA_QCFLAG_EH_SCHEDULED)
4652                         return;
4653
4654                 /* read result TF if failed or requested */
4655                 if (qc->err_mask || qc->flags & ATA_QCFLAG_RESULT_TF)
4656                         fill_result_tf(qc);
4657
4658                 __ata_qc_complete(qc);
4659         }
4660 }
4661
4662 /**
4663  *      ata_qc_complete_multiple - Complete multiple qcs successfully
4664  *      @ap: port in question
4665  *      @qc_active: new qc_active mask
4666  *      @finish_qc: LLDD callback invoked before completing a qc
4667  *
4668  *      Complete in-flight commands.  This functions is meant to be
4669  *      called from low-level driver's interrupt routine to complete
4670  *      requests normally.  ap->qc_active and @qc_active is compared
4671  *      and commands are completed accordingly.
4672  *
4673  *      LOCKING:
4674  *      spin_lock_irqsave(host lock)
4675  *
4676  *      RETURNS:
4677  *      Number of completed commands on success, -errno otherwise.
4678  */
4679 int ata_qc_complete_multiple(struct ata_port *ap, u32 qc_active,
4680                              void (*finish_qc)(struct ata_queued_cmd *))
4681 {
4682         int nr_done = 0;
4683         u32 done_mask;
4684         int i;
4685
4686         done_mask = ap->qc_active ^ qc_active;
4687
4688         if (unlikely(done_mask & qc_active)) {
4689                 ata_port_printk(ap, KERN_ERR, "illegal qc_active transition "
4690                                 "(%08x->%08x)\n", ap->qc_active, qc_active);
4691                 return -EINVAL;
4692         }
4693
4694         for (i = 0; i < ATA_MAX_QUEUE; i++) {
4695                 struct ata_queued_cmd *qc;
4696
4697                 if (!(done_mask & (1 << i)))
4698                         continue;
4699
4700                 if ((qc = ata_qc_from_tag(ap, i))) {
4701                         if (finish_qc)
4702                                 finish_qc(qc);
4703                         ata_qc_complete(qc);
4704                         nr_done++;
4705                 }
4706         }
4707
4708         return nr_done;
4709 }
4710
4711 static inline int ata_should_dma_map(struct ata_queued_cmd *qc)
4712 {
4713         struct ata_port *ap = qc->ap;
4714
4715         switch (qc->tf.protocol) {
4716         case ATA_PROT_NCQ:
4717         case ATA_PROT_DMA:
4718         case ATA_PROT_ATAPI_DMA:
4719                 return 1;
4720
4721         case ATA_PROT_ATAPI:
4722         case ATA_PROT_PIO:
4723                 if (ap->flags & ATA_FLAG_PIO_DMA)
4724                         return 1;
4725
4726                 /* fall through */
4727
4728         default:
4729                 return 0;
4730         }
4731
4732         /* never reached */
4733 }
4734
4735 /**
4736  *      ata_qc_issue - issue taskfile to device
4737  *      @qc: command to issue to device
4738  *
4739  *      Prepare an ATA command to submission to device.
4740  *      This includes mapping the data into a DMA-able
4741  *      area, filling in the S/G table, and finally
4742  *      writing the taskfile to hardware, starting the command.
4743  *
4744  *      LOCKING:
4745  *      spin_lock_irqsave(host lock)
4746  */
4747 void ata_qc_issue(struct ata_queued_cmd *qc)
4748 {
4749         struct ata_port *ap = qc->ap;
4750
4751         /* Make sure only one non-NCQ command is outstanding.  The
4752          * check is skipped for old EH because it reuses active qc to
4753          * request ATAPI sense.
4754          */
4755         WARN_ON(ap->ops->error_handler && ata_tag_valid(ap->active_tag));
4756
4757         if (qc->tf.protocol == ATA_PROT_NCQ) {
4758                 WARN_ON(ap->sactive & (1 << qc->tag));
4759                 ap->sactive |= 1 << qc->tag;
4760         } else {
4761                 WARN_ON(ap->sactive);
4762                 ap->active_tag = qc->tag;
4763         }
4764
4765         qc->flags |= ATA_QCFLAG_ACTIVE;
4766         ap->qc_active |= 1 << qc->tag;
4767
4768         if (ata_should_dma_map(qc)) {
4769                 if (qc->flags & ATA_QCFLAG_SG) {
4770                         if (ata_sg_setup(qc))
4771                                 goto sg_err;
4772                 } else if (qc->flags & ATA_QCFLAG_SINGLE) {
4773                         if (ata_sg_setup_one(qc))
4774                                 goto sg_err;
4775                 }
4776         } else {
4777                 qc->flags &= ~ATA_QCFLAG_DMAMAP;
4778         }
4779
4780         ap->ops->qc_prep(qc);
4781
4782         qc->err_mask |= ap->ops->qc_issue(qc);
4783         if (unlikely(qc->err_mask))
4784                 goto err;
4785         return;
4786
4787 sg_err:
4788         qc->flags &= ~ATA_QCFLAG_DMAMAP;
4789         qc->err_mask |= AC_ERR_SYSTEM;
4790 err:
4791         ata_qc_complete(qc);
4792 }
4793
4794 /**
4795  *      ata_qc_issue_prot - issue taskfile to device in proto-dependent manner
4796  *      @qc: command to issue to device
4797  *
4798  *      Using various libata functions and hooks, this function
4799  *      starts an ATA command.  ATA commands are grouped into
4800  *      classes called "protocols", and issuing each type of protocol
4801  *      is slightly different.
4802  *
4803  *      May be used as the qc_issue() entry in ata_port_operations.
4804  *
4805  *      LOCKING:
4806  *      spin_lock_irqsave(host lock)
4807  *
4808  *      RETURNS:
4809  *      Zero on success, AC_ERR_* mask on failure
4810  */
4811
4812 unsigned int ata_qc_issue_prot(struct ata_queued_cmd *qc)
4813 {
4814         struct ata_port *ap = qc->ap;
4815
4816         /* Use polling pio if the LLD doesn't handle
4817          * interrupt driven pio and atapi CDB interrupt.
4818          */
4819         if (ap->flags & ATA_FLAG_PIO_POLLING) {
4820                 switch (qc->tf.protocol) {
4821                 case ATA_PROT_PIO:
4822                 case ATA_PROT_NODATA:
4823                 case ATA_PROT_ATAPI:
4824                 case ATA_PROT_ATAPI_NODATA:
4825                         qc->tf.flags |= ATA_TFLAG_POLLING;
4826                         break;
4827                 case ATA_PROT_ATAPI_DMA:
4828                         if (qc->dev->flags & ATA_DFLAG_CDB_INTR)
4829                                 /* see ata_dma_blacklisted() */
4830                                 BUG();
4831                         break;
4832                 default:
4833                         break;
4834                 }
4835         }
4836
4837         /* Some controllers show flaky interrupt behavior after
4838          * setting xfer mode.  Use polling instead.
4839          */
4840         if (unlikely(qc->tf.command == ATA_CMD_SET_FEATURES &&
4841                      qc->tf.feature == SETFEATURES_XFER) &&
4842             (ap->flags & ATA_FLAG_SETXFER_POLLING))
4843                 qc->tf.flags |= ATA_TFLAG_POLLING;
4844
4845         /* select the device */
4846         ata_dev_select(ap, qc->dev->devno, 1, 0);
4847
4848         /* start the command */
4849         switch (qc->tf.protocol) {
4850         case ATA_PROT_NODATA:
4851                 if (qc->tf.flags & ATA_TFLAG_POLLING)
4852                         ata_qc_set_polling(qc);
4853
4854                 ata_tf_to_host(ap, &qc->tf);
4855                 ap->hsm_task_state = HSM_ST_LAST;
4856
4857                 if (qc->tf.flags & ATA_TFLAG_POLLING)
4858                         ata_port_queue_task(ap, ata_pio_task, qc, 0);
4859
4860                 break;
4861
4862         case ATA_PROT_DMA:
4863                 WARN_ON(qc->tf.flags & ATA_TFLAG_POLLING);
4864
4865                 ap->ops->tf_load(ap, &qc->tf);   /* load tf registers */
4866                 ap->ops->bmdma_setup(qc);           /* set up bmdma */
4867                 ap->ops->bmdma_start(qc);           /* initiate bmdma */
4868                 ap->hsm_task_state = HSM_ST_LAST;
4869                 break;
4870
4871         case ATA_PROT_PIO:
4872                 if (qc->tf.flags & ATA_TFLAG_POLLING)
4873                         ata_qc_set_polling(qc);
4874
4875                 ata_tf_to_host(ap, &qc->tf);
4876
4877                 if (qc->tf.flags & ATA_TFLAG_WRITE) {
4878                         /* PIO data out protocol */
4879                         ap->hsm_task_state = HSM_ST_FIRST;
4880                         ata_port_queue_task(ap, ata_pio_task, qc, 0);
4881
4882                         /* always send first data block using
4883                          * the ata_pio_task() codepath.
4884                          */
4885                 } else {
4886                         /* PIO data in protocol */
4887                         ap->hsm_task_state = HSM_ST;
4888
4889                         if (qc->tf.flags & ATA_TFLAG_POLLING)
4890                                 ata_port_queue_task(ap, ata_pio_task, qc, 0);
4891
4892                         /* if polling, ata_pio_task() handles the rest.
4893                          * otherwise, interrupt handler takes over from here.
4894                          */
4895                 }
4896
4897                 break;
4898
4899         case ATA_PROT_ATAPI:
4900         case ATA_PROT_ATAPI_NODATA:
4901                 if (qc->tf.flags & ATA_TFLAG_POLLING)
4902                         ata_qc_set_polling(qc);
4903
4904                 ata_tf_to_host(ap, &qc->tf);
4905
4906                 ap->hsm_task_state = HSM_ST_FIRST;
4907
4908                 /* send cdb by polling if no cdb interrupt */
4909                 if ((!(qc->dev->flags & ATA_DFLAG_CDB_INTR)) ||
4910                     (qc->tf.flags & ATA_TFLAG_POLLING))
4911                         ata_port_queue_task(ap, ata_pio_task, qc, 0);
4912                 break;
4913
4914         case ATA_PROT_ATAPI_DMA:
4915                 WARN_ON(qc->tf.flags & ATA_TFLAG_POLLING);
4916
4917                 ap->ops->tf_load(ap, &qc->tf);   /* load tf registers */
4918                 ap->ops->bmdma_setup(qc);           /* set up bmdma */
4919                 ap->hsm_task_state = HSM_ST_FIRST;
4920
4921                 /* send cdb by polling if no cdb interrupt */
4922                 if (!(qc->dev->flags & ATA_DFLAG_CDB_INTR))
4923                         ata_port_queue_task(ap, ata_pio_task, qc, 0);
4924                 break;
4925
4926         default:
4927                 WARN_ON(1);
4928                 return AC_ERR_SYSTEM;
4929         }
4930
4931         return 0;
4932 }
4933
4934 /**
4935  *      ata_host_intr - Handle host interrupt for given (port, task)
4936  *      @ap: Port on which interrupt arrived (possibly...)
4937  *      @qc: Taskfile currently active in engine
4938  *
4939  *      Handle host interrupt for given queued command.  Currently,
4940  *      only DMA interrupts are handled.  All other commands are
4941  *      handled via polling with interrupts disabled (nIEN bit).
4942  *
4943  *      LOCKING:
4944  *      spin_lock_irqsave(host lock)
4945  *
4946  *      RETURNS:
4947  *      One if interrupt was handled, zero if not (shared irq).
4948  */
4949
4950 inline unsigned int ata_host_intr (struct ata_port *ap,
4951                                    struct ata_queued_cmd *qc)
4952 {
4953         struct ata_eh_info *ehi = &ap->eh_info;
4954         u8 status, host_stat = 0;
4955
4956         VPRINTK("ata%u: protocol %d task_state %d\n",
4957                 ap->id, qc->tf.protocol, ap->hsm_task_state);
4958
4959         /* Check whether we are expecting interrupt in this state */
4960         switch (ap->hsm_task_state) {
4961         case HSM_ST_FIRST:
4962                 /* Some pre-ATAPI-4 devices assert INTRQ
4963                  * at this state when ready to receive CDB.
4964                  */
4965
4966                 /* Check the ATA_DFLAG_CDB_INTR flag is enough here.
4967                  * The flag was turned on only for atapi devices.
4968                  * No need to check is_atapi_taskfile(&qc->tf) again.
4969                  */
4970                 if (!(qc->dev->flags & ATA_DFLAG_CDB_INTR))
4971                         goto idle_irq;
4972                 break;
4973         case HSM_ST_LAST:
4974                 if (qc->tf.protocol == ATA_PROT_DMA ||
4975                     qc->tf.protocol == ATA_PROT_ATAPI_DMA) {
4976                         /* check status of DMA engine */
4977                         host_stat = ap->ops->bmdma_status(ap);
4978                         VPRINTK("ata%u: host_stat 0x%X\n", ap->id, host_stat);
4979
4980                         /* if it's not our irq... */
4981                         if (!(host_stat & ATA_DMA_INTR))
4982                                 goto idle_irq;
4983
4984                         /* before we do anything else, clear DMA-Start bit */
4985                         ap->ops->bmdma_stop(qc);
4986
4987                         if (unlikely(host_stat & ATA_DMA_ERR)) {
4988                                 /* error when transfering data to/from memory */
4989                                 qc->err_mask |= AC_ERR_HOST_BUS;
4990                                 ap->hsm_task_state = HSM_ST_ERR;
4991                         }
4992                 }
4993                 break;
4994         case HSM_ST:
4995                 break;
4996         default:
4997                 goto idle_irq;
4998         }
4999
5000         /* check altstatus */
5001         status = ata_altstatus(ap);
5002         if (status & ATA_BUSY)
5003                 goto idle_irq;
5004
5005         /* check main status, clearing INTRQ */
5006         status = ata_chk_status(ap);
5007         if (unlikely(status & ATA_BUSY))
5008                 goto idle_irq;
5009
5010         /* ack bmdma irq events */
5011         ap->ops->irq_clear(ap);
5012
5013         ata_hsm_move(ap, qc, status, 0);
5014
5015         if (unlikely(qc->err_mask) && (qc->tf.protocol == ATA_PROT_DMA ||
5016                                        qc->tf.protocol == ATA_PROT_ATAPI_DMA))
5017                 ata_ehi_push_desc(ehi, "BMDMA stat 0x%x", host_stat);
5018
5019         return 1;       /* irq handled */
5020
5021 idle_irq:
5022         ap->stats.idle_irq++;
5023
5024 #ifdef ATA_IRQ_TRAP
5025         if ((ap->stats.idle_irq % 1000) == 0) {
5026                 ap->ops->irq_ack(ap, 0); /* debug trap */
5027                 ata_port_printk(ap, KERN_WARNING, "irq trap\n");
5028                 return 1;
5029         }
5030 #endif
5031         return 0;       /* irq not handled */
5032 }
5033
5034 /**
5035  *      ata_interrupt - Default ATA host interrupt handler
5036  *      @irq: irq line (unused)
5037  *      @dev_instance: pointer to our ata_host information structure
5038  *
5039  *      Default interrupt handler for PCI IDE devices.  Calls
5040  *      ata_host_intr() for each port that is not disabled.
5041  *
5042  *      LOCKING:
5043  *      Obtains host lock during operation.
5044  *
5045  *      RETURNS:
5046  *      IRQ_NONE or IRQ_HANDLED.
5047  */
5048
5049 irqreturn_t ata_interrupt (int irq, void *dev_instance)
5050 {
5051         struct ata_host *host = dev_instance;
5052         unsigned int i;
5053         unsigned int handled = 0;
5054         unsigned long flags;
5055
5056         /* TODO: make _irqsave conditional on x86 PCI IDE legacy mode */
5057         spin_lock_irqsave(&host->lock, flags);
5058
5059         for (i = 0; i < host->n_ports; i++) {
5060                 struct ata_port *ap;
5061
5062                 ap = host->ports[i];
5063                 if (ap &&
5064                     !(ap->flags & ATA_FLAG_DISABLED)) {
5065                         struct ata_queued_cmd *qc;
5066
5067                         qc = ata_qc_from_tag(ap, ap->active_tag);
5068                         if (qc && (!(qc->tf.flags & ATA_TFLAG_POLLING)) &&
5069                             (qc->flags & ATA_QCFLAG_ACTIVE))
5070                                 handled |= ata_host_intr(ap, qc);
5071                 }
5072         }
5073
5074         spin_unlock_irqrestore(&host->lock, flags);
5075
5076         return IRQ_RETVAL(handled);
5077 }
5078
5079 /**
5080  *      sata_scr_valid - test whether SCRs are accessible
5081  *      @ap: ATA port to test SCR accessibility for
5082  *
5083  *      Test whether SCRs are accessible for @ap.
5084  *
5085  *      LOCKING:
5086  *      None.
5087  *
5088  *      RETURNS:
5089  *      1 if SCRs are accessible, 0 otherwise.
5090  */
5091 int sata_scr_valid(struct ata_port *ap)
5092 {
5093         return ap->cbl == ATA_CBL_SATA && ap->ops->scr_read;
5094 }
5095
5096 /**
5097  *      sata_scr_read - read SCR register of the specified port
5098  *      @ap: ATA port to read SCR for
5099  *      @reg: SCR to read
5100  *      @val: Place to store read value
5101  *
5102  *      Read SCR register @reg of @ap into *@val.  This function is
5103  *      guaranteed to succeed if the cable type of the port is SATA
5104  *      and the port implements ->scr_read.
5105  *
5106  *      LOCKING:
5107  *      None.
5108  *
5109  *      RETURNS:
5110  *      0 on success, negative errno on failure.
5111  */
5112 int sata_scr_read(struct ata_port *ap, int reg, u32 *val)
5113 {
5114         if (sata_scr_valid(ap)) {
5115                 *val = ap->ops->scr_read(ap, reg);
5116                 return 0;
5117         }
5118         return -EOPNOTSUPP;
5119 }
5120
5121 /**
5122  *      sata_scr_write - write SCR register of the specified port
5123  *      @ap: ATA port to write SCR for
5124  *      @reg: SCR to write
5125  *      @val: value to write
5126  *
5127  *      Write @val to SCR register @reg of @ap.  This function is
5128  *      guaranteed to succeed if the cable type of the port is SATA
5129  *      and the port implements ->scr_read.
5130  *
5131  *      LOCKING:
5132  *      None.
5133  *
5134  *      RETURNS:
5135  *      0 on success, negative errno on failure.
5136  */
5137 int sata_scr_write(struct ata_port *ap, int reg, u32 val)
5138 {
5139         if (sata_scr_valid(ap)) {
5140                 ap->ops->scr_write(ap, reg, val);
5141                 return 0;
5142         }
5143         return -EOPNOTSUPP;
5144 }
5145
5146 /**
5147  *      sata_scr_write_flush - write SCR register of the specified port and flush
5148  *      @ap: ATA port to write SCR for
5149  *      @reg: SCR to write
5150  *      @val: value to write
5151  *
5152  *      This function is identical to sata_scr_write() except that this
5153  *      function performs flush after writing to the register.
5154  *
5155  *      LOCKING:
5156  *      None.
5157  *
5158  *      RETURNS:
5159  *      0 on success, negative errno on failure.
5160  */
5161 int sata_scr_write_flush(struct ata_port *ap, int reg, u32 val)
5162 {
5163         if (sata_scr_valid(ap)) {
5164                 ap->ops->scr_write(ap, reg, val);
5165                 ap->ops->scr_read(ap, reg);
5166                 return 0;
5167         }
5168         return -EOPNOTSUPP;
5169 }
5170
5171 /**
5172  *      ata_port_online - test whether the given port is online
5173  *      @ap: ATA port to test
5174  *
5175  *      Test whether @ap is online.  Note that this function returns 0
5176  *      if online status of @ap cannot be obtained, so
5177  *      ata_port_online(ap) != !ata_port_offline(ap).
5178  *
5179  *      LOCKING:
5180  *      None.
5181  *
5182  *      RETURNS:
5183  *      1 if the port online status is available and online.
5184  */
5185 int ata_port_online(struct ata_port *ap)
5186 {
5187         u32 sstatus;
5188
5189         if (!sata_scr_read(ap, SCR_STATUS, &sstatus) && (sstatus & 0xf) == 0x3)
5190                 return 1;
5191         return 0;
5192 }
5193
5194 /**
5195  *      ata_port_offline - test whether the given port is offline
5196  *      @ap: ATA port to test
5197  *
5198  *      Test whether @ap is offline.  Note that this function returns
5199  *      0 if offline status of @ap cannot be obtained, so
5200  *      ata_port_online(ap) != !ata_port_offline(ap).
5201  *
5202  *      LOCKING:
5203  *      None.
5204  *
5205  *      RETURNS:
5206  *      1 if the port offline status is available and offline.
5207  */
5208 int ata_port_offline(struct ata_port *ap)
5209 {
5210         u32 sstatus;
5211
5212         if (!sata_scr_read(ap, SCR_STATUS, &sstatus) && (sstatus & 0xf) != 0x3)
5213                 return 1;
5214         return 0;
5215 }
5216
5217 int ata_flush_cache(struct ata_device *dev)
5218 {
5219         unsigned int err_mask;
5220         u8 cmd;
5221
5222         if (!ata_try_flush_cache(dev))
5223                 return 0;
5224
5225         if (dev->flags & ATA_DFLAG_FLUSH_EXT)
5226                 cmd = ATA_CMD_FLUSH_EXT;
5227         else
5228                 cmd = ATA_CMD_FLUSH;
5229
5230         err_mask = ata_do_simple_cmd(dev, cmd);
5231         if (err_mask) {
5232                 ata_dev_printk(dev, KERN_ERR, "failed to flush cache\n");
5233                 return -EIO;
5234         }
5235
5236         return 0;
5237 }
5238
5239 static int ata_host_request_pm(struct ata_host *host, pm_message_t mesg,
5240                                unsigned int action, unsigned int ehi_flags,
5241                                int wait)
5242 {
5243         unsigned long flags;
5244         int i, rc;
5245
5246         for (i = 0; i < host->n_ports; i++) {
5247                 struct ata_port *ap = host->ports[i];
5248
5249                 /* Previous resume operation might still be in
5250                  * progress.  Wait for PM_PENDING to clear.
5251                  */
5252                 if (ap->pflags & ATA_PFLAG_PM_PENDING) {
5253                         ata_port_wait_eh(ap);
5254                         WARN_ON(ap->pflags & ATA_PFLAG_PM_PENDING);
5255                 }
5256
5257                 /* request PM ops to EH */
5258                 spin_lock_irqsave(ap->lock, flags);
5259
5260                 ap->pm_mesg = mesg;
5261                 if (wait) {
5262                         rc = 0;
5263                         ap->pm_result = &rc;
5264                 }
5265
5266                 ap->pflags |= ATA_PFLAG_PM_PENDING;
5267                 ap->eh_info.action |= action;
5268                 ap->eh_info.flags |= ehi_flags;
5269
5270                 ata_port_schedule_eh(ap);
5271
5272                 spin_unlock_irqrestore(ap->lock, flags);
5273
5274                 /* wait and check result */
5275                 if (wait) {
5276                         ata_port_wait_eh(ap);
5277                         WARN_ON(ap->pflags & ATA_PFLAG_PM_PENDING);
5278                         if (rc)
5279                                 return rc;
5280                 }
5281         }
5282
5283         return 0;
5284 }
5285
5286 /**
5287  *      ata_host_suspend - suspend host
5288  *      @host: host to suspend
5289  *      @mesg: PM message
5290  *
5291  *      Suspend @host.  Actual operation is performed by EH.  This
5292  *      function requests EH to perform PM operations and waits for EH
5293  *      to finish.
5294  *
5295  *      LOCKING:
5296  *      Kernel thread context (may sleep).
5297  *
5298  *      RETURNS:
5299  *      0 on success, -errno on failure.
5300  */
5301 int ata_host_suspend(struct ata_host *host, pm_message_t mesg)
5302 {
5303         int i, j, rc;
5304
5305         rc = ata_host_request_pm(host, mesg, 0, ATA_EHI_QUIET, 1);
5306         if (rc)
5307                 goto fail;
5308
5309         /* EH is quiescent now.  Fail if we have any ready device.
5310          * This happens if hotplug occurs between completion of device
5311          * suspension and here.
5312          */
5313         for (i = 0; i < host->n_ports; i++) {
5314                 struct ata_port *ap = host->ports[i];
5315
5316                 for (j = 0; j < ATA_MAX_DEVICES; j++) {
5317                         struct ata_device *dev = &ap->device[j];
5318
5319                         if (ata_dev_ready(dev)) {
5320                                 ata_port_printk(ap, KERN_WARNING,
5321                                                 "suspend failed, device %d "
5322                                                 "still active\n", dev->devno);
5323                                 rc = -EBUSY;
5324                                 goto fail;
5325                         }
5326                 }
5327         }
5328
5329         host->dev->power.power_state = mesg;
5330         return 0;
5331
5332  fail:
5333         ata_host_resume(host);
5334         return rc;
5335 }
5336
5337 /**
5338  *      ata_host_resume - resume host
5339  *      @host: host to resume
5340  *
5341  *      Resume @host.  Actual operation is performed by EH.  This
5342  *      function requests EH to perform PM operations and returns.
5343  *      Note that all resume operations are performed parallely.
5344  *
5345  *      LOCKING:
5346  *      Kernel thread context (may sleep).
5347  */
5348 void ata_host_resume(struct ata_host *host)
5349 {
5350         ata_host_request_pm(host, PMSG_ON, ATA_EH_SOFTRESET,
5351                             ATA_EHI_NO_AUTOPSY | ATA_EHI_QUIET, 0);
5352         host->dev->power.power_state = PMSG_ON;
5353 }
5354
5355 /**
5356  *      ata_port_start - Set port up for dma.
5357  *      @ap: Port to initialize
5358  *
5359  *      Called just after data structures for each port are
5360  *      initialized.  Allocates space for PRD table.
5361  *
5362  *      May be used as the port_start() entry in ata_port_operations.
5363  *
5364  *      LOCKING:
5365  *      Inherited from caller.
5366  */
5367 int ata_port_start(struct ata_port *ap)
5368 {
5369         struct device *dev = ap->dev;
5370         int rc;
5371
5372         ap->prd = dmam_alloc_coherent(dev, ATA_PRD_TBL_SZ, &ap->prd_dma,
5373                                       GFP_KERNEL);
5374         if (!ap->prd)
5375                 return -ENOMEM;
5376
5377         rc = ata_pad_alloc(ap, dev);
5378         if (rc)
5379                 return rc;
5380
5381         DPRINTK("prd alloc, virt %p, dma %llx\n", ap->prd,
5382                 (unsigned long long)ap->prd_dma);
5383         return 0;
5384 }
5385
5386 /**
5387  *      ata_dev_init - Initialize an ata_device structure
5388  *      @dev: Device structure to initialize
5389  *
5390  *      Initialize @dev in preparation for probing.
5391  *
5392  *      LOCKING:
5393  *      Inherited from caller.
5394  */
5395 void ata_dev_init(struct ata_device *dev)
5396 {
5397         struct ata_port *ap = dev->ap;
5398         unsigned long flags;
5399
5400         /* SATA spd limit is bound to the first device */
5401         ap->sata_spd_limit = ap->hw_sata_spd_limit;
5402
5403         /* High bits of dev->flags are used to record warm plug
5404          * requests which occur asynchronously.  Synchronize using
5405          * host lock.
5406          */
5407         spin_lock_irqsave(ap->lock, flags);
5408         dev->flags &= ~ATA_DFLAG_INIT_MASK;
5409         spin_unlock_irqrestore(ap->lock, flags);
5410
5411         memset((void *)dev + ATA_DEVICE_CLEAR_OFFSET, 0,
5412                sizeof(*dev) - ATA_DEVICE_CLEAR_OFFSET);
5413         dev->pio_mask = UINT_MAX;
5414         dev->mwdma_mask = UINT_MAX;
5415         dev->udma_mask = UINT_MAX;
5416 }
5417
5418 /**
5419  *      ata_port_init - Initialize an ata_port structure
5420  *      @ap: Structure to initialize
5421  *      @host: Collection of hosts to which @ap belongs
5422  *      @ent: Probe information provided by low-level driver
5423  *      @port_no: Port number associated with this ata_port
5424  *
5425  *      Initialize a new ata_port structure.
5426  *
5427  *      LOCKING:
5428  *      Inherited from caller.
5429  */
5430 void ata_port_init(struct ata_port *ap, struct ata_host *host,
5431                    const struct ata_probe_ent *ent, unsigned int port_no)
5432 {
5433         unsigned int i;
5434
5435         ap->lock = &host->lock;
5436         ap->flags = ATA_FLAG_DISABLED;
5437         ap->id = ata_unique_id++;
5438         ap->ctl = ATA_DEVCTL_OBS;
5439         ap->host = host;
5440         ap->dev = ent->dev;
5441         ap->port_no = port_no;
5442         if (port_no == 1 && ent->pinfo2) {
5443                 ap->pio_mask = ent->pinfo2->pio_mask;
5444                 ap->mwdma_mask = ent->pinfo2->mwdma_mask;
5445                 ap->udma_mask = ent->pinfo2->udma_mask;
5446                 ap->flags |= ent->pinfo2->flags;
5447                 ap->ops = ent->pinfo2->port_ops;
5448         } else {
5449                 ap->pio_mask = ent->pio_mask;
5450                 ap->mwdma_mask = ent->mwdma_mask;
5451                 ap->udma_mask = ent->udma_mask;
5452                 ap->flags |= ent->port_flags;
5453                 ap->ops = ent->port_ops;
5454         }
5455         ap->hw_sata_spd_limit = UINT_MAX;
5456         ap->active_tag = ATA_TAG_POISON;
5457         ap->last_ctl = 0xFF;
5458
5459 #if defined(ATA_VERBOSE_DEBUG)
5460         /* turn on all debugging levels */
5461         ap->msg_enable = 0x00FF;
5462 #elif defined(ATA_DEBUG)
5463         ap->msg_enable = ATA_MSG_DRV | ATA_MSG_INFO | ATA_MSG_CTL | ATA_MSG_WARN | ATA_MSG_ERR;
5464 #else
5465         ap->msg_enable = ATA_MSG_DRV | ATA_MSG_ERR | ATA_MSG_WARN;
5466 #endif
5467
5468         INIT_DELAYED_WORK(&ap->port_task, NULL);
5469         INIT_DELAYED_WORK(&ap->hotplug_task, ata_scsi_hotplug);
5470         INIT_WORK(&ap->scsi_rescan_task, ata_scsi_dev_rescan);
5471         INIT_LIST_HEAD(&ap->eh_done_q);
5472         init_waitqueue_head(&ap->eh_wait_q);
5473
5474         /* set cable type */
5475         ap->cbl = ATA_CBL_NONE;
5476         if (ap->flags & ATA_FLAG_SATA)
5477                 ap->cbl = ATA_CBL_SATA;
5478
5479         for (i = 0; i < ATA_MAX_DEVICES; i++) {
5480                 struct ata_device *dev = &ap->device[i];
5481                 dev->ap = ap;
5482                 dev->devno = i;
5483                 ata_dev_init(dev);
5484         }
5485
5486 #ifdef ATA_IRQ_TRAP
5487         ap->stats.unhandled_irq = 1;
5488         ap->stats.idle_irq = 1;
5489 #endif
5490
5491         memcpy(&ap->ioaddr, &ent->port[port_no], sizeof(struct ata_ioports));
5492 }
5493
5494 /**
5495  *      ata_port_init_shost - Initialize SCSI host associated with ATA port
5496  *      @ap: ATA port to initialize SCSI host for
5497  *      @shost: SCSI host associated with @ap
5498  *
5499  *      Initialize SCSI host @shost associated with ATA port @ap.
5500  *
5501  *      LOCKING:
5502  *      Inherited from caller.
5503  */
5504 static void ata_port_init_shost(struct ata_port *ap, struct Scsi_Host *shost)
5505 {
5506         ap->scsi_host = shost;
5507
5508         shost->unique_id = ap->id;
5509         shost->max_id = 16;
5510         shost->max_lun = 1;
5511         shost->max_channel = 1;
5512         shost->max_cmd_len = 12;
5513 }
5514
5515 /**
5516  *      ata_port_add - Attach low-level ATA driver to system
5517  *      @ent: Information provided by low-level driver
5518  *      @host: Collections of ports to which we add
5519  *      @port_no: Port number associated with this host
5520  *
5521  *      Attach low-level ATA driver to system.
5522  *
5523  *      LOCKING:
5524  *      PCI/etc. bus probe sem.
5525  *
5526  *      RETURNS:
5527  *      New ata_port on success, for NULL on error.
5528  */
5529 static struct ata_port * ata_port_add(const struct ata_probe_ent *ent,
5530                                       struct ata_host *host,
5531                                       unsigned int port_no)
5532 {
5533         struct Scsi_Host *shost;
5534         struct ata_port *ap;
5535
5536         DPRINTK("ENTER\n");
5537
5538         if (!ent->port_ops->error_handler &&
5539             !(ent->port_flags & (ATA_FLAG_SATA_RESET | ATA_FLAG_SRST))) {
5540                 printk(KERN_ERR "ata%u: no reset mechanism available\n",
5541                        port_no);
5542                 return NULL;
5543         }
5544
5545         shost = scsi_host_alloc(ent->sht, sizeof(struct ata_port));
5546         if (!shost)
5547                 return NULL;
5548
5549         shost->transportt = &ata_scsi_transport_template;
5550
5551         ap = ata_shost_to_port(shost);
5552
5553         ata_port_init(ap, host, ent, port_no);
5554         ata_port_init_shost(ap, shost);
5555
5556         return ap;
5557 }
5558
5559 static void ata_host_release(struct device *gendev, void *res)
5560 {
5561         struct ata_host *host = dev_get_drvdata(gendev);
5562         int i;
5563
5564         for (i = 0; i < host->n_ports; i++) {
5565                 struct ata_port *ap = host->ports[i];
5566
5567                 if (!ap)
5568                         continue;
5569
5570                 if (ap->ops->port_stop)
5571                         ap->ops->port_stop(ap);
5572
5573                 scsi_host_put(ap->scsi_host);
5574         }
5575
5576         if (host->ops->host_stop)
5577                 host->ops->host_stop(host);
5578 }
5579
5580 /**
5581  *      ata_sas_host_init - Initialize a host struct
5582  *      @host:  host to initialize
5583  *      @dev:   device host is attached to
5584  *      @flags: host flags
5585  *      @ops:   port_ops
5586  *
5587  *      LOCKING:
5588  *      PCI/etc. bus probe sem.
5589  *
5590  */
5591
5592 void ata_host_init(struct ata_host *host, struct device *dev,
5593                    unsigned long flags, const struct ata_port_operations *ops)
5594 {
5595         spin_lock_init(&host->lock);
5596         host->dev = dev;
5597         host->flags = flags;
5598         host->ops = ops;
5599 }
5600
5601 /**
5602  *      ata_device_add - Register hardware device with ATA and SCSI layers
5603  *      @ent: Probe information describing hardware device to be registered
5604  *
5605  *      This function processes the information provided in the probe
5606  *      information struct @ent, allocates the necessary ATA and SCSI
5607  *      host information structures, initializes them, and registers
5608  *      everything with requisite kernel subsystems.
5609  *
5610  *      This function requests irqs, probes the ATA bus, and probes
5611  *      the SCSI bus.
5612  *
5613  *      LOCKING:
5614  *      PCI/etc. bus probe sem.
5615  *
5616  *      RETURNS:
5617  *      Number of ports registered.  Zero on error (no ports registered).
5618  */
5619 int ata_device_add(const struct ata_probe_ent *ent)
5620 {
5621         unsigned int i;
5622         struct device *dev = ent->dev;
5623         struct ata_host *host;
5624         int rc;
5625
5626         DPRINTK("ENTER\n");
5627
5628         if (ent->irq == 0) {
5629                 dev_printk(KERN_ERR, dev, "is not available: No interrupt assigned.\n");
5630                 return 0;
5631         }
5632
5633         if (!devres_open_group(dev, ata_device_add, GFP_KERNEL))
5634                 return 0;
5635
5636         /* alloc a container for our list of ATA ports (buses) */
5637         host = devres_alloc(ata_host_release, sizeof(struct ata_host) +
5638                             (ent->n_ports * sizeof(void *)), GFP_KERNEL);
5639         if (!host)
5640                 goto err_out;
5641         devres_add(dev, host);
5642         dev_set_drvdata(dev, host);
5643
5644         ata_host_init(host, dev, ent->_host_flags, ent->port_ops);
5645         host->n_ports = ent->n_ports;
5646         host->irq = ent->irq;
5647         host->irq2 = ent->irq2;
5648         host->iomap = ent->iomap;
5649         host->private_data = ent->private_data;
5650
5651         /* register each port bound to this device */
5652         for (i = 0; i < host->n_ports; i++) {
5653                 struct ata_port *ap;
5654                 unsigned long xfer_mode_mask;
5655                 int irq_line = ent->irq;
5656
5657                 ap = ata_port_add(ent, host, i);
5658                 host->ports[i] = ap;
5659                 if (!ap)
5660                         goto err_out;
5661
5662                 /* dummy? */
5663                 if (ent->dummy_port_mask & (1 << i)) {
5664                         ata_port_printk(ap, KERN_INFO, "DUMMY\n");
5665                         ap->ops = &ata_dummy_port_ops;
5666                         continue;
5667                 }
5668
5669                 /* start port */
5670                 rc = ap->ops->port_start(ap);
5671                 if (rc) {
5672                         host->ports[i] = NULL;
5673                         scsi_host_put(ap->scsi_host);
5674                         goto err_out;
5675                 }
5676
5677                 /* Report the secondary IRQ for second channel legacy */
5678                 if (i == 1 && ent->irq2)
5679                         irq_line = ent->irq2;
5680
5681                 xfer_mode_mask =(ap->udma_mask << ATA_SHIFT_UDMA) |
5682                                 (ap->mwdma_mask << ATA_SHIFT_MWDMA) |
5683                                 (ap->pio_mask << ATA_SHIFT_PIO);
5684
5685                 /* print per-port info to dmesg */
5686                 ata_port_printk(ap, KERN_INFO, "%cATA max %s cmd 0x%p "
5687                                 "ctl 0x%p bmdma 0x%p irq %d\n",
5688                                 ap->flags & ATA_FLAG_SATA ? 'S' : 'P',
5689                                 ata_mode_string(xfer_mode_mask),
5690                                 ap->ioaddr.cmd_addr,
5691                                 ap->ioaddr.ctl_addr,
5692                                 ap->ioaddr.bmdma_addr,
5693                                 irq_line);
5694
5695                 /* freeze port before requesting IRQ */
5696                 ata_eh_freeze_port(ap);
5697         }
5698
5699         /* obtain irq, that may be shared between channels */
5700         rc = devm_request_irq(dev, ent->irq, ent->port_ops->irq_handler,
5701                               ent->irq_flags, DRV_NAME, host);
5702         if (rc) {
5703                 dev_printk(KERN_ERR, dev, "irq %lu request failed: %d\n",
5704                            ent->irq, rc);
5705                 goto err_out;
5706         }
5707
5708         /* do we have a second IRQ for the other channel, eg legacy mode */
5709         if (ent->irq2) {
5710                 /* We will get weird core code crashes later if this is true
5711                    so trap it now */
5712                 BUG_ON(ent->irq == ent->irq2);
5713
5714                 rc = devm_request_irq(dev, ent->irq2,
5715                                 ent->port_ops->irq_handler, ent->irq_flags,
5716                                 DRV_NAME, host);
5717                 if (rc) {
5718                         dev_printk(KERN_ERR, dev, "irq %lu request failed: %d\n",
5719                                    ent->irq2, rc);
5720                         goto err_out;
5721                 }
5722         }
5723
5724         /* resource acquisition complete */
5725         devres_remove_group(dev, ata_device_add);
5726
5727         /* perform each probe synchronously */
5728         DPRINTK("probe begin\n");
5729         for (i = 0; i < host->n_ports; i++) {
5730                 struct ata_port *ap = host->ports[i];
5731                 u32 scontrol;
5732                 int rc;
5733
5734                 /* init sata_spd_limit to the current value */
5735                 if (sata_scr_read(ap, SCR_CONTROL, &scontrol) == 0) {
5736                         int spd = (scontrol >> 4) & 0xf;
5737                         ap->hw_sata_spd_limit &= (1 << spd) - 1;
5738                 }
5739                 ap->sata_spd_limit = ap->hw_sata_spd_limit;
5740
5741                 rc = scsi_add_host(ap->scsi_host, dev);
5742                 if (rc) {
5743                         ata_port_printk(ap, KERN_ERR, "scsi_add_host failed\n");
5744                         /* FIXME: do something useful here */
5745                         /* FIXME: handle unconditional calls to
5746                          * scsi_scan_host and ata_host_remove, below,
5747                          * at the very least
5748                          */
5749                 }
5750
5751                 if (ap->ops->error_handler) {
5752                         struct ata_eh_info *ehi = &ap->eh_info;
5753                         unsigned long flags;
5754
5755                         ata_port_probe(ap);
5756
5757                         /* kick EH for boot probing */
5758                         spin_lock_irqsave(ap->lock, flags);
5759
5760                         ehi->probe_mask = (1 << ATA_MAX_DEVICES) - 1;
5761                         ehi->action |= ATA_EH_SOFTRESET;
5762                         ehi->flags |= ATA_EHI_NO_AUTOPSY | ATA_EHI_QUIET;
5763
5764                         ap->pflags |= ATA_PFLAG_LOADING;
5765                         ata_port_schedule_eh(ap);
5766
5767                         spin_unlock_irqrestore(ap->lock, flags);
5768
5769                         /* wait for EH to finish */
5770                         ata_port_wait_eh(ap);
5771                 } else {
5772                         DPRINTK("ata%u: bus probe begin\n", ap->id);
5773                         rc = ata_bus_probe(ap);
5774                         DPRINTK("ata%u: bus probe end\n", ap->id);
5775
5776                         if (rc) {
5777                                 /* FIXME: do something useful here?
5778                                  * Current libata behavior will
5779                                  * tear down everything when
5780                                  * the module is removed
5781                                  * or the h/w is unplugged.
5782                                  */
5783                         }
5784                 }
5785         }
5786
5787         /* probes are done, now scan each port's disk(s) */
5788         DPRINTK("host probe begin\n");
5789         for (i = 0; i < host->n_ports; i++) {
5790                 struct ata_port *ap = host->ports[i];
5791
5792                 ata_scsi_scan_host(ap);
5793         }
5794
5795         VPRINTK("EXIT, returning %u\n", ent->n_ports);
5796         return ent->n_ports; /* success */
5797
5798  err_out:
5799         devres_release_group(dev, ata_device_add);
5800         dev_set_drvdata(dev, NULL);
5801         VPRINTK("EXIT, returning %d\n", rc);
5802         return 0;
5803 }
5804
5805 /**
5806  *      ata_port_detach - Detach ATA port in prepration of device removal
5807  *      @ap: ATA port to be detached
5808  *
5809  *      Detach all ATA devices and the associated SCSI devices of @ap;
5810  *      then, remove the associated SCSI host.  @ap is guaranteed to
5811  *      be quiescent on return from this function.
5812  *
5813  *      LOCKING:
5814  *      Kernel thread context (may sleep).
5815  */
5816 void ata_port_detach(struct ata_port *ap)
5817 {
5818         unsigned long flags;
5819         int i;
5820
5821         if (!ap->ops->error_handler)
5822                 goto skip_eh;
5823
5824         /* tell EH we're leaving & flush EH */
5825         spin_lock_irqsave(ap->lock, flags);
5826         ap->pflags |= ATA_PFLAG_UNLOADING;
5827         spin_unlock_irqrestore(ap->lock, flags);
5828
5829         ata_port_wait_eh(ap);
5830
5831         /* EH is now guaranteed to see UNLOADING, so no new device
5832          * will be attached.  Disable all existing devices.
5833          */
5834         spin_lock_irqsave(ap->lock, flags);
5835
5836         for (i = 0; i < ATA_MAX_DEVICES; i++)
5837                 ata_dev_disable(&ap->device[i]);
5838
5839         spin_unlock_irqrestore(ap->lock, flags);
5840
5841         /* Final freeze & EH.  All in-flight commands are aborted.  EH
5842          * will be skipped and retrials will be terminated with bad
5843          * target.
5844          */
5845         spin_lock_irqsave(ap->lock, flags);
5846         ata_port_freeze(ap);    /* won't be thawed */
5847         spin_unlock_irqrestore(ap->lock, flags);
5848
5849         ata_port_wait_eh(ap);
5850
5851         /* Flush hotplug task.  The sequence is similar to
5852          * ata_port_flush_task().
5853          */
5854         flush_workqueue(ata_aux_wq);
5855         cancel_delayed_work(&ap->hotplug_task);
5856         flush_workqueue(ata_aux_wq);
5857
5858  skip_eh:
5859         /* remove the associated SCSI host */
5860         scsi_remove_host(ap->scsi_host);
5861 }
5862
5863 /**
5864  *      ata_host_detach - Detach all ports of an ATA host
5865  *      @host: Host to detach
5866  *
5867  *      Detach all ports of @host.
5868  *
5869  *      LOCKING:
5870  *      Kernel thread context (may sleep).
5871  */
5872 void ata_host_detach(struct ata_host *host)
5873 {
5874         int i;
5875
5876         for (i = 0; i < host->n_ports; i++)
5877                 ata_port_detach(host->ports[i]);
5878 }
5879
5880 struct ata_probe_ent *
5881 ata_probe_ent_alloc(struct device *dev, const struct ata_port_info *port)
5882 {
5883         struct ata_probe_ent *probe_ent;
5884
5885         /* XXX - the following if can go away once all LLDs are managed */
5886         if (!list_empty(&dev->devres_head))
5887                 probe_ent = devm_kzalloc(dev, sizeof(*probe_ent), GFP_KERNEL);
5888         else
5889                 probe_ent = kzalloc(sizeof(*probe_ent), GFP_KERNEL);
5890         if (!probe_ent) {
5891                 printk(KERN_ERR DRV_NAME "(%s): out of memory\n",
5892                        kobject_name(&(dev->kobj)));
5893                 return NULL;
5894         }
5895
5896         INIT_LIST_HEAD(&probe_ent->node);
5897         probe_ent->dev = dev;
5898
5899         probe_ent->sht = port->sht;
5900         probe_ent->port_flags = port->flags;
5901         probe_ent->pio_mask = port->pio_mask;
5902         probe_ent->mwdma_mask = port->mwdma_mask;
5903         probe_ent->udma_mask = port->udma_mask;
5904         probe_ent->port_ops = port->port_ops;
5905         probe_ent->private_data = port->private_data;
5906
5907         return probe_ent;
5908 }
5909
5910 /**
5911  *      ata_std_ports - initialize ioaddr with standard port offsets.
5912  *      @ioaddr: IO address structure to be initialized
5913  *
5914  *      Utility function which initializes data_addr, error_addr,
5915  *      feature_addr, nsect_addr, lbal_addr, lbam_addr, lbah_addr,
5916  *      device_addr, status_addr, and command_addr to standard offsets
5917  *      relative to cmd_addr.
5918  *
5919  *      Does not set ctl_addr, altstatus_addr, bmdma_addr, or scr_addr.
5920  */
5921
5922 void ata_std_ports(struct ata_ioports *ioaddr)
5923 {
5924         ioaddr->data_addr = ioaddr->cmd_addr + ATA_REG_DATA;
5925         ioaddr->error_addr = ioaddr->cmd_addr + ATA_REG_ERR;
5926         ioaddr->feature_addr = ioaddr->cmd_addr + ATA_REG_FEATURE;
5927         ioaddr->nsect_addr = ioaddr->cmd_addr + ATA_REG_NSECT;
5928         ioaddr->lbal_addr = ioaddr->cmd_addr + ATA_REG_LBAL;
5929         ioaddr->lbam_addr = ioaddr->cmd_addr + ATA_REG_LBAM;
5930         ioaddr->lbah_addr = ioaddr->cmd_addr + ATA_REG_LBAH;
5931         ioaddr->device_addr = ioaddr->cmd_addr + ATA_REG_DEVICE;
5932         ioaddr->status_addr = ioaddr->cmd_addr + ATA_REG_STATUS;
5933         ioaddr->command_addr = ioaddr->cmd_addr + ATA_REG_CMD;
5934 }
5935
5936
5937 #ifdef CONFIG_PCI
5938
5939 /**
5940  *      ata_pci_remove_one - PCI layer callback for device removal
5941  *      @pdev: PCI device that was removed
5942  *
5943  *      PCI layer indicates to libata via this hook that hot-unplug or
5944  *      module unload event has occurred.  Detach all ports.  Resource
5945  *      release is handled via devres.
5946  *
5947  *      LOCKING:
5948  *      Inherited from PCI layer (may sleep).
5949  */
5950 void ata_pci_remove_one(struct pci_dev *pdev)
5951 {
5952         struct device *dev = pci_dev_to_dev(pdev);
5953         struct ata_host *host = dev_get_drvdata(dev);
5954
5955         ata_host_detach(host);
5956 }
5957
5958 /* move to PCI subsystem */
5959 int pci_test_config_bits(struct pci_dev *pdev, const struct pci_bits *bits)
5960 {
5961         unsigned long tmp = 0;
5962
5963         switch (bits->width) {
5964         case 1: {
5965                 u8 tmp8 = 0;
5966                 pci_read_config_byte(pdev, bits->reg, &tmp8);
5967                 tmp = tmp8;
5968                 break;
5969         }
5970         case 2: {
5971                 u16 tmp16 = 0;
5972                 pci_read_config_word(pdev, bits->reg, &tmp16);
5973                 tmp = tmp16;
5974                 break;
5975         }
5976         case 4: {
5977                 u32 tmp32 = 0;
5978                 pci_read_config_dword(pdev, bits->reg, &tmp32);
5979                 tmp = tmp32;
5980                 break;
5981         }
5982
5983         default:
5984                 return -EINVAL;
5985         }
5986
5987         tmp &= bits->mask;
5988
5989         return (tmp == bits->val) ? 1 : 0;
5990 }
5991
5992 void ata_pci_device_do_suspend(struct pci_dev *pdev, pm_message_t mesg)
5993 {
5994         pci_save_state(pdev);
5995
5996         if (mesg.event == PM_EVENT_SUSPEND) {
5997                 pci_disable_device(pdev);
5998                 pci_set_power_state(pdev, PCI_D3hot);
5999         }
6000 }
6001
6002 int ata_pci_device_do_resume(struct pci_dev *pdev)
6003 {
6004         int rc;
6005
6006         pci_set_power_state(pdev, PCI_D0);
6007         pci_restore_state(pdev);
6008
6009         rc = pcim_enable_device(pdev);
6010         if (rc) {
6011                 dev_printk(KERN_ERR, &pdev->dev,
6012                            "failed to enable device after resume (%d)\n", rc);
6013                 return rc;
6014         }
6015
6016         pci_set_master(pdev);
6017         return 0;
6018 }
6019
6020 int ata_pci_device_suspend(struct pci_dev *pdev, pm_message_t mesg)
6021 {
6022         struct ata_host *host = dev_get_drvdata(&pdev->dev);
6023         int rc = 0;
6024
6025         rc = ata_host_suspend(host, mesg);
6026         if (rc)
6027                 return rc;
6028
6029         ata_pci_device_do_suspend(pdev, mesg);
6030
6031         return 0;
6032 }
6033
6034 int ata_pci_device_resume(struct pci_dev *pdev)
6035 {
6036         struct ata_host *host = dev_get_drvdata(&pdev->dev);
6037         int rc;
6038
6039         rc = ata_pci_device_do_resume(pdev);
6040         if (rc == 0)
6041                 ata_host_resume(host);
6042         return rc;
6043 }
6044 #endif /* CONFIG_PCI */
6045
6046
6047 static int __init ata_init(void)
6048 {
6049         ata_probe_timeout *= HZ;
6050         ata_wq = create_workqueue("ata");
6051         if (!ata_wq)
6052                 return -ENOMEM;
6053
6054         ata_aux_wq = create_singlethread_workqueue("ata_aux");
6055         if (!ata_aux_wq) {
6056                 destroy_workqueue(ata_wq);
6057                 return -ENOMEM;
6058         }
6059
6060         printk(KERN_DEBUG "libata version " DRV_VERSION " loaded.\n");
6061         return 0;
6062 }
6063
6064 static void __exit ata_exit(void)
6065 {
6066         destroy_workqueue(ata_wq);
6067         destroy_workqueue(ata_aux_wq);
6068 }
6069
6070 subsys_initcall(ata_init);
6071 module_exit(ata_exit);
6072
6073 static unsigned long ratelimit_time;
6074 static DEFINE_SPINLOCK(ata_ratelimit_lock);
6075
6076 int ata_ratelimit(void)
6077 {
6078         int rc;
6079         unsigned long flags;
6080
6081         spin_lock_irqsave(&ata_ratelimit_lock, flags);
6082
6083         if (time_after(jiffies, ratelimit_time)) {
6084                 rc = 1;
6085                 ratelimit_time = jiffies + (HZ/5);
6086         } else
6087                 rc = 0;
6088
6089         spin_unlock_irqrestore(&ata_ratelimit_lock, flags);
6090
6091         return rc;
6092 }
6093
6094 /**
6095  *      ata_wait_register - wait until register value changes
6096  *      @reg: IO-mapped register
6097  *      @mask: Mask to apply to read register value
6098  *      @val: Wait condition
6099  *      @interval_msec: polling interval in milliseconds
6100  *      @timeout_msec: timeout in milliseconds
6101  *
6102  *      Waiting for some bits of register to change is a common
6103  *      operation for ATA controllers.  This function reads 32bit LE
6104  *      IO-mapped register @reg and tests for the following condition.
6105  *
6106  *      (*@reg & mask) != val
6107  *
6108  *      If the condition is met, it returns; otherwise, the process is
6109  *      repeated after @interval_msec until timeout.
6110  *
6111  *      LOCKING:
6112  *      Kernel thread context (may sleep)
6113  *
6114  *      RETURNS:
6115  *      The final register value.
6116  */
6117 u32 ata_wait_register(void __iomem *reg, u32 mask, u32 val,
6118                       unsigned long interval_msec,
6119                       unsigned long timeout_msec)
6120 {
6121         unsigned long timeout;
6122         u32 tmp;
6123
6124         tmp = ioread32(reg);
6125
6126         /* Calculate timeout _after_ the first read to make sure
6127          * preceding writes reach the controller before starting to
6128          * eat away the timeout.
6129          */
6130         timeout = jiffies + (timeout_msec * HZ) / 1000;
6131
6132         while ((tmp & mask) == val && time_before(jiffies, timeout)) {
6133                 msleep(interval_msec);
6134                 tmp = ioread32(reg);
6135         }
6136
6137         return tmp;
6138 }
6139
6140 /*
6141  * Dummy port_ops
6142  */
6143 static void ata_dummy_noret(struct ata_port *ap)        { }
6144 static int ata_dummy_ret0(struct ata_port *ap)          { return 0; }
6145 static void ata_dummy_qc_noret(struct ata_queued_cmd *qc) { }
6146
6147 static u8 ata_dummy_check_status(struct ata_port *ap)
6148 {
6149         return ATA_DRDY;
6150 }
6151
6152 static unsigned int ata_dummy_qc_issue(struct ata_queued_cmd *qc)
6153 {
6154         return AC_ERR_SYSTEM;
6155 }
6156
6157 const struct ata_port_operations ata_dummy_port_ops = {
6158         .port_disable           = ata_port_disable,
6159         .check_status           = ata_dummy_check_status,
6160         .check_altstatus        = ata_dummy_check_status,
6161         .dev_select             = ata_noop_dev_select,
6162         .qc_prep                = ata_noop_qc_prep,
6163         .qc_issue               = ata_dummy_qc_issue,
6164         .freeze                 = ata_dummy_noret,
6165         .thaw                   = ata_dummy_noret,
6166         .error_handler          = ata_dummy_noret,
6167         .post_internal_cmd      = ata_dummy_qc_noret,
6168         .irq_clear              = ata_dummy_noret,
6169         .port_start             = ata_dummy_ret0,
6170         .port_stop              = ata_dummy_noret,
6171 };
6172
6173 /*
6174  * libata is essentially a library of internal helper functions for
6175  * low-level ATA host controller drivers.  As such, the API/ABI is
6176  * likely to change as new drivers are added and updated.
6177  * Do not depend on ABI/API stability.
6178  */
6179
6180 EXPORT_SYMBOL_GPL(sata_deb_timing_normal);
6181 EXPORT_SYMBOL_GPL(sata_deb_timing_hotplug);
6182 EXPORT_SYMBOL_GPL(sata_deb_timing_long);
6183 EXPORT_SYMBOL_GPL(ata_dummy_port_ops);
6184 EXPORT_SYMBOL_GPL(ata_std_bios_param);
6185 EXPORT_SYMBOL_GPL(ata_std_ports);
6186 EXPORT_SYMBOL_GPL(ata_host_init);
6187 EXPORT_SYMBOL_GPL(ata_device_add);
6188 EXPORT_SYMBOL_GPL(ata_host_detach);
6189 EXPORT_SYMBOL_GPL(ata_sg_init);
6190 EXPORT_SYMBOL_GPL(ata_sg_init_one);
6191 EXPORT_SYMBOL_GPL(ata_hsm_move);
6192 EXPORT_SYMBOL_GPL(ata_qc_complete);
6193 EXPORT_SYMBOL_GPL(ata_qc_complete_multiple);
6194 EXPORT_SYMBOL_GPL(ata_qc_issue_prot);
6195 EXPORT_SYMBOL_GPL(ata_tf_load);
6196 EXPORT_SYMBOL_GPL(ata_tf_read);
6197 EXPORT_SYMBOL_GPL(ata_noop_dev_select);
6198 EXPORT_SYMBOL_GPL(ata_std_dev_select);
6199 EXPORT_SYMBOL_GPL(ata_tf_to_fis);
6200 EXPORT_SYMBOL_GPL(ata_tf_from_fis);
6201 EXPORT_SYMBOL_GPL(ata_check_status);
6202 EXPORT_SYMBOL_GPL(ata_altstatus);
6203 EXPORT_SYMBOL_GPL(ata_exec_command);
6204 EXPORT_SYMBOL_GPL(ata_port_start);
6205 EXPORT_SYMBOL_GPL(ata_interrupt);
6206 EXPORT_SYMBOL_GPL(ata_data_xfer);
6207 EXPORT_SYMBOL_GPL(ata_data_xfer_noirq);
6208 EXPORT_SYMBOL_GPL(ata_qc_prep);
6209 EXPORT_SYMBOL_GPL(ata_noop_qc_prep);
6210 EXPORT_SYMBOL_GPL(ata_bmdma_setup);
6211 EXPORT_SYMBOL_GPL(ata_bmdma_start);
6212 EXPORT_SYMBOL_GPL(ata_bmdma_irq_clear);
6213 EXPORT_SYMBOL_GPL(ata_bmdma_status);
6214 EXPORT_SYMBOL_GPL(ata_bmdma_stop);
6215 EXPORT_SYMBOL_GPL(ata_bmdma_freeze);
6216 EXPORT_SYMBOL_GPL(ata_bmdma_thaw);
6217 EXPORT_SYMBOL_GPL(ata_bmdma_drive_eh);
6218 EXPORT_SYMBOL_GPL(ata_bmdma_error_handler);
6219 EXPORT_SYMBOL_GPL(ata_bmdma_post_internal_cmd);
6220 EXPORT_SYMBOL_GPL(ata_port_probe);
6221 EXPORT_SYMBOL_GPL(sata_set_spd);
6222 EXPORT_SYMBOL_GPL(sata_phy_debounce);
6223 EXPORT_SYMBOL_GPL(sata_phy_resume);
6224 EXPORT_SYMBOL_GPL(sata_phy_reset);
6225 EXPORT_SYMBOL_GPL(__sata_phy_reset);
6226 EXPORT_SYMBOL_GPL(ata_bus_reset);
6227 EXPORT_SYMBOL_GPL(ata_std_prereset);
6228 EXPORT_SYMBOL_GPL(ata_std_softreset);
6229 EXPORT_SYMBOL_GPL(sata_port_hardreset);
6230 EXPORT_SYMBOL_GPL(sata_std_hardreset);
6231 EXPORT_SYMBOL_GPL(ata_std_postreset);
6232 EXPORT_SYMBOL_GPL(ata_dev_classify);
6233 EXPORT_SYMBOL_GPL(ata_dev_pair);
6234 EXPORT_SYMBOL_GPL(ata_port_disable);
6235 EXPORT_SYMBOL_GPL(ata_ratelimit);
6236 EXPORT_SYMBOL_GPL(ata_wait_register);
6237 EXPORT_SYMBOL_GPL(ata_busy_sleep);
6238 EXPORT_SYMBOL_GPL(ata_port_queue_task);
6239 EXPORT_SYMBOL_GPL(ata_scsi_ioctl);
6240 EXPORT_SYMBOL_GPL(ata_scsi_queuecmd);
6241 EXPORT_SYMBOL_GPL(ata_scsi_slave_config);
6242 EXPORT_SYMBOL_GPL(ata_scsi_slave_destroy);
6243 EXPORT_SYMBOL_GPL(ata_scsi_change_queue_depth);
6244 EXPORT_SYMBOL_GPL(ata_host_intr);
6245 EXPORT_SYMBOL_GPL(sata_scr_valid);
6246 EXPORT_SYMBOL_GPL(sata_scr_read);
6247 EXPORT_SYMBOL_GPL(sata_scr_write);
6248 EXPORT_SYMBOL_GPL(sata_scr_write_flush);
6249 EXPORT_SYMBOL_GPL(ata_port_online);
6250 EXPORT_SYMBOL_GPL(ata_port_offline);
6251 EXPORT_SYMBOL_GPL(ata_host_suspend);
6252 EXPORT_SYMBOL_GPL(ata_host_resume);
6253 EXPORT_SYMBOL_GPL(ata_id_string);
6254 EXPORT_SYMBOL_GPL(ata_id_c_string);
6255 EXPORT_SYMBOL_GPL(ata_device_blacklisted);
6256 EXPORT_SYMBOL_GPL(ata_scsi_simulate);
6257
6258 EXPORT_SYMBOL_GPL(ata_pio_need_iordy);
6259 EXPORT_SYMBOL_GPL(ata_timing_compute);
6260 EXPORT_SYMBOL_GPL(ata_timing_merge);
6261
6262 #ifdef CONFIG_PCI
6263 EXPORT_SYMBOL_GPL(pci_test_config_bits);
6264 EXPORT_SYMBOL_GPL(ata_pci_init_native_mode);
6265 EXPORT_SYMBOL_GPL(ata_pci_init_one);
6266 EXPORT_SYMBOL_GPL(ata_pci_remove_one);
6267 EXPORT_SYMBOL_GPL(ata_pci_device_do_suspend);
6268 EXPORT_SYMBOL_GPL(ata_pci_device_do_resume);
6269 EXPORT_SYMBOL_GPL(ata_pci_device_suspend);
6270 EXPORT_SYMBOL_GPL(ata_pci_device_resume);
6271 EXPORT_SYMBOL_GPL(ata_pci_default_filter);
6272 EXPORT_SYMBOL_GPL(ata_pci_clear_simplex);
6273 #endif /* CONFIG_PCI */
6274
6275 EXPORT_SYMBOL_GPL(ata_scsi_device_suspend);
6276 EXPORT_SYMBOL_GPL(ata_scsi_device_resume);
6277
6278 EXPORT_SYMBOL_GPL(ata_eng_timeout);
6279 EXPORT_SYMBOL_GPL(ata_port_schedule_eh);
6280 EXPORT_SYMBOL_GPL(ata_port_abort);
6281 EXPORT_SYMBOL_GPL(ata_port_freeze);
6282 EXPORT_SYMBOL_GPL(ata_eh_freeze_port);
6283 EXPORT_SYMBOL_GPL(ata_eh_thaw_port);
6284 EXPORT_SYMBOL_GPL(ata_eh_qc_complete);
6285 EXPORT_SYMBOL_GPL(ata_eh_qc_retry);
6286 EXPORT_SYMBOL_GPL(ata_do_eh);
6287 EXPORT_SYMBOL_GPL(ata_irq_on);
6288 EXPORT_SYMBOL_GPL(ata_dummy_irq_on);
6289 EXPORT_SYMBOL_GPL(ata_irq_ack);
6290 EXPORT_SYMBOL_GPL(ata_dummy_irq_ack);