Merge master.kernel.org:/pub/scm/linux/kernel/git/davej/cpufreq
[linux-2.6] / drivers / ata / libata-core.c
1 /*
2  *  libata-core.c - helper library for ATA
3  *
4  *  Maintained by:  Jeff Garzik <jgarzik@pobox.com>
5  *                  Please ALWAYS copy linux-ide@vger.kernel.org
6  *                  on emails.
7  *
8  *  Copyright 2003-2004 Red Hat, Inc.  All rights reserved.
9  *  Copyright 2003-2004 Jeff Garzik
10  *
11  *
12  *  This program is free software; you can redistribute it and/or modify
13  *  it under the terms of the GNU General Public License as published by
14  *  the Free Software Foundation; either version 2, or (at your option)
15  *  any later version.
16  *
17  *  This program is distributed in the hope that it will be useful,
18  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
19  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
20  *  GNU General Public License for more details.
21  *
22  *  You should have received a copy of the GNU General Public License
23  *  along with this program; see the file COPYING.  If not, write to
24  *  the Free Software Foundation, 675 Mass Ave, Cambridge, MA 02139, USA.
25  *
26  *
27  *  libata documentation is available via 'make {ps|pdf}docs',
28  *  as Documentation/DocBook/libata.*
29  *
30  *  Hardware documentation available from http://www.t13.org/ and
31  *  http://www.sata-io.org/
32  *
33  */
34
35 #include <linux/kernel.h>
36 #include <linux/module.h>
37 #include <linux/pci.h>
38 #include <linux/init.h>
39 #include <linux/list.h>
40 #include <linux/mm.h>
41 #include <linux/highmem.h>
42 #include <linux/spinlock.h>
43 #include <linux/blkdev.h>
44 #include <linux/delay.h>
45 #include <linux/timer.h>
46 #include <linux/interrupt.h>
47 #include <linux/completion.h>
48 #include <linux/suspend.h>
49 #include <linux/workqueue.h>
50 #include <linux/jiffies.h>
51 #include <linux/scatterlist.h>
52 #include <scsi/scsi.h>
53 #include <scsi/scsi_cmnd.h>
54 #include <scsi/scsi_host.h>
55 #include <linux/libata.h>
56 #include <asm/io.h>
57 #include <asm/semaphore.h>
58 #include <asm/byteorder.h>
59
60 #include "libata.h"
61
62 #define DRV_VERSION     "2.10"  /* must be exactly four chars */
63
64
65 /* debounce timing parameters in msecs { interval, duration, timeout } */
66 const unsigned long sata_deb_timing_normal[]            = {   5,  100, 2000 };
67 const unsigned long sata_deb_timing_hotplug[]           = {  25,  500, 2000 };
68 const unsigned long sata_deb_timing_long[]              = { 100, 2000, 5000 };
69
70 static unsigned int ata_dev_init_params(struct ata_device *dev,
71                                         u16 heads, u16 sectors);
72 static unsigned int ata_dev_set_xfermode(struct ata_device *dev);
73 static void ata_dev_xfermask(struct ata_device *dev);
74
75 static unsigned int ata_unique_id = 1;
76 static struct workqueue_struct *ata_wq;
77
78 struct workqueue_struct *ata_aux_wq;
79
80 int atapi_enabled = 1;
81 module_param(atapi_enabled, int, 0444);
82 MODULE_PARM_DESC(atapi_enabled, "Enable discovery of ATAPI devices (0=off, 1=on)");
83
84 int atapi_dmadir = 0;
85 module_param(atapi_dmadir, int, 0444);
86 MODULE_PARM_DESC(atapi_dmadir, "Enable ATAPI DMADIR bridge support (0=off, 1=on)");
87
88 int libata_fua = 0;
89 module_param_named(fua, libata_fua, int, 0444);
90 MODULE_PARM_DESC(fua, "FUA support (0=off, 1=on)");
91
92 static int ata_probe_timeout = ATA_TMOUT_INTERNAL / HZ;
93 module_param(ata_probe_timeout, int, 0444);
94 MODULE_PARM_DESC(ata_probe_timeout, "Set ATA probing timeout (seconds)");
95
96 MODULE_AUTHOR("Jeff Garzik");
97 MODULE_DESCRIPTION("Library module for ATA devices");
98 MODULE_LICENSE("GPL");
99 MODULE_VERSION(DRV_VERSION);
100
101
102 /**
103  *      ata_tf_to_fis - Convert ATA taskfile to SATA FIS structure
104  *      @tf: Taskfile to convert
105  *      @fis: Buffer into which data will output
106  *      @pmp: Port multiplier port
107  *
108  *      Converts a standard ATA taskfile to a Serial ATA
109  *      FIS structure (Register - Host to Device).
110  *
111  *      LOCKING:
112  *      Inherited from caller.
113  */
114
115 void ata_tf_to_fis(const struct ata_taskfile *tf, u8 *fis, u8 pmp)
116 {
117         fis[0] = 0x27;  /* Register - Host to Device FIS */
118         fis[1] = (pmp & 0xf) | (1 << 7); /* Port multiplier number,
119                                             bit 7 indicates Command FIS */
120         fis[2] = tf->command;
121         fis[3] = tf->feature;
122
123         fis[4] = tf->lbal;
124         fis[5] = tf->lbam;
125         fis[6] = tf->lbah;
126         fis[7] = tf->device;
127
128         fis[8] = tf->hob_lbal;
129         fis[9] = tf->hob_lbam;
130         fis[10] = tf->hob_lbah;
131         fis[11] = tf->hob_feature;
132
133         fis[12] = tf->nsect;
134         fis[13] = tf->hob_nsect;
135         fis[14] = 0;
136         fis[15] = tf->ctl;
137
138         fis[16] = 0;
139         fis[17] = 0;
140         fis[18] = 0;
141         fis[19] = 0;
142 }
143
144 /**
145  *      ata_tf_from_fis - Convert SATA FIS to ATA taskfile
146  *      @fis: Buffer from which data will be input
147  *      @tf: Taskfile to output
148  *
149  *      Converts a serial ATA FIS structure to a standard ATA taskfile.
150  *
151  *      LOCKING:
152  *      Inherited from caller.
153  */
154
155 void ata_tf_from_fis(const u8 *fis, struct ata_taskfile *tf)
156 {
157         tf->command     = fis[2];       /* status */
158         tf->feature     = fis[3];       /* error */
159
160         tf->lbal        = fis[4];
161         tf->lbam        = fis[5];
162         tf->lbah        = fis[6];
163         tf->device      = fis[7];
164
165         tf->hob_lbal    = fis[8];
166         tf->hob_lbam    = fis[9];
167         tf->hob_lbah    = fis[10];
168
169         tf->nsect       = fis[12];
170         tf->hob_nsect   = fis[13];
171 }
172
173 static const u8 ata_rw_cmds[] = {
174         /* pio multi */
175         ATA_CMD_READ_MULTI,
176         ATA_CMD_WRITE_MULTI,
177         ATA_CMD_READ_MULTI_EXT,
178         ATA_CMD_WRITE_MULTI_EXT,
179         0,
180         0,
181         0,
182         ATA_CMD_WRITE_MULTI_FUA_EXT,
183         /* pio */
184         ATA_CMD_PIO_READ,
185         ATA_CMD_PIO_WRITE,
186         ATA_CMD_PIO_READ_EXT,
187         ATA_CMD_PIO_WRITE_EXT,
188         0,
189         0,
190         0,
191         0,
192         /* dma */
193         ATA_CMD_READ,
194         ATA_CMD_WRITE,
195         ATA_CMD_READ_EXT,
196         ATA_CMD_WRITE_EXT,
197         0,
198         0,
199         0,
200         ATA_CMD_WRITE_FUA_EXT
201 };
202
203 /**
204  *      ata_rwcmd_protocol - set taskfile r/w commands and protocol
205  *      @tf: command to examine and configure
206  *      @dev: device tf belongs to
207  *
208  *      Examine the device configuration and tf->flags to calculate
209  *      the proper read/write commands and protocol to use.
210  *
211  *      LOCKING:
212  *      caller.
213  */
214 static int ata_rwcmd_protocol(struct ata_taskfile *tf, struct ata_device *dev)
215 {
216         u8 cmd;
217
218         int index, fua, lba48, write;
219
220         fua = (tf->flags & ATA_TFLAG_FUA) ? 4 : 0;
221         lba48 = (tf->flags & ATA_TFLAG_LBA48) ? 2 : 0;
222         write = (tf->flags & ATA_TFLAG_WRITE) ? 1 : 0;
223
224         if (dev->flags & ATA_DFLAG_PIO) {
225                 tf->protocol = ATA_PROT_PIO;
226                 index = dev->multi_count ? 0 : 8;
227         } else if (lba48 && (dev->ap->flags & ATA_FLAG_PIO_LBA48)) {
228                 /* Unable to use DMA due to host limitation */
229                 tf->protocol = ATA_PROT_PIO;
230                 index = dev->multi_count ? 0 : 8;
231         } else {
232                 tf->protocol = ATA_PROT_DMA;
233                 index = 16;
234         }
235
236         cmd = ata_rw_cmds[index + fua + lba48 + write];
237         if (cmd) {
238                 tf->command = cmd;
239                 return 0;
240         }
241         return -1;
242 }
243
244 /**
245  *      ata_tf_read_block - Read block address from ATA taskfile
246  *      @tf: ATA taskfile of interest
247  *      @dev: ATA device @tf belongs to
248  *
249  *      LOCKING:
250  *      None.
251  *
252  *      Read block address from @tf.  This function can handle all
253  *      three address formats - LBA, LBA48 and CHS.  tf->protocol and
254  *      flags select the address format to use.
255  *
256  *      RETURNS:
257  *      Block address read from @tf.
258  */
259 u64 ata_tf_read_block(struct ata_taskfile *tf, struct ata_device *dev)
260 {
261         u64 block = 0;
262
263         if (tf->flags & ATA_TFLAG_LBA) {
264                 if (tf->flags & ATA_TFLAG_LBA48) {
265                         block |= (u64)tf->hob_lbah << 40;
266                         block |= (u64)tf->hob_lbam << 32;
267                         block |= tf->hob_lbal << 24;
268                 } else
269                         block |= (tf->device & 0xf) << 24;
270
271                 block |= tf->lbah << 16;
272                 block |= tf->lbam << 8;
273                 block |= tf->lbal;
274         } else {
275                 u32 cyl, head, sect;
276
277                 cyl = tf->lbam | (tf->lbah << 8);
278                 head = tf->device & 0xf;
279                 sect = tf->lbal;
280
281                 block = (cyl * dev->heads + head) * dev->sectors + sect;
282         }
283
284         return block;
285 }
286
287 /**
288  *      ata_build_rw_tf - Build ATA taskfile for given read/write request
289  *      @tf: Target ATA taskfile
290  *      @dev: ATA device @tf belongs to
291  *      @block: Block address
292  *      @n_block: Number of blocks
293  *      @tf_flags: RW/FUA etc...
294  *      @tag: tag
295  *
296  *      LOCKING:
297  *      None.
298  *
299  *      Build ATA taskfile @tf for read/write request described by
300  *      @block, @n_block, @tf_flags and @tag on @dev.
301  *
302  *      RETURNS:
303  *
304  *      0 on success, -ERANGE if the request is too large for @dev,
305  *      -EINVAL if the request is invalid.
306  */
307 int ata_build_rw_tf(struct ata_taskfile *tf, struct ata_device *dev,
308                     u64 block, u32 n_block, unsigned int tf_flags,
309                     unsigned int tag)
310 {
311         tf->flags |= ATA_TFLAG_ISADDR | ATA_TFLAG_DEVICE;
312         tf->flags |= tf_flags;
313
314         if ((dev->flags & (ATA_DFLAG_PIO | ATA_DFLAG_NCQ_OFF |
315                            ATA_DFLAG_NCQ)) == ATA_DFLAG_NCQ &&
316             likely(tag != ATA_TAG_INTERNAL)) {
317                 /* yay, NCQ */
318                 if (!lba_48_ok(block, n_block))
319                         return -ERANGE;
320
321                 tf->protocol = ATA_PROT_NCQ;
322                 tf->flags |= ATA_TFLAG_LBA | ATA_TFLAG_LBA48;
323
324                 if (tf->flags & ATA_TFLAG_WRITE)
325                         tf->command = ATA_CMD_FPDMA_WRITE;
326                 else
327                         tf->command = ATA_CMD_FPDMA_READ;
328
329                 tf->nsect = tag << 3;
330                 tf->hob_feature = (n_block >> 8) & 0xff;
331                 tf->feature = n_block & 0xff;
332
333                 tf->hob_lbah = (block >> 40) & 0xff;
334                 tf->hob_lbam = (block >> 32) & 0xff;
335                 tf->hob_lbal = (block >> 24) & 0xff;
336                 tf->lbah = (block >> 16) & 0xff;
337                 tf->lbam = (block >> 8) & 0xff;
338                 tf->lbal = block & 0xff;
339
340                 tf->device = 1 << 6;
341                 if (tf->flags & ATA_TFLAG_FUA)
342                         tf->device |= 1 << 7;
343         } else if (dev->flags & ATA_DFLAG_LBA) {
344                 tf->flags |= ATA_TFLAG_LBA;
345
346                 if (lba_28_ok(block, n_block)) {
347                         /* use LBA28 */
348                         tf->device |= (block >> 24) & 0xf;
349                 } else if (lba_48_ok(block, n_block)) {
350                         if (!(dev->flags & ATA_DFLAG_LBA48))
351                                 return -ERANGE;
352
353                         /* use LBA48 */
354                         tf->flags |= ATA_TFLAG_LBA48;
355
356                         tf->hob_nsect = (n_block >> 8) & 0xff;
357
358                         tf->hob_lbah = (block >> 40) & 0xff;
359                         tf->hob_lbam = (block >> 32) & 0xff;
360                         tf->hob_lbal = (block >> 24) & 0xff;
361                 } else
362                         /* request too large even for LBA48 */
363                         return -ERANGE;
364
365                 if (unlikely(ata_rwcmd_protocol(tf, dev) < 0))
366                         return -EINVAL;
367
368                 tf->nsect = n_block & 0xff;
369
370                 tf->lbah = (block >> 16) & 0xff;
371                 tf->lbam = (block >> 8) & 0xff;
372                 tf->lbal = block & 0xff;
373
374                 tf->device |= ATA_LBA;
375         } else {
376                 /* CHS */
377                 u32 sect, head, cyl, track;
378
379                 /* The request -may- be too large for CHS addressing. */
380                 if (!lba_28_ok(block, n_block))
381                         return -ERANGE;
382
383                 if (unlikely(ata_rwcmd_protocol(tf, dev) < 0))
384                         return -EINVAL;
385
386                 /* Convert LBA to CHS */
387                 track = (u32)block / dev->sectors;
388                 cyl   = track / dev->heads;
389                 head  = track % dev->heads;
390                 sect  = (u32)block % dev->sectors + 1;
391
392                 DPRINTK("block %u track %u cyl %u head %u sect %u\n",
393                         (u32)block, track, cyl, head, sect);
394
395                 /* Check whether the converted CHS can fit.
396                    Cylinder: 0-65535
397                    Head: 0-15
398                    Sector: 1-255*/
399                 if ((cyl >> 16) || (head >> 4) || (sect >> 8) || (!sect))
400                         return -ERANGE;
401
402                 tf->nsect = n_block & 0xff; /* Sector count 0 means 256 sectors */
403                 tf->lbal = sect;
404                 tf->lbam = cyl;
405                 tf->lbah = cyl >> 8;
406                 tf->device |= head;
407         }
408
409         return 0;
410 }
411
412 /**
413  *      ata_pack_xfermask - Pack pio, mwdma and udma masks into xfer_mask
414  *      @pio_mask: pio_mask
415  *      @mwdma_mask: mwdma_mask
416  *      @udma_mask: udma_mask
417  *
418  *      Pack @pio_mask, @mwdma_mask and @udma_mask into a single
419  *      unsigned int xfer_mask.
420  *
421  *      LOCKING:
422  *      None.
423  *
424  *      RETURNS:
425  *      Packed xfer_mask.
426  */
427 static unsigned int ata_pack_xfermask(unsigned int pio_mask,
428                                       unsigned int mwdma_mask,
429                                       unsigned int udma_mask)
430 {
431         return ((pio_mask << ATA_SHIFT_PIO) & ATA_MASK_PIO) |
432                 ((mwdma_mask << ATA_SHIFT_MWDMA) & ATA_MASK_MWDMA) |
433                 ((udma_mask << ATA_SHIFT_UDMA) & ATA_MASK_UDMA);
434 }
435
436 /**
437  *      ata_unpack_xfermask - Unpack xfer_mask into pio, mwdma and udma masks
438  *      @xfer_mask: xfer_mask to unpack
439  *      @pio_mask: resulting pio_mask
440  *      @mwdma_mask: resulting mwdma_mask
441  *      @udma_mask: resulting udma_mask
442  *
443  *      Unpack @xfer_mask into @pio_mask, @mwdma_mask and @udma_mask.
444  *      Any NULL distination masks will be ignored.
445  */
446 static void ata_unpack_xfermask(unsigned int xfer_mask,
447                                 unsigned int *pio_mask,
448                                 unsigned int *mwdma_mask,
449                                 unsigned int *udma_mask)
450 {
451         if (pio_mask)
452                 *pio_mask = (xfer_mask & ATA_MASK_PIO) >> ATA_SHIFT_PIO;
453         if (mwdma_mask)
454                 *mwdma_mask = (xfer_mask & ATA_MASK_MWDMA) >> ATA_SHIFT_MWDMA;
455         if (udma_mask)
456                 *udma_mask = (xfer_mask & ATA_MASK_UDMA) >> ATA_SHIFT_UDMA;
457 }
458
459 static const struct ata_xfer_ent {
460         int shift, bits;
461         u8 base;
462 } ata_xfer_tbl[] = {
463         { ATA_SHIFT_PIO, ATA_BITS_PIO, XFER_PIO_0 },
464         { ATA_SHIFT_MWDMA, ATA_BITS_MWDMA, XFER_MW_DMA_0 },
465         { ATA_SHIFT_UDMA, ATA_BITS_UDMA, XFER_UDMA_0 },
466         { -1, },
467 };
468
469 /**
470  *      ata_xfer_mask2mode - Find matching XFER_* for the given xfer_mask
471  *      @xfer_mask: xfer_mask of interest
472  *
473  *      Return matching XFER_* value for @xfer_mask.  Only the highest
474  *      bit of @xfer_mask is considered.
475  *
476  *      LOCKING:
477  *      None.
478  *
479  *      RETURNS:
480  *      Matching XFER_* value, 0 if no match found.
481  */
482 static u8 ata_xfer_mask2mode(unsigned int xfer_mask)
483 {
484         int highbit = fls(xfer_mask) - 1;
485         const struct ata_xfer_ent *ent;
486
487         for (ent = ata_xfer_tbl; ent->shift >= 0; ent++)
488                 if (highbit >= ent->shift && highbit < ent->shift + ent->bits)
489                         return ent->base + highbit - ent->shift;
490         return 0;
491 }
492
493 /**
494  *      ata_xfer_mode2mask - Find matching xfer_mask for XFER_*
495  *      @xfer_mode: XFER_* of interest
496  *
497  *      Return matching xfer_mask for @xfer_mode.
498  *
499  *      LOCKING:
500  *      None.
501  *
502  *      RETURNS:
503  *      Matching xfer_mask, 0 if no match found.
504  */
505 static unsigned int ata_xfer_mode2mask(u8 xfer_mode)
506 {
507         const struct ata_xfer_ent *ent;
508
509         for (ent = ata_xfer_tbl; ent->shift >= 0; ent++)
510                 if (xfer_mode >= ent->base && xfer_mode < ent->base + ent->bits)
511                         return 1 << (ent->shift + xfer_mode - ent->base);
512         return 0;
513 }
514
515 /**
516  *      ata_xfer_mode2shift - Find matching xfer_shift for XFER_*
517  *      @xfer_mode: XFER_* of interest
518  *
519  *      Return matching xfer_shift for @xfer_mode.
520  *
521  *      LOCKING:
522  *      None.
523  *
524  *      RETURNS:
525  *      Matching xfer_shift, -1 if no match found.
526  */
527 static int ata_xfer_mode2shift(unsigned int xfer_mode)
528 {
529         const struct ata_xfer_ent *ent;
530
531         for (ent = ata_xfer_tbl; ent->shift >= 0; ent++)
532                 if (xfer_mode >= ent->base && xfer_mode < ent->base + ent->bits)
533                         return ent->shift;
534         return -1;
535 }
536
537 /**
538  *      ata_mode_string - convert xfer_mask to string
539  *      @xfer_mask: mask of bits supported; only highest bit counts.
540  *
541  *      Determine string which represents the highest speed
542  *      (highest bit in @modemask).
543  *
544  *      LOCKING:
545  *      None.
546  *
547  *      RETURNS:
548  *      Constant C string representing highest speed listed in
549  *      @mode_mask, or the constant C string "<n/a>".
550  */
551 static const char *ata_mode_string(unsigned int xfer_mask)
552 {
553         static const char * const xfer_mode_str[] = {
554                 "PIO0",
555                 "PIO1",
556                 "PIO2",
557                 "PIO3",
558                 "PIO4",
559                 "PIO5",
560                 "PIO6",
561                 "MWDMA0",
562                 "MWDMA1",
563                 "MWDMA2",
564                 "MWDMA3",
565                 "MWDMA4",
566                 "UDMA/16",
567                 "UDMA/25",
568                 "UDMA/33",
569                 "UDMA/44",
570                 "UDMA/66",
571                 "UDMA/100",
572                 "UDMA/133",
573                 "UDMA7",
574         };
575         int highbit;
576
577         highbit = fls(xfer_mask) - 1;
578         if (highbit >= 0 && highbit < ARRAY_SIZE(xfer_mode_str))
579                 return xfer_mode_str[highbit];
580         return "<n/a>";
581 }
582
583 static const char *sata_spd_string(unsigned int spd)
584 {
585         static const char * const spd_str[] = {
586                 "1.5 Gbps",
587                 "3.0 Gbps",
588         };
589
590         if (spd == 0 || (spd - 1) >= ARRAY_SIZE(spd_str))
591                 return "<unknown>";
592         return spd_str[spd - 1];
593 }
594
595 void ata_dev_disable(struct ata_device *dev)
596 {
597         if (ata_dev_enabled(dev) && ata_msg_drv(dev->ap)) {
598                 ata_dev_printk(dev, KERN_WARNING, "disabled\n");
599                 dev->class++;
600         }
601 }
602
603 /**
604  *      ata_devchk - PATA device presence detection
605  *      @ap: ATA channel to examine
606  *      @device: Device to examine (starting at zero)
607  *
608  *      This technique was originally described in
609  *      Hale Landis's ATADRVR (www.ata-atapi.com), and
610  *      later found its way into the ATA/ATAPI spec.
611  *
612  *      Write a pattern to the ATA shadow registers,
613  *      and if a device is present, it will respond by
614  *      correctly storing and echoing back the
615  *      ATA shadow register contents.
616  *
617  *      LOCKING:
618  *      caller.
619  */
620
621 static unsigned int ata_devchk(struct ata_port *ap, unsigned int device)
622 {
623         struct ata_ioports *ioaddr = &ap->ioaddr;
624         u8 nsect, lbal;
625
626         ap->ops->dev_select(ap, device);
627
628         iowrite8(0x55, ioaddr->nsect_addr);
629         iowrite8(0xaa, ioaddr->lbal_addr);
630
631         iowrite8(0xaa, ioaddr->nsect_addr);
632         iowrite8(0x55, ioaddr->lbal_addr);
633
634         iowrite8(0x55, ioaddr->nsect_addr);
635         iowrite8(0xaa, ioaddr->lbal_addr);
636
637         nsect = ioread8(ioaddr->nsect_addr);
638         lbal = ioread8(ioaddr->lbal_addr);
639
640         if ((nsect == 0x55) && (lbal == 0xaa))
641                 return 1;       /* we found a device */
642
643         return 0;               /* nothing found */
644 }
645
646 /**
647  *      ata_dev_classify - determine device type based on ATA-spec signature
648  *      @tf: ATA taskfile register set for device to be identified
649  *
650  *      Determine from taskfile register contents whether a device is
651  *      ATA or ATAPI, as per "Signature and persistence" section
652  *      of ATA/PI spec (volume 1, sect 5.14).
653  *
654  *      LOCKING:
655  *      None.
656  *
657  *      RETURNS:
658  *      Device type, %ATA_DEV_ATA, %ATA_DEV_ATAPI, or %ATA_DEV_UNKNOWN
659  *      the event of failure.
660  */
661
662 unsigned int ata_dev_classify(const struct ata_taskfile *tf)
663 {
664         /* Apple's open source Darwin code hints that some devices only
665          * put a proper signature into the LBA mid/high registers,
666          * So, we only check those.  It's sufficient for uniqueness.
667          */
668
669         if (((tf->lbam == 0) && (tf->lbah == 0)) ||
670             ((tf->lbam == 0x3c) && (tf->lbah == 0xc3))) {
671                 DPRINTK("found ATA device by sig\n");
672                 return ATA_DEV_ATA;
673         }
674
675         if (((tf->lbam == 0x14) && (tf->lbah == 0xeb)) ||
676             ((tf->lbam == 0x69) && (tf->lbah == 0x96))) {
677                 DPRINTK("found ATAPI device by sig\n");
678                 return ATA_DEV_ATAPI;
679         }
680
681         DPRINTK("unknown device\n");
682         return ATA_DEV_UNKNOWN;
683 }
684
685 /**
686  *      ata_dev_try_classify - Parse returned ATA device signature
687  *      @ap: ATA channel to examine
688  *      @device: Device to examine (starting at zero)
689  *      @r_err: Value of error register on completion
690  *
691  *      After an event -- SRST, E.D.D., or SATA COMRESET -- occurs,
692  *      an ATA/ATAPI-defined set of values is placed in the ATA
693  *      shadow registers, indicating the results of device detection
694  *      and diagnostics.
695  *
696  *      Select the ATA device, and read the values from the ATA shadow
697  *      registers.  Then parse according to the Error register value,
698  *      and the spec-defined values examined by ata_dev_classify().
699  *
700  *      LOCKING:
701  *      caller.
702  *
703  *      RETURNS:
704  *      Device type - %ATA_DEV_ATA, %ATA_DEV_ATAPI or %ATA_DEV_NONE.
705  */
706
707 static unsigned int
708 ata_dev_try_classify(struct ata_port *ap, unsigned int device, u8 *r_err)
709 {
710         struct ata_taskfile tf;
711         unsigned int class;
712         u8 err;
713
714         ap->ops->dev_select(ap, device);
715
716         memset(&tf, 0, sizeof(tf));
717
718         ap->ops->tf_read(ap, &tf);
719         err = tf.feature;
720         if (r_err)
721                 *r_err = err;
722
723         /* see if device passed diags: if master then continue and warn later */
724         if (err == 0 && device == 0)
725                 /* diagnostic fail : do nothing _YET_ */
726                 ap->device[device].horkage |= ATA_HORKAGE_DIAGNOSTIC;
727         else if (err == 1)
728                 /* do nothing */ ;
729         else if ((device == 0) && (err == 0x81))
730                 /* do nothing */ ;
731         else
732                 return ATA_DEV_NONE;
733
734         /* determine if device is ATA or ATAPI */
735         class = ata_dev_classify(&tf);
736
737         if (class == ATA_DEV_UNKNOWN)
738                 return ATA_DEV_NONE;
739         if ((class == ATA_DEV_ATA) && (ata_chk_status(ap) == 0))
740                 return ATA_DEV_NONE;
741         return class;
742 }
743
744 /**
745  *      ata_id_string - Convert IDENTIFY DEVICE page into string
746  *      @id: IDENTIFY DEVICE results we will examine
747  *      @s: string into which data is output
748  *      @ofs: offset into identify device page
749  *      @len: length of string to return. must be an even number.
750  *
751  *      The strings in the IDENTIFY DEVICE page are broken up into
752  *      16-bit chunks.  Run through the string, and output each
753  *      8-bit chunk linearly, regardless of platform.
754  *
755  *      LOCKING:
756  *      caller.
757  */
758
759 void ata_id_string(const u16 *id, unsigned char *s,
760                    unsigned int ofs, unsigned int len)
761 {
762         unsigned int c;
763
764         while (len > 0) {
765                 c = id[ofs] >> 8;
766                 *s = c;
767                 s++;
768
769                 c = id[ofs] & 0xff;
770                 *s = c;
771                 s++;
772
773                 ofs++;
774                 len -= 2;
775         }
776 }
777
778 /**
779  *      ata_id_c_string - Convert IDENTIFY DEVICE page into C string
780  *      @id: IDENTIFY DEVICE results we will examine
781  *      @s: string into which data is output
782  *      @ofs: offset into identify device page
783  *      @len: length of string to return. must be an odd number.
784  *
785  *      This function is identical to ata_id_string except that it
786  *      trims trailing spaces and terminates the resulting string with
787  *      null.  @len must be actual maximum length (even number) + 1.
788  *
789  *      LOCKING:
790  *      caller.
791  */
792 void ata_id_c_string(const u16 *id, unsigned char *s,
793                      unsigned int ofs, unsigned int len)
794 {
795         unsigned char *p;
796
797         WARN_ON(!(len & 1));
798
799         ata_id_string(id, s, ofs, len - 1);
800
801         p = s + strnlen(s, len - 1);
802         while (p > s && p[-1] == ' ')
803                 p--;
804         *p = '\0';
805 }
806
807 static u64 ata_id_n_sectors(const u16 *id)
808 {
809         if (ata_id_has_lba(id)) {
810                 if (ata_id_has_lba48(id))
811                         return ata_id_u64(id, 100);
812                 else
813                         return ata_id_u32(id, 60);
814         } else {
815                 if (ata_id_current_chs_valid(id))
816                         return ata_id_u32(id, 57);
817                 else
818                         return id[1] * id[3] * id[6];
819         }
820 }
821
822 /**
823  *      ata_noop_dev_select - Select device 0/1 on ATA bus
824  *      @ap: ATA channel to manipulate
825  *      @device: ATA device (numbered from zero) to select
826  *
827  *      This function performs no actual function.
828  *
829  *      May be used as the dev_select() entry in ata_port_operations.
830  *
831  *      LOCKING:
832  *      caller.
833  */
834 void ata_noop_dev_select (struct ata_port *ap, unsigned int device)
835 {
836 }
837
838
839 /**
840  *      ata_std_dev_select - Select device 0/1 on ATA bus
841  *      @ap: ATA channel to manipulate
842  *      @device: ATA device (numbered from zero) to select
843  *
844  *      Use the method defined in the ATA specification to
845  *      make either device 0, or device 1, active on the
846  *      ATA channel.  Works with both PIO and MMIO.
847  *
848  *      May be used as the dev_select() entry in ata_port_operations.
849  *
850  *      LOCKING:
851  *      caller.
852  */
853
854 void ata_std_dev_select (struct ata_port *ap, unsigned int device)
855 {
856         u8 tmp;
857
858         if (device == 0)
859                 tmp = ATA_DEVICE_OBS;
860         else
861                 tmp = ATA_DEVICE_OBS | ATA_DEV1;
862
863         iowrite8(tmp, ap->ioaddr.device_addr);
864         ata_pause(ap);          /* needed; also flushes, for mmio */
865 }
866
867 /**
868  *      ata_dev_select - Select device 0/1 on ATA bus
869  *      @ap: ATA channel to manipulate
870  *      @device: ATA device (numbered from zero) to select
871  *      @wait: non-zero to wait for Status register BSY bit to clear
872  *      @can_sleep: non-zero if context allows sleeping
873  *
874  *      Use the method defined in the ATA specification to
875  *      make either device 0, or device 1, active on the
876  *      ATA channel.
877  *
878  *      This is a high-level version of ata_std_dev_select(),
879  *      which additionally provides the services of inserting
880  *      the proper pauses and status polling, where needed.
881  *
882  *      LOCKING:
883  *      caller.
884  */
885
886 void ata_dev_select(struct ata_port *ap, unsigned int device,
887                            unsigned int wait, unsigned int can_sleep)
888 {
889         if (ata_msg_probe(ap))
890                 ata_port_printk(ap, KERN_INFO, "ata_dev_select: ENTER, ata%u: "
891                                 "device %u, wait %u\n", ap->id, device, wait);
892
893         if (wait)
894                 ata_wait_idle(ap);
895
896         ap->ops->dev_select(ap, device);
897
898         if (wait) {
899                 if (can_sleep && ap->device[device].class == ATA_DEV_ATAPI)
900                         msleep(150);
901                 ata_wait_idle(ap);
902         }
903 }
904
905 /**
906  *      ata_dump_id - IDENTIFY DEVICE info debugging output
907  *      @id: IDENTIFY DEVICE page to dump
908  *
909  *      Dump selected 16-bit words from the given IDENTIFY DEVICE
910  *      page.
911  *
912  *      LOCKING:
913  *      caller.
914  */
915
916 static inline void ata_dump_id(const u16 *id)
917 {
918         DPRINTK("49==0x%04x  "
919                 "53==0x%04x  "
920                 "63==0x%04x  "
921                 "64==0x%04x  "
922                 "75==0x%04x  \n",
923                 id[49],
924                 id[53],
925                 id[63],
926                 id[64],
927                 id[75]);
928         DPRINTK("80==0x%04x  "
929                 "81==0x%04x  "
930                 "82==0x%04x  "
931                 "83==0x%04x  "
932                 "84==0x%04x  \n",
933                 id[80],
934                 id[81],
935                 id[82],
936                 id[83],
937                 id[84]);
938         DPRINTK("88==0x%04x  "
939                 "93==0x%04x\n",
940                 id[88],
941                 id[93]);
942 }
943
944 /**
945  *      ata_id_xfermask - Compute xfermask from the given IDENTIFY data
946  *      @id: IDENTIFY data to compute xfer mask from
947  *
948  *      Compute the xfermask for this device. This is not as trivial
949  *      as it seems if we must consider early devices correctly.
950  *
951  *      FIXME: pre IDE drive timing (do we care ?).
952  *
953  *      LOCKING:
954  *      None.
955  *
956  *      RETURNS:
957  *      Computed xfermask
958  */
959 static unsigned int ata_id_xfermask(const u16 *id)
960 {
961         unsigned int pio_mask, mwdma_mask, udma_mask;
962
963         /* Usual case. Word 53 indicates word 64 is valid */
964         if (id[ATA_ID_FIELD_VALID] & (1 << 1)) {
965                 pio_mask = id[ATA_ID_PIO_MODES] & 0x03;
966                 pio_mask <<= 3;
967                 pio_mask |= 0x7;
968         } else {
969                 /* If word 64 isn't valid then Word 51 high byte holds
970                  * the PIO timing number for the maximum. Turn it into
971                  * a mask.
972                  */
973                 u8 mode = (id[ATA_ID_OLD_PIO_MODES] >> 8) & 0xFF;
974                 if (mode < 5)   /* Valid PIO range */
975                         pio_mask = (2 << mode) - 1;
976                 else
977                         pio_mask = 1;
978
979                 /* But wait.. there's more. Design your standards by
980                  * committee and you too can get a free iordy field to
981                  * process. However its the speeds not the modes that
982                  * are supported... Note drivers using the timing API
983                  * will get this right anyway
984                  */
985         }
986
987         mwdma_mask = id[ATA_ID_MWDMA_MODES] & 0x07;
988
989         if (ata_id_is_cfa(id)) {
990                 /*
991                  *      Process compact flash extended modes
992                  */
993                 int pio = id[163] & 0x7;
994                 int dma = (id[163] >> 3) & 7;
995
996                 if (pio)
997                         pio_mask |= (1 << 5);
998                 if (pio > 1)
999                         pio_mask |= (1 << 6);
1000                 if (dma)
1001                         mwdma_mask |= (1 << 3);
1002                 if (dma > 1)
1003                         mwdma_mask |= (1 << 4);
1004         }
1005
1006         udma_mask = 0;
1007         if (id[ATA_ID_FIELD_VALID] & (1 << 2))
1008                 udma_mask = id[ATA_ID_UDMA_MODES] & 0xff;
1009
1010         return ata_pack_xfermask(pio_mask, mwdma_mask, udma_mask);
1011 }
1012
1013 /**
1014  *      ata_port_queue_task - Queue port_task
1015  *      @ap: The ata_port to queue port_task for
1016  *      @fn: workqueue function to be scheduled
1017  *      @data: data for @fn to use
1018  *      @delay: delay time for workqueue function
1019  *
1020  *      Schedule @fn(@data) for execution after @delay jiffies using
1021  *      port_task.  There is one port_task per port and it's the
1022  *      user(low level driver)'s responsibility to make sure that only
1023  *      one task is active at any given time.
1024  *
1025  *      libata core layer takes care of synchronization between
1026  *      port_task and EH.  ata_port_queue_task() may be ignored for EH
1027  *      synchronization.
1028  *
1029  *      LOCKING:
1030  *      Inherited from caller.
1031  */
1032 void ata_port_queue_task(struct ata_port *ap, work_func_t fn, void *data,
1033                          unsigned long delay)
1034 {
1035         int rc;
1036
1037         if (ap->pflags & ATA_PFLAG_FLUSH_PORT_TASK)
1038                 return;
1039
1040         PREPARE_DELAYED_WORK(&ap->port_task, fn);
1041         ap->port_task_data = data;
1042
1043         rc = queue_delayed_work(ata_wq, &ap->port_task, delay);
1044
1045         /* rc == 0 means that another user is using port task */
1046         WARN_ON(rc == 0);
1047 }
1048
1049 /**
1050  *      ata_port_flush_task - Flush port_task
1051  *      @ap: The ata_port to flush port_task for
1052  *
1053  *      After this function completes, port_task is guranteed not to
1054  *      be running or scheduled.
1055  *
1056  *      LOCKING:
1057  *      Kernel thread context (may sleep)
1058  */
1059 void ata_port_flush_task(struct ata_port *ap)
1060 {
1061         unsigned long flags;
1062
1063         DPRINTK("ENTER\n");
1064
1065         spin_lock_irqsave(ap->lock, flags);
1066         ap->pflags |= ATA_PFLAG_FLUSH_PORT_TASK;
1067         spin_unlock_irqrestore(ap->lock, flags);
1068
1069         DPRINTK("flush #1\n");
1070         flush_workqueue(ata_wq);
1071
1072         /*
1073          * At this point, if a task is running, it's guaranteed to see
1074          * the FLUSH flag; thus, it will never queue pio tasks again.
1075          * Cancel and flush.
1076          */
1077         if (!cancel_delayed_work(&ap->port_task)) {
1078                 if (ata_msg_ctl(ap))
1079                         ata_port_printk(ap, KERN_DEBUG, "%s: flush #2\n",
1080                                         __FUNCTION__);
1081                 flush_workqueue(ata_wq);
1082         }
1083
1084         spin_lock_irqsave(ap->lock, flags);
1085         ap->pflags &= ~ATA_PFLAG_FLUSH_PORT_TASK;
1086         spin_unlock_irqrestore(ap->lock, flags);
1087
1088         if (ata_msg_ctl(ap))
1089                 ata_port_printk(ap, KERN_DEBUG, "%s: EXIT\n", __FUNCTION__);
1090 }
1091
1092 static void ata_qc_complete_internal(struct ata_queued_cmd *qc)
1093 {
1094         struct completion *waiting = qc->private_data;
1095
1096         complete(waiting);
1097 }
1098
1099 /**
1100  *      ata_exec_internal_sg - execute libata internal command
1101  *      @dev: Device to which the command is sent
1102  *      @tf: Taskfile registers for the command and the result
1103  *      @cdb: CDB for packet command
1104  *      @dma_dir: Data tranfer direction of the command
1105  *      @sg: sg list for the data buffer of the command
1106  *      @n_elem: Number of sg entries
1107  *
1108  *      Executes libata internal command with timeout.  @tf contains
1109  *      command on entry and result on return.  Timeout and error
1110  *      conditions are reported via return value.  No recovery action
1111  *      is taken after a command times out.  It's caller's duty to
1112  *      clean up after timeout.
1113  *
1114  *      LOCKING:
1115  *      None.  Should be called with kernel context, might sleep.
1116  *
1117  *      RETURNS:
1118  *      Zero on success, AC_ERR_* mask on failure
1119  */
1120 unsigned ata_exec_internal_sg(struct ata_device *dev,
1121                               struct ata_taskfile *tf, const u8 *cdb,
1122                               int dma_dir, struct scatterlist *sg,
1123                               unsigned int n_elem)
1124 {
1125         struct ata_port *ap = dev->ap;
1126         u8 command = tf->command;
1127         struct ata_queued_cmd *qc;
1128         unsigned int tag, preempted_tag;
1129         u32 preempted_sactive, preempted_qc_active;
1130         DECLARE_COMPLETION_ONSTACK(wait);
1131         unsigned long flags;
1132         unsigned int err_mask;
1133         int rc;
1134
1135         spin_lock_irqsave(ap->lock, flags);
1136
1137         /* no internal command while frozen */
1138         if (ap->pflags & ATA_PFLAG_FROZEN) {
1139                 spin_unlock_irqrestore(ap->lock, flags);
1140                 return AC_ERR_SYSTEM;
1141         }
1142
1143         /* initialize internal qc */
1144
1145         /* XXX: Tag 0 is used for drivers with legacy EH as some
1146          * drivers choke if any other tag is given.  This breaks
1147          * ata_tag_internal() test for those drivers.  Don't use new
1148          * EH stuff without converting to it.
1149          */
1150         if (ap->ops->error_handler)
1151                 tag = ATA_TAG_INTERNAL;
1152         else
1153                 tag = 0;
1154
1155         if (test_and_set_bit(tag, &ap->qc_allocated))
1156                 BUG();
1157         qc = __ata_qc_from_tag(ap, tag);
1158
1159         qc->tag = tag;
1160         qc->scsicmd = NULL;
1161         qc->ap = ap;
1162         qc->dev = dev;
1163         ata_qc_reinit(qc);
1164
1165         preempted_tag = ap->active_tag;
1166         preempted_sactive = ap->sactive;
1167         preempted_qc_active = ap->qc_active;
1168         ap->active_tag = ATA_TAG_POISON;
1169         ap->sactive = 0;
1170         ap->qc_active = 0;
1171
1172         /* prepare & issue qc */
1173         qc->tf = *tf;
1174         if (cdb)
1175                 memcpy(qc->cdb, cdb, ATAPI_CDB_LEN);
1176         qc->flags |= ATA_QCFLAG_RESULT_TF;
1177         qc->dma_dir = dma_dir;
1178         if (dma_dir != DMA_NONE) {
1179                 unsigned int i, buflen = 0;
1180
1181                 for (i = 0; i < n_elem; i++)
1182                         buflen += sg[i].length;
1183
1184                 ata_sg_init(qc, sg, n_elem);
1185                 qc->nbytes = buflen;
1186         }
1187
1188         qc->private_data = &wait;
1189         qc->complete_fn = ata_qc_complete_internal;
1190
1191         ata_qc_issue(qc);
1192
1193         spin_unlock_irqrestore(ap->lock, flags);
1194
1195         rc = wait_for_completion_timeout(&wait, ata_probe_timeout);
1196
1197         ata_port_flush_task(ap);
1198
1199         if (!rc) {
1200                 spin_lock_irqsave(ap->lock, flags);
1201
1202                 /* We're racing with irq here.  If we lose, the
1203                  * following test prevents us from completing the qc
1204                  * twice.  If we win, the port is frozen and will be
1205                  * cleaned up by ->post_internal_cmd().
1206                  */
1207                 if (qc->flags & ATA_QCFLAG_ACTIVE) {
1208                         qc->err_mask |= AC_ERR_TIMEOUT;
1209
1210                         if (ap->ops->error_handler)
1211                                 ata_port_freeze(ap);
1212                         else
1213                                 ata_qc_complete(qc);
1214
1215                         if (ata_msg_warn(ap))
1216                                 ata_dev_printk(dev, KERN_WARNING,
1217                                         "qc timeout (cmd 0x%x)\n", command);
1218                 }
1219
1220                 spin_unlock_irqrestore(ap->lock, flags);
1221         }
1222
1223         /* do post_internal_cmd */
1224         if (ap->ops->post_internal_cmd)
1225                 ap->ops->post_internal_cmd(qc);
1226
1227         if ((qc->flags & ATA_QCFLAG_FAILED) && !qc->err_mask) {
1228                 if (ata_msg_warn(ap))
1229                         ata_dev_printk(dev, KERN_WARNING,
1230                                 "zero err_mask for failed "
1231                                 "internal command, assuming AC_ERR_OTHER\n");
1232                 qc->err_mask |= AC_ERR_OTHER;
1233         }
1234
1235         /* finish up */
1236         spin_lock_irqsave(ap->lock, flags);
1237
1238         *tf = qc->result_tf;
1239         err_mask = qc->err_mask;
1240
1241         ata_qc_free(qc);
1242         ap->active_tag = preempted_tag;
1243         ap->sactive = preempted_sactive;
1244         ap->qc_active = preempted_qc_active;
1245
1246         /* XXX - Some LLDDs (sata_mv) disable port on command failure.
1247          * Until those drivers are fixed, we detect the condition
1248          * here, fail the command with AC_ERR_SYSTEM and reenable the
1249          * port.
1250          *
1251          * Note that this doesn't change any behavior as internal
1252          * command failure results in disabling the device in the
1253          * higher layer for LLDDs without new reset/EH callbacks.
1254          *
1255          * Kill the following code as soon as those drivers are fixed.
1256          */
1257         if (ap->flags & ATA_FLAG_DISABLED) {
1258                 err_mask |= AC_ERR_SYSTEM;
1259                 ata_port_probe(ap);
1260         }
1261
1262         spin_unlock_irqrestore(ap->lock, flags);
1263
1264         return err_mask;
1265 }
1266
1267 /**
1268  *      ata_exec_internal - execute libata internal command
1269  *      @dev: Device to which the command is sent
1270  *      @tf: Taskfile registers for the command and the result
1271  *      @cdb: CDB for packet command
1272  *      @dma_dir: Data tranfer direction of the command
1273  *      @buf: Data buffer of the command
1274  *      @buflen: Length of data buffer
1275  *
1276  *      Wrapper around ata_exec_internal_sg() which takes simple
1277  *      buffer instead of sg list.
1278  *
1279  *      LOCKING:
1280  *      None.  Should be called with kernel context, might sleep.
1281  *
1282  *      RETURNS:
1283  *      Zero on success, AC_ERR_* mask on failure
1284  */
1285 unsigned ata_exec_internal(struct ata_device *dev,
1286                            struct ata_taskfile *tf, const u8 *cdb,
1287                            int dma_dir, void *buf, unsigned int buflen)
1288 {
1289         struct scatterlist *psg = NULL, sg;
1290         unsigned int n_elem = 0;
1291
1292         if (dma_dir != DMA_NONE) {
1293                 WARN_ON(!buf);
1294                 sg_init_one(&sg, buf, buflen);
1295                 psg = &sg;
1296                 n_elem++;
1297         }
1298
1299         return ata_exec_internal_sg(dev, tf, cdb, dma_dir, psg, n_elem);
1300 }
1301
1302 /**
1303  *      ata_do_simple_cmd - execute simple internal command
1304  *      @dev: Device to which the command is sent
1305  *      @cmd: Opcode to execute
1306  *
1307  *      Execute a 'simple' command, that only consists of the opcode
1308  *      'cmd' itself, without filling any other registers
1309  *
1310  *      LOCKING:
1311  *      Kernel thread context (may sleep).
1312  *
1313  *      RETURNS:
1314  *      Zero on success, AC_ERR_* mask on failure
1315  */
1316 unsigned int ata_do_simple_cmd(struct ata_device *dev, u8 cmd)
1317 {
1318         struct ata_taskfile tf;
1319
1320         ata_tf_init(dev, &tf);
1321
1322         tf.command = cmd;
1323         tf.flags |= ATA_TFLAG_DEVICE;
1324         tf.protocol = ATA_PROT_NODATA;
1325
1326         return ata_exec_internal(dev, &tf, NULL, DMA_NONE, NULL, 0);
1327 }
1328
1329 /**
1330  *      ata_pio_need_iordy      -       check if iordy needed
1331  *      @adev: ATA device
1332  *
1333  *      Check if the current speed of the device requires IORDY. Used
1334  *      by various controllers for chip configuration.
1335  */
1336
1337 unsigned int ata_pio_need_iordy(const struct ata_device *adev)
1338 {
1339         int pio;
1340         int speed = adev->pio_mode - XFER_PIO_0;
1341
1342         if (speed < 2)
1343                 return 0;
1344         if (speed > 2)
1345                 return 1;
1346
1347         /* If we have no drive specific rule, then PIO 2 is non IORDY */
1348
1349         if (adev->id[ATA_ID_FIELD_VALID] & 2) { /* EIDE */
1350                 pio = adev->id[ATA_ID_EIDE_PIO];
1351                 /* Is the speed faster than the drive allows non IORDY ? */
1352                 if (pio) {
1353                         /* This is cycle times not frequency - watch the logic! */
1354                         if (pio > 240)  /* PIO2 is 240nS per cycle */
1355                                 return 1;
1356                         return 0;
1357                 }
1358         }
1359         return 0;
1360 }
1361
1362 /**
1363  *      ata_dev_read_id - Read ID data from the specified device
1364  *      @dev: target device
1365  *      @p_class: pointer to class of the target device (may be changed)
1366  *      @flags: ATA_READID_* flags
1367  *      @id: buffer to read IDENTIFY data into
1368  *
1369  *      Read ID data from the specified device.  ATA_CMD_ID_ATA is
1370  *      performed on ATA devices and ATA_CMD_ID_ATAPI on ATAPI
1371  *      devices.  This function also issues ATA_CMD_INIT_DEV_PARAMS
1372  *      for pre-ATA4 drives.
1373  *
1374  *      LOCKING:
1375  *      Kernel thread context (may sleep)
1376  *
1377  *      RETURNS:
1378  *      0 on success, -errno otherwise.
1379  */
1380 int ata_dev_read_id(struct ata_device *dev, unsigned int *p_class,
1381                     unsigned int flags, u16 *id)
1382 {
1383         struct ata_port *ap = dev->ap;
1384         unsigned int class = *p_class;
1385         struct ata_taskfile tf;
1386         unsigned int err_mask = 0;
1387         const char *reason;
1388         int rc;
1389
1390         if (ata_msg_ctl(ap))
1391                 ata_dev_printk(dev, KERN_DEBUG, "%s: ENTER, host %u, dev %u\n",
1392                                __FUNCTION__, ap->id, dev->devno);
1393
1394         ata_dev_select(ap, dev->devno, 1, 1); /* select device 0/1 */
1395
1396  retry:
1397         ata_tf_init(dev, &tf);
1398
1399         switch (class) {
1400         case ATA_DEV_ATA:
1401                 tf.command = ATA_CMD_ID_ATA;
1402                 break;
1403         case ATA_DEV_ATAPI:
1404                 tf.command = ATA_CMD_ID_ATAPI;
1405                 break;
1406         default:
1407                 rc = -ENODEV;
1408                 reason = "unsupported class";
1409                 goto err_out;
1410         }
1411
1412         tf.protocol = ATA_PROT_PIO;
1413
1414         /* Some devices choke if TF registers contain garbage.  Make
1415          * sure those are properly initialized.
1416          */
1417         tf.flags |= ATA_TFLAG_ISADDR | ATA_TFLAG_DEVICE;
1418
1419         /* Device presence detection is unreliable on some
1420          * controllers.  Always poll IDENTIFY if available.
1421          */
1422         tf.flags |= ATA_TFLAG_POLLING;
1423
1424         err_mask = ata_exec_internal(dev, &tf, NULL, DMA_FROM_DEVICE,
1425                                      id, sizeof(id[0]) * ATA_ID_WORDS);
1426         if (err_mask) {
1427                 if (err_mask & AC_ERR_NODEV_HINT) {
1428                         DPRINTK("ata%u.%d: NODEV after polling detection\n",
1429                                 ap->id, dev->devno);
1430                         return -ENOENT;
1431                 }
1432
1433                 rc = -EIO;
1434                 reason = "I/O error";
1435                 goto err_out;
1436         }
1437
1438         swap_buf_le16(id, ATA_ID_WORDS);
1439
1440         /* sanity check */
1441         rc = -EINVAL;
1442         reason = "device reports illegal type";
1443
1444         if (class == ATA_DEV_ATA) {
1445                 if (!ata_id_is_ata(id) && !ata_id_is_cfa(id))
1446                         goto err_out;
1447         } else {
1448                 if (ata_id_is_ata(id))
1449                         goto err_out;
1450         }
1451
1452         if ((flags & ATA_READID_POSTRESET) && class == ATA_DEV_ATA) {
1453                 /*
1454                  * The exact sequence expected by certain pre-ATA4 drives is:
1455                  * SRST RESET
1456                  * IDENTIFY
1457                  * INITIALIZE DEVICE PARAMETERS
1458                  * anything else..
1459                  * Some drives were very specific about that exact sequence.
1460                  */
1461                 if (ata_id_major_version(id) < 4 || !ata_id_has_lba(id)) {
1462                         err_mask = ata_dev_init_params(dev, id[3], id[6]);
1463                         if (err_mask) {
1464                                 rc = -EIO;
1465                                 reason = "INIT_DEV_PARAMS failed";
1466                                 goto err_out;
1467                         }
1468
1469                         /* current CHS translation info (id[53-58]) might be
1470                          * changed. reread the identify device info.
1471                          */
1472                         flags &= ~ATA_READID_POSTRESET;
1473                         goto retry;
1474                 }
1475         }
1476
1477         *p_class = class;
1478
1479         return 0;
1480
1481  err_out:
1482         if (ata_msg_warn(ap))
1483                 ata_dev_printk(dev, KERN_WARNING, "failed to IDENTIFY "
1484                                "(%s, err_mask=0x%x)\n", reason, err_mask);
1485         return rc;
1486 }
1487
1488 static inline u8 ata_dev_knobble(struct ata_device *dev)
1489 {
1490         return ((dev->ap->cbl == ATA_CBL_SATA) && (!ata_id_is_sata(dev->id)));
1491 }
1492
1493 static void ata_dev_config_ncq(struct ata_device *dev,
1494                                char *desc, size_t desc_sz)
1495 {
1496         struct ata_port *ap = dev->ap;
1497         int hdepth = 0, ddepth = ata_id_queue_depth(dev->id);
1498
1499         if (!ata_id_has_ncq(dev->id)) {
1500                 desc[0] = '\0';
1501                 return;
1502         }
1503         if (ata_device_blacklisted(dev) & ATA_HORKAGE_NONCQ) {
1504                 snprintf(desc, desc_sz, "NCQ (not used)");
1505                 return;
1506         }
1507         if (ap->flags & ATA_FLAG_NCQ) {
1508                 hdepth = min(ap->scsi_host->can_queue, ATA_MAX_QUEUE - 1);
1509                 dev->flags |= ATA_DFLAG_NCQ;
1510         }
1511
1512         if (hdepth >= ddepth)
1513                 snprintf(desc, desc_sz, "NCQ (depth %d)", ddepth);
1514         else
1515                 snprintf(desc, desc_sz, "NCQ (depth %d/%d)", hdepth, ddepth);
1516 }
1517
1518 static void ata_set_port_max_cmd_len(struct ata_port *ap)
1519 {
1520         int i;
1521
1522         if (ap->scsi_host) {
1523                 unsigned int len = 0;
1524
1525                 for (i = 0; i < ATA_MAX_DEVICES; i++)
1526                         len = max(len, ap->device[i].cdb_len);
1527
1528                 ap->scsi_host->max_cmd_len = len;
1529         }
1530 }
1531
1532 /**
1533  *      ata_dev_configure - Configure the specified ATA/ATAPI device
1534  *      @dev: Target device to configure
1535  *
1536  *      Configure @dev according to @dev->id.  Generic and low-level
1537  *      driver specific fixups are also applied.
1538  *
1539  *      LOCKING:
1540  *      Kernel thread context (may sleep)
1541  *
1542  *      RETURNS:
1543  *      0 on success, -errno otherwise
1544  */
1545 int ata_dev_configure(struct ata_device *dev)
1546 {
1547         struct ata_port *ap = dev->ap;
1548         int print_info = ap->eh_context.i.flags & ATA_EHI_PRINTINFO;
1549         const u16 *id = dev->id;
1550         unsigned int xfer_mask;
1551         char revbuf[7];         /* XYZ-99\0 */
1552         char fwrevbuf[ATA_ID_FW_REV_LEN+1];
1553         char modelbuf[ATA_ID_PROD_LEN+1];
1554         int rc;
1555
1556         if (!ata_dev_enabled(dev) && ata_msg_info(ap)) {
1557                 ata_dev_printk(dev, KERN_INFO,
1558                                "%s: ENTER/EXIT (host %u, dev %u) -- nodev\n",
1559                                __FUNCTION__, ap->id, dev->devno);
1560                 return 0;
1561         }
1562
1563         if (ata_msg_probe(ap))
1564                 ata_dev_printk(dev, KERN_DEBUG, "%s: ENTER, host %u, dev %u\n",
1565                                __FUNCTION__, ap->id, dev->devno);
1566
1567         /* print device capabilities */
1568         if (ata_msg_probe(ap))
1569                 ata_dev_printk(dev, KERN_DEBUG,
1570                                "%s: cfg 49:%04x 82:%04x 83:%04x 84:%04x "
1571                                "85:%04x 86:%04x 87:%04x 88:%04x\n",
1572                                __FUNCTION__,
1573                                id[49], id[82], id[83], id[84],
1574                                id[85], id[86], id[87], id[88]);
1575
1576         /* initialize to-be-configured parameters */
1577         dev->flags &= ~ATA_DFLAG_CFG_MASK;
1578         dev->max_sectors = 0;
1579         dev->cdb_len = 0;
1580         dev->n_sectors = 0;
1581         dev->cylinders = 0;
1582         dev->heads = 0;
1583         dev->sectors = 0;
1584
1585         /*
1586          * common ATA, ATAPI feature tests
1587          */
1588
1589         /* find max transfer mode; for printk only */
1590         xfer_mask = ata_id_xfermask(id);
1591
1592         if (ata_msg_probe(ap))
1593                 ata_dump_id(id);
1594
1595         /* ATA-specific feature tests */
1596         if (dev->class == ATA_DEV_ATA) {
1597                 if (ata_id_is_cfa(id)) {
1598                         if (id[162] & 1) /* CPRM may make this media unusable */
1599                                 ata_dev_printk(dev, KERN_WARNING, "ata%u: device %u  supports DRM functions and may not be fully accessable.\n",
1600                                         ap->id, dev->devno);
1601                         snprintf(revbuf, 7, "CFA");
1602                 }
1603                 else
1604                         snprintf(revbuf, 7, "ATA-%d",  ata_id_major_version(id));
1605
1606                 dev->n_sectors = ata_id_n_sectors(id);
1607
1608                 /* SCSI only uses 4-char revisions, dump full 8 chars from ATA */
1609                 ata_id_c_string(dev->id, fwrevbuf, ATA_ID_FW_REV,
1610                                 sizeof(fwrevbuf));
1611
1612                 ata_id_c_string(dev->id, modelbuf, ATA_ID_PROD,
1613                                 sizeof(modelbuf));
1614
1615                 if (dev->id[59] & 0x100)
1616                         dev->multi_count = dev->id[59] & 0xff;
1617
1618                 if (ata_id_has_lba(id)) {
1619                         const char *lba_desc;
1620                         char ncq_desc[20];
1621
1622                         lba_desc = "LBA";
1623                         dev->flags |= ATA_DFLAG_LBA;
1624                         if (ata_id_has_lba48(id)) {
1625                                 dev->flags |= ATA_DFLAG_LBA48;
1626                                 lba_desc = "LBA48";
1627
1628                                 if (dev->n_sectors >= (1UL << 28) &&
1629                                     ata_id_has_flush_ext(id))
1630                                         dev->flags |= ATA_DFLAG_FLUSH_EXT;
1631                         }
1632
1633                         /* config NCQ */
1634                         ata_dev_config_ncq(dev, ncq_desc, sizeof(ncq_desc));
1635
1636                         /* print device info to dmesg */
1637                         if (ata_msg_drv(ap) && print_info) {
1638                                 ata_dev_printk(dev, KERN_INFO,
1639                                         "%s: %s, %s, max %s\n",
1640                                         revbuf, modelbuf, fwrevbuf,
1641                                         ata_mode_string(xfer_mask));
1642                                 ata_dev_printk(dev, KERN_INFO,
1643                                         "%Lu sectors, multi %u: %s %s\n",
1644                                         (unsigned long long)dev->n_sectors,
1645                                         dev->multi_count, lba_desc, ncq_desc);
1646                         }
1647                 } else {
1648                         /* CHS */
1649
1650                         /* Default translation */
1651                         dev->cylinders  = id[1];
1652                         dev->heads      = id[3];
1653                         dev->sectors    = id[6];
1654
1655                         if (ata_id_current_chs_valid(id)) {
1656                                 /* Current CHS translation is valid. */
1657                                 dev->cylinders = id[54];
1658                                 dev->heads     = id[55];
1659                                 dev->sectors   = id[56];
1660                         }
1661
1662                         /* print device info to dmesg */
1663                         if (ata_msg_drv(ap) && print_info) {
1664                                 ata_dev_printk(dev, KERN_INFO,
1665                                         "%s: %s, %s, max %s\n",
1666                                         revbuf, modelbuf, fwrevbuf,
1667                                         ata_mode_string(xfer_mask));
1668                                 ata_dev_printk(dev, KERN_INFO, 
1669                                         "%Lu sectors, multi %u, CHS %u/%u/%u\n",
1670                                         (unsigned long long)dev->n_sectors,
1671                                         dev->multi_count, dev->cylinders,
1672                                         dev->heads, dev->sectors);
1673                         }
1674                 }
1675
1676                 dev->cdb_len = 16;
1677         }
1678
1679         /* ATAPI-specific feature tests */
1680         else if (dev->class == ATA_DEV_ATAPI) {
1681                 char *cdb_intr_string = "";
1682
1683                 rc = atapi_cdb_len(id);
1684                 if ((rc < 12) || (rc > ATAPI_CDB_LEN)) {
1685                         if (ata_msg_warn(ap))
1686                                 ata_dev_printk(dev, KERN_WARNING,
1687                                                "unsupported CDB len\n");
1688                         rc = -EINVAL;
1689                         goto err_out_nosup;
1690                 }
1691                 dev->cdb_len = (unsigned int) rc;
1692
1693                 if (ata_id_cdb_intr(dev->id)) {
1694                         dev->flags |= ATA_DFLAG_CDB_INTR;
1695                         cdb_intr_string = ", CDB intr";
1696                 }
1697
1698                 /* print device info to dmesg */
1699                 if (ata_msg_drv(ap) && print_info)
1700                         ata_dev_printk(dev, KERN_INFO, "ATAPI, max %s%s\n",
1701                                        ata_mode_string(xfer_mask),
1702                                        cdb_intr_string);
1703         }
1704
1705         /* determine max_sectors */
1706         dev->max_sectors = ATA_MAX_SECTORS;
1707         if (dev->flags & ATA_DFLAG_LBA48)
1708                 dev->max_sectors = ATA_MAX_SECTORS_LBA48;
1709
1710         if (dev->horkage & ATA_HORKAGE_DIAGNOSTIC) {
1711                 /* Let the user know. We don't want to disallow opens for
1712                    rescue purposes, or in case the vendor is just a blithering
1713                    idiot */
1714                 if (print_info) {
1715                         ata_dev_printk(dev, KERN_WARNING,
1716 "Drive reports diagnostics failure. This may indicate a drive\n");
1717                         ata_dev_printk(dev, KERN_WARNING,
1718 "fault or invalid emulation. Contact drive vendor for information.\n");
1719                 }
1720         }
1721
1722         ata_set_port_max_cmd_len(ap);
1723
1724         /* limit bridge transfers to udma5, 200 sectors */
1725         if (ata_dev_knobble(dev)) {
1726                 if (ata_msg_drv(ap) && print_info)
1727                         ata_dev_printk(dev, KERN_INFO,
1728                                        "applying bridge limits\n");
1729                 dev->udma_mask &= ATA_UDMA5;
1730                 dev->max_sectors = ATA_MAX_SECTORS;
1731         }
1732
1733         if (ap->ops->dev_config)
1734                 ap->ops->dev_config(ap, dev);
1735
1736         if (ata_msg_probe(ap))
1737                 ata_dev_printk(dev, KERN_DEBUG, "%s: EXIT, drv_stat = 0x%x\n",
1738                         __FUNCTION__, ata_chk_status(ap));
1739         return 0;
1740
1741 err_out_nosup:
1742         if (ata_msg_probe(ap))
1743                 ata_dev_printk(dev, KERN_DEBUG,
1744                                "%s: EXIT, err\n", __FUNCTION__);
1745         return rc;
1746 }
1747
1748 /**
1749  *      ata_bus_probe - Reset and probe ATA bus
1750  *      @ap: Bus to probe
1751  *
1752  *      Master ATA bus probing function.  Initiates a hardware-dependent
1753  *      bus reset, then attempts to identify any devices found on
1754  *      the bus.
1755  *
1756  *      LOCKING:
1757  *      PCI/etc. bus probe sem.
1758  *
1759  *      RETURNS:
1760  *      Zero on success, negative errno otherwise.
1761  */
1762
1763 int ata_bus_probe(struct ata_port *ap)
1764 {
1765         unsigned int classes[ATA_MAX_DEVICES];
1766         int tries[ATA_MAX_DEVICES];
1767         int i, rc, down_xfermask;
1768         struct ata_device *dev;
1769
1770         ata_port_probe(ap);
1771
1772         for (i = 0; i < ATA_MAX_DEVICES; i++)
1773                 tries[i] = ATA_PROBE_MAX_TRIES;
1774
1775  retry:
1776         down_xfermask = 0;
1777
1778         /* reset and determine device classes */
1779         ap->ops->phy_reset(ap);
1780
1781         for (i = 0; i < ATA_MAX_DEVICES; i++) {
1782                 dev = &ap->device[i];
1783
1784                 if (!(ap->flags & ATA_FLAG_DISABLED) &&
1785                     dev->class != ATA_DEV_UNKNOWN)
1786                         classes[dev->devno] = dev->class;
1787                 else
1788                         classes[dev->devno] = ATA_DEV_NONE;
1789
1790                 dev->class = ATA_DEV_UNKNOWN;
1791         }
1792
1793         ata_port_probe(ap);
1794
1795         /* after the reset the device state is PIO 0 and the controller
1796            state is undefined. Record the mode */
1797
1798         for (i = 0; i < ATA_MAX_DEVICES; i++)
1799                 ap->device[i].pio_mode = XFER_PIO_0;
1800
1801         /* read IDENTIFY page and configure devices */
1802         for (i = 0; i < ATA_MAX_DEVICES; i++) {
1803                 dev = &ap->device[i];
1804
1805                 if (tries[i])
1806                         dev->class = classes[i];
1807
1808                 if (!ata_dev_enabled(dev))
1809                         continue;
1810
1811                 rc = ata_dev_read_id(dev, &dev->class, ATA_READID_POSTRESET,
1812                                      dev->id);
1813                 if (rc)
1814                         goto fail;
1815
1816                 ap->eh_context.i.flags |= ATA_EHI_PRINTINFO;
1817                 rc = ata_dev_configure(dev);
1818                 ap->eh_context.i.flags &= ~ATA_EHI_PRINTINFO;
1819                 if (rc)
1820                         goto fail;
1821         }
1822
1823         /* configure transfer mode */
1824         rc = ata_set_mode(ap, &dev);
1825         if (rc) {
1826                 down_xfermask = 1;
1827                 goto fail;
1828         }
1829
1830         for (i = 0; i < ATA_MAX_DEVICES; i++)
1831                 if (ata_dev_enabled(&ap->device[i]))
1832                         return 0;
1833
1834         /* no device present, disable port */
1835         ata_port_disable(ap);
1836         ap->ops->port_disable(ap);
1837         return -ENODEV;
1838
1839  fail:
1840         switch (rc) {
1841         case -EINVAL:
1842         case -ENODEV:
1843                 tries[dev->devno] = 0;
1844                 break;
1845         case -EIO:
1846                 sata_down_spd_limit(ap);
1847                 /* fall through */
1848         default:
1849                 tries[dev->devno]--;
1850                 if (down_xfermask &&
1851                     ata_down_xfermask_limit(dev, tries[dev->devno] == 1))
1852                         tries[dev->devno] = 0;
1853         }
1854
1855         if (!tries[dev->devno]) {
1856                 ata_down_xfermask_limit(dev, 1);
1857                 ata_dev_disable(dev);
1858         }
1859
1860         goto retry;
1861 }
1862
1863 /**
1864  *      ata_port_probe - Mark port as enabled
1865  *      @ap: Port for which we indicate enablement
1866  *
1867  *      Modify @ap data structure such that the system
1868  *      thinks that the entire port is enabled.
1869  *
1870  *      LOCKING: host lock, or some other form of
1871  *      serialization.
1872  */
1873
1874 void ata_port_probe(struct ata_port *ap)
1875 {
1876         ap->flags &= ~ATA_FLAG_DISABLED;
1877 }
1878
1879 /**
1880  *      sata_print_link_status - Print SATA link status
1881  *      @ap: SATA port to printk link status about
1882  *
1883  *      This function prints link speed and status of a SATA link.
1884  *
1885  *      LOCKING:
1886  *      None.
1887  */
1888 static void sata_print_link_status(struct ata_port *ap)
1889 {
1890         u32 sstatus, scontrol, tmp;
1891
1892         if (sata_scr_read(ap, SCR_STATUS, &sstatus))
1893                 return;
1894         sata_scr_read(ap, SCR_CONTROL, &scontrol);
1895
1896         if (ata_port_online(ap)) {
1897                 tmp = (sstatus >> 4) & 0xf;
1898                 ata_port_printk(ap, KERN_INFO,
1899                                 "SATA link up %s (SStatus %X SControl %X)\n",
1900                                 sata_spd_string(tmp), sstatus, scontrol);
1901         } else {
1902                 ata_port_printk(ap, KERN_INFO,
1903                                 "SATA link down (SStatus %X SControl %X)\n",
1904                                 sstatus, scontrol);
1905         }
1906 }
1907
1908 /**
1909  *      __sata_phy_reset - Wake/reset a low-level SATA PHY
1910  *      @ap: SATA port associated with target SATA PHY.
1911  *
1912  *      This function issues commands to standard SATA Sxxx
1913  *      PHY registers, to wake up the phy (and device), and
1914  *      clear any reset condition.
1915  *
1916  *      LOCKING:
1917  *      PCI/etc. bus probe sem.
1918  *
1919  */
1920 void __sata_phy_reset(struct ata_port *ap)
1921 {
1922         u32 sstatus;
1923         unsigned long timeout = jiffies + (HZ * 5);
1924
1925         if (ap->flags & ATA_FLAG_SATA_RESET) {
1926                 /* issue phy wake/reset */
1927                 sata_scr_write_flush(ap, SCR_CONTROL, 0x301);
1928                 /* Couldn't find anything in SATA I/II specs, but
1929                  * AHCI-1.1 10.4.2 says at least 1 ms. */
1930                 mdelay(1);
1931         }
1932         /* phy wake/clear reset */
1933         sata_scr_write_flush(ap, SCR_CONTROL, 0x300);
1934
1935         /* wait for phy to become ready, if necessary */
1936         do {
1937                 msleep(200);
1938                 sata_scr_read(ap, SCR_STATUS, &sstatus);
1939                 if ((sstatus & 0xf) != 1)
1940                         break;
1941         } while (time_before(jiffies, timeout));
1942
1943         /* print link status */
1944         sata_print_link_status(ap);
1945
1946         /* TODO: phy layer with polling, timeouts, etc. */
1947         if (!ata_port_offline(ap))
1948                 ata_port_probe(ap);
1949         else
1950                 ata_port_disable(ap);
1951
1952         if (ap->flags & ATA_FLAG_DISABLED)
1953                 return;
1954
1955         if (ata_busy_sleep(ap, ATA_TMOUT_BOOT_QUICK, ATA_TMOUT_BOOT)) {
1956                 ata_port_disable(ap);
1957                 return;
1958         }
1959
1960         ap->cbl = ATA_CBL_SATA;
1961 }
1962
1963 /**
1964  *      sata_phy_reset - Reset SATA bus.
1965  *      @ap: SATA port associated with target SATA PHY.
1966  *
1967  *      This function resets the SATA bus, and then probes
1968  *      the bus for devices.
1969  *
1970  *      LOCKING:
1971  *      PCI/etc. bus probe sem.
1972  *
1973  */
1974 void sata_phy_reset(struct ata_port *ap)
1975 {
1976         __sata_phy_reset(ap);
1977         if (ap->flags & ATA_FLAG_DISABLED)
1978                 return;
1979         ata_bus_reset(ap);
1980 }
1981
1982 /**
1983  *      ata_dev_pair            -       return other device on cable
1984  *      @adev: device
1985  *
1986  *      Obtain the other device on the same cable, or if none is
1987  *      present NULL is returned
1988  */
1989
1990 struct ata_device *ata_dev_pair(struct ata_device *adev)
1991 {
1992         struct ata_port *ap = adev->ap;
1993         struct ata_device *pair = &ap->device[1 - adev->devno];
1994         if (!ata_dev_enabled(pair))
1995                 return NULL;
1996         return pair;
1997 }
1998
1999 /**
2000  *      ata_port_disable - Disable port.
2001  *      @ap: Port to be disabled.
2002  *
2003  *      Modify @ap data structure such that the system
2004  *      thinks that the entire port is disabled, and should
2005  *      never attempt to probe or communicate with devices
2006  *      on this port.
2007  *
2008  *      LOCKING: host lock, or some other form of
2009  *      serialization.
2010  */
2011
2012 void ata_port_disable(struct ata_port *ap)
2013 {
2014         ap->device[0].class = ATA_DEV_NONE;
2015         ap->device[1].class = ATA_DEV_NONE;
2016         ap->flags |= ATA_FLAG_DISABLED;
2017 }
2018
2019 /**
2020  *      sata_down_spd_limit - adjust SATA spd limit downward
2021  *      @ap: Port to adjust SATA spd limit for
2022  *
2023  *      Adjust SATA spd limit of @ap downward.  Note that this
2024  *      function only adjusts the limit.  The change must be applied
2025  *      using sata_set_spd().
2026  *
2027  *      LOCKING:
2028  *      Inherited from caller.
2029  *
2030  *      RETURNS:
2031  *      0 on success, negative errno on failure
2032  */
2033 int sata_down_spd_limit(struct ata_port *ap)
2034 {
2035         u32 sstatus, spd, mask;
2036         int rc, highbit;
2037
2038         rc = sata_scr_read(ap, SCR_STATUS, &sstatus);
2039         if (rc)
2040                 return rc;
2041
2042         mask = ap->sata_spd_limit;
2043         if (mask <= 1)
2044                 return -EINVAL;
2045         highbit = fls(mask) - 1;
2046         mask &= ~(1 << highbit);
2047
2048         spd = (sstatus >> 4) & 0xf;
2049         if (spd <= 1)
2050                 return -EINVAL;
2051         spd--;
2052         mask &= (1 << spd) - 1;
2053         if (!mask)
2054                 return -EINVAL;
2055
2056         ap->sata_spd_limit = mask;
2057
2058         ata_port_printk(ap, KERN_WARNING, "limiting SATA link speed to %s\n",
2059                         sata_spd_string(fls(mask)));
2060
2061         return 0;
2062 }
2063
2064 static int __sata_set_spd_needed(struct ata_port *ap, u32 *scontrol)
2065 {
2066         u32 spd, limit;
2067
2068         if (ap->sata_spd_limit == UINT_MAX)
2069                 limit = 0;
2070         else
2071                 limit = fls(ap->sata_spd_limit);
2072
2073         spd = (*scontrol >> 4) & 0xf;
2074         *scontrol = (*scontrol & ~0xf0) | ((limit & 0xf) << 4);
2075
2076         return spd != limit;
2077 }
2078
2079 /**
2080  *      sata_set_spd_needed - is SATA spd configuration needed
2081  *      @ap: Port in question
2082  *
2083  *      Test whether the spd limit in SControl matches
2084  *      @ap->sata_spd_limit.  This function is used to determine
2085  *      whether hardreset is necessary to apply SATA spd
2086  *      configuration.
2087  *
2088  *      LOCKING:
2089  *      Inherited from caller.
2090  *
2091  *      RETURNS:
2092  *      1 if SATA spd configuration is needed, 0 otherwise.
2093  */
2094 int sata_set_spd_needed(struct ata_port *ap)
2095 {
2096         u32 scontrol;
2097
2098         if (sata_scr_read(ap, SCR_CONTROL, &scontrol))
2099                 return 0;
2100
2101         return __sata_set_spd_needed(ap, &scontrol);
2102 }
2103
2104 /**
2105  *      sata_set_spd - set SATA spd according to spd limit
2106  *      @ap: Port to set SATA spd for
2107  *
2108  *      Set SATA spd of @ap according to sata_spd_limit.
2109  *
2110  *      LOCKING:
2111  *      Inherited from caller.
2112  *
2113  *      RETURNS:
2114  *      0 if spd doesn't need to be changed, 1 if spd has been
2115  *      changed.  Negative errno if SCR registers are inaccessible.
2116  */
2117 int sata_set_spd(struct ata_port *ap)
2118 {
2119         u32 scontrol;
2120         int rc;
2121
2122         if ((rc = sata_scr_read(ap, SCR_CONTROL, &scontrol)))
2123                 return rc;
2124
2125         if (!__sata_set_spd_needed(ap, &scontrol))
2126                 return 0;
2127
2128         if ((rc = sata_scr_write(ap, SCR_CONTROL, scontrol)))
2129                 return rc;
2130
2131         return 1;
2132 }
2133
2134 /*
2135  * This mode timing computation functionality is ported over from
2136  * drivers/ide/ide-timing.h and was originally written by Vojtech Pavlik
2137  */
2138 /*
2139  * PIO 0-4, MWDMA 0-2 and UDMA 0-6 timings (in nanoseconds).
2140  * These were taken from ATA/ATAPI-6 standard, rev 0a, except
2141  * for UDMA6, which is currently supported only by Maxtor drives.
2142  *
2143  * For PIO 5/6 MWDMA 3/4 see the CFA specification 3.0.
2144  */
2145
2146 static const struct ata_timing ata_timing[] = {
2147
2148         { XFER_UDMA_6,     0,   0,   0,   0,   0,   0,   0,  15 },
2149         { XFER_UDMA_5,     0,   0,   0,   0,   0,   0,   0,  20 },
2150         { XFER_UDMA_4,     0,   0,   0,   0,   0,   0,   0,  30 },
2151         { XFER_UDMA_3,     0,   0,   0,   0,   0,   0,   0,  45 },
2152
2153         { XFER_MW_DMA_4,  25,   0,   0,   0,  55,  20,  80,   0 },
2154         { XFER_MW_DMA_3,  25,   0,   0,   0,  65,  25, 100,   0 },
2155         { XFER_UDMA_2,     0,   0,   0,   0,   0,   0,   0,  60 },
2156         { XFER_UDMA_1,     0,   0,   0,   0,   0,   0,   0,  80 },
2157         { XFER_UDMA_0,     0,   0,   0,   0,   0,   0,   0, 120 },
2158
2159 /*      { XFER_UDMA_SLOW,  0,   0,   0,   0,   0,   0,   0, 150 }, */
2160
2161         { XFER_MW_DMA_2,  25,   0,   0,   0,  70,  25, 120,   0 },
2162         { XFER_MW_DMA_1,  45,   0,   0,   0,  80,  50, 150,   0 },
2163         { XFER_MW_DMA_0,  60,   0,   0,   0, 215, 215, 480,   0 },
2164
2165         { XFER_SW_DMA_2,  60,   0,   0,   0, 120, 120, 240,   0 },
2166         { XFER_SW_DMA_1,  90,   0,   0,   0, 240, 240, 480,   0 },
2167         { XFER_SW_DMA_0, 120,   0,   0,   0, 480, 480, 960,   0 },
2168
2169         { XFER_PIO_6,     10,  55,  20,  80,  55,  20,  80,   0 },
2170         { XFER_PIO_5,     15,  65,  25, 100,  65,  25, 100,   0 },
2171         { XFER_PIO_4,     25,  70,  25, 120,  70,  25, 120,   0 },
2172         { XFER_PIO_3,     30,  80,  70, 180,  80,  70, 180,   0 },
2173
2174         { XFER_PIO_2,     30, 290,  40, 330, 100,  90, 240,   0 },
2175         { XFER_PIO_1,     50, 290,  93, 383, 125, 100, 383,   0 },
2176         { XFER_PIO_0,     70, 290, 240, 600, 165, 150, 600,   0 },
2177
2178 /*      { XFER_PIO_SLOW, 120, 290, 240, 960, 290, 240, 960,   0 }, */
2179
2180         { 0xFF }
2181 };
2182
2183 #define ENOUGH(v,unit)          (((v)-1)/(unit)+1)
2184 #define EZ(v,unit)              ((v)?ENOUGH(v,unit):0)
2185
2186 static void ata_timing_quantize(const struct ata_timing *t, struct ata_timing *q, int T, int UT)
2187 {
2188         q->setup   = EZ(t->setup   * 1000,  T);
2189         q->act8b   = EZ(t->act8b   * 1000,  T);
2190         q->rec8b   = EZ(t->rec8b   * 1000,  T);
2191         q->cyc8b   = EZ(t->cyc8b   * 1000,  T);
2192         q->active  = EZ(t->active  * 1000,  T);
2193         q->recover = EZ(t->recover * 1000,  T);
2194         q->cycle   = EZ(t->cycle   * 1000,  T);
2195         q->udma    = EZ(t->udma    * 1000, UT);
2196 }
2197
2198 void ata_timing_merge(const struct ata_timing *a, const struct ata_timing *b,
2199                       struct ata_timing *m, unsigned int what)
2200 {
2201         if (what & ATA_TIMING_SETUP  ) m->setup   = max(a->setup,   b->setup);
2202         if (what & ATA_TIMING_ACT8B  ) m->act8b   = max(a->act8b,   b->act8b);
2203         if (what & ATA_TIMING_REC8B  ) m->rec8b   = max(a->rec8b,   b->rec8b);
2204         if (what & ATA_TIMING_CYC8B  ) m->cyc8b   = max(a->cyc8b,   b->cyc8b);
2205         if (what & ATA_TIMING_ACTIVE ) m->active  = max(a->active,  b->active);
2206         if (what & ATA_TIMING_RECOVER) m->recover = max(a->recover, b->recover);
2207         if (what & ATA_TIMING_CYCLE  ) m->cycle   = max(a->cycle,   b->cycle);
2208         if (what & ATA_TIMING_UDMA   ) m->udma    = max(a->udma,    b->udma);
2209 }
2210
2211 static const struct ata_timing* ata_timing_find_mode(unsigned short speed)
2212 {
2213         const struct ata_timing *t;
2214
2215         for (t = ata_timing; t->mode != speed; t++)
2216                 if (t->mode == 0xFF)
2217                         return NULL;
2218         return t;
2219 }
2220
2221 int ata_timing_compute(struct ata_device *adev, unsigned short speed,
2222                        struct ata_timing *t, int T, int UT)
2223 {
2224         const struct ata_timing *s;
2225         struct ata_timing p;
2226
2227         /*
2228          * Find the mode.
2229          */
2230
2231         if (!(s = ata_timing_find_mode(speed)))
2232                 return -EINVAL;
2233
2234         memcpy(t, s, sizeof(*s));
2235
2236         /*
2237          * If the drive is an EIDE drive, it can tell us it needs extended
2238          * PIO/MW_DMA cycle timing.
2239          */
2240
2241         if (adev->id[ATA_ID_FIELD_VALID] & 2) { /* EIDE drive */
2242                 memset(&p, 0, sizeof(p));
2243                 if(speed >= XFER_PIO_0 && speed <= XFER_SW_DMA_0) {
2244                         if (speed <= XFER_PIO_2) p.cycle = p.cyc8b = adev->id[ATA_ID_EIDE_PIO];
2245                                             else p.cycle = p.cyc8b = adev->id[ATA_ID_EIDE_PIO_IORDY];
2246                 } else if(speed >= XFER_MW_DMA_0 && speed <= XFER_MW_DMA_2) {
2247                         p.cycle = adev->id[ATA_ID_EIDE_DMA_MIN];
2248                 }
2249                 ata_timing_merge(&p, t, t, ATA_TIMING_CYCLE | ATA_TIMING_CYC8B);
2250         }
2251
2252         /*
2253          * Convert the timing to bus clock counts.
2254          */
2255
2256         ata_timing_quantize(t, t, T, UT);
2257
2258         /*
2259          * Even in DMA/UDMA modes we still use PIO access for IDENTIFY,
2260          * S.M.A.R.T * and some other commands. We have to ensure that the
2261          * DMA cycle timing is slower/equal than the fastest PIO timing.
2262          */
2263
2264         if (speed > XFER_PIO_6) {
2265                 ata_timing_compute(adev, adev->pio_mode, &p, T, UT);
2266                 ata_timing_merge(&p, t, t, ATA_TIMING_ALL);
2267         }
2268
2269         /*
2270          * Lengthen active & recovery time so that cycle time is correct.
2271          */
2272
2273         if (t->act8b + t->rec8b < t->cyc8b) {
2274                 t->act8b += (t->cyc8b - (t->act8b + t->rec8b)) / 2;
2275                 t->rec8b = t->cyc8b - t->act8b;
2276         }
2277
2278         if (t->active + t->recover < t->cycle) {
2279                 t->active += (t->cycle - (t->active + t->recover)) / 2;
2280                 t->recover = t->cycle - t->active;
2281         }
2282
2283         return 0;
2284 }
2285
2286 /**
2287  *      ata_down_xfermask_limit - adjust dev xfer masks downward
2288  *      @dev: Device to adjust xfer masks
2289  *      @force_pio0: Force PIO0
2290  *
2291  *      Adjust xfer masks of @dev downward.  Note that this function
2292  *      does not apply the change.  Invoking ata_set_mode() afterwards
2293  *      will apply the limit.
2294  *
2295  *      LOCKING:
2296  *      Inherited from caller.
2297  *
2298  *      RETURNS:
2299  *      0 on success, negative errno on failure
2300  */
2301 int ata_down_xfermask_limit(struct ata_device *dev, int force_pio0)
2302 {
2303         unsigned long xfer_mask;
2304         int highbit;
2305
2306         xfer_mask = ata_pack_xfermask(dev->pio_mask, dev->mwdma_mask,
2307                                       dev->udma_mask);
2308
2309         if (!xfer_mask)
2310                 goto fail;
2311         /* don't gear down to MWDMA from UDMA, go directly to PIO */
2312         if (xfer_mask & ATA_MASK_UDMA)
2313                 xfer_mask &= ~ATA_MASK_MWDMA;
2314
2315         highbit = fls(xfer_mask) - 1;
2316         xfer_mask &= ~(1 << highbit);
2317         if (force_pio0)
2318                 xfer_mask &= 1 << ATA_SHIFT_PIO;
2319         if (!xfer_mask)
2320                 goto fail;
2321
2322         ata_unpack_xfermask(xfer_mask, &dev->pio_mask, &dev->mwdma_mask,
2323                             &dev->udma_mask);
2324
2325         ata_dev_printk(dev, KERN_WARNING, "limiting speed to %s\n",
2326                        ata_mode_string(xfer_mask));
2327
2328         return 0;
2329
2330  fail:
2331         return -EINVAL;
2332 }
2333
2334 static int ata_dev_set_mode(struct ata_device *dev)
2335 {
2336         struct ata_eh_context *ehc = &dev->ap->eh_context;
2337         unsigned int err_mask;
2338         int rc;
2339
2340         dev->flags &= ~ATA_DFLAG_PIO;
2341         if (dev->xfer_shift == ATA_SHIFT_PIO)
2342                 dev->flags |= ATA_DFLAG_PIO;
2343
2344         err_mask = ata_dev_set_xfermode(dev);
2345         /* Old CFA may refuse this command, which is just fine */
2346         if (dev->xfer_shift == ATA_SHIFT_PIO && ata_id_is_cfa(dev->id))
2347                 err_mask &= ~AC_ERR_DEV;
2348
2349         if (err_mask) {
2350                 ata_dev_printk(dev, KERN_ERR, "failed to set xfermode "
2351                                "(err_mask=0x%x)\n", err_mask);
2352                 return -EIO;
2353         }
2354
2355         ehc->i.flags |= ATA_EHI_POST_SETMODE;
2356         rc = ata_dev_revalidate(dev, 0);
2357         ehc->i.flags &= ~ATA_EHI_POST_SETMODE;
2358         if (rc)
2359                 return rc;
2360
2361         DPRINTK("xfer_shift=%u, xfer_mode=0x%x\n",
2362                 dev->xfer_shift, (int)dev->xfer_mode);
2363
2364         ata_dev_printk(dev, KERN_INFO, "configured for %s\n",
2365                        ata_mode_string(ata_xfer_mode2mask(dev->xfer_mode)));
2366         return 0;
2367 }
2368
2369 /**
2370  *      ata_set_mode - Program timings and issue SET FEATURES - XFER
2371  *      @ap: port on which timings will be programmed
2372  *      @r_failed_dev: out paramter for failed device
2373  *
2374  *      Set ATA device disk transfer mode (PIO3, UDMA6, etc.).  If
2375  *      ata_set_mode() fails, pointer to the failing device is
2376  *      returned in @r_failed_dev.
2377  *
2378  *      LOCKING:
2379  *      PCI/etc. bus probe sem.
2380  *
2381  *      RETURNS:
2382  *      0 on success, negative errno otherwise
2383  */
2384 int ata_set_mode(struct ata_port *ap, struct ata_device **r_failed_dev)
2385 {
2386         struct ata_device *dev;
2387         int i, rc = 0, used_dma = 0, found = 0;
2388
2389         /* has private set_mode? */
2390         if (ap->ops->set_mode)
2391                 return ap->ops->set_mode(ap, r_failed_dev);
2392
2393         /* step 1: calculate xfer_mask */
2394         for (i = 0; i < ATA_MAX_DEVICES; i++) {
2395                 unsigned int pio_mask, dma_mask;
2396
2397                 dev = &ap->device[i];
2398
2399                 if (!ata_dev_enabled(dev))
2400                         continue;
2401
2402                 ata_dev_xfermask(dev);
2403
2404                 pio_mask = ata_pack_xfermask(dev->pio_mask, 0, 0);
2405                 dma_mask = ata_pack_xfermask(0, dev->mwdma_mask, dev->udma_mask);
2406                 dev->pio_mode = ata_xfer_mask2mode(pio_mask);
2407                 dev->dma_mode = ata_xfer_mask2mode(dma_mask);
2408
2409                 found = 1;
2410                 if (dev->dma_mode)
2411                         used_dma = 1;
2412         }
2413         if (!found)
2414                 goto out;
2415
2416         /* step 2: always set host PIO timings */
2417         for (i = 0; i < ATA_MAX_DEVICES; i++) {
2418                 dev = &ap->device[i];
2419                 if (!ata_dev_enabled(dev))
2420                         continue;
2421
2422                 if (!dev->pio_mode) {
2423                         ata_dev_printk(dev, KERN_WARNING, "no PIO support\n");
2424                         rc = -EINVAL;
2425                         goto out;
2426                 }
2427
2428                 dev->xfer_mode = dev->pio_mode;
2429                 dev->xfer_shift = ATA_SHIFT_PIO;
2430                 if (ap->ops->set_piomode)
2431                         ap->ops->set_piomode(ap, dev);
2432         }
2433
2434         /* step 3: set host DMA timings */
2435         for (i = 0; i < ATA_MAX_DEVICES; i++) {
2436                 dev = &ap->device[i];
2437
2438                 if (!ata_dev_enabled(dev) || !dev->dma_mode)
2439                         continue;
2440
2441                 dev->xfer_mode = dev->dma_mode;
2442                 dev->xfer_shift = ata_xfer_mode2shift(dev->dma_mode);
2443                 if (ap->ops->set_dmamode)
2444                         ap->ops->set_dmamode(ap, dev);
2445         }
2446
2447         /* step 4: update devices' xfer mode */
2448         for (i = 0; i < ATA_MAX_DEVICES; i++) {
2449                 dev = &ap->device[i];
2450
2451                 /* don't update suspended devices' xfer mode */
2452                 if (!ata_dev_ready(dev))
2453                         continue;
2454
2455                 rc = ata_dev_set_mode(dev);
2456                 if (rc)
2457                         goto out;
2458         }
2459
2460         /* Record simplex status. If we selected DMA then the other
2461          * host channels are not permitted to do so.
2462          */
2463         if (used_dma && (ap->host->flags & ATA_HOST_SIMPLEX))
2464                 ap->host->simplex_claimed = 1;
2465
2466         /* step5: chip specific finalisation */
2467         if (ap->ops->post_set_mode)
2468                 ap->ops->post_set_mode(ap);
2469
2470  out:
2471         if (rc)
2472                 *r_failed_dev = dev;
2473         return rc;
2474 }
2475
2476 /**
2477  *      ata_tf_to_host - issue ATA taskfile to host controller
2478  *      @ap: port to which command is being issued
2479  *      @tf: ATA taskfile register set
2480  *
2481  *      Issues ATA taskfile register set to ATA host controller,
2482  *      with proper synchronization with interrupt handler and
2483  *      other threads.
2484  *
2485  *      LOCKING:
2486  *      spin_lock_irqsave(host lock)
2487  */
2488
2489 static inline void ata_tf_to_host(struct ata_port *ap,
2490                                   const struct ata_taskfile *tf)
2491 {
2492         ap->ops->tf_load(ap, tf);
2493         ap->ops->exec_command(ap, tf);
2494 }
2495
2496 /**
2497  *      ata_busy_sleep - sleep until BSY clears, or timeout
2498  *      @ap: port containing status register to be polled
2499  *      @tmout_pat: impatience timeout
2500  *      @tmout: overall timeout
2501  *
2502  *      Sleep until ATA Status register bit BSY clears,
2503  *      or a timeout occurs.
2504  *
2505  *      LOCKING:
2506  *      Kernel thread context (may sleep).
2507  *
2508  *      RETURNS:
2509  *      0 on success, -errno otherwise.
2510  */
2511 int ata_busy_sleep(struct ata_port *ap,
2512                    unsigned long tmout_pat, unsigned long tmout)
2513 {
2514         unsigned long timer_start, timeout;
2515         u8 status;
2516
2517         status = ata_busy_wait(ap, ATA_BUSY, 300);
2518         timer_start = jiffies;
2519         timeout = timer_start + tmout_pat;
2520         while (status != 0xff && (status & ATA_BUSY) &&
2521                time_before(jiffies, timeout)) {
2522                 msleep(50);
2523                 status = ata_busy_wait(ap, ATA_BUSY, 3);
2524         }
2525
2526         if (status != 0xff && (status & ATA_BUSY))
2527                 ata_port_printk(ap, KERN_WARNING,
2528                                 "port is slow to respond, please be patient "
2529                                 "(Status 0x%x)\n", status);
2530
2531         timeout = timer_start + tmout;
2532         while (status != 0xff && (status & ATA_BUSY) &&
2533                time_before(jiffies, timeout)) {
2534                 msleep(50);
2535                 status = ata_chk_status(ap);
2536         }
2537
2538         if (status == 0xff)
2539                 return -ENODEV;
2540
2541         if (status & ATA_BUSY) {
2542                 ata_port_printk(ap, KERN_ERR, "port failed to respond "
2543                                 "(%lu secs, Status 0x%x)\n",
2544                                 tmout / HZ, status);
2545                 return -EBUSY;
2546         }
2547
2548         return 0;
2549 }
2550
2551 static void ata_bus_post_reset(struct ata_port *ap, unsigned int devmask)
2552 {
2553         struct ata_ioports *ioaddr = &ap->ioaddr;
2554         unsigned int dev0 = devmask & (1 << 0);
2555         unsigned int dev1 = devmask & (1 << 1);
2556         unsigned long timeout;
2557
2558         /* if device 0 was found in ata_devchk, wait for its
2559          * BSY bit to clear
2560          */
2561         if (dev0)
2562                 ata_busy_sleep(ap, ATA_TMOUT_BOOT_QUICK, ATA_TMOUT_BOOT);
2563
2564         /* if device 1 was found in ata_devchk, wait for
2565          * register access, then wait for BSY to clear
2566          */
2567         timeout = jiffies + ATA_TMOUT_BOOT;
2568         while (dev1) {
2569                 u8 nsect, lbal;
2570
2571                 ap->ops->dev_select(ap, 1);
2572                 nsect = ioread8(ioaddr->nsect_addr);
2573                 lbal = ioread8(ioaddr->lbal_addr);
2574                 if ((nsect == 1) && (lbal == 1))
2575                         break;
2576                 if (time_after(jiffies, timeout)) {
2577                         dev1 = 0;
2578                         break;
2579                 }
2580                 msleep(50);     /* give drive a breather */
2581         }
2582         if (dev1)
2583                 ata_busy_sleep(ap, ATA_TMOUT_BOOT_QUICK, ATA_TMOUT_BOOT);
2584
2585         /* is all this really necessary? */
2586         ap->ops->dev_select(ap, 0);
2587         if (dev1)
2588                 ap->ops->dev_select(ap, 1);
2589         if (dev0)
2590                 ap->ops->dev_select(ap, 0);
2591 }
2592
2593 static unsigned int ata_bus_softreset(struct ata_port *ap,
2594                                       unsigned int devmask)
2595 {
2596         struct ata_ioports *ioaddr = &ap->ioaddr;
2597
2598         DPRINTK("ata%u: bus reset via SRST\n", ap->id);
2599
2600         /* software reset.  causes dev0 to be selected */
2601         iowrite8(ap->ctl, ioaddr->ctl_addr);
2602         udelay(20);     /* FIXME: flush */
2603         iowrite8(ap->ctl | ATA_SRST, ioaddr->ctl_addr);
2604         udelay(20);     /* FIXME: flush */
2605         iowrite8(ap->ctl, ioaddr->ctl_addr);
2606
2607         /* spec mandates ">= 2ms" before checking status.
2608          * We wait 150ms, because that was the magic delay used for
2609          * ATAPI devices in Hale Landis's ATADRVR, for the period of time
2610          * between when the ATA command register is written, and then
2611          * status is checked.  Because waiting for "a while" before
2612          * checking status is fine, post SRST, we perform this magic
2613          * delay here as well.
2614          *
2615          * Old drivers/ide uses the 2mS rule and then waits for ready
2616          */
2617         msleep(150);
2618
2619         /* Before we perform post reset processing we want to see if
2620          * the bus shows 0xFF because the odd clown forgets the D7
2621          * pulldown resistor.
2622          */
2623         if (ata_check_status(ap) == 0xFF)
2624                 return 0;
2625
2626         ata_bus_post_reset(ap, devmask);
2627
2628         return 0;
2629 }
2630
2631 /**
2632  *      ata_bus_reset - reset host port and associated ATA channel
2633  *      @ap: port to reset
2634  *
2635  *      This is typically the first time we actually start issuing
2636  *      commands to the ATA channel.  We wait for BSY to clear, then
2637  *      issue EXECUTE DEVICE DIAGNOSTIC command, polling for its
2638  *      result.  Determine what devices, if any, are on the channel
2639  *      by looking at the device 0/1 error register.  Look at the signature
2640  *      stored in each device's taskfile registers, to determine if
2641  *      the device is ATA or ATAPI.
2642  *
2643  *      LOCKING:
2644  *      PCI/etc. bus probe sem.
2645  *      Obtains host lock.
2646  *
2647  *      SIDE EFFECTS:
2648  *      Sets ATA_FLAG_DISABLED if bus reset fails.
2649  */
2650
2651 void ata_bus_reset(struct ata_port *ap)
2652 {
2653         struct ata_ioports *ioaddr = &ap->ioaddr;
2654         unsigned int slave_possible = ap->flags & ATA_FLAG_SLAVE_POSS;
2655         u8 err;
2656         unsigned int dev0, dev1 = 0, devmask = 0;
2657
2658         DPRINTK("ENTER, host %u, port %u\n", ap->id, ap->port_no);
2659
2660         /* determine if device 0/1 are present */
2661         if (ap->flags & ATA_FLAG_SATA_RESET)
2662                 dev0 = 1;
2663         else {
2664                 dev0 = ata_devchk(ap, 0);
2665                 if (slave_possible)
2666                         dev1 = ata_devchk(ap, 1);
2667         }
2668
2669         if (dev0)
2670                 devmask |= (1 << 0);
2671         if (dev1)
2672                 devmask |= (1 << 1);
2673
2674         /* select device 0 again */
2675         ap->ops->dev_select(ap, 0);
2676
2677         /* issue bus reset */
2678         if (ap->flags & ATA_FLAG_SRST)
2679                 if (ata_bus_softreset(ap, devmask))
2680                         goto err_out;
2681
2682         /*
2683          * determine by signature whether we have ATA or ATAPI devices
2684          */
2685         ap->device[0].class = ata_dev_try_classify(ap, 0, &err);
2686         if ((slave_possible) && (err != 0x81))
2687                 ap->device[1].class = ata_dev_try_classify(ap, 1, &err);
2688
2689         /* re-enable interrupts */
2690         ap->ops->irq_on(ap);
2691
2692         /* is double-select really necessary? */
2693         if (ap->device[1].class != ATA_DEV_NONE)
2694                 ap->ops->dev_select(ap, 1);
2695         if (ap->device[0].class != ATA_DEV_NONE)
2696                 ap->ops->dev_select(ap, 0);
2697
2698         /* if no devices were detected, disable this port */
2699         if ((ap->device[0].class == ATA_DEV_NONE) &&
2700             (ap->device[1].class == ATA_DEV_NONE))
2701                 goto err_out;
2702
2703         if (ap->flags & (ATA_FLAG_SATA_RESET | ATA_FLAG_SRST)) {
2704                 /* set up device control for ATA_FLAG_SATA_RESET */
2705                 iowrite8(ap->ctl, ioaddr->ctl_addr);
2706         }
2707
2708         DPRINTK("EXIT\n");
2709         return;
2710
2711 err_out:
2712         ata_port_printk(ap, KERN_ERR, "disabling port\n");
2713         ap->ops->port_disable(ap);
2714
2715         DPRINTK("EXIT\n");
2716 }
2717
2718 /**
2719  *      sata_phy_debounce - debounce SATA phy status
2720  *      @ap: ATA port to debounce SATA phy status for
2721  *      @params: timing parameters { interval, duratinon, timeout } in msec
2722  *
2723  *      Make sure SStatus of @ap reaches stable state, determined by
2724  *      holding the same value where DET is not 1 for @duration polled
2725  *      every @interval, before @timeout.  Timeout constraints the
2726  *      beginning of the stable state.  Because, after hot unplugging,
2727  *      DET gets stuck at 1 on some controllers, this functions waits
2728  *      until timeout then returns 0 if DET is stable at 1.
2729  *
2730  *      LOCKING:
2731  *      Kernel thread context (may sleep)
2732  *
2733  *      RETURNS:
2734  *      0 on success, -errno on failure.
2735  */
2736 int sata_phy_debounce(struct ata_port *ap, const unsigned long *params)
2737 {
2738         unsigned long interval_msec = params[0];
2739         unsigned long duration = params[1] * HZ / 1000;
2740         unsigned long timeout = jiffies + params[2] * HZ / 1000;
2741         unsigned long last_jiffies;
2742         u32 last, cur;
2743         int rc;
2744
2745         if ((rc = sata_scr_read(ap, SCR_STATUS, &cur)))
2746                 return rc;
2747         cur &= 0xf;
2748
2749         last = cur;
2750         last_jiffies = jiffies;
2751
2752         while (1) {
2753                 msleep(interval_msec);
2754                 if ((rc = sata_scr_read(ap, SCR_STATUS, &cur)))
2755                         return rc;
2756                 cur &= 0xf;
2757
2758                 /* DET stable? */
2759                 if (cur == last) {
2760                         if (cur == 1 && time_before(jiffies, timeout))
2761                                 continue;
2762                         if (time_after(jiffies, last_jiffies + duration))
2763                                 return 0;
2764                         continue;
2765                 }
2766
2767                 /* unstable, start over */
2768                 last = cur;
2769                 last_jiffies = jiffies;
2770
2771                 /* check timeout */
2772                 if (time_after(jiffies, timeout))
2773                         return -EBUSY;
2774         }
2775 }
2776
2777 /**
2778  *      sata_phy_resume - resume SATA phy
2779  *      @ap: ATA port to resume SATA phy for
2780  *      @params: timing parameters { interval, duratinon, timeout } in msec
2781  *
2782  *      Resume SATA phy of @ap and debounce it.
2783  *
2784  *      LOCKING:
2785  *      Kernel thread context (may sleep)
2786  *
2787  *      RETURNS:
2788  *      0 on success, -errno on failure.
2789  */
2790 int sata_phy_resume(struct ata_port *ap, const unsigned long *params)
2791 {
2792         u32 scontrol;
2793         int rc;
2794
2795         if ((rc = sata_scr_read(ap, SCR_CONTROL, &scontrol)))
2796                 return rc;
2797
2798         scontrol = (scontrol & 0x0f0) | 0x300;
2799
2800         if ((rc = sata_scr_write(ap, SCR_CONTROL, scontrol)))
2801                 return rc;
2802
2803         /* Some PHYs react badly if SStatus is pounded immediately
2804          * after resuming.  Delay 200ms before debouncing.
2805          */
2806         msleep(200);
2807
2808         return sata_phy_debounce(ap, params);
2809 }
2810
2811 static void ata_wait_spinup(struct ata_port *ap)
2812 {
2813         struct ata_eh_context *ehc = &ap->eh_context;
2814         unsigned long end, secs;
2815         int rc;
2816
2817         /* first, debounce phy if SATA */
2818         if (ap->cbl == ATA_CBL_SATA) {
2819                 rc = sata_phy_debounce(ap, sata_deb_timing_hotplug);
2820
2821                 /* if debounced successfully and offline, no need to wait */
2822                 if ((rc == 0 || rc == -EOPNOTSUPP) && ata_port_offline(ap))
2823                         return;
2824         }
2825
2826         /* okay, let's give the drive time to spin up */
2827         end = ehc->i.hotplug_timestamp + ATA_SPINUP_WAIT * HZ / 1000;
2828         secs = ((end - jiffies) + HZ - 1) / HZ;
2829
2830         if (time_after(jiffies, end))
2831                 return;
2832
2833         if (secs > 5)
2834                 ata_port_printk(ap, KERN_INFO, "waiting for device to spin up "
2835                                 "(%lu secs)\n", secs);
2836
2837         schedule_timeout_uninterruptible(end - jiffies);
2838 }
2839
2840 /**
2841  *      ata_std_prereset - prepare for reset
2842  *      @ap: ATA port to be reset
2843  *
2844  *      @ap is about to be reset.  Initialize it.
2845  *
2846  *      LOCKING:
2847  *      Kernel thread context (may sleep)
2848  *
2849  *      RETURNS:
2850  *      0 on success, -errno otherwise.
2851  */
2852 int ata_std_prereset(struct ata_port *ap)
2853 {
2854         struct ata_eh_context *ehc = &ap->eh_context;
2855         const unsigned long *timing = sata_ehc_deb_timing(ehc);
2856         int rc;
2857
2858         /* handle link resume & hotplug spinup */
2859         if ((ehc->i.flags & ATA_EHI_RESUME_LINK) &&
2860             (ap->flags & ATA_FLAG_HRST_TO_RESUME))
2861                 ehc->i.action |= ATA_EH_HARDRESET;
2862
2863         if ((ehc->i.flags & ATA_EHI_HOTPLUGGED) &&
2864             (ap->flags & ATA_FLAG_SKIP_D2H_BSY))
2865                 ata_wait_spinup(ap);
2866
2867         /* if we're about to do hardreset, nothing more to do */
2868         if (ehc->i.action & ATA_EH_HARDRESET)
2869                 return 0;
2870
2871         /* if SATA, resume phy */
2872         if (ap->cbl == ATA_CBL_SATA) {
2873                 rc = sata_phy_resume(ap, timing);
2874                 if (rc && rc != -EOPNOTSUPP) {
2875                         /* phy resume failed */
2876                         ata_port_printk(ap, KERN_WARNING, "failed to resume "
2877                                         "link for reset (errno=%d)\n", rc);
2878                         return rc;
2879                 }
2880         }
2881
2882         /* Wait for !BSY if the controller can wait for the first D2H
2883          * Reg FIS and we don't know that no device is attached.
2884          */
2885         if (!(ap->flags & ATA_FLAG_SKIP_D2H_BSY) && !ata_port_offline(ap))
2886                 ata_busy_sleep(ap, ATA_TMOUT_BOOT_QUICK, ATA_TMOUT_BOOT);
2887
2888         return 0;
2889 }
2890
2891 /**
2892  *      ata_std_softreset - reset host port via ATA SRST
2893  *      @ap: port to reset
2894  *      @classes: resulting classes of attached devices
2895  *
2896  *      Reset host port using ATA SRST.
2897  *
2898  *      LOCKING:
2899  *      Kernel thread context (may sleep)
2900  *
2901  *      RETURNS:
2902  *      0 on success, -errno otherwise.
2903  */
2904 int ata_std_softreset(struct ata_port *ap, unsigned int *classes)
2905 {
2906         unsigned int slave_possible = ap->flags & ATA_FLAG_SLAVE_POSS;
2907         unsigned int devmask = 0, err_mask;
2908         u8 err;
2909
2910         DPRINTK("ENTER\n");
2911
2912         if (ata_port_offline(ap)) {
2913                 classes[0] = ATA_DEV_NONE;
2914                 goto out;
2915         }
2916
2917         /* determine if device 0/1 are present */
2918         if (ata_devchk(ap, 0))
2919                 devmask |= (1 << 0);
2920         if (slave_possible && ata_devchk(ap, 1))
2921                 devmask |= (1 << 1);
2922
2923         /* select device 0 again */
2924         ap->ops->dev_select(ap, 0);
2925
2926         /* issue bus reset */
2927         DPRINTK("about to softreset, devmask=%x\n", devmask);
2928         err_mask = ata_bus_softreset(ap, devmask);
2929         if (err_mask) {
2930                 ata_port_printk(ap, KERN_ERR, "SRST failed (err_mask=0x%x)\n",
2931                                 err_mask);
2932                 return -EIO;
2933         }
2934
2935         /* determine by signature whether we have ATA or ATAPI devices */
2936         classes[0] = ata_dev_try_classify(ap, 0, &err);
2937         if (slave_possible && err != 0x81)
2938                 classes[1] = ata_dev_try_classify(ap, 1, &err);
2939
2940  out:
2941         DPRINTK("EXIT, classes[0]=%u [1]=%u\n", classes[0], classes[1]);
2942         return 0;
2943 }
2944
2945 /**
2946  *      sata_port_hardreset - reset port via SATA phy reset
2947  *      @ap: port to reset
2948  *      @timing: timing parameters { interval, duratinon, timeout } in msec
2949  *
2950  *      SATA phy-reset host port using DET bits of SControl register.
2951  *
2952  *      LOCKING:
2953  *      Kernel thread context (may sleep)
2954  *
2955  *      RETURNS:
2956  *      0 on success, -errno otherwise.
2957  */
2958 int sata_port_hardreset(struct ata_port *ap, const unsigned long *timing)
2959 {
2960         u32 scontrol;
2961         int rc;
2962
2963         DPRINTK("ENTER\n");
2964
2965         if (sata_set_spd_needed(ap)) {
2966                 /* SATA spec says nothing about how to reconfigure
2967                  * spd.  To be on the safe side, turn off phy during
2968                  * reconfiguration.  This works for at least ICH7 AHCI
2969                  * and Sil3124.
2970                  */
2971                 if ((rc = sata_scr_read(ap, SCR_CONTROL, &scontrol)))
2972                         goto out;
2973
2974                 scontrol = (scontrol & 0x0f0) | 0x304;
2975
2976                 if ((rc = sata_scr_write(ap, SCR_CONTROL, scontrol)))
2977                         goto out;
2978
2979                 sata_set_spd(ap);
2980         }
2981
2982         /* issue phy wake/reset */
2983         if ((rc = sata_scr_read(ap, SCR_CONTROL, &scontrol)))
2984                 goto out;
2985
2986         scontrol = (scontrol & 0x0f0) | 0x301;
2987
2988         if ((rc = sata_scr_write_flush(ap, SCR_CONTROL, scontrol)))
2989                 goto out;
2990
2991         /* Couldn't find anything in SATA I/II specs, but AHCI-1.1
2992          * 10.4.2 says at least 1 ms.
2993          */
2994         msleep(1);
2995
2996         /* bring phy back */
2997         rc = sata_phy_resume(ap, timing);
2998  out:
2999         DPRINTK("EXIT, rc=%d\n", rc);
3000         return rc;
3001 }
3002
3003 /**
3004  *      sata_std_hardreset - reset host port via SATA phy reset
3005  *      @ap: port to reset
3006  *      @class: resulting class of attached device
3007  *
3008  *      SATA phy-reset host port using DET bits of SControl register,
3009  *      wait for !BSY and classify the attached device.
3010  *
3011  *      LOCKING:
3012  *      Kernel thread context (may sleep)
3013  *
3014  *      RETURNS:
3015  *      0 on success, -errno otherwise.
3016  */
3017 int sata_std_hardreset(struct ata_port *ap, unsigned int *class)
3018 {
3019         const unsigned long *timing = sata_ehc_deb_timing(&ap->eh_context);
3020         int rc;
3021
3022         DPRINTK("ENTER\n");
3023
3024         /* do hardreset */
3025         rc = sata_port_hardreset(ap, timing);
3026         if (rc) {
3027                 ata_port_printk(ap, KERN_ERR,
3028                                 "COMRESET failed (errno=%d)\n", rc);
3029                 return rc;
3030         }
3031
3032         /* TODO: phy layer with polling, timeouts, etc. */
3033         if (ata_port_offline(ap)) {
3034                 *class = ATA_DEV_NONE;
3035                 DPRINTK("EXIT, link offline\n");
3036                 return 0;
3037         }
3038
3039         /* wait a while before checking status, see SRST for more info */
3040         msleep(150);
3041
3042         if (ata_busy_sleep(ap, ATA_TMOUT_BOOT_QUICK, ATA_TMOUT_BOOT)) {
3043                 ata_port_printk(ap, KERN_ERR,
3044                                 "COMRESET failed (device not ready)\n");
3045                 return -EIO;
3046         }
3047
3048         ap->ops->dev_select(ap, 0);     /* probably unnecessary */
3049
3050         *class = ata_dev_try_classify(ap, 0, NULL);
3051
3052         DPRINTK("EXIT, class=%u\n", *class);
3053         return 0;
3054 }
3055
3056 /**
3057  *      ata_std_postreset - standard postreset callback
3058  *      @ap: the target ata_port
3059  *      @classes: classes of attached devices
3060  *
3061  *      This function is invoked after a successful reset.  Note that
3062  *      the device might have been reset more than once using
3063  *      different reset methods before postreset is invoked.
3064  *
3065  *      LOCKING:
3066  *      Kernel thread context (may sleep)
3067  */
3068 void ata_std_postreset(struct ata_port *ap, unsigned int *classes)
3069 {
3070         u32 serror;
3071
3072         DPRINTK("ENTER\n");
3073
3074         /* print link status */
3075         sata_print_link_status(ap);
3076
3077         /* clear SError */
3078         if (sata_scr_read(ap, SCR_ERROR, &serror) == 0)
3079                 sata_scr_write(ap, SCR_ERROR, serror);
3080
3081         /* re-enable interrupts */
3082         if (!ap->ops->error_handler)
3083                 ap->ops->irq_on(ap);
3084
3085         /* is double-select really necessary? */
3086         if (classes[0] != ATA_DEV_NONE)
3087                 ap->ops->dev_select(ap, 1);
3088         if (classes[1] != ATA_DEV_NONE)
3089                 ap->ops->dev_select(ap, 0);
3090
3091         /* bail out if no device is present */
3092         if (classes[0] == ATA_DEV_NONE && classes[1] == ATA_DEV_NONE) {
3093                 DPRINTK("EXIT, no device\n");
3094                 return;
3095         }
3096
3097         /* set up device control */
3098         if (ap->ioaddr.ctl_addr)
3099                 iowrite8(ap->ctl, ap->ioaddr.ctl_addr);
3100
3101         DPRINTK("EXIT\n");
3102 }
3103
3104 /**
3105  *      ata_dev_same_device - Determine whether new ID matches configured device
3106  *      @dev: device to compare against
3107  *      @new_class: class of the new device
3108  *      @new_id: IDENTIFY page of the new device
3109  *
3110  *      Compare @new_class and @new_id against @dev and determine
3111  *      whether @dev is the device indicated by @new_class and
3112  *      @new_id.
3113  *
3114  *      LOCKING:
3115  *      None.
3116  *
3117  *      RETURNS:
3118  *      1 if @dev matches @new_class and @new_id, 0 otherwise.
3119  */
3120 static int ata_dev_same_device(struct ata_device *dev, unsigned int new_class,
3121                                const u16 *new_id)
3122 {
3123         const u16 *old_id = dev->id;
3124         unsigned char model[2][ATA_ID_PROD_LEN + 1];
3125         unsigned char serial[2][ATA_ID_SERNO_LEN + 1];
3126         u64 new_n_sectors;
3127
3128         if (dev->class != new_class) {
3129                 ata_dev_printk(dev, KERN_INFO, "class mismatch %d != %d\n",
3130                                dev->class, new_class);
3131                 return 0;
3132         }
3133
3134         ata_id_c_string(old_id, model[0], ATA_ID_PROD, sizeof(model[0]));
3135         ata_id_c_string(new_id, model[1], ATA_ID_PROD, sizeof(model[1]));
3136         ata_id_c_string(old_id, serial[0], ATA_ID_SERNO, sizeof(serial[0]));
3137         ata_id_c_string(new_id, serial[1], ATA_ID_SERNO, sizeof(serial[1]));
3138         new_n_sectors = ata_id_n_sectors(new_id);
3139
3140         if (strcmp(model[0], model[1])) {
3141                 ata_dev_printk(dev, KERN_INFO, "model number mismatch "
3142                                "'%s' != '%s'\n", model[0], model[1]);
3143                 return 0;
3144         }
3145
3146         if (strcmp(serial[0], serial[1])) {
3147                 ata_dev_printk(dev, KERN_INFO, "serial number mismatch "
3148                                "'%s' != '%s'\n", serial[0], serial[1]);
3149                 return 0;
3150         }
3151
3152         if (dev->class == ATA_DEV_ATA && dev->n_sectors != new_n_sectors) {
3153                 ata_dev_printk(dev, KERN_INFO, "n_sectors mismatch "
3154                                "%llu != %llu\n",
3155                                (unsigned long long)dev->n_sectors,
3156                                (unsigned long long)new_n_sectors);
3157                 return 0;
3158         }
3159
3160         return 1;
3161 }
3162
3163 /**
3164  *      ata_dev_revalidate - Revalidate ATA device
3165  *      @dev: device to revalidate
3166  *      @readid_flags: read ID flags
3167  *
3168  *      Re-read IDENTIFY page and make sure @dev is still attached to
3169  *      the port.
3170  *
3171  *      LOCKING:
3172  *      Kernel thread context (may sleep)
3173  *
3174  *      RETURNS:
3175  *      0 on success, negative errno otherwise
3176  */
3177 int ata_dev_revalidate(struct ata_device *dev, unsigned int readid_flags)
3178 {
3179         unsigned int class = dev->class;
3180         u16 *id = (void *)dev->ap->sector_buf;
3181         int rc;
3182
3183         if (!ata_dev_enabled(dev)) {
3184                 rc = -ENODEV;
3185                 goto fail;
3186         }
3187
3188         /* read ID data */
3189         rc = ata_dev_read_id(dev, &class, readid_flags, id);
3190         if (rc)
3191                 goto fail;
3192
3193         /* is the device still there? */
3194         if (!ata_dev_same_device(dev, class, id)) {
3195                 rc = -ENODEV;
3196                 goto fail;
3197         }
3198
3199         memcpy(dev->id, id, sizeof(id[0]) * ATA_ID_WORDS);
3200
3201         /* configure device according to the new ID */
3202         rc = ata_dev_configure(dev);
3203         if (rc == 0)
3204                 return 0;
3205
3206  fail:
3207         ata_dev_printk(dev, KERN_ERR, "revalidation failed (errno=%d)\n", rc);
3208         return rc;
3209 }
3210
3211 struct ata_blacklist_entry {
3212         const char *model_num;
3213         const char *model_rev;
3214         unsigned long horkage;
3215 };
3216
3217 static const struct ata_blacklist_entry ata_device_blacklist [] = {
3218         /* Devices with DMA related problems under Linux */
3219         { "WDC AC11000H",       NULL,           ATA_HORKAGE_NODMA },
3220         { "WDC AC22100H",       NULL,           ATA_HORKAGE_NODMA },
3221         { "WDC AC32500H",       NULL,           ATA_HORKAGE_NODMA },
3222         { "WDC AC33100H",       NULL,           ATA_HORKAGE_NODMA },
3223         { "WDC AC31600H",       NULL,           ATA_HORKAGE_NODMA },
3224         { "WDC AC32100H",       "24.09P07",     ATA_HORKAGE_NODMA },
3225         { "WDC AC23200L",       "21.10N21",     ATA_HORKAGE_NODMA },
3226         { "Compaq CRD-8241B",   NULL,           ATA_HORKAGE_NODMA },
3227         { "CRD-8400B",          NULL,           ATA_HORKAGE_NODMA },
3228         { "CRD-8480B",          NULL,           ATA_HORKAGE_NODMA },
3229         { "CRD-8482B",          NULL,           ATA_HORKAGE_NODMA },
3230         { "CRD-84",             NULL,           ATA_HORKAGE_NODMA },
3231         { "SanDisk SDP3B",      NULL,           ATA_HORKAGE_NODMA },
3232         { "SanDisk SDP3B-64",   NULL,           ATA_HORKAGE_NODMA },
3233         { "SANYO CD-ROM CRD",   NULL,           ATA_HORKAGE_NODMA },
3234         { "HITACHI CDR-8",      NULL,           ATA_HORKAGE_NODMA },
3235         { "HITACHI CDR-8335",   NULL,           ATA_HORKAGE_NODMA },
3236         { "HITACHI CDR-8435",   NULL,           ATA_HORKAGE_NODMA },
3237         { "Toshiba CD-ROM XM-6202B", NULL,      ATA_HORKAGE_NODMA },
3238         { "TOSHIBA CD-ROM XM-1702BC", NULL,     ATA_HORKAGE_NODMA },
3239         { "CD-532E-A",          NULL,           ATA_HORKAGE_NODMA },
3240         { "E-IDE CD-ROM CR-840",NULL,           ATA_HORKAGE_NODMA },
3241         { "CD-ROM Drive/F5A",   NULL,           ATA_HORKAGE_NODMA },
3242         { "WPI CDD-820",        NULL,           ATA_HORKAGE_NODMA },
3243         { "SAMSUNG CD-ROM SC-148C", NULL,       ATA_HORKAGE_NODMA },
3244         { "SAMSUNG CD-ROM SC",  NULL,           ATA_HORKAGE_NODMA },
3245         { "SanDisk SDP3B-64",   NULL,           ATA_HORKAGE_NODMA },
3246         { "ATAPI CD-ROM DRIVE 40X MAXIMUM",NULL,ATA_HORKAGE_NODMA },
3247         { "_NEC DV5800A",       NULL,           ATA_HORKAGE_NODMA },
3248         { "SAMSUNG CD-ROM SN-124","N001",       ATA_HORKAGE_NODMA },
3249
3250         /* Devices we expect to fail diagnostics */
3251
3252         /* Devices where NCQ should be avoided */
3253         /* NCQ is slow */
3254         { "WDC WD740ADFD-00",   NULL,           ATA_HORKAGE_NONCQ },
3255
3256         /* Devices with NCQ limits */
3257
3258         /* End Marker */
3259         { }
3260 };
3261
3262 unsigned long ata_device_blacklisted(const struct ata_device *dev)
3263 {
3264         unsigned char model_num[ATA_ID_PROD_LEN + 1];
3265         unsigned char model_rev[ATA_ID_FW_REV_LEN + 1];
3266         const struct ata_blacklist_entry *ad = ata_device_blacklist;
3267
3268         ata_id_c_string(dev->id, model_num, ATA_ID_PROD, sizeof(model_num));
3269         ata_id_c_string(dev->id, model_rev, ATA_ID_FW_REV, sizeof(model_rev));
3270
3271         while (ad->model_num) {
3272                 if (!strcmp(ad->model_num, model_num)) {
3273                         if (ad->model_rev == NULL)
3274                                 return ad->horkage;
3275                         if (!strcmp(ad->model_rev, model_rev))
3276                                 return ad->horkage;
3277                 }
3278                 ad++;
3279         }
3280         return 0;
3281 }
3282
3283 static int ata_dma_blacklisted(const struct ata_device *dev)
3284 {
3285         /* We don't support polling DMA.
3286          * DMA blacklist those ATAPI devices with CDB-intr (and use PIO)
3287          * if the LLDD handles only interrupts in the HSM_ST_LAST state.
3288          */
3289         if ((dev->ap->flags & ATA_FLAG_PIO_POLLING) &&
3290             (dev->flags & ATA_DFLAG_CDB_INTR))
3291                 return 1;
3292         return (ata_device_blacklisted(dev) & ATA_HORKAGE_NODMA) ? 1 : 0;
3293 }
3294
3295 /**
3296  *      ata_dev_xfermask - Compute supported xfermask of the given device
3297  *      @dev: Device to compute xfermask for
3298  *
3299  *      Compute supported xfermask of @dev and store it in
3300  *      dev->*_mask.  This function is responsible for applying all
3301  *      known limits including host controller limits, device
3302  *      blacklist, etc...
3303  *
3304  *      LOCKING:
3305  *      None.
3306  */
3307 static void ata_dev_xfermask(struct ata_device *dev)
3308 {
3309         struct ata_port *ap = dev->ap;
3310         struct ata_host *host = ap->host;
3311         unsigned long xfer_mask;
3312
3313         /* controller modes available */
3314         xfer_mask = ata_pack_xfermask(ap->pio_mask,
3315                                       ap->mwdma_mask, ap->udma_mask);
3316
3317         /* Apply cable rule here.  Don't apply it early because when
3318          * we handle hot plug the cable type can itself change.
3319          */
3320         if (ap->cbl == ATA_CBL_PATA40)
3321                 xfer_mask &= ~(0xF8 << ATA_SHIFT_UDMA);
3322         /* Apply drive side cable rule. Unknown or 80 pin cables reported
3323          * host side are checked drive side as well. Cases where we know a
3324          * 40wire cable is used safely for 80 are not checked here.
3325          */
3326         if (ata_drive_40wire(dev->id) && (ap->cbl == ATA_CBL_PATA_UNK || ap->cbl == ATA_CBL_PATA80))
3327                 xfer_mask &= ~(0xF8 << ATA_SHIFT_UDMA);
3328
3329
3330         xfer_mask &= ata_pack_xfermask(dev->pio_mask,
3331                                        dev->mwdma_mask, dev->udma_mask);
3332         xfer_mask &= ata_id_xfermask(dev->id);
3333
3334         /*
3335          *      CFA Advanced TrueIDE timings are not allowed on a shared
3336          *      cable
3337          */
3338         if (ata_dev_pair(dev)) {
3339                 /* No PIO5 or PIO6 */
3340                 xfer_mask &= ~(0x03 << (ATA_SHIFT_PIO + 5));
3341                 /* No MWDMA3 or MWDMA 4 */
3342                 xfer_mask &= ~(0x03 << (ATA_SHIFT_MWDMA + 3));
3343         }
3344
3345         if (ata_dma_blacklisted(dev)) {
3346                 xfer_mask &= ~(ATA_MASK_MWDMA | ATA_MASK_UDMA);
3347                 ata_dev_printk(dev, KERN_WARNING,
3348                                "device is on DMA blacklist, disabling DMA\n");
3349         }
3350
3351         if ((host->flags & ATA_HOST_SIMPLEX) && host->simplex_claimed) {
3352                 xfer_mask &= ~(ATA_MASK_MWDMA | ATA_MASK_UDMA);
3353                 ata_dev_printk(dev, KERN_WARNING, "simplex DMA is claimed by "
3354                                "other device, disabling DMA\n");
3355         }
3356
3357         if (ap->ops->mode_filter)
3358                 xfer_mask = ap->ops->mode_filter(ap, dev, xfer_mask);
3359
3360         ata_unpack_xfermask(xfer_mask, &dev->pio_mask,
3361                             &dev->mwdma_mask, &dev->udma_mask);
3362 }
3363
3364 /**
3365  *      ata_dev_set_xfermode - Issue SET FEATURES - XFER MODE command
3366  *      @dev: Device to which command will be sent
3367  *
3368  *      Issue SET FEATURES - XFER MODE command to device @dev
3369  *      on port @ap.
3370  *
3371  *      LOCKING:
3372  *      PCI/etc. bus probe sem.
3373  *
3374  *      RETURNS:
3375  *      0 on success, AC_ERR_* mask otherwise.
3376  */
3377
3378 static unsigned int ata_dev_set_xfermode(struct ata_device *dev)
3379 {
3380         struct ata_taskfile tf;
3381         unsigned int err_mask;
3382
3383         /* set up set-features taskfile */
3384         DPRINTK("set features - xfer mode\n");
3385
3386         ata_tf_init(dev, &tf);
3387         tf.command = ATA_CMD_SET_FEATURES;
3388         tf.feature = SETFEATURES_XFER;
3389         tf.flags |= ATA_TFLAG_ISADDR | ATA_TFLAG_DEVICE;
3390         tf.protocol = ATA_PROT_NODATA;
3391         tf.nsect = dev->xfer_mode;
3392
3393         err_mask = ata_exec_internal(dev, &tf, NULL, DMA_NONE, NULL, 0);
3394
3395         DPRINTK("EXIT, err_mask=%x\n", err_mask);
3396         return err_mask;
3397 }
3398
3399 /**
3400  *      ata_dev_init_params - Issue INIT DEV PARAMS command
3401  *      @dev: Device to which command will be sent
3402  *      @heads: Number of heads (taskfile parameter)
3403  *      @sectors: Number of sectors (taskfile parameter)
3404  *
3405  *      LOCKING:
3406  *      Kernel thread context (may sleep)
3407  *
3408  *      RETURNS:
3409  *      0 on success, AC_ERR_* mask otherwise.
3410  */
3411 static unsigned int ata_dev_init_params(struct ata_device *dev,
3412                                         u16 heads, u16 sectors)
3413 {
3414         struct ata_taskfile tf;
3415         unsigned int err_mask;
3416
3417         /* Number of sectors per track 1-255. Number of heads 1-16 */
3418         if (sectors < 1 || sectors > 255 || heads < 1 || heads > 16)
3419                 return AC_ERR_INVALID;
3420
3421         /* set up init dev params taskfile */
3422         DPRINTK("init dev params \n");
3423
3424         ata_tf_init(dev, &tf);
3425         tf.command = ATA_CMD_INIT_DEV_PARAMS;
3426         tf.flags |= ATA_TFLAG_ISADDR | ATA_TFLAG_DEVICE;
3427         tf.protocol = ATA_PROT_NODATA;
3428         tf.nsect = sectors;
3429         tf.device |= (heads - 1) & 0x0f; /* max head = num. of heads - 1 */
3430
3431         err_mask = ata_exec_internal(dev, &tf, NULL, DMA_NONE, NULL, 0);
3432
3433         DPRINTK("EXIT, err_mask=%x\n", err_mask);
3434         return err_mask;
3435 }
3436
3437 /**
3438  *      ata_sg_clean - Unmap DMA memory associated with command
3439  *      @qc: Command containing DMA memory to be released
3440  *
3441  *      Unmap all mapped DMA memory associated with this command.
3442  *
3443  *      LOCKING:
3444  *      spin_lock_irqsave(host lock)
3445  */
3446 void ata_sg_clean(struct ata_queued_cmd *qc)
3447 {
3448         struct ata_port *ap = qc->ap;
3449         struct scatterlist *sg = qc->__sg;
3450         int dir = qc->dma_dir;
3451         void *pad_buf = NULL;
3452
3453         WARN_ON(!(qc->flags & ATA_QCFLAG_DMAMAP));
3454         WARN_ON(sg == NULL);
3455
3456         if (qc->flags & ATA_QCFLAG_SINGLE)
3457                 WARN_ON(qc->n_elem > 1);
3458
3459         VPRINTK("unmapping %u sg elements\n", qc->n_elem);
3460
3461         /* if we padded the buffer out to 32-bit bound, and data
3462          * xfer direction is from-device, we must copy from the
3463          * pad buffer back into the supplied buffer
3464          */
3465         if (qc->pad_len && !(qc->tf.flags & ATA_TFLAG_WRITE))
3466                 pad_buf = ap->pad + (qc->tag * ATA_DMA_PAD_SZ);
3467
3468         if (qc->flags & ATA_QCFLAG_SG) {
3469                 if (qc->n_elem)
3470                         dma_unmap_sg(ap->dev, sg, qc->n_elem, dir);
3471                 /* restore last sg */
3472                 sg[qc->orig_n_elem - 1].length += qc->pad_len;
3473                 if (pad_buf) {
3474                         struct scatterlist *psg = &qc->pad_sgent;
3475                         void *addr = kmap_atomic(psg->page, KM_IRQ0);
3476                         memcpy(addr + psg->offset, pad_buf, qc->pad_len);
3477                         kunmap_atomic(addr, KM_IRQ0);
3478                 }
3479         } else {
3480                 if (qc->n_elem)
3481                         dma_unmap_single(ap->dev,
3482                                 sg_dma_address(&sg[0]), sg_dma_len(&sg[0]),
3483                                 dir);
3484                 /* restore sg */
3485                 sg->length += qc->pad_len;
3486                 if (pad_buf)
3487                         memcpy(qc->buf_virt + sg->length - qc->pad_len,
3488                                pad_buf, qc->pad_len);
3489         }
3490
3491         qc->flags &= ~ATA_QCFLAG_DMAMAP;
3492         qc->__sg = NULL;
3493 }
3494
3495 /**
3496  *      ata_fill_sg - Fill PCI IDE PRD table
3497  *      @qc: Metadata associated with taskfile to be transferred
3498  *
3499  *      Fill PCI IDE PRD (scatter-gather) table with segments
3500  *      associated with the current disk command.
3501  *
3502  *      LOCKING:
3503  *      spin_lock_irqsave(host lock)
3504  *
3505  */
3506 static void ata_fill_sg(struct ata_queued_cmd *qc)
3507 {
3508         struct ata_port *ap = qc->ap;
3509         struct scatterlist *sg;
3510         unsigned int idx;
3511
3512         WARN_ON(qc->__sg == NULL);
3513         WARN_ON(qc->n_elem == 0 && qc->pad_len == 0);
3514
3515         idx = 0;
3516         ata_for_each_sg(sg, qc) {
3517                 u32 addr, offset;
3518                 u32 sg_len, len;
3519
3520                 /* determine if physical DMA addr spans 64K boundary.
3521                  * Note h/w doesn't support 64-bit, so we unconditionally
3522                  * truncate dma_addr_t to u32.
3523                  */
3524                 addr = (u32) sg_dma_address(sg);
3525                 sg_len = sg_dma_len(sg);
3526
3527                 while (sg_len) {
3528                         offset = addr & 0xffff;
3529                         len = sg_len;
3530                         if ((offset + sg_len) > 0x10000)
3531                                 len = 0x10000 - offset;
3532
3533                         ap->prd[idx].addr = cpu_to_le32(addr);
3534                         ap->prd[idx].flags_len = cpu_to_le32(len & 0xffff);
3535                         VPRINTK("PRD[%u] = (0x%X, 0x%X)\n", idx, addr, len);
3536
3537                         idx++;
3538                         sg_len -= len;
3539                         addr += len;
3540                 }
3541         }
3542
3543         if (idx)
3544                 ap->prd[idx - 1].flags_len |= cpu_to_le32(ATA_PRD_EOT);
3545 }
3546 /**
3547  *      ata_check_atapi_dma - Check whether ATAPI DMA can be supported
3548  *      @qc: Metadata associated with taskfile to check
3549  *
3550  *      Allow low-level driver to filter ATA PACKET commands, returning
3551  *      a status indicating whether or not it is OK to use DMA for the
3552  *      supplied PACKET command.
3553  *
3554  *      LOCKING:
3555  *      spin_lock_irqsave(host lock)
3556  *
3557  *      RETURNS: 0 when ATAPI DMA can be used
3558  *               nonzero otherwise
3559  */
3560 int ata_check_atapi_dma(struct ata_queued_cmd *qc)
3561 {
3562         struct ata_port *ap = qc->ap;
3563         int rc = 0; /* Assume ATAPI DMA is OK by default */
3564
3565         if (ap->ops->check_atapi_dma)
3566                 rc = ap->ops->check_atapi_dma(qc);
3567
3568         return rc;
3569 }
3570 /**
3571  *      ata_qc_prep - Prepare taskfile for submission
3572  *      @qc: Metadata associated with taskfile to be prepared
3573  *
3574  *      Prepare ATA taskfile for submission.
3575  *
3576  *      LOCKING:
3577  *      spin_lock_irqsave(host lock)
3578  */
3579 void ata_qc_prep(struct ata_queued_cmd *qc)
3580 {
3581         if (!(qc->flags & ATA_QCFLAG_DMAMAP))
3582                 return;
3583
3584         ata_fill_sg(qc);
3585 }
3586
3587 void ata_noop_qc_prep(struct ata_queued_cmd *qc) { }
3588
3589 /**
3590  *      ata_sg_init_one - Associate command with memory buffer
3591  *      @qc: Command to be associated
3592  *      @buf: Memory buffer
3593  *      @buflen: Length of memory buffer, in bytes.
3594  *
3595  *      Initialize the data-related elements of queued_cmd @qc
3596  *      to point to a single memory buffer, @buf of byte length @buflen.
3597  *
3598  *      LOCKING:
3599  *      spin_lock_irqsave(host lock)
3600  */
3601
3602 void ata_sg_init_one(struct ata_queued_cmd *qc, void *buf, unsigned int buflen)
3603 {
3604         qc->flags |= ATA_QCFLAG_SINGLE;
3605
3606         qc->__sg = &qc->sgent;
3607         qc->n_elem = 1;
3608         qc->orig_n_elem = 1;
3609         qc->buf_virt = buf;
3610         qc->nbytes = buflen;
3611
3612         sg_init_one(&qc->sgent, buf, buflen);
3613 }
3614
3615 /**
3616  *      ata_sg_init - Associate command with scatter-gather table.
3617  *      @qc: Command to be associated
3618  *      @sg: Scatter-gather table.
3619  *      @n_elem: Number of elements in s/g table.
3620  *
3621  *      Initialize the data-related elements of queued_cmd @qc
3622  *      to point to a scatter-gather table @sg, containing @n_elem
3623  *      elements.
3624  *
3625  *      LOCKING:
3626  *      spin_lock_irqsave(host lock)
3627  */
3628
3629 void ata_sg_init(struct ata_queued_cmd *qc, struct scatterlist *sg,
3630                  unsigned int n_elem)
3631 {
3632         qc->flags |= ATA_QCFLAG_SG;
3633         qc->__sg = sg;
3634         qc->n_elem = n_elem;
3635         qc->orig_n_elem = n_elem;
3636 }
3637
3638 /**
3639  *      ata_sg_setup_one - DMA-map the memory buffer associated with a command.
3640  *      @qc: Command with memory buffer to be mapped.
3641  *
3642  *      DMA-map the memory buffer associated with queued_cmd @qc.
3643  *
3644  *      LOCKING:
3645  *      spin_lock_irqsave(host lock)
3646  *
3647  *      RETURNS:
3648  *      Zero on success, negative on error.
3649  */
3650
3651 static int ata_sg_setup_one(struct ata_queued_cmd *qc)
3652 {
3653         struct ata_port *ap = qc->ap;
3654         int dir = qc->dma_dir;
3655         struct scatterlist *sg = qc->__sg;
3656         dma_addr_t dma_address;
3657         int trim_sg = 0;
3658
3659         /* we must lengthen transfers to end on a 32-bit boundary */
3660         qc->pad_len = sg->length & 3;
3661         if (qc->pad_len) {
3662                 void *pad_buf = ap->pad + (qc->tag * ATA_DMA_PAD_SZ);
3663                 struct scatterlist *psg = &qc->pad_sgent;
3664
3665                 WARN_ON(qc->dev->class != ATA_DEV_ATAPI);
3666
3667                 memset(pad_buf, 0, ATA_DMA_PAD_SZ);
3668
3669                 if (qc->tf.flags & ATA_TFLAG_WRITE)
3670                         memcpy(pad_buf, qc->buf_virt + sg->length - qc->pad_len,
3671                                qc->pad_len);
3672
3673                 sg_dma_address(psg) = ap->pad_dma + (qc->tag * ATA_DMA_PAD_SZ);
3674                 sg_dma_len(psg) = ATA_DMA_PAD_SZ;
3675                 /* trim sg */
3676                 sg->length -= qc->pad_len;
3677                 if (sg->length == 0)
3678                         trim_sg = 1;
3679
3680                 DPRINTK("padding done, sg->length=%u pad_len=%u\n",
3681                         sg->length, qc->pad_len);
3682         }
3683
3684         if (trim_sg) {
3685                 qc->n_elem--;
3686                 goto skip_map;
3687         }
3688
3689         dma_address = dma_map_single(ap->dev, qc->buf_virt,
3690                                      sg->length, dir);
3691         if (dma_mapping_error(dma_address)) {
3692                 /* restore sg */
3693                 sg->length += qc->pad_len;
3694                 return -1;
3695         }
3696
3697         sg_dma_address(sg) = dma_address;
3698         sg_dma_len(sg) = sg->length;
3699
3700 skip_map:
3701         DPRINTK("mapped buffer of %d bytes for %s\n", sg_dma_len(sg),
3702                 qc->tf.flags & ATA_TFLAG_WRITE ? "write" : "read");
3703
3704         return 0;
3705 }
3706
3707 /**
3708  *      ata_sg_setup - DMA-map the scatter-gather table associated with a command.
3709  *      @qc: Command with scatter-gather table to be mapped.
3710  *
3711  *      DMA-map the scatter-gather table associated with queued_cmd @qc.
3712  *
3713  *      LOCKING:
3714  *      spin_lock_irqsave(host lock)
3715  *
3716  *      RETURNS:
3717  *      Zero on success, negative on error.
3718  *
3719  */
3720
3721 static int ata_sg_setup(struct ata_queued_cmd *qc)
3722 {
3723         struct ata_port *ap = qc->ap;
3724         struct scatterlist *sg = qc->__sg;
3725         struct scatterlist *lsg = &sg[qc->n_elem - 1];
3726         int n_elem, pre_n_elem, dir, trim_sg = 0;
3727
3728         VPRINTK("ENTER, ata%u\n", ap->id);
3729         WARN_ON(!(qc->flags & ATA_QCFLAG_SG));
3730
3731         /* we must lengthen transfers to end on a 32-bit boundary */
3732         qc->pad_len = lsg->length & 3;
3733         if (qc->pad_len) {
3734                 void *pad_buf = ap->pad + (qc->tag * ATA_DMA_PAD_SZ);
3735                 struct scatterlist *psg = &qc->pad_sgent;
3736                 unsigned int offset;
3737
3738                 WARN_ON(qc->dev->class != ATA_DEV_ATAPI);
3739
3740                 memset(pad_buf, 0, ATA_DMA_PAD_SZ);
3741
3742                 /*
3743                  * psg->page/offset are used to copy to-be-written
3744                  * data in this function or read data in ata_sg_clean.
3745                  */
3746                 offset = lsg->offset + lsg->length - qc->pad_len;
3747                 psg->page = nth_page(lsg->page, offset >> PAGE_SHIFT);
3748                 psg->offset = offset_in_page(offset);
3749
3750                 if (qc->tf.flags & ATA_TFLAG_WRITE) {
3751                         void *addr = kmap_atomic(psg->page, KM_IRQ0);
3752                         memcpy(pad_buf, addr + psg->offset, qc->pad_len);
3753                         kunmap_atomic(addr, KM_IRQ0);
3754                 }
3755
3756                 sg_dma_address(psg) = ap->pad_dma + (qc->tag * ATA_DMA_PAD_SZ);
3757                 sg_dma_len(psg) = ATA_DMA_PAD_SZ;
3758                 /* trim last sg */
3759                 lsg->length -= qc->pad_len;
3760                 if (lsg->length == 0)
3761                         trim_sg = 1;
3762
3763                 DPRINTK("padding done, sg[%d].length=%u pad_len=%u\n",
3764                         qc->n_elem - 1, lsg->length, qc->pad_len);
3765         }
3766
3767         pre_n_elem = qc->n_elem;
3768         if (trim_sg && pre_n_elem)
3769                 pre_n_elem--;
3770
3771         if (!pre_n_elem) {
3772                 n_elem = 0;
3773                 goto skip_map;
3774         }
3775
3776         dir = qc->dma_dir;
3777         n_elem = dma_map_sg(ap->dev, sg, pre_n_elem, dir);
3778         if (n_elem < 1) {
3779                 /* restore last sg */
3780                 lsg->length += qc->pad_len;
3781                 return -1;
3782         }
3783
3784         DPRINTK("%d sg elements mapped\n", n_elem);
3785
3786 skip_map:
3787         qc->n_elem = n_elem;
3788
3789         return 0;
3790 }
3791
3792 /**
3793  *      swap_buf_le16 - swap halves of 16-bit words in place
3794  *      @buf:  Buffer to swap
3795  *      @buf_words:  Number of 16-bit words in buffer.
3796  *
3797  *      Swap halves of 16-bit words if needed to convert from
3798  *      little-endian byte order to native cpu byte order, or
3799  *      vice-versa.
3800  *
3801  *      LOCKING:
3802  *      Inherited from caller.
3803  */
3804 void swap_buf_le16(u16 *buf, unsigned int buf_words)
3805 {
3806 #ifdef __BIG_ENDIAN
3807         unsigned int i;
3808
3809         for (i = 0; i < buf_words; i++)
3810                 buf[i] = le16_to_cpu(buf[i]);
3811 #endif /* __BIG_ENDIAN */
3812 }
3813
3814 /**
3815  *      ata_data_xfer - Transfer data by PIO
3816  *      @adev: device to target
3817  *      @buf: data buffer
3818  *      @buflen: buffer length
3819  *      @write_data: read/write
3820  *
3821  *      Transfer data from/to the device data register by PIO.
3822  *
3823  *      LOCKING:
3824  *      Inherited from caller.
3825  */
3826 void ata_data_xfer(struct ata_device *adev, unsigned char *buf,
3827                    unsigned int buflen, int write_data)
3828 {
3829         struct ata_port *ap = adev->ap;
3830         unsigned int words = buflen >> 1;
3831
3832         /* Transfer multiple of 2 bytes */
3833         if (write_data)
3834                 iowrite16_rep(ap->ioaddr.data_addr, buf, words);
3835         else
3836                 ioread16_rep(ap->ioaddr.data_addr, buf, words);
3837
3838         /* Transfer trailing 1 byte, if any. */
3839         if (unlikely(buflen & 0x01)) {
3840                 u16 align_buf[1] = { 0 };
3841                 unsigned char *trailing_buf = buf + buflen - 1;
3842
3843                 if (write_data) {
3844                         memcpy(align_buf, trailing_buf, 1);
3845                         iowrite16(le16_to_cpu(align_buf[0]), ap->ioaddr.data_addr);
3846                 } else {
3847                         align_buf[0] = cpu_to_le16(ioread16(ap->ioaddr.data_addr));
3848                         memcpy(trailing_buf, align_buf, 1);
3849                 }
3850         }
3851 }
3852
3853 /**
3854  *      ata_data_xfer_noirq - Transfer data by PIO
3855  *      @adev: device to target
3856  *      @buf: data buffer
3857  *      @buflen: buffer length
3858  *      @write_data: read/write
3859  *
3860  *      Transfer data from/to the device data register by PIO. Do the
3861  *      transfer with interrupts disabled.
3862  *
3863  *      LOCKING:
3864  *      Inherited from caller.
3865  */
3866 void ata_data_xfer_noirq(struct ata_device *adev, unsigned char *buf,
3867                          unsigned int buflen, int write_data)
3868 {
3869         unsigned long flags;
3870         local_irq_save(flags);
3871         ata_data_xfer(adev, buf, buflen, write_data);
3872         local_irq_restore(flags);
3873 }
3874
3875
3876 /**
3877  *      ata_pio_sector - Transfer ATA_SECT_SIZE (512 bytes) of data.
3878  *      @qc: Command on going
3879  *
3880  *      Transfer ATA_SECT_SIZE of data from/to the ATA device.
3881  *
3882  *      LOCKING:
3883  *      Inherited from caller.
3884  */
3885
3886 static void ata_pio_sector(struct ata_queued_cmd *qc)
3887 {
3888         int do_write = (qc->tf.flags & ATA_TFLAG_WRITE);
3889         struct scatterlist *sg = qc->__sg;
3890         struct ata_port *ap = qc->ap;
3891         struct page *page;
3892         unsigned int offset;
3893         unsigned char *buf;
3894
3895         if (qc->curbytes == qc->nbytes - ATA_SECT_SIZE)
3896                 ap->hsm_task_state = HSM_ST_LAST;
3897
3898         page = sg[qc->cursg].page;
3899         offset = sg[qc->cursg].offset + qc->cursg_ofs;
3900
3901         /* get the current page and offset */
3902         page = nth_page(page, (offset >> PAGE_SHIFT));
3903         offset %= PAGE_SIZE;
3904
3905         DPRINTK("data %s\n", qc->tf.flags & ATA_TFLAG_WRITE ? "write" : "read");
3906
3907         if (PageHighMem(page)) {
3908                 unsigned long flags;
3909
3910                 /* FIXME: use a bounce buffer */
3911                 local_irq_save(flags);
3912                 buf = kmap_atomic(page, KM_IRQ0);
3913
3914                 /* do the actual data transfer */
3915                 ap->ops->data_xfer(qc->dev, buf + offset, ATA_SECT_SIZE, do_write);
3916
3917                 kunmap_atomic(buf, KM_IRQ0);
3918                 local_irq_restore(flags);
3919         } else {
3920                 buf = page_address(page);
3921                 ap->ops->data_xfer(qc->dev, buf + offset, ATA_SECT_SIZE, do_write);
3922         }
3923
3924         qc->curbytes += ATA_SECT_SIZE;
3925         qc->cursg_ofs += ATA_SECT_SIZE;
3926
3927         if (qc->cursg_ofs == (&sg[qc->cursg])->length) {
3928                 qc->cursg++;
3929                 qc->cursg_ofs = 0;
3930         }
3931 }
3932
3933 /**
3934  *      ata_pio_sectors - Transfer one or many 512-byte sectors.
3935  *      @qc: Command on going
3936  *
3937  *      Transfer one or many ATA_SECT_SIZE of data from/to the
3938  *      ATA device for the DRQ request.
3939  *
3940  *      LOCKING:
3941  *      Inherited from caller.
3942  */
3943
3944 static void ata_pio_sectors(struct ata_queued_cmd *qc)
3945 {
3946         if (is_multi_taskfile(&qc->tf)) {
3947                 /* READ/WRITE MULTIPLE */
3948                 unsigned int nsect;
3949
3950                 WARN_ON(qc->dev->multi_count == 0);
3951
3952                 nsect = min((qc->nbytes - qc->curbytes) / ATA_SECT_SIZE,
3953                             qc->dev->multi_count);
3954                 while (nsect--)
3955                         ata_pio_sector(qc);
3956         } else
3957                 ata_pio_sector(qc);
3958 }
3959
3960 /**
3961  *      atapi_send_cdb - Write CDB bytes to hardware
3962  *      @ap: Port to which ATAPI device is attached.
3963  *      @qc: Taskfile currently active
3964  *
3965  *      When device has indicated its readiness to accept
3966  *      a CDB, this function is called.  Send the CDB.
3967  *
3968  *      LOCKING:
3969  *      caller.
3970  */
3971
3972 static void atapi_send_cdb(struct ata_port *ap, struct ata_queued_cmd *qc)
3973 {
3974         /* send SCSI cdb */
3975         DPRINTK("send cdb\n");
3976         WARN_ON(qc->dev->cdb_len < 12);
3977
3978         ap->ops->data_xfer(qc->dev, qc->cdb, qc->dev->cdb_len, 1);
3979         ata_altstatus(ap); /* flush */
3980
3981         switch (qc->tf.protocol) {
3982         case ATA_PROT_ATAPI:
3983                 ap->hsm_task_state = HSM_ST;
3984                 break;
3985         case ATA_PROT_ATAPI_NODATA:
3986                 ap->hsm_task_state = HSM_ST_LAST;
3987                 break;
3988         case ATA_PROT_ATAPI_DMA:
3989                 ap->hsm_task_state = HSM_ST_LAST;
3990                 /* initiate bmdma */
3991                 ap->ops->bmdma_start(qc);
3992                 break;
3993         }
3994 }
3995
3996 /**
3997  *      __atapi_pio_bytes - Transfer data from/to the ATAPI device.
3998  *      @qc: Command on going
3999  *      @bytes: number of bytes
4000  *
4001  *      Transfer Transfer data from/to the ATAPI device.
4002  *
4003  *      LOCKING:
4004  *      Inherited from caller.
4005  *
4006  */
4007
4008 static void __atapi_pio_bytes(struct ata_queued_cmd *qc, unsigned int bytes)
4009 {
4010         int do_write = (qc->tf.flags & ATA_TFLAG_WRITE);
4011         struct scatterlist *sg = qc->__sg;
4012         struct ata_port *ap = qc->ap;
4013         struct page *page;
4014         unsigned char *buf;
4015         unsigned int offset, count;
4016
4017         if (qc->curbytes + bytes >= qc->nbytes)
4018                 ap->hsm_task_state = HSM_ST_LAST;
4019
4020 next_sg:
4021         if (unlikely(qc->cursg >= qc->n_elem)) {
4022                 /*
4023                  * The end of qc->sg is reached and the device expects
4024                  * more data to transfer. In order not to overrun qc->sg
4025                  * and fulfill length specified in the byte count register,
4026                  *    - for read case, discard trailing data from the device
4027                  *    - for write case, padding zero data to the device
4028                  */
4029                 u16 pad_buf[1] = { 0 };
4030                 unsigned int words = bytes >> 1;
4031                 unsigned int i;
4032
4033                 if (words) /* warning if bytes > 1 */
4034                         ata_dev_printk(qc->dev, KERN_WARNING,
4035                                        "%u bytes trailing data\n", bytes);
4036
4037                 for (i = 0; i < words; i++)
4038                         ap->ops->data_xfer(qc->dev, (unsigned char*)pad_buf, 2, do_write);
4039
4040                 ap->hsm_task_state = HSM_ST_LAST;
4041                 return;
4042         }
4043
4044         sg = &qc->__sg[qc->cursg];
4045
4046         page = sg->page;
4047         offset = sg->offset + qc->cursg_ofs;
4048
4049         /* get the current page and offset */
4050         page = nth_page(page, (offset >> PAGE_SHIFT));
4051         offset %= PAGE_SIZE;
4052
4053         /* don't overrun current sg */
4054         count = min(sg->length - qc->cursg_ofs, bytes);
4055
4056         /* don't cross page boundaries */
4057         count = min(count, (unsigned int)PAGE_SIZE - offset);
4058
4059         DPRINTK("data %s\n", qc->tf.flags & ATA_TFLAG_WRITE ? "write" : "read");
4060
4061         if (PageHighMem(page)) {
4062                 unsigned long flags;
4063
4064                 /* FIXME: use bounce buffer */
4065                 local_irq_save(flags);
4066                 buf = kmap_atomic(page, KM_IRQ0);
4067
4068                 /* do the actual data transfer */
4069                 ap->ops->data_xfer(qc->dev,  buf + offset, count, do_write);
4070
4071                 kunmap_atomic(buf, KM_IRQ0);
4072                 local_irq_restore(flags);
4073         } else {
4074                 buf = page_address(page);
4075                 ap->ops->data_xfer(qc->dev,  buf + offset, count, do_write);
4076         }
4077
4078         bytes -= count;
4079         qc->curbytes += count;
4080         qc->cursg_ofs += count;
4081
4082         if (qc->cursg_ofs == sg->length) {
4083                 qc->cursg++;
4084                 qc->cursg_ofs = 0;
4085         }
4086
4087         if (bytes)
4088                 goto next_sg;
4089 }
4090
4091 /**
4092  *      atapi_pio_bytes - Transfer data from/to the ATAPI device.
4093  *      @qc: Command on going
4094  *
4095  *      Transfer Transfer data from/to the ATAPI device.
4096  *
4097  *      LOCKING:
4098  *      Inherited from caller.
4099  */
4100
4101 static void atapi_pio_bytes(struct ata_queued_cmd *qc)
4102 {
4103         struct ata_port *ap = qc->ap;
4104         struct ata_device *dev = qc->dev;
4105         unsigned int ireason, bc_lo, bc_hi, bytes;
4106         int i_write, do_write = (qc->tf.flags & ATA_TFLAG_WRITE) ? 1 : 0;
4107
4108         /* Abuse qc->result_tf for temp storage of intermediate TF
4109          * here to save some kernel stack usage.
4110          * For normal completion, qc->result_tf is not relevant. For
4111          * error, qc->result_tf is later overwritten by ata_qc_complete().
4112          * So, the correctness of qc->result_tf is not affected.
4113          */
4114         ap->ops->tf_read(ap, &qc->result_tf);
4115         ireason = qc->result_tf.nsect;
4116         bc_lo = qc->result_tf.lbam;
4117         bc_hi = qc->result_tf.lbah;
4118         bytes = (bc_hi << 8) | bc_lo;
4119
4120         /* shall be cleared to zero, indicating xfer of data */
4121         if (ireason & (1 << 0))
4122                 goto err_out;
4123
4124         /* make sure transfer direction matches expected */
4125         i_write = ((ireason & (1 << 1)) == 0) ? 1 : 0;
4126         if (do_write != i_write)
4127                 goto err_out;
4128
4129         VPRINTK("ata%u: xfering %d bytes\n", ap->id, bytes);
4130
4131         __atapi_pio_bytes(qc, bytes);
4132
4133         return;
4134
4135 err_out:
4136         ata_dev_printk(dev, KERN_INFO, "ATAPI check failed\n");
4137         qc->err_mask |= AC_ERR_HSM;
4138         ap->hsm_task_state = HSM_ST_ERR;
4139 }
4140
4141 /**
4142  *      ata_hsm_ok_in_wq - Check if the qc can be handled in the workqueue.
4143  *      @ap: the target ata_port
4144  *      @qc: qc on going
4145  *
4146  *      RETURNS:
4147  *      1 if ok in workqueue, 0 otherwise.
4148  */
4149
4150 static inline int ata_hsm_ok_in_wq(struct ata_port *ap, struct ata_queued_cmd *qc)
4151 {
4152         if (qc->tf.flags & ATA_TFLAG_POLLING)
4153                 return 1;
4154
4155         if (ap->hsm_task_state == HSM_ST_FIRST) {
4156                 if (qc->tf.protocol == ATA_PROT_PIO &&
4157                     (qc->tf.flags & ATA_TFLAG_WRITE))
4158                     return 1;
4159
4160                 if (is_atapi_taskfile(&qc->tf) &&
4161                     !(qc->dev->flags & ATA_DFLAG_CDB_INTR))
4162                         return 1;
4163         }
4164
4165         return 0;
4166 }
4167
4168 /**
4169  *      ata_hsm_qc_complete - finish a qc running on standard HSM
4170  *      @qc: Command to complete
4171  *      @in_wq: 1 if called from workqueue, 0 otherwise
4172  *
4173  *      Finish @qc which is running on standard HSM.
4174  *
4175  *      LOCKING:
4176  *      If @in_wq is zero, spin_lock_irqsave(host lock).
4177  *      Otherwise, none on entry and grabs host lock.
4178  */
4179 static void ata_hsm_qc_complete(struct ata_queued_cmd *qc, int in_wq)
4180 {
4181         struct ata_port *ap = qc->ap;
4182         unsigned long flags;
4183
4184         if (ap->ops->error_handler) {
4185                 if (in_wq) {
4186                         spin_lock_irqsave(ap->lock, flags);
4187
4188                         /* EH might have kicked in while host lock is
4189                          * released.
4190                          */
4191                         qc = ata_qc_from_tag(ap, qc->tag);
4192                         if (qc) {
4193                                 if (likely(!(qc->err_mask & AC_ERR_HSM))) {
4194                                         ap->ops->irq_on(ap);
4195                                         ata_qc_complete(qc);
4196                                 } else
4197                                         ata_port_freeze(ap);
4198                         }
4199
4200                         spin_unlock_irqrestore(ap->lock, flags);
4201                 } else {
4202                         if (likely(!(qc->err_mask & AC_ERR_HSM)))
4203                                 ata_qc_complete(qc);
4204                         else
4205                                 ata_port_freeze(ap);
4206                 }
4207         } else {
4208                 if (in_wq) {
4209                         spin_lock_irqsave(ap->lock, flags);
4210                         ap->ops->irq_on(ap);
4211                         ata_qc_complete(qc);
4212                         spin_unlock_irqrestore(ap->lock, flags);
4213                 } else
4214                         ata_qc_complete(qc);
4215         }
4216
4217         ata_altstatus(ap); /* flush */
4218 }
4219
4220 /**
4221  *      ata_hsm_move - move the HSM to the next state.
4222  *      @ap: the target ata_port
4223  *      @qc: qc on going
4224  *      @status: current device status
4225  *      @in_wq: 1 if called from workqueue, 0 otherwise
4226  *
4227  *      RETURNS:
4228  *      1 when poll next status needed, 0 otherwise.
4229  */
4230 int ata_hsm_move(struct ata_port *ap, struct ata_queued_cmd *qc,
4231                  u8 status, int in_wq)
4232 {
4233         unsigned long flags = 0;
4234         int poll_next;
4235
4236         WARN_ON((qc->flags & ATA_QCFLAG_ACTIVE) == 0);
4237
4238         /* Make sure ata_qc_issue_prot() does not throw things
4239          * like DMA polling into the workqueue. Notice that
4240          * in_wq is not equivalent to (qc->tf.flags & ATA_TFLAG_POLLING).
4241          */
4242         WARN_ON(in_wq != ata_hsm_ok_in_wq(ap, qc));
4243
4244 fsm_start:
4245         DPRINTK("ata%u: protocol %d task_state %d (dev_stat 0x%X)\n",
4246                 ap->id, qc->tf.protocol, ap->hsm_task_state, status);
4247
4248         switch (ap->hsm_task_state) {
4249         case HSM_ST_FIRST:
4250                 /* Send first data block or PACKET CDB */
4251
4252                 /* If polling, we will stay in the work queue after
4253                  * sending the data. Otherwise, interrupt handler
4254                  * takes over after sending the data.
4255                  */
4256                 poll_next = (qc->tf.flags & ATA_TFLAG_POLLING);
4257
4258                 /* check device status */
4259                 if (unlikely((status & ATA_DRQ) == 0)) {
4260                         /* handle BSY=0, DRQ=0 as error */
4261                         if (likely(status & (ATA_ERR | ATA_DF)))
4262                                 /* device stops HSM for abort/error */
4263                                 qc->err_mask |= AC_ERR_DEV;
4264                         else
4265                                 /* HSM violation. Let EH handle this */
4266                                 qc->err_mask |= AC_ERR_HSM;
4267
4268                         ap->hsm_task_state = HSM_ST_ERR;
4269                         goto fsm_start;
4270                 }
4271
4272                 /* Device should not ask for data transfer (DRQ=1)
4273                  * when it finds something wrong.
4274                  * We ignore DRQ here and stop the HSM by
4275                  * changing hsm_task_state to HSM_ST_ERR and
4276                  * let the EH abort the command or reset the device.
4277                  */
4278                 if (unlikely(status & (ATA_ERR | ATA_DF))) {
4279                         printk(KERN_WARNING "ata%d: DRQ=1 with device error, dev_stat 0x%X\n",
4280                                ap->id, status);
4281                         qc->err_mask |= AC_ERR_HSM;
4282                         ap->hsm_task_state = HSM_ST_ERR;
4283                         goto fsm_start;
4284                 }
4285
4286                 /* Send the CDB (atapi) or the first data block (ata pio out).
4287                  * During the state transition, interrupt handler shouldn't
4288                  * be invoked before the data transfer is complete and
4289                  * hsm_task_state is changed. Hence, the following locking.
4290                  */
4291                 if (in_wq)
4292                         spin_lock_irqsave(ap->lock, flags);
4293
4294                 if (qc->tf.protocol == ATA_PROT_PIO) {
4295                         /* PIO data out protocol.
4296                          * send first data block.
4297                          */
4298
4299                         /* ata_pio_sectors() might change the state
4300                          * to HSM_ST_LAST. so, the state is changed here
4301                          * before ata_pio_sectors().
4302                          */
4303                         ap->hsm_task_state = HSM_ST;
4304                         ata_pio_sectors(qc);
4305                         ata_altstatus(ap); /* flush */
4306                 } else
4307                         /* send CDB */
4308                         atapi_send_cdb(ap, qc);
4309
4310                 if (in_wq)
4311                         spin_unlock_irqrestore(ap->lock, flags);
4312
4313                 /* if polling, ata_pio_task() handles the rest.
4314                  * otherwise, interrupt handler takes over from here.
4315                  */
4316                 break;
4317
4318         case HSM_ST:
4319                 /* complete command or read/write the data register */
4320                 if (qc->tf.protocol == ATA_PROT_ATAPI) {
4321                         /* ATAPI PIO protocol */
4322                         if ((status & ATA_DRQ) == 0) {
4323                                 /* No more data to transfer or device error.
4324                                  * Device error will be tagged in HSM_ST_LAST.
4325                                  */
4326                                 ap->hsm_task_state = HSM_ST_LAST;
4327                                 goto fsm_start;
4328                         }
4329
4330                         /* Device should not ask for data transfer (DRQ=1)
4331                          * when it finds something wrong.
4332                          * We ignore DRQ here and stop the HSM by
4333                          * changing hsm_task_state to HSM_ST_ERR and
4334                          * let the EH abort the command or reset the device.
4335                          */
4336                         if (unlikely(status & (ATA_ERR | ATA_DF))) {
4337                                 printk(KERN_WARNING "ata%d: DRQ=1 with device error, dev_stat 0x%X\n",
4338                                        ap->id, status);
4339                                 qc->err_mask |= AC_ERR_HSM;
4340                                 ap->hsm_task_state = HSM_ST_ERR;
4341                                 goto fsm_start;
4342                         }
4343
4344                         atapi_pio_bytes(qc);
4345
4346                         if (unlikely(ap->hsm_task_state == HSM_ST_ERR))
4347                                 /* bad ireason reported by device */
4348                                 goto fsm_start;
4349
4350                 } else {
4351                         /* ATA PIO protocol */
4352                         if (unlikely((status & ATA_DRQ) == 0)) {
4353                                 /* handle BSY=0, DRQ=0 as error */
4354                                 if (likely(status & (ATA_ERR | ATA_DF)))
4355                                         /* device stops HSM for abort/error */
4356                                         qc->err_mask |= AC_ERR_DEV;
4357                                 else
4358                                         /* HSM violation. Let EH handle this.
4359                                          * Phantom devices also trigger this
4360                                          * condition.  Mark hint.
4361                                          */
4362                                         qc->err_mask |= AC_ERR_HSM |
4363                                                         AC_ERR_NODEV_HINT;
4364
4365                                 ap->hsm_task_state = HSM_ST_ERR;
4366                                 goto fsm_start;
4367                         }
4368
4369                         /* For PIO reads, some devices may ask for
4370                          * data transfer (DRQ=1) alone with ERR=1.
4371                          * We respect DRQ here and transfer one
4372                          * block of junk data before changing the
4373                          * hsm_task_state to HSM_ST_ERR.
4374                          *
4375                          * For PIO writes, ERR=1 DRQ=1 doesn't make
4376                          * sense since the data block has been
4377                          * transferred to the device.
4378                          */
4379                         if (unlikely(status & (ATA_ERR | ATA_DF))) {
4380                                 /* data might be corrputed */
4381                                 qc->err_mask |= AC_ERR_DEV;
4382
4383                                 if (!(qc->tf.flags & ATA_TFLAG_WRITE)) {
4384                                         ata_pio_sectors(qc);
4385                                         ata_altstatus(ap);
4386                                         status = ata_wait_idle(ap);
4387                                 }
4388
4389                                 if (status & (ATA_BUSY | ATA_DRQ))
4390                                         qc->err_mask |= AC_ERR_HSM;
4391
4392                                 /* ata_pio_sectors() might change the
4393                                  * state to HSM_ST_LAST. so, the state
4394                                  * is changed after ata_pio_sectors().
4395                                  */
4396                                 ap->hsm_task_state = HSM_ST_ERR;
4397                                 goto fsm_start;
4398                         }
4399
4400                         ata_pio_sectors(qc);
4401
4402                         if (ap->hsm_task_state == HSM_ST_LAST &&
4403                             (!(qc->tf.flags & ATA_TFLAG_WRITE))) {
4404                                 /* all data read */
4405                                 ata_altstatus(ap);
4406                                 status = ata_wait_idle(ap);
4407                                 goto fsm_start;
4408                         }
4409                 }
4410
4411                 ata_altstatus(ap); /* flush */
4412                 poll_next = 1;
4413                 break;
4414
4415         case HSM_ST_LAST:
4416                 if (unlikely(!ata_ok(status))) {
4417                         qc->err_mask |= __ac_err_mask(status);
4418                         ap->hsm_task_state = HSM_ST_ERR;
4419                         goto fsm_start;
4420                 }
4421
4422                 /* no more data to transfer */
4423                 DPRINTK("ata%u: dev %u command complete, drv_stat 0x%x\n",
4424                         ap->id, qc->dev->devno, status);
4425
4426                 WARN_ON(qc->err_mask);
4427
4428                 ap->hsm_task_state = HSM_ST_IDLE;
4429
4430                 /* complete taskfile transaction */
4431                 ata_hsm_qc_complete(qc, in_wq);
4432
4433                 poll_next = 0;
4434                 break;
4435
4436         case HSM_ST_ERR:
4437                 /* make sure qc->err_mask is available to
4438                  * know what's wrong and recover
4439                  */
4440                 WARN_ON(qc->err_mask == 0);
4441
4442                 ap->hsm_task_state = HSM_ST_IDLE;
4443
4444                 /* complete taskfile transaction */
4445                 ata_hsm_qc_complete(qc, in_wq);
4446
4447                 poll_next = 0;
4448                 break;
4449         default:
4450                 poll_next = 0;
4451                 BUG();
4452         }
4453
4454         return poll_next;
4455 }
4456
4457 static void ata_pio_task(struct work_struct *work)
4458 {
4459         struct ata_port *ap =
4460                 container_of(work, struct ata_port, port_task.work);
4461         struct ata_queued_cmd *qc = ap->port_task_data;
4462         u8 status;
4463         int poll_next;
4464
4465 fsm_start:
4466         WARN_ON(ap->hsm_task_state == HSM_ST_IDLE);
4467
4468         /*
4469          * This is purely heuristic.  This is a fast path.
4470          * Sometimes when we enter, BSY will be cleared in
4471          * a chk-status or two.  If not, the drive is probably seeking
4472          * or something.  Snooze for a couple msecs, then
4473          * chk-status again.  If still busy, queue delayed work.
4474          */
4475         status = ata_busy_wait(ap, ATA_BUSY, 5);
4476         if (status & ATA_BUSY) {
4477                 msleep(2);
4478                 status = ata_busy_wait(ap, ATA_BUSY, 10);
4479                 if (status & ATA_BUSY) {
4480                         ata_port_queue_task(ap, ata_pio_task, qc, ATA_SHORT_PAUSE);
4481                         return;
4482                 }
4483         }
4484
4485         /* move the HSM */
4486         poll_next = ata_hsm_move(ap, qc, status, 1);
4487
4488         /* another command or interrupt handler
4489          * may be running at this point.
4490          */
4491         if (poll_next)
4492                 goto fsm_start;
4493 }
4494
4495 /**
4496  *      ata_qc_new - Request an available ATA command, for queueing
4497  *      @ap: Port associated with device @dev
4498  *      @dev: Device from whom we request an available command structure
4499  *
4500  *      LOCKING:
4501  *      None.
4502  */
4503
4504 static struct ata_queued_cmd *ata_qc_new(struct ata_port *ap)
4505 {
4506         struct ata_queued_cmd *qc = NULL;
4507         unsigned int i;
4508
4509         /* no command while frozen */
4510         if (unlikely(ap->pflags & ATA_PFLAG_FROZEN))
4511                 return NULL;
4512
4513         /* the last tag is reserved for internal command. */
4514         for (i = 0; i < ATA_MAX_QUEUE - 1; i++)
4515                 if (!test_and_set_bit(i, &ap->qc_allocated)) {
4516                         qc = __ata_qc_from_tag(ap, i);
4517                         break;
4518                 }
4519
4520         if (qc)
4521                 qc->tag = i;
4522
4523         return qc;
4524 }
4525
4526 /**
4527  *      ata_qc_new_init - Request an available ATA command, and initialize it
4528  *      @dev: Device from whom we request an available command structure
4529  *
4530  *      LOCKING:
4531  *      None.
4532  */
4533
4534 struct ata_queued_cmd *ata_qc_new_init(struct ata_device *dev)
4535 {
4536         struct ata_port *ap = dev->ap;
4537         struct ata_queued_cmd *qc;
4538
4539         qc = ata_qc_new(ap);
4540         if (qc) {
4541                 qc->scsicmd = NULL;
4542                 qc->ap = ap;
4543                 qc->dev = dev;
4544
4545                 ata_qc_reinit(qc);
4546         }
4547
4548         return qc;
4549 }
4550
4551 /**
4552  *      ata_qc_free - free unused ata_queued_cmd
4553  *      @qc: Command to complete
4554  *
4555  *      Designed to free unused ata_queued_cmd object
4556  *      in case something prevents using it.
4557  *
4558  *      LOCKING:
4559  *      spin_lock_irqsave(host lock)
4560  */
4561 void ata_qc_free(struct ata_queued_cmd *qc)
4562 {
4563         struct ata_port *ap = qc->ap;
4564         unsigned int tag;
4565
4566         WARN_ON(qc == NULL);    /* ata_qc_from_tag _might_ return NULL */
4567
4568         qc->flags = 0;
4569         tag = qc->tag;
4570         if (likely(ata_tag_valid(tag))) {
4571                 qc->tag = ATA_TAG_POISON;
4572                 clear_bit(tag, &ap->qc_allocated);
4573         }
4574 }
4575
4576 void __ata_qc_complete(struct ata_queued_cmd *qc)
4577 {
4578         struct ata_port *ap = qc->ap;
4579
4580         WARN_ON(qc == NULL);    /* ata_qc_from_tag _might_ return NULL */
4581         WARN_ON(!(qc->flags & ATA_QCFLAG_ACTIVE));
4582
4583         if (likely(qc->flags & ATA_QCFLAG_DMAMAP))
4584                 ata_sg_clean(qc);
4585
4586         /* command should be marked inactive atomically with qc completion */
4587         if (qc->tf.protocol == ATA_PROT_NCQ)
4588                 ap->sactive &= ~(1 << qc->tag);
4589         else
4590                 ap->active_tag = ATA_TAG_POISON;
4591
4592         /* atapi: mark qc as inactive to prevent the interrupt handler
4593          * from completing the command twice later, before the error handler
4594          * is called. (when rc != 0 and atapi request sense is needed)
4595          */
4596         qc->flags &= ~ATA_QCFLAG_ACTIVE;
4597         ap->qc_active &= ~(1 << qc->tag);
4598
4599         /* call completion callback */
4600         qc->complete_fn(qc);
4601 }
4602
4603 static void fill_result_tf(struct ata_queued_cmd *qc)
4604 {
4605         struct ata_port *ap = qc->ap;
4606
4607         ap->ops->tf_read(ap, &qc->result_tf);
4608         qc->result_tf.flags = qc->tf.flags;
4609 }
4610
4611 /**
4612  *      ata_qc_complete - Complete an active ATA command
4613  *      @qc: Command to complete
4614  *      @err_mask: ATA Status register contents
4615  *
4616  *      Indicate to the mid and upper layers that an ATA
4617  *      command has completed, with either an ok or not-ok status.
4618  *
4619  *      LOCKING:
4620  *      spin_lock_irqsave(host lock)
4621  */
4622 void ata_qc_complete(struct ata_queued_cmd *qc)
4623 {
4624         struct ata_port *ap = qc->ap;
4625
4626         /* XXX: New EH and old EH use different mechanisms to
4627          * synchronize EH with regular execution path.
4628          *
4629          * In new EH, a failed qc is marked with ATA_QCFLAG_FAILED.
4630          * Normal execution path is responsible for not accessing a
4631          * failed qc.  libata core enforces the rule by returning NULL
4632          * from ata_qc_from_tag() for failed qcs.
4633          *
4634          * Old EH depends on ata_qc_complete() nullifying completion
4635          * requests if ATA_QCFLAG_EH_SCHEDULED is set.  Old EH does
4636          * not synchronize with interrupt handler.  Only PIO task is
4637          * taken care of.
4638          */
4639         if (ap->ops->error_handler) {
4640                 WARN_ON(ap->pflags & ATA_PFLAG_FROZEN);
4641
4642                 if (unlikely(qc->err_mask))
4643                         qc->flags |= ATA_QCFLAG_FAILED;
4644
4645                 if (unlikely(qc->flags & ATA_QCFLAG_FAILED)) {
4646                         if (!ata_tag_internal(qc->tag)) {
4647                                 /* always fill result TF for failed qc */
4648                                 fill_result_tf(qc);
4649                                 ata_qc_schedule_eh(qc);
4650                                 return;
4651                         }
4652                 }
4653
4654                 /* read result TF if requested */
4655                 if (qc->flags & ATA_QCFLAG_RESULT_TF)
4656                         fill_result_tf(qc);
4657
4658                 __ata_qc_complete(qc);
4659         } else {
4660                 if (qc->flags & ATA_QCFLAG_EH_SCHEDULED)
4661                         return;
4662
4663                 /* read result TF if failed or requested */
4664                 if (qc->err_mask || qc->flags & ATA_QCFLAG_RESULT_TF)
4665                         fill_result_tf(qc);
4666
4667                 __ata_qc_complete(qc);
4668         }
4669 }
4670
4671 /**
4672  *      ata_qc_complete_multiple - Complete multiple qcs successfully
4673  *      @ap: port in question
4674  *      @qc_active: new qc_active mask
4675  *      @finish_qc: LLDD callback invoked before completing a qc
4676  *
4677  *      Complete in-flight commands.  This functions is meant to be
4678  *      called from low-level driver's interrupt routine to complete
4679  *      requests normally.  ap->qc_active and @qc_active is compared
4680  *      and commands are completed accordingly.
4681  *
4682  *      LOCKING:
4683  *      spin_lock_irqsave(host lock)
4684  *
4685  *      RETURNS:
4686  *      Number of completed commands on success, -errno otherwise.
4687  */
4688 int ata_qc_complete_multiple(struct ata_port *ap, u32 qc_active,
4689                              void (*finish_qc)(struct ata_queued_cmd *))
4690 {
4691         int nr_done = 0;
4692         u32 done_mask;
4693         int i;
4694
4695         done_mask = ap->qc_active ^ qc_active;
4696
4697         if (unlikely(done_mask & qc_active)) {
4698                 ata_port_printk(ap, KERN_ERR, "illegal qc_active transition "
4699                                 "(%08x->%08x)\n", ap->qc_active, qc_active);
4700                 return -EINVAL;
4701         }
4702
4703         for (i = 0; i < ATA_MAX_QUEUE; i++) {
4704                 struct ata_queued_cmd *qc;
4705
4706                 if (!(done_mask & (1 << i)))
4707                         continue;
4708
4709                 if ((qc = ata_qc_from_tag(ap, i))) {
4710                         if (finish_qc)
4711                                 finish_qc(qc);
4712                         ata_qc_complete(qc);
4713                         nr_done++;
4714                 }
4715         }
4716
4717         return nr_done;
4718 }
4719
4720 static inline int ata_should_dma_map(struct ata_queued_cmd *qc)
4721 {
4722         struct ata_port *ap = qc->ap;
4723
4724         switch (qc->tf.protocol) {
4725         case ATA_PROT_NCQ:
4726         case ATA_PROT_DMA:
4727         case ATA_PROT_ATAPI_DMA:
4728                 return 1;
4729
4730         case ATA_PROT_ATAPI:
4731         case ATA_PROT_PIO:
4732                 if (ap->flags & ATA_FLAG_PIO_DMA)
4733                         return 1;
4734
4735                 /* fall through */
4736
4737         default:
4738                 return 0;
4739         }
4740
4741         /* never reached */
4742 }
4743
4744 /**
4745  *      ata_qc_issue - issue taskfile to device
4746  *      @qc: command to issue to device
4747  *
4748  *      Prepare an ATA command to submission to device.
4749  *      This includes mapping the data into a DMA-able
4750  *      area, filling in the S/G table, and finally
4751  *      writing the taskfile to hardware, starting the command.
4752  *
4753  *      LOCKING:
4754  *      spin_lock_irqsave(host lock)
4755  */
4756 void ata_qc_issue(struct ata_queued_cmd *qc)
4757 {
4758         struct ata_port *ap = qc->ap;
4759
4760         /* Make sure only one non-NCQ command is outstanding.  The
4761          * check is skipped for old EH because it reuses active qc to
4762          * request ATAPI sense.
4763          */
4764         WARN_ON(ap->ops->error_handler && ata_tag_valid(ap->active_tag));
4765
4766         if (qc->tf.protocol == ATA_PROT_NCQ) {
4767                 WARN_ON(ap->sactive & (1 << qc->tag));
4768                 ap->sactive |= 1 << qc->tag;
4769         } else {
4770                 WARN_ON(ap->sactive);
4771                 ap->active_tag = qc->tag;
4772         }
4773
4774         qc->flags |= ATA_QCFLAG_ACTIVE;
4775         ap->qc_active |= 1 << qc->tag;
4776
4777         if (ata_should_dma_map(qc)) {
4778                 if (qc->flags & ATA_QCFLAG_SG) {
4779                         if (ata_sg_setup(qc))
4780                                 goto sg_err;
4781                 } else if (qc->flags & ATA_QCFLAG_SINGLE) {
4782                         if (ata_sg_setup_one(qc))
4783                                 goto sg_err;
4784                 }
4785         } else {
4786                 qc->flags &= ~ATA_QCFLAG_DMAMAP;
4787         }
4788
4789         ap->ops->qc_prep(qc);
4790
4791         qc->err_mask |= ap->ops->qc_issue(qc);
4792         if (unlikely(qc->err_mask))
4793                 goto err;
4794         return;
4795
4796 sg_err:
4797         qc->flags &= ~ATA_QCFLAG_DMAMAP;
4798         qc->err_mask |= AC_ERR_SYSTEM;
4799 err:
4800         ata_qc_complete(qc);
4801 }
4802
4803 /**
4804  *      ata_qc_issue_prot - issue taskfile to device in proto-dependent manner
4805  *      @qc: command to issue to device
4806  *
4807  *      Using various libata functions and hooks, this function
4808  *      starts an ATA command.  ATA commands are grouped into
4809  *      classes called "protocols", and issuing each type of protocol
4810  *      is slightly different.
4811  *
4812  *      May be used as the qc_issue() entry in ata_port_operations.
4813  *
4814  *      LOCKING:
4815  *      spin_lock_irqsave(host lock)
4816  *
4817  *      RETURNS:
4818  *      Zero on success, AC_ERR_* mask on failure
4819  */
4820
4821 unsigned int ata_qc_issue_prot(struct ata_queued_cmd *qc)
4822 {
4823         struct ata_port *ap = qc->ap;
4824
4825         /* Use polling pio if the LLD doesn't handle
4826          * interrupt driven pio and atapi CDB interrupt.
4827          */
4828         if (ap->flags & ATA_FLAG_PIO_POLLING) {
4829                 switch (qc->tf.protocol) {
4830                 case ATA_PROT_PIO:
4831                 case ATA_PROT_NODATA:
4832                 case ATA_PROT_ATAPI:
4833                 case ATA_PROT_ATAPI_NODATA:
4834                         qc->tf.flags |= ATA_TFLAG_POLLING;
4835                         break;
4836                 case ATA_PROT_ATAPI_DMA:
4837                         if (qc->dev->flags & ATA_DFLAG_CDB_INTR)
4838                                 /* see ata_dma_blacklisted() */
4839                                 BUG();
4840                         break;
4841                 default:
4842                         break;
4843                 }
4844         }
4845
4846         /* Some controllers show flaky interrupt behavior after
4847          * setting xfer mode.  Use polling instead.
4848          */
4849         if (unlikely(qc->tf.command == ATA_CMD_SET_FEATURES &&
4850                      qc->tf.feature == SETFEATURES_XFER) &&
4851             (ap->flags & ATA_FLAG_SETXFER_POLLING))
4852                 qc->tf.flags |= ATA_TFLAG_POLLING;
4853
4854         /* select the device */
4855         ata_dev_select(ap, qc->dev->devno, 1, 0);
4856
4857         /* start the command */
4858         switch (qc->tf.protocol) {
4859         case ATA_PROT_NODATA:
4860                 if (qc->tf.flags & ATA_TFLAG_POLLING)
4861                         ata_qc_set_polling(qc);
4862
4863                 ata_tf_to_host(ap, &qc->tf);
4864                 ap->hsm_task_state = HSM_ST_LAST;
4865
4866                 if (qc->tf.flags & ATA_TFLAG_POLLING)
4867                         ata_port_queue_task(ap, ata_pio_task, qc, 0);
4868
4869                 break;
4870
4871         case ATA_PROT_DMA:
4872                 WARN_ON(qc->tf.flags & ATA_TFLAG_POLLING);
4873
4874                 ap->ops->tf_load(ap, &qc->tf);   /* load tf registers */
4875                 ap->ops->bmdma_setup(qc);           /* set up bmdma */
4876                 ap->ops->bmdma_start(qc);           /* initiate bmdma */
4877                 ap->hsm_task_state = HSM_ST_LAST;
4878                 break;
4879
4880         case ATA_PROT_PIO:
4881                 if (qc->tf.flags & ATA_TFLAG_POLLING)
4882                         ata_qc_set_polling(qc);
4883
4884                 ata_tf_to_host(ap, &qc->tf);
4885
4886                 if (qc->tf.flags & ATA_TFLAG_WRITE) {
4887                         /* PIO data out protocol */
4888                         ap->hsm_task_state = HSM_ST_FIRST;
4889                         ata_port_queue_task(ap, ata_pio_task, qc, 0);
4890
4891                         /* always send first data block using
4892                          * the ata_pio_task() codepath.
4893                          */
4894                 } else {
4895                         /* PIO data in protocol */
4896                         ap->hsm_task_state = HSM_ST;
4897
4898                         if (qc->tf.flags & ATA_TFLAG_POLLING)
4899                                 ata_port_queue_task(ap, ata_pio_task, qc, 0);
4900
4901                         /* if polling, ata_pio_task() handles the rest.
4902                          * otherwise, interrupt handler takes over from here.
4903                          */
4904                 }
4905
4906                 break;
4907
4908         case ATA_PROT_ATAPI:
4909         case ATA_PROT_ATAPI_NODATA:
4910                 if (qc->tf.flags & ATA_TFLAG_POLLING)
4911                         ata_qc_set_polling(qc);
4912
4913                 ata_tf_to_host(ap, &qc->tf);
4914
4915                 ap->hsm_task_state = HSM_ST_FIRST;
4916
4917                 /* send cdb by polling if no cdb interrupt */
4918                 if ((!(qc->dev->flags & ATA_DFLAG_CDB_INTR)) ||
4919                     (qc->tf.flags & ATA_TFLAG_POLLING))
4920                         ata_port_queue_task(ap, ata_pio_task, qc, 0);
4921                 break;
4922
4923         case ATA_PROT_ATAPI_DMA:
4924                 WARN_ON(qc->tf.flags & ATA_TFLAG_POLLING);
4925
4926                 ap->ops->tf_load(ap, &qc->tf);   /* load tf registers */
4927                 ap->ops->bmdma_setup(qc);           /* set up bmdma */
4928                 ap->hsm_task_state = HSM_ST_FIRST;
4929
4930                 /* send cdb by polling if no cdb interrupt */
4931                 if (!(qc->dev->flags & ATA_DFLAG_CDB_INTR))
4932                         ata_port_queue_task(ap, ata_pio_task, qc, 0);
4933                 break;
4934
4935         default:
4936                 WARN_ON(1);
4937                 return AC_ERR_SYSTEM;
4938         }
4939
4940         return 0;
4941 }
4942
4943 /**
4944  *      ata_host_intr - Handle host interrupt for given (port, task)
4945  *      @ap: Port on which interrupt arrived (possibly...)
4946  *      @qc: Taskfile currently active in engine
4947  *
4948  *      Handle host interrupt for given queued command.  Currently,
4949  *      only DMA interrupts are handled.  All other commands are
4950  *      handled via polling with interrupts disabled (nIEN bit).
4951  *
4952  *      LOCKING:
4953  *      spin_lock_irqsave(host lock)
4954  *
4955  *      RETURNS:
4956  *      One if interrupt was handled, zero if not (shared irq).
4957  */
4958
4959 inline unsigned int ata_host_intr (struct ata_port *ap,
4960                                    struct ata_queued_cmd *qc)
4961 {
4962         struct ata_eh_info *ehi = &ap->eh_info;
4963         u8 status, host_stat = 0;
4964
4965         VPRINTK("ata%u: protocol %d task_state %d\n",
4966                 ap->id, qc->tf.protocol, ap->hsm_task_state);
4967
4968         /* Check whether we are expecting interrupt in this state */
4969         switch (ap->hsm_task_state) {
4970         case HSM_ST_FIRST:
4971                 /* Some pre-ATAPI-4 devices assert INTRQ
4972                  * at this state when ready to receive CDB.
4973                  */
4974
4975                 /* Check the ATA_DFLAG_CDB_INTR flag is enough here.
4976                  * The flag was turned on only for atapi devices.
4977                  * No need to check is_atapi_taskfile(&qc->tf) again.
4978                  */
4979                 if (!(qc->dev->flags & ATA_DFLAG_CDB_INTR))
4980                         goto idle_irq;
4981                 break;
4982         case HSM_ST_LAST:
4983                 if (qc->tf.protocol == ATA_PROT_DMA ||
4984                     qc->tf.protocol == ATA_PROT_ATAPI_DMA) {
4985                         /* check status of DMA engine */
4986                         host_stat = ap->ops->bmdma_status(ap);
4987                         VPRINTK("ata%u: host_stat 0x%X\n", ap->id, host_stat);
4988
4989                         /* if it's not our irq... */
4990                         if (!(host_stat & ATA_DMA_INTR))
4991                                 goto idle_irq;
4992
4993                         /* before we do anything else, clear DMA-Start bit */
4994                         ap->ops->bmdma_stop(qc);
4995
4996                         if (unlikely(host_stat & ATA_DMA_ERR)) {
4997                                 /* error when transfering data to/from memory */
4998                                 qc->err_mask |= AC_ERR_HOST_BUS;
4999                                 ap->hsm_task_state = HSM_ST_ERR;
5000                         }
5001                 }
5002                 break;
5003         case HSM_ST:
5004                 break;
5005         default:
5006                 goto idle_irq;
5007         }
5008
5009         /* check altstatus */
5010         status = ata_altstatus(ap);
5011         if (status & ATA_BUSY)
5012                 goto idle_irq;
5013
5014         /* check main status, clearing INTRQ */
5015         status = ata_chk_status(ap);
5016         if (unlikely(status & ATA_BUSY))
5017                 goto idle_irq;
5018
5019         /* ack bmdma irq events */
5020         ap->ops->irq_clear(ap);
5021
5022         ata_hsm_move(ap, qc, status, 0);
5023
5024         if (unlikely(qc->err_mask) && (qc->tf.protocol == ATA_PROT_DMA ||
5025                                        qc->tf.protocol == ATA_PROT_ATAPI_DMA))
5026                 ata_ehi_push_desc(ehi, "BMDMA stat 0x%x", host_stat);
5027
5028         return 1;       /* irq handled */
5029
5030 idle_irq:
5031         ap->stats.idle_irq++;
5032
5033 #ifdef ATA_IRQ_TRAP
5034         if ((ap->stats.idle_irq % 1000) == 0) {
5035                 ap->ops->irq_ack(ap, 0); /* debug trap */
5036                 ata_port_printk(ap, KERN_WARNING, "irq trap\n");
5037                 return 1;
5038         }
5039 #endif
5040         return 0;       /* irq not handled */
5041 }
5042
5043 /**
5044  *      ata_interrupt - Default ATA host interrupt handler
5045  *      @irq: irq line (unused)
5046  *      @dev_instance: pointer to our ata_host information structure
5047  *
5048  *      Default interrupt handler for PCI IDE devices.  Calls
5049  *      ata_host_intr() for each port that is not disabled.
5050  *
5051  *      LOCKING:
5052  *      Obtains host lock during operation.
5053  *
5054  *      RETURNS:
5055  *      IRQ_NONE or IRQ_HANDLED.
5056  */
5057
5058 irqreturn_t ata_interrupt (int irq, void *dev_instance)
5059 {
5060         struct ata_host *host = dev_instance;
5061         unsigned int i;
5062         unsigned int handled = 0;
5063         unsigned long flags;
5064
5065         /* TODO: make _irqsave conditional on x86 PCI IDE legacy mode */
5066         spin_lock_irqsave(&host->lock, flags);
5067
5068         for (i = 0; i < host->n_ports; i++) {
5069                 struct ata_port *ap;
5070
5071                 ap = host->ports[i];
5072                 if (ap &&
5073                     !(ap->flags & ATA_FLAG_DISABLED)) {
5074                         struct ata_queued_cmd *qc;
5075
5076                         qc = ata_qc_from_tag(ap, ap->active_tag);
5077                         if (qc && (!(qc->tf.flags & ATA_TFLAG_POLLING)) &&
5078                             (qc->flags & ATA_QCFLAG_ACTIVE))
5079                                 handled |= ata_host_intr(ap, qc);
5080                 }
5081         }
5082
5083         spin_unlock_irqrestore(&host->lock, flags);
5084
5085         return IRQ_RETVAL(handled);
5086 }
5087
5088 /**
5089  *      sata_scr_valid - test whether SCRs are accessible
5090  *      @ap: ATA port to test SCR accessibility for
5091  *
5092  *      Test whether SCRs are accessible for @ap.
5093  *
5094  *      LOCKING:
5095  *      None.
5096  *
5097  *      RETURNS:
5098  *      1 if SCRs are accessible, 0 otherwise.
5099  */
5100 int sata_scr_valid(struct ata_port *ap)
5101 {
5102         return ap->cbl == ATA_CBL_SATA && ap->ops->scr_read;
5103 }
5104
5105 /**
5106  *      sata_scr_read - read SCR register of the specified port
5107  *      @ap: ATA port to read SCR for
5108  *      @reg: SCR to read
5109  *      @val: Place to store read value
5110  *
5111  *      Read SCR register @reg of @ap into *@val.  This function is
5112  *      guaranteed to succeed if the cable type of the port is SATA
5113  *      and the port implements ->scr_read.
5114  *
5115  *      LOCKING:
5116  *      None.
5117  *
5118  *      RETURNS:
5119  *      0 on success, negative errno on failure.
5120  */
5121 int sata_scr_read(struct ata_port *ap, int reg, u32 *val)
5122 {
5123         if (sata_scr_valid(ap)) {
5124                 *val = ap->ops->scr_read(ap, reg);
5125                 return 0;
5126         }
5127         return -EOPNOTSUPP;
5128 }
5129
5130 /**
5131  *      sata_scr_write - write SCR register of the specified port
5132  *      @ap: ATA port to write SCR for
5133  *      @reg: SCR to write
5134  *      @val: value to write
5135  *
5136  *      Write @val to SCR register @reg of @ap.  This function is
5137  *      guaranteed to succeed if the cable type of the port is SATA
5138  *      and the port implements ->scr_read.
5139  *
5140  *      LOCKING:
5141  *      None.
5142  *
5143  *      RETURNS:
5144  *      0 on success, negative errno on failure.
5145  */
5146 int sata_scr_write(struct ata_port *ap, int reg, u32 val)
5147 {
5148         if (sata_scr_valid(ap)) {
5149                 ap->ops->scr_write(ap, reg, val);
5150                 return 0;
5151         }
5152         return -EOPNOTSUPP;
5153 }
5154
5155 /**
5156  *      sata_scr_write_flush - write SCR register of the specified port and flush
5157  *      @ap: ATA port to write SCR for
5158  *      @reg: SCR to write
5159  *      @val: value to write
5160  *
5161  *      This function is identical to sata_scr_write() except that this
5162  *      function performs flush after writing to the register.
5163  *
5164  *      LOCKING:
5165  *      None.
5166  *
5167  *      RETURNS:
5168  *      0 on success, negative errno on failure.
5169  */
5170 int sata_scr_write_flush(struct ata_port *ap, int reg, u32 val)
5171 {
5172         if (sata_scr_valid(ap)) {
5173                 ap->ops->scr_write(ap, reg, val);
5174                 ap->ops->scr_read(ap, reg);
5175                 return 0;
5176         }
5177         return -EOPNOTSUPP;
5178 }
5179
5180 /**
5181  *      ata_port_online - test whether the given port is online
5182  *      @ap: ATA port to test
5183  *
5184  *      Test whether @ap is online.  Note that this function returns 0
5185  *      if online status of @ap cannot be obtained, so
5186  *      ata_port_online(ap) != !ata_port_offline(ap).
5187  *
5188  *      LOCKING:
5189  *      None.
5190  *
5191  *      RETURNS:
5192  *      1 if the port online status is available and online.
5193  */
5194 int ata_port_online(struct ata_port *ap)
5195 {
5196         u32 sstatus;
5197
5198         if (!sata_scr_read(ap, SCR_STATUS, &sstatus) && (sstatus & 0xf) == 0x3)
5199                 return 1;
5200         return 0;
5201 }
5202
5203 /**
5204  *      ata_port_offline - test whether the given port is offline
5205  *      @ap: ATA port to test
5206  *
5207  *      Test whether @ap is offline.  Note that this function returns
5208  *      0 if offline status of @ap cannot be obtained, so
5209  *      ata_port_online(ap) != !ata_port_offline(ap).
5210  *
5211  *      LOCKING:
5212  *      None.
5213  *
5214  *      RETURNS:
5215  *      1 if the port offline status is available and offline.
5216  */
5217 int ata_port_offline(struct ata_port *ap)
5218 {
5219         u32 sstatus;
5220
5221         if (!sata_scr_read(ap, SCR_STATUS, &sstatus) && (sstatus & 0xf) != 0x3)
5222                 return 1;
5223         return 0;
5224 }
5225
5226 int ata_flush_cache(struct ata_device *dev)
5227 {
5228         unsigned int err_mask;
5229         u8 cmd;
5230
5231         if (!ata_try_flush_cache(dev))
5232                 return 0;
5233
5234         if (dev->flags & ATA_DFLAG_FLUSH_EXT)
5235                 cmd = ATA_CMD_FLUSH_EXT;
5236         else
5237                 cmd = ATA_CMD_FLUSH;
5238
5239         err_mask = ata_do_simple_cmd(dev, cmd);
5240         if (err_mask) {
5241                 ata_dev_printk(dev, KERN_ERR, "failed to flush cache\n");
5242                 return -EIO;
5243         }
5244
5245         return 0;
5246 }
5247
5248 static int ata_host_request_pm(struct ata_host *host, pm_message_t mesg,
5249                                unsigned int action, unsigned int ehi_flags,
5250                                int wait)
5251 {
5252         unsigned long flags;
5253         int i, rc;
5254
5255         for (i = 0; i < host->n_ports; i++) {
5256                 struct ata_port *ap = host->ports[i];
5257
5258                 /* Previous resume operation might still be in
5259                  * progress.  Wait for PM_PENDING to clear.
5260                  */
5261                 if (ap->pflags & ATA_PFLAG_PM_PENDING) {
5262                         ata_port_wait_eh(ap);
5263                         WARN_ON(ap->pflags & ATA_PFLAG_PM_PENDING);
5264                 }
5265
5266                 /* request PM ops to EH */
5267                 spin_lock_irqsave(ap->lock, flags);
5268
5269                 ap->pm_mesg = mesg;
5270                 if (wait) {
5271                         rc = 0;
5272                         ap->pm_result = &rc;
5273                 }
5274
5275                 ap->pflags |= ATA_PFLAG_PM_PENDING;
5276                 ap->eh_info.action |= action;
5277                 ap->eh_info.flags |= ehi_flags;
5278
5279                 ata_port_schedule_eh(ap);
5280
5281                 spin_unlock_irqrestore(ap->lock, flags);
5282
5283                 /* wait and check result */
5284                 if (wait) {
5285                         ata_port_wait_eh(ap);
5286                         WARN_ON(ap->pflags & ATA_PFLAG_PM_PENDING);
5287                         if (rc)
5288                                 return rc;
5289                 }
5290         }
5291
5292         return 0;
5293 }
5294
5295 /**
5296  *      ata_host_suspend - suspend host
5297  *      @host: host to suspend
5298  *      @mesg: PM message
5299  *
5300  *      Suspend @host.  Actual operation is performed by EH.  This
5301  *      function requests EH to perform PM operations and waits for EH
5302  *      to finish.
5303  *
5304  *      LOCKING:
5305  *      Kernel thread context (may sleep).
5306  *
5307  *      RETURNS:
5308  *      0 on success, -errno on failure.
5309  */
5310 int ata_host_suspend(struct ata_host *host, pm_message_t mesg)
5311 {
5312         int i, j, rc;
5313
5314         rc = ata_host_request_pm(host, mesg, 0, ATA_EHI_QUIET, 1);
5315         if (rc)
5316                 goto fail;
5317
5318         /* EH is quiescent now.  Fail if we have any ready device.
5319          * This happens if hotplug occurs between completion of device
5320          * suspension and here.
5321          */
5322         for (i = 0; i < host->n_ports; i++) {
5323                 struct ata_port *ap = host->ports[i];
5324
5325                 for (j = 0; j < ATA_MAX_DEVICES; j++) {
5326                         struct ata_device *dev = &ap->device[j];
5327
5328                         if (ata_dev_ready(dev)) {
5329                                 ata_port_printk(ap, KERN_WARNING,
5330                                                 "suspend failed, device %d "
5331                                                 "still active\n", dev->devno);
5332                                 rc = -EBUSY;
5333                                 goto fail;
5334                         }
5335                 }
5336         }
5337
5338         host->dev->power.power_state = mesg;
5339         return 0;
5340
5341  fail:
5342         ata_host_resume(host);
5343         return rc;
5344 }
5345
5346 /**
5347  *      ata_host_resume - resume host
5348  *      @host: host to resume
5349  *
5350  *      Resume @host.  Actual operation is performed by EH.  This
5351  *      function requests EH to perform PM operations and returns.
5352  *      Note that all resume operations are performed parallely.
5353  *
5354  *      LOCKING:
5355  *      Kernel thread context (may sleep).
5356  */
5357 void ata_host_resume(struct ata_host *host)
5358 {
5359         ata_host_request_pm(host, PMSG_ON, ATA_EH_SOFTRESET,
5360                             ATA_EHI_NO_AUTOPSY | ATA_EHI_QUIET, 0);
5361         host->dev->power.power_state = PMSG_ON;
5362 }
5363
5364 /**
5365  *      ata_port_start - Set port up for dma.
5366  *      @ap: Port to initialize
5367  *
5368  *      Called just after data structures for each port are
5369  *      initialized.  Allocates space for PRD table.
5370  *
5371  *      May be used as the port_start() entry in ata_port_operations.
5372  *
5373  *      LOCKING:
5374  *      Inherited from caller.
5375  */
5376 int ata_port_start(struct ata_port *ap)
5377 {
5378         struct device *dev = ap->dev;
5379         int rc;
5380
5381         ap->prd = dmam_alloc_coherent(dev, ATA_PRD_TBL_SZ, &ap->prd_dma,
5382                                       GFP_KERNEL);
5383         if (!ap->prd)
5384                 return -ENOMEM;
5385
5386         rc = ata_pad_alloc(ap, dev);
5387         if (rc)
5388                 return rc;
5389
5390         DPRINTK("prd alloc, virt %p, dma %llx\n", ap->prd,
5391                 (unsigned long long)ap->prd_dma);
5392         return 0;
5393 }
5394
5395 /**
5396  *      ata_dev_init - Initialize an ata_device structure
5397  *      @dev: Device structure to initialize
5398  *
5399  *      Initialize @dev in preparation for probing.
5400  *
5401  *      LOCKING:
5402  *      Inherited from caller.
5403  */
5404 void ata_dev_init(struct ata_device *dev)
5405 {
5406         struct ata_port *ap = dev->ap;
5407         unsigned long flags;
5408
5409         /* SATA spd limit is bound to the first device */
5410         ap->sata_spd_limit = ap->hw_sata_spd_limit;
5411
5412         /* High bits of dev->flags are used to record warm plug
5413          * requests which occur asynchronously.  Synchronize using
5414          * host lock.
5415          */
5416         spin_lock_irqsave(ap->lock, flags);
5417         dev->flags &= ~ATA_DFLAG_INIT_MASK;
5418         spin_unlock_irqrestore(ap->lock, flags);
5419
5420         memset((void *)dev + ATA_DEVICE_CLEAR_OFFSET, 0,
5421                sizeof(*dev) - ATA_DEVICE_CLEAR_OFFSET);
5422         dev->pio_mask = UINT_MAX;
5423         dev->mwdma_mask = UINT_MAX;
5424         dev->udma_mask = UINT_MAX;
5425 }
5426
5427 /**
5428  *      ata_port_init - Initialize an ata_port structure
5429  *      @ap: Structure to initialize
5430  *      @host: Collection of hosts to which @ap belongs
5431  *      @ent: Probe information provided by low-level driver
5432  *      @port_no: Port number associated with this ata_port
5433  *
5434  *      Initialize a new ata_port structure.
5435  *
5436  *      LOCKING:
5437  *      Inherited from caller.
5438  */
5439 void ata_port_init(struct ata_port *ap, struct ata_host *host,
5440                    const struct ata_probe_ent *ent, unsigned int port_no)
5441 {
5442         unsigned int i;
5443
5444         ap->lock = &host->lock;
5445         ap->flags = ATA_FLAG_DISABLED;
5446         ap->id = ata_unique_id++;
5447         ap->ctl = ATA_DEVCTL_OBS;
5448         ap->host = host;
5449         ap->dev = ent->dev;
5450         ap->port_no = port_no;
5451         if (port_no == 1 && ent->pinfo2) {
5452                 ap->pio_mask = ent->pinfo2->pio_mask;
5453                 ap->mwdma_mask = ent->pinfo2->mwdma_mask;
5454                 ap->udma_mask = ent->pinfo2->udma_mask;
5455                 ap->flags |= ent->pinfo2->flags;
5456                 ap->ops = ent->pinfo2->port_ops;
5457         } else {
5458                 ap->pio_mask = ent->pio_mask;
5459                 ap->mwdma_mask = ent->mwdma_mask;
5460                 ap->udma_mask = ent->udma_mask;
5461                 ap->flags |= ent->port_flags;
5462                 ap->ops = ent->port_ops;
5463         }
5464         ap->hw_sata_spd_limit = UINT_MAX;
5465         ap->active_tag = ATA_TAG_POISON;
5466         ap->last_ctl = 0xFF;
5467
5468 #if defined(ATA_VERBOSE_DEBUG)
5469         /* turn on all debugging levels */
5470         ap->msg_enable = 0x00FF;
5471 #elif defined(ATA_DEBUG)
5472         ap->msg_enable = ATA_MSG_DRV | ATA_MSG_INFO | ATA_MSG_CTL | ATA_MSG_WARN | ATA_MSG_ERR;
5473 #else
5474         ap->msg_enable = ATA_MSG_DRV | ATA_MSG_ERR | ATA_MSG_WARN;
5475 #endif
5476
5477         INIT_DELAYED_WORK(&ap->port_task, NULL);
5478         INIT_DELAYED_WORK(&ap->hotplug_task, ata_scsi_hotplug);
5479         INIT_WORK(&ap->scsi_rescan_task, ata_scsi_dev_rescan);
5480         INIT_LIST_HEAD(&ap->eh_done_q);
5481         init_waitqueue_head(&ap->eh_wait_q);
5482
5483         /* set cable type */
5484         ap->cbl = ATA_CBL_NONE;
5485         if (ap->flags & ATA_FLAG_SATA)
5486                 ap->cbl = ATA_CBL_SATA;
5487
5488         for (i = 0; i < ATA_MAX_DEVICES; i++) {
5489                 struct ata_device *dev = &ap->device[i];
5490                 dev->ap = ap;
5491                 dev->devno = i;
5492                 ata_dev_init(dev);
5493         }
5494
5495 #ifdef ATA_IRQ_TRAP
5496         ap->stats.unhandled_irq = 1;
5497         ap->stats.idle_irq = 1;
5498 #endif
5499
5500         memcpy(&ap->ioaddr, &ent->port[port_no], sizeof(struct ata_ioports));
5501 }
5502
5503 /**
5504  *      ata_port_init_shost - Initialize SCSI host associated with ATA port
5505  *      @ap: ATA port to initialize SCSI host for
5506  *      @shost: SCSI host associated with @ap
5507  *
5508  *      Initialize SCSI host @shost associated with ATA port @ap.
5509  *
5510  *      LOCKING:
5511  *      Inherited from caller.
5512  */
5513 static void ata_port_init_shost(struct ata_port *ap, struct Scsi_Host *shost)
5514 {
5515         ap->scsi_host = shost;
5516
5517         shost->unique_id = ap->id;
5518         shost->max_id = 16;
5519         shost->max_lun = 1;
5520         shost->max_channel = 1;
5521         shost->max_cmd_len = 12;
5522 }
5523
5524 /**
5525  *      ata_port_add - Attach low-level ATA driver to system
5526  *      @ent: Information provided by low-level driver
5527  *      @host: Collections of ports to which we add
5528  *      @port_no: Port number associated with this host
5529  *
5530  *      Attach low-level ATA driver to system.
5531  *
5532  *      LOCKING:
5533  *      PCI/etc. bus probe sem.
5534  *
5535  *      RETURNS:
5536  *      New ata_port on success, for NULL on error.
5537  */
5538 static struct ata_port * ata_port_add(const struct ata_probe_ent *ent,
5539                                       struct ata_host *host,
5540                                       unsigned int port_no)
5541 {
5542         struct Scsi_Host *shost;
5543         struct ata_port *ap;
5544
5545         DPRINTK("ENTER\n");
5546
5547         if (!ent->port_ops->error_handler &&
5548             !(ent->port_flags & (ATA_FLAG_SATA_RESET | ATA_FLAG_SRST))) {
5549                 printk(KERN_ERR "ata%u: no reset mechanism available\n",
5550                        port_no);
5551                 return NULL;
5552         }
5553
5554         shost = scsi_host_alloc(ent->sht, sizeof(struct ata_port));
5555         if (!shost)
5556                 return NULL;
5557
5558         shost->transportt = &ata_scsi_transport_template;
5559
5560         ap = ata_shost_to_port(shost);
5561
5562         ata_port_init(ap, host, ent, port_no);
5563         ata_port_init_shost(ap, shost);
5564
5565         return ap;
5566 }
5567
5568 static void ata_host_release(struct device *gendev, void *res)
5569 {
5570         struct ata_host *host = dev_get_drvdata(gendev);
5571         int i;
5572
5573         for (i = 0; i < host->n_ports; i++) {
5574                 struct ata_port *ap = host->ports[i];
5575
5576                 if (!ap)
5577                         continue;
5578
5579                 if (ap->ops->port_stop)
5580                         ap->ops->port_stop(ap);
5581
5582                 scsi_host_put(ap->scsi_host);
5583         }
5584
5585         if (host->ops->host_stop)
5586                 host->ops->host_stop(host);
5587 }
5588
5589 /**
5590  *      ata_sas_host_init - Initialize a host struct
5591  *      @host:  host to initialize
5592  *      @dev:   device host is attached to
5593  *      @flags: host flags
5594  *      @ops:   port_ops
5595  *
5596  *      LOCKING:
5597  *      PCI/etc. bus probe sem.
5598  *
5599  */
5600
5601 void ata_host_init(struct ata_host *host, struct device *dev,
5602                    unsigned long flags, const struct ata_port_operations *ops)
5603 {
5604         spin_lock_init(&host->lock);
5605         host->dev = dev;
5606         host->flags = flags;
5607         host->ops = ops;
5608 }
5609
5610 /**
5611  *      ata_device_add - Register hardware device with ATA and SCSI layers
5612  *      @ent: Probe information describing hardware device to be registered
5613  *
5614  *      This function processes the information provided in the probe
5615  *      information struct @ent, allocates the necessary ATA and SCSI
5616  *      host information structures, initializes them, and registers
5617  *      everything with requisite kernel subsystems.
5618  *
5619  *      This function requests irqs, probes the ATA bus, and probes
5620  *      the SCSI bus.
5621  *
5622  *      LOCKING:
5623  *      PCI/etc. bus probe sem.
5624  *
5625  *      RETURNS:
5626  *      Number of ports registered.  Zero on error (no ports registered).
5627  */
5628 int ata_device_add(const struct ata_probe_ent *ent)
5629 {
5630         unsigned int i;
5631         struct device *dev = ent->dev;
5632         struct ata_host *host;
5633         int rc;
5634
5635         DPRINTK("ENTER\n");
5636
5637         if (ent->irq == 0) {
5638                 dev_printk(KERN_ERR, dev, "is not available: No interrupt assigned.\n");
5639                 return 0;
5640         }
5641
5642         if (!devres_open_group(dev, ata_device_add, GFP_KERNEL))
5643                 return 0;
5644
5645         /* alloc a container for our list of ATA ports (buses) */
5646         host = devres_alloc(ata_host_release, sizeof(struct ata_host) +
5647                             (ent->n_ports * sizeof(void *)), GFP_KERNEL);
5648         if (!host)
5649                 goto err_out;
5650         devres_add(dev, host);
5651         dev_set_drvdata(dev, host);
5652
5653         ata_host_init(host, dev, ent->_host_flags, ent->port_ops);
5654         host->n_ports = ent->n_ports;
5655         host->irq = ent->irq;
5656         host->irq2 = ent->irq2;
5657         host->iomap = ent->iomap;
5658         host->private_data = ent->private_data;
5659
5660         /* register each port bound to this device */
5661         for (i = 0; i < host->n_ports; i++) {
5662                 struct ata_port *ap;
5663                 unsigned long xfer_mode_mask;
5664                 int irq_line = ent->irq;
5665
5666                 ap = ata_port_add(ent, host, i);
5667                 host->ports[i] = ap;
5668                 if (!ap)
5669                         goto err_out;
5670
5671                 /* dummy? */
5672                 if (ent->dummy_port_mask & (1 << i)) {
5673                         ata_port_printk(ap, KERN_INFO, "DUMMY\n");
5674                         ap->ops = &ata_dummy_port_ops;
5675                         continue;
5676                 }
5677
5678                 /* start port */
5679                 rc = ap->ops->port_start(ap);
5680                 if (rc) {
5681                         host->ports[i] = NULL;
5682                         scsi_host_put(ap->scsi_host);
5683                         goto err_out;
5684                 }
5685
5686                 /* Report the secondary IRQ for second channel legacy */
5687                 if (i == 1 && ent->irq2)
5688                         irq_line = ent->irq2;
5689
5690                 xfer_mode_mask =(ap->udma_mask << ATA_SHIFT_UDMA) |
5691                                 (ap->mwdma_mask << ATA_SHIFT_MWDMA) |
5692                                 (ap->pio_mask << ATA_SHIFT_PIO);
5693
5694                 /* print per-port info to dmesg */
5695                 ata_port_printk(ap, KERN_INFO, "%cATA max %s cmd 0x%p "
5696                                 "ctl 0x%p bmdma 0x%p irq %d\n",
5697                                 ap->flags & ATA_FLAG_SATA ? 'S' : 'P',
5698                                 ata_mode_string(xfer_mode_mask),
5699                                 ap->ioaddr.cmd_addr,
5700                                 ap->ioaddr.ctl_addr,
5701                                 ap->ioaddr.bmdma_addr,
5702                                 irq_line);
5703
5704                 /* freeze port before requesting IRQ */
5705                 ata_eh_freeze_port(ap);
5706         }
5707
5708         /* obtain irq, that may be shared between channels */
5709         rc = devm_request_irq(dev, ent->irq, ent->port_ops->irq_handler,
5710                               ent->irq_flags, DRV_NAME, host);
5711         if (rc) {
5712                 dev_printk(KERN_ERR, dev, "irq %lu request failed: %d\n",
5713                            ent->irq, rc);
5714                 goto err_out;
5715         }
5716
5717         /* do we have a second IRQ for the other channel, eg legacy mode */
5718         if (ent->irq2) {
5719                 /* We will get weird core code crashes later if this is true
5720                    so trap it now */
5721                 BUG_ON(ent->irq == ent->irq2);
5722
5723                 rc = devm_request_irq(dev, ent->irq2,
5724                                 ent->port_ops->irq_handler, ent->irq_flags,
5725                                 DRV_NAME, host);
5726                 if (rc) {
5727                         dev_printk(KERN_ERR, dev, "irq %lu request failed: %d\n",
5728                                    ent->irq2, rc);
5729                         goto err_out;
5730                 }
5731         }
5732
5733         /* resource acquisition complete */
5734         devres_remove_group(dev, ata_device_add);
5735
5736         /* perform each probe synchronously */
5737         DPRINTK("probe begin\n");
5738         for (i = 0; i < host->n_ports; i++) {
5739                 struct ata_port *ap = host->ports[i];
5740                 u32 scontrol;
5741                 int rc;
5742
5743                 /* init sata_spd_limit to the current value */
5744                 if (sata_scr_read(ap, SCR_CONTROL, &scontrol) == 0) {
5745                         int spd = (scontrol >> 4) & 0xf;
5746                         ap->hw_sata_spd_limit &= (1 << spd) - 1;
5747                 }
5748                 ap->sata_spd_limit = ap->hw_sata_spd_limit;
5749
5750                 rc = scsi_add_host(ap->scsi_host, dev);
5751                 if (rc) {
5752                         ata_port_printk(ap, KERN_ERR, "scsi_add_host failed\n");
5753                         /* FIXME: do something useful here */
5754                         /* FIXME: handle unconditional calls to
5755                          * scsi_scan_host and ata_host_remove, below,
5756                          * at the very least
5757                          */
5758                 }
5759
5760                 if (ap->ops->error_handler) {
5761                         struct ata_eh_info *ehi = &ap->eh_info;
5762                         unsigned long flags;
5763
5764                         ata_port_probe(ap);
5765
5766                         /* kick EH for boot probing */
5767                         spin_lock_irqsave(ap->lock, flags);
5768
5769                         ehi->probe_mask = (1 << ATA_MAX_DEVICES) - 1;
5770                         ehi->action |= ATA_EH_SOFTRESET;
5771                         ehi->flags |= ATA_EHI_NO_AUTOPSY | ATA_EHI_QUIET;
5772
5773                         ap->pflags |= ATA_PFLAG_LOADING;
5774                         ata_port_schedule_eh(ap);
5775
5776                         spin_unlock_irqrestore(ap->lock, flags);
5777
5778                         /* wait for EH to finish */
5779                         ata_port_wait_eh(ap);
5780                 } else {
5781                         DPRINTK("ata%u: bus probe begin\n", ap->id);
5782                         rc = ata_bus_probe(ap);
5783                         DPRINTK("ata%u: bus probe end\n", ap->id);
5784
5785                         if (rc) {
5786                                 /* FIXME: do something useful here?
5787                                  * Current libata behavior will
5788                                  * tear down everything when
5789                                  * the module is removed
5790                                  * or the h/w is unplugged.
5791                                  */
5792                         }
5793                 }
5794         }
5795
5796         /* probes are done, now scan each port's disk(s) */
5797         DPRINTK("host probe begin\n");
5798         for (i = 0; i < host->n_ports; i++) {
5799                 struct ata_port *ap = host->ports[i];
5800
5801                 ata_scsi_scan_host(ap);
5802         }
5803
5804         VPRINTK("EXIT, returning %u\n", ent->n_ports);
5805         return ent->n_ports; /* success */
5806
5807  err_out:
5808         devres_release_group(dev, ata_device_add);
5809         dev_set_drvdata(dev, NULL);
5810         VPRINTK("EXIT, returning %d\n", rc);
5811         return 0;
5812 }
5813
5814 /**
5815  *      ata_port_detach - Detach ATA port in prepration of device removal
5816  *      @ap: ATA port to be detached
5817  *
5818  *      Detach all ATA devices and the associated SCSI devices of @ap;
5819  *      then, remove the associated SCSI host.  @ap is guaranteed to
5820  *      be quiescent on return from this function.
5821  *
5822  *      LOCKING:
5823  *      Kernel thread context (may sleep).
5824  */
5825 void ata_port_detach(struct ata_port *ap)
5826 {
5827         unsigned long flags;
5828         int i;
5829
5830         if (!ap->ops->error_handler)
5831                 goto skip_eh;
5832
5833         /* tell EH we're leaving & flush EH */
5834         spin_lock_irqsave(ap->lock, flags);
5835         ap->pflags |= ATA_PFLAG_UNLOADING;
5836         spin_unlock_irqrestore(ap->lock, flags);
5837
5838         ata_port_wait_eh(ap);
5839
5840         /* EH is now guaranteed to see UNLOADING, so no new device
5841          * will be attached.  Disable all existing devices.
5842          */
5843         spin_lock_irqsave(ap->lock, flags);
5844
5845         for (i = 0; i < ATA_MAX_DEVICES; i++)
5846                 ata_dev_disable(&ap->device[i]);
5847
5848         spin_unlock_irqrestore(ap->lock, flags);
5849
5850         /* Final freeze & EH.  All in-flight commands are aborted.  EH
5851          * will be skipped and retrials will be terminated with bad
5852          * target.
5853          */
5854         spin_lock_irqsave(ap->lock, flags);
5855         ata_port_freeze(ap);    /* won't be thawed */
5856         spin_unlock_irqrestore(ap->lock, flags);
5857
5858         ata_port_wait_eh(ap);
5859
5860         /* Flush hotplug task.  The sequence is similar to
5861          * ata_port_flush_task().
5862          */
5863         flush_workqueue(ata_aux_wq);
5864         cancel_delayed_work(&ap->hotplug_task);
5865         flush_workqueue(ata_aux_wq);
5866
5867  skip_eh:
5868         /* remove the associated SCSI host */
5869         scsi_remove_host(ap->scsi_host);
5870 }
5871
5872 /**
5873  *      ata_host_detach - Detach all ports of an ATA host
5874  *      @host: Host to detach
5875  *
5876  *      Detach all ports of @host.
5877  *
5878  *      LOCKING:
5879  *      Kernel thread context (may sleep).
5880  */
5881 void ata_host_detach(struct ata_host *host)
5882 {
5883         int i;
5884
5885         for (i = 0; i < host->n_ports; i++)
5886                 ata_port_detach(host->ports[i]);
5887 }
5888
5889 struct ata_probe_ent *
5890 ata_probe_ent_alloc(struct device *dev, const struct ata_port_info *port)
5891 {
5892         struct ata_probe_ent *probe_ent;
5893
5894         /* XXX - the following if can go away once all LLDs are managed */
5895         if (!list_empty(&dev->devres_head))
5896                 probe_ent = devm_kzalloc(dev, sizeof(*probe_ent), GFP_KERNEL);
5897         else
5898                 probe_ent = kzalloc(sizeof(*probe_ent), GFP_KERNEL);
5899         if (!probe_ent) {
5900                 printk(KERN_ERR DRV_NAME "(%s): out of memory\n",
5901                        kobject_name(&(dev->kobj)));
5902                 return NULL;
5903         }
5904
5905         INIT_LIST_HEAD(&probe_ent->node);
5906         probe_ent->dev = dev;
5907
5908         probe_ent->sht = port->sht;
5909         probe_ent->port_flags = port->flags;
5910         probe_ent->pio_mask = port->pio_mask;
5911         probe_ent->mwdma_mask = port->mwdma_mask;
5912         probe_ent->udma_mask = port->udma_mask;
5913         probe_ent->port_ops = port->port_ops;
5914         probe_ent->private_data = port->private_data;
5915
5916         return probe_ent;
5917 }
5918
5919 /**
5920  *      ata_std_ports - initialize ioaddr with standard port offsets.
5921  *      @ioaddr: IO address structure to be initialized
5922  *
5923  *      Utility function which initializes data_addr, error_addr,
5924  *      feature_addr, nsect_addr, lbal_addr, lbam_addr, lbah_addr,
5925  *      device_addr, status_addr, and command_addr to standard offsets
5926  *      relative to cmd_addr.
5927  *
5928  *      Does not set ctl_addr, altstatus_addr, bmdma_addr, or scr_addr.
5929  */
5930
5931 void ata_std_ports(struct ata_ioports *ioaddr)
5932 {
5933         ioaddr->data_addr = ioaddr->cmd_addr + ATA_REG_DATA;
5934         ioaddr->error_addr = ioaddr->cmd_addr + ATA_REG_ERR;
5935         ioaddr->feature_addr = ioaddr->cmd_addr + ATA_REG_FEATURE;
5936         ioaddr->nsect_addr = ioaddr->cmd_addr + ATA_REG_NSECT;
5937         ioaddr->lbal_addr = ioaddr->cmd_addr + ATA_REG_LBAL;
5938         ioaddr->lbam_addr = ioaddr->cmd_addr + ATA_REG_LBAM;
5939         ioaddr->lbah_addr = ioaddr->cmd_addr + ATA_REG_LBAH;
5940         ioaddr->device_addr = ioaddr->cmd_addr + ATA_REG_DEVICE;
5941         ioaddr->status_addr = ioaddr->cmd_addr + ATA_REG_STATUS;
5942         ioaddr->command_addr = ioaddr->cmd_addr + ATA_REG_CMD;
5943 }
5944
5945
5946 #ifdef CONFIG_PCI
5947
5948 /**
5949  *      ata_pci_remove_one - PCI layer callback for device removal
5950  *      @pdev: PCI device that was removed
5951  *
5952  *      PCI layer indicates to libata via this hook that hot-unplug or
5953  *      module unload event has occurred.  Detach all ports.  Resource
5954  *      release is handled via devres.
5955  *
5956  *      LOCKING:
5957  *      Inherited from PCI layer (may sleep).
5958  */
5959 void ata_pci_remove_one(struct pci_dev *pdev)
5960 {
5961         struct device *dev = pci_dev_to_dev(pdev);
5962         struct ata_host *host = dev_get_drvdata(dev);
5963
5964         ata_host_detach(host);
5965 }
5966
5967 /* move to PCI subsystem */
5968 int pci_test_config_bits(struct pci_dev *pdev, const struct pci_bits *bits)
5969 {
5970         unsigned long tmp = 0;
5971
5972         switch (bits->width) {
5973         case 1: {
5974                 u8 tmp8 = 0;
5975                 pci_read_config_byte(pdev, bits->reg, &tmp8);
5976                 tmp = tmp8;
5977                 break;
5978         }
5979         case 2: {
5980                 u16 tmp16 = 0;
5981                 pci_read_config_word(pdev, bits->reg, &tmp16);
5982                 tmp = tmp16;
5983                 break;
5984         }
5985         case 4: {
5986                 u32 tmp32 = 0;
5987                 pci_read_config_dword(pdev, bits->reg, &tmp32);
5988                 tmp = tmp32;
5989                 break;
5990         }
5991
5992         default:
5993                 return -EINVAL;
5994         }
5995
5996         tmp &= bits->mask;
5997
5998         return (tmp == bits->val) ? 1 : 0;
5999 }
6000
6001 void ata_pci_device_do_suspend(struct pci_dev *pdev, pm_message_t mesg)
6002 {
6003         pci_save_state(pdev);
6004
6005         if (mesg.event == PM_EVENT_SUSPEND) {
6006                 pci_disable_device(pdev);
6007                 pci_set_power_state(pdev, PCI_D3hot);
6008         }
6009 }
6010
6011 int ata_pci_device_do_resume(struct pci_dev *pdev)
6012 {
6013         int rc;
6014
6015         pci_set_power_state(pdev, PCI_D0);
6016         pci_restore_state(pdev);
6017
6018         rc = pcim_enable_device(pdev);
6019         if (rc) {
6020                 dev_printk(KERN_ERR, &pdev->dev,
6021                            "failed to enable device after resume (%d)\n", rc);
6022                 return rc;
6023         }
6024
6025         pci_set_master(pdev);
6026         return 0;
6027 }
6028
6029 int ata_pci_device_suspend(struct pci_dev *pdev, pm_message_t mesg)
6030 {
6031         struct ata_host *host = dev_get_drvdata(&pdev->dev);
6032         int rc = 0;
6033
6034         rc = ata_host_suspend(host, mesg);
6035         if (rc)
6036                 return rc;
6037
6038         ata_pci_device_do_suspend(pdev, mesg);
6039
6040         return 0;
6041 }
6042
6043 int ata_pci_device_resume(struct pci_dev *pdev)
6044 {
6045         struct ata_host *host = dev_get_drvdata(&pdev->dev);
6046         int rc;
6047
6048         rc = ata_pci_device_do_resume(pdev);
6049         if (rc == 0)
6050                 ata_host_resume(host);
6051         return rc;
6052 }
6053 #endif /* CONFIG_PCI */
6054
6055
6056 static int __init ata_init(void)
6057 {
6058         ata_probe_timeout *= HZ;
6059         ata_wq = create_workqueue("ata");
6060         if (!ata_wq)
6061                 return -ENOMEM;
6062
6063         ata_aux_wq = create_singlethread_workqueue("ata_aux");
6064         if (!ata_aux_wq) {
6065                 destroy_workqueue(ata_wq);
6066                 return -ENOMEM;
6067         }
6068
6069         printk(KERN_DEBUG "libata version " DRV_VERSION " loaded.\n");
6070         return 0;
6071 }
6072
6073 static void __exit ata_exit(void)
6074 {
6075         destroy_workqueue(ata_wq);
6076         destroy_workqueue(ata_aux_wq);
6077 }
6078
6079 subsys_initcall(ata_init);
6080 module_exit(ata_exit);
6081
6082 static unsigned long ratelimit_time;
6083 static DEFINE_SPINLOCK(ata_ratelimit_lock);
6084
6085 int ata_ratelimit(void)
6086 {
6087         int rc;
6088         unsigned long flags;
6089
6090         spin_lock_irqsave(&ata_ratelimit_lock, flags);
6091
6092         if (time_after(jiffies, ratelimit_time)) {
6093                 rc = 1;
6094                 ratelimit_time = jiffies + (HZ/5);
6095         } else
6096                 rc = 0;
6097
6098         spin_unlock_irqrestore(&ata_ratelimit_lock, flags);
6099
6100         return rc;
6101 }
6102
6103 /**
6104  *      ata_wait_register - wait until register value changes
6105  *      @reg: IO-mapped register
6106  *      @mask: Mask to apply to read register value
6107  *      @val: Wait condition
6108  *      @interval_msec: polling interval in milliseconds
6109  *      @timeout_msec: timeout in milliseconds
6110  *
6111  *      Waiting for some bits of register to change is a common
6112  *      operation for ATA controllers.  This function reads 32bit LE
6113  *      IO-mapped register @reg and tests for the following condition.
6114  *
6115  *      (*@reg & mask) != val
6116  *
6117  *      If the condition is met, it returns; otherwise, the process is
6118  *      repeated after @interval_msec until timeout.
6119  *
6120  *      LOCKING:
6121  *      Kernel thread context (may sleep)
6122  *
6123  *      RETURNS:
6124  *      The final register value.
6125  */
6126 u32 ata_wait_register(void __iomem *reg, u32 mask, u32 val,
6127                       unsigned long interval_msec,
6128                       unsigned long timeout_msec)
6129 {
6130         unsigned long timeout;
6131         u32 tmp;
6132
6133         tmp = ioread32(reg);
6134
6135         /* Calculate timeout _after_ the first read to make sure
6136          * preceding writes reach the controller before starting to
6137          * eat away the timeout.
6138          */
6139         timeout = jiffies + (timeout_msec * HZ) / 1000;
6140
6141         while ((tmp & mask) == val && time_before(jiffies, timeout)) {
6142                 msleep(interval_msec);
6143                 tmp = ioread32(reg);
6144         }
6145
6146         return tmp;
6147 }
6148
6149 /*
6150  * Dummy port_ops
6151  */
6152 static void ata_dummy_noret(struct ata_port *ap)        { }
6153 static int ata_dummy_ret0(struct ata_port *ap)          { return 0; }
6154 static void ata_dummy_qc_noret(struct ata_queued_cmd *qc) { }
6155
6156 static u8 ata_dummy_check_status(struct ata_port *ap)
6157 {
6158         return ATA_DRDY;
6159 }
6160
6161 static unsigned int ata_dummy_qc_issue(struct ata_queued_cmd *qc)
6162 {
6163         return AC_ERR_SYSTEM;
6164 }
6165
6166 const struct ata_port_operations ata_dummy_port_ops = {
6167         .port_disable           = ata_port_disable,
6168         .check_status           = ata_dummy_check_status,
6169         .check_altstatus        = ata_dummy_check_status,
6170         .dev_select             = ata_noop_dev_select,
6171         .qc_prep                = ata_noop_qc_prep,
6172         .qc_issue               = ata_dummy_qc_issue,
6173         .freeze                 = ata_dummy_noret,
6174         .thaw                   = ata_dummy_noret,
6175         .error_handler          = ata_dummy_noret,
6176         .post_internal_cmd      = ata_dummy_qc_noret,
6177         .irq_clear              = ata_dummy_noret,
6178         .port_start             = ata_dummy_ret0,
6179         .port_stop              = ata_dummy_noret,
6180 };
6181
6182 /*
6183  * libata is essentially a library of internal helper functions for
6184  * low-level ATA host controller drivers.  As such, the API/ABI is
6185  * likely to change as new drivers are added and updated.
6186  * Do not depend on ABI/API stability.
6187  */
6188
6189 EXPORT_SYMBOL_GPL(sata_deb_timing_normal);
6190 EXPORT_SYMBOL_GPL(sata_deb_timing_hotplug);
6191 EXPORT_SYMBOL_GPL(sata_deb_timing_long);
6192 EXPORT_SYMBOL_GPL(ata_dummy_port_ops);
6193 EXPORT_SYMBOL_GPL(ata_std_bios_param);
6194 EXPORT_SYMBOL_GPL(ata_std_ports);
6195 EXPORT_SYMBOL_GPL(ata_host_init);
6196 EXPORT_SYMBOL_GPL(ata_device_add);
6197 EXPORT_SYMBOL_GPL(ata_host_detach);
6198 EXPORT_SYMBOL_GPL(ata_sg_init);
6199 EXPORT_SYMBOL_GPL(ata_sg_init_one);
6200 EXPORT_SYMBOL_GPL(ata_hsm_move);
6201 EXPORT_SYMBOL_GPL(ata_qc_complete);
6202 EXPORT_SYMBOL_GPL(ata_qc_complete_multiple);
6203 EXPORT_SYMBOL_GPL(ata_qc_issue_prot);
6204 EXPORT_SYMBOL_GPL(ata_tf_load);
6205 EXPORT_SYMBOL_GPL(ata_tf_read);
6206 EXPORT_SYMBOL_GPL(ata_noop_dev_select);
6207 EXPORT_SYMBOL_GPL(ata_std_dev_select);
6208 EXPORT_SYMBOL_GPL(ata_tf_to_fis);
6209 EXPORT_SYMBOL_GPL(ata_tf_from_fis);
6210 EXPORT_SYMBOL_GPL(ata_check_status);
6211 EXPORT_SYMBOL_GPL(ata_altstatus);
6212 EXPORT_SYMBOL_GPL(ata_exec_command);
6213 EXPORT_SYMBOL_GPL(ata_port_start);
6214 EXPORT_SYMBOL_GPL(ata_interrupt);
6215 EXPORT_SYMBOL_GPL(ata_data_xfer);
6216 EXPORT_SYMBOL_GPL(ata_data_xfer_noirq);
6217 EXPORT_SYMBOL_GPL(ata_qc_prep);
6218 EXPORT_SYMBOL_GPL(ata_noop_qc_prep);
6219 EXPORT_SYMBOL_GPL(ata_bmdma_setup);
6220 EXPORT_SYMBOL_GPL(ata_bmdma_start);
6221 EXPORT_SYMBOL_GPL(ata_bmdma_irq_clear);
6222 EXPORT_SYMBOL_GPL(ata_bmdma_status);
6223 EXPORT_SYMBOL_GPL(ata_bmdma_stop);
6224 EXPORT_SYMBOL_GPL(ata_bmdma_freeze);
6225 EXPORT_SYMBOL_GPL(ata_bmdma_thaw);
6226 EXPORT_SYMBOL_GPL(ata_bmdma_drive_eh);
6227 EXPORT_SYMBOL_GPL(ata_bmdma_error_handler);
6228 EXPORT_SYMBOL_GPL(ata_bmdma_post_internal_cmd);
6229 EXPORT_SYMBOL_GPL(ata_port_probe);
6230 EXPORT_SYMBOL_GPL(sata_set_spd);
6231 EXPORT_SYMBOL_GPL(sata_phy_debounce);
6232 EXPORT_SYMBOL_GPL(sata_phy_resume);
6233 EXPORT_SYMBOL_GPL(sata_phy_reset);
6234 EXPORT_SYMBOL_GPL(__sata_phy_reset);
6235 EXPORT_SYMBOL_GPL(ata_bus_reset);
6236 EXPORT_SYMBOL_GPL(ata_std_prereset);
6237 EXPORT_SYMBOL_GPL(ata_std_softreset);
6238 EXPORT_SYMBOL_GPL(sata_port_hardreset);
6239 EXPORT_SYMBOL_GPL(sata_std_hardreset);
6240 EXPORT_SYMBOL_GPL(ata_std_postreset);
6241 EXPORT_SYMBOL_GPL(ata_dev_classify);
6242 EXPORT_SYMBOL_GPL(ata_dev_pair);
6243 EXPORT_SYMBOL_GPL(ata_port_disable);
6244 EXPORT_SYMBOL_GPL(ata_ratelimit);
6245 EXPORT_SYMBOL_GPL(ata_wait_register);
6246 EXPORT_SYMBOL_GPL(ata_busy_sleep);
6247 EXPORT_SYMBOL_GPL(ata_port_queue_task);
6248 EXPORT_SYMBOL_GPL(ata_scsi_ioctl);
6249 EXPORT_SYMBOL_GPL(ata_scsi_queuecmd);
6250 EXPORT_SYMBOL_GPL(ata_scsi_slave_config);
6251 EXPORT_SYMBOL_GPL(ata_scsi_slave_destroy);
6252 EXPORT_SYMBOL_GPL(ata_scsi_change_queue_depth);
6253 EXPORT_SYMBOL_GPL(ata_host_intr);
6254 EXPORT_SYMBOL_GPL(sata_scr_valid);
6255 EXPORT_SYMBOL_GPL(sata_scr_read);
6256 EXPORT_SYMBOL_GPL(sata_scr_write);
6257 EXPORT_SYMBOL_GPL(sata_scr_write_flush);
6258 EXPORT_SYMBOL_GPL(ata_port_online);
6259 EXPORT_SYMBOL_GPL(ata_port_offline);
6260 EXPORT_SYMBOL_GPL(ata_host_suspend);
6261 EXPORT_SYMBOL_GPL(ata_host_resume);
6262 EXPORT_SYMBOL_GPL(ata_id_string);
6263 EXPORT_SYMBOL_GPL(ata_id_c_string);
6264 EXPORT_SYMBOL_GPL(ata_device_blacklisted);
6265 EXPORT_SYMBOL_GPL(ata_scsi_simulate);
6266
6267 EXPORT_SYMBOL_GPL(ata_pio_need_iordy);
6268 EXPORT_SYMBOL_GPL(ata_timing_compute);
6269 EXPORT_SYMBOL_GPL(ata_timing_merge);
6270
6271 #ifdef CONFIG_PCI
6272 EXPORT_SYMBOL_GPL(pci_test_config_bits);
6273 EXPORT_SYMBOL_GPL(ata_pci_init_native_mode);
6274 EXPORT_SYMBOL_GPL(ata_pci_init_one);
6275 EXPORT_SYMBOL_GPL(ata_pci_remove_one);
6276 EXPORT_SYMBOL_GPL(ata_pci_device_do_suspend);
6277 EXPORT_SYMBOL_GPL(ata_pci_device_do_resume);
6278 EXPORT_SYMBOL_GPL(ata_pci_device_suspend);
6279 EXPORT_SYMBOL_GPL(ata_pci_device_resume);
6280 EXPORT_SYMBOL_GPL(ata_pci_default_filter);
6281 EXPORT_SYMBOL_GPL(ata_pci_clear_simplex);
6282 #endif /* CONFIG_PCI */
6283
6284 EXPORT_SYMBOL_GPL(ata_scsi_device_suspend);
6285 EXPORT_SYMBOL_GPL(ata_scsi_device_resume);
6286
6287 EXPORT_SYMBOL_GPL(ata_eng_timeout);
6288 EXPORT_SYMBOL_GPL(ata_port_schedule_eh);
6289 EXPORT_SYMBOL_GPL(ata_port_abort);
6290 EXPORT_SYMBOL_GPL(ata_port_freeze);
6291 EXPORT_SYMBOL_GPL(ata_eh_freeze_port);
6292 EXPORT_SYMBOL_GPL(ata_eh_thaw_port);
6293 EXPORT_SYMBOL_GPL(ata_eh_qc_complete);
6294 EXPORT_SYMBOL_GPL(ata_eh_qc_retry);
6295 EXPORT_SYMBOL_GPL(ata_do_eh);
6296 EXPORT_SYMBOL_GPL(ata_irq_on);
6297 EXPORT_SYMBOL_GPL(ata_dummy_irq_on);
6298 EXPORT_SYMBOL_GPL(ata_irq_ack);
6299 EXPORT_SYMBOL_GPL(ata_dummy_irq_ack);