V4L/DVB (4121): Update cardlist documentation
[linux-2.6] / drivers / scsi / NCR53C9x.c
1 /* NCR53C9x.c:  Generic SCSI driver code for NCR53C9x chips.
2  *
3  * Originally esp.c : EnhancedScsiProcessor Sun SCSI driver code.
4  *
5  * Copyright (C) 1995, 1998 David S. Miller (davem@caip.rutgers.edu)
6  *
7  * Most DMA dependencies put in driver specific files by 
8  * Jesper Skov (jskov@cygnus.co.uk)
9  *
10  * Set up to use esp_read/esp_write (preprocessor macros in NCR53c9x.h) by
11  * Tymm Twillman (tymm@coe.missouri.edu)
12  */
13
14 /* TODO:
15  *
16  * 1) Maybe disable parity checking in config register one for SCSI1
17  *    targets.  (Gilmore says parity error on the SBus can lock up
18  *    old sun4c's)
19  * 2) Add support for DMA2 pipelining.
20  * 3) Add tagged queueing.
21  * 4) Maybe change use of "esp" to something more "NCR"'ish.
22  */
23
24 #include <linux/module.h>
25
26 #include <linux/config.h>
27 #include <linux/kernel.h>
28 #include <linux/delay.h>
29 #include <linux/types.h>
30 #include <linux/string.h>
31 #include <linux/slab.h>
32 #include <linux/blkdev.h>
33 #include <linux/interrupt.h>
34 #include <linux/proc_fs.h>
35 #include <linux/stat.h>
36 #include <linux/init.h>
37
38 #include "scsi.h"
39 #include <scsi/scsi_host.h>
40 #include "NCR53C9x.h"
41
42 #include <asm/system.h>
43 #include <asm/ptrace.h>
44 #include <asm/pgtable.h>
45 #include <asm/io.h>
46 #include <asm/irq.h>
47
48 /* Command phase enumeration. */
49 enum {
50         not_issued    = 0x00,  /* Still in the issue_SC queue.          */
51
52         /* Various forms of selecting a target. */
53 #define in_slct_mask    0x10
54         in_slct_norm  = 0x10,  /* ESP is arbitrating, normal selection  */
55         in_slct_stop  = 0x11,  /* ESP will select, then stop with IRQ   */
56         in_slct_msg   = 0x12,  /* select, then send a message           */
57         in_slct_tag   = 0x13,  /* select and send tagged queue msg      */
58         in_slct_sneg  = 0x14,  /* select and acquire sync capabilities  */
59
60         /* Any post selection activity. */
61 #define in_phases_mask  0x20
62         in_datain     = 0x20,  /* Data is transferring from the bus     */
63         in_dataout    = 0x21,  /* Data is transferring to the bus       */
64         in_data_done  = 0x22,  /* Last DMA data operation done (maybe)  */
65         in_msgin      = 0x23,  /* Eating message from target            */
66         in_msgincont  = 0x24,  /* Eating more msg bytes from target     */
67         in_msgindone  = 0x25,  /* Decide what to do with what we got    */
68         in_msgout     = 0x26,  /* Sending message to target             */
69         in_msgoutdone = 0x27,  /* Done sending msg out                  */
70         in_cmdbegin   = 0x28,  /* Sending cmd after abnormal selection  */
71         in_cmdend     = 0x29,  /* Done sending slow cmd                 */
72         in_status     = 0x2a,  /* Was in status phase, finishing cmd    */
73         in_freeing    = 0x2b,  /* freeing the bus for cmd cmplt or disc */
74         in_the_dark   = 0x2c,  /* Don't know what bus phase we are in   */
75
76         /* Special states, ie. not normal bus transitions... */
77 #define in_spec_mask    0x80
78         in_abortone   = 0x80,  /* Aborting one command currently        */
79         in_abortall   = 0x81,  /* Blowing away all commands we have     */
80         in_resetdev   = 0x82,  /* SCSI target reset in progress         */
81         in_resetbus   = 0x83,  /* SCSI bus reset in progress            */
82         in_tgterror   = 0x84,  /* Target did something stupid           */
83 };
84
85 enum {
86         /* Zero has special meaning, see skipahead[12]. */
87 /*0*/   do_never,
88
89 /*1*/   do_phase_determine,
90 /*2*/   do_reset_bus,
91 /*3*/   do_reset_complete,
92 /*4*/   do_work_bus,
93 /*5*/   do_intr_end
94 };
95
96 /* The master ring of all esp hosts we are managing in this driver. */
97 static struct NCR_ESP *espchain;
98 int nesps = 0, esps_in_use = 0, esps_running = 0;
99
100 irqreturn_t esp_intr(int irq, void *dev_id, struct pt_regs *pregs);
101
102 /* Debugging routines */
103 static struct esp_cmdstrings {
104         unchar cmdchar;
105         char *text;
106 } esp_cmd_strings[] = {
107         /* Miscellaneous */
108         { ESP_CMD_NULL, "ESP_NOP", },
109         { ESP_CMD_FLUSH, "FIFO_FLUSH", },
110         { ESP_CMD_RC, "RSTESP", },
111         { ESP_CMD_RS, "RSTSCSI", },
112         /* Disconnected State Group */
113         { ESP_CMD_RSEL, "RESLCTSEQ", },
114         { ESP_CMD_SEL, "SLCTNATN", },
115         { ESP_CMD_SELA, "SLCTATN", },
116         { ESP_CMD_SELAS, "SLCTATNSTOP", },
117         { ESP_CMD_ESEL, "ENSLCTRESEL", },
118         { ESP_CMD_DSEL, "DISSELRESEL", },
119         { ESP_CMD_SA3, "SLCTATN3", },
120         { ESP_CMD_RSEL3, "RESLCTSEQ", },
121         /* Target State Group */
122         { ESP_CMD_SMSG, "SNDMSG", },
123         { ESP_CMD_SSTAT, "SNDSTATUS", },
124         { ESP_CMD_SDATA, "SNDDATA", },
125         { ESP_CMD_DSEQ, "DISCSEQ", },
126         { ESP_CMD_TSEQ, "TERMSEQ", },
127         { ESP_CMD_TCCSEQ, "TRGTCMDCOMPSEQ", },
128         { ESP_CMD_DCNCT, "DISC", },
129         { ESP_CMD_RMSG, "RCVMSG", },
130         { ESP_CMD_RCMD, "RCVCMD", },
131         { ESP_CMD_RDATA, "RCVDATA", },
132         { ESP_CMD_RCSEQ, "RCVCMDSEQ", },
133         /* Initiator State Group */
134         { ESP_CMD_TI, "TRANSINFO", },
135         { ESP_CMD_ICCSEQ, "INICMDSEQCOMP", },
136         { ESP_CMD_MOK, "MSGACCEPTED", },
137         { ESP_CMD_TPAD, "TPAD", },
138         { ESP_CMD_SATN, "SATN", },
139         { ESP_CMD_RATN, "RATN", },
140 };
141 #define NUM_ESP_COMMANDS  ((sizeof(esp_cmd_strings)) / (sizeof(struct esp_cmdstrings)))
142
143 /* Print textual representation of an ESP command */
144 static inline void esp_print_cmd(unchar espcmd)
145 {
146         unchar dma_bit = espcmd & ESP_CMD_DMA;
147         int i;
148
149         espcmd &= ~dma_bit;
150         for(i=0; i<NUM_ESP_COMMANDS; i++)
151                 if(esp_cmd_strings[i].cmdchar == espcmd)
152                         break;
153         if(i==NUM_ESP_COMMANDS)
154                 printk("ESP_Unknown");
155         else
156                 printk("%s%s", esp_cmd_strings[i].text,
157                        ((dma_bit) ? "+DMA" : ""));
158 }
159
160 /* Print the status register's value */
161 static inline void esp_print_statreg(unchar statreg)
162 {
163         unchar phase;
164
165         printk("STATUS<");
166         phase = statreg & ESP_STAT_PMASK;
167         printk("%s,", (phase == ESP_DOP ? "DATA-OUT" :
168                        (phase == ESP_DIP ? "DATA-IN" :
169                         (phase == ESP_CMDP ? "COMMAND" :
170                          (phase == ESP_STATP ? "STATUS" :
171                           (phase == ESP_MOP ? "MSG-OUT" :
172                            (phase == ESP_MIP ? "MSG_IN" :
173                             "unknown")))))));
174         if(statreg & ESP_STAT_TDONE)
175                 printk("TRANS_DONE,");
176         if(statreg & ESP_STAT_TCNT)
177                 printk("TCOUNT_ZERO,");
178         if(statreg & ESP_STAT_PERR)
179                 printk("P_ERROR,");
180         if(statreg & ESP_STAT_SPAM)
181                 printk("SPAM,");
182         if(statreg & ESP_STAT_INTR)
183                 printk("IRQ,");
184         printk(">");
185 }
186
187 /* Print the interrupt register's value */
188 static inline void esp_print_ireg(unchar intreg)
189 {
190         printk("INTREG< ");
191         if(intreg & ESP_INTR_S)
192                 printk("SLCT_NATN ");
193         if(intreg & ESP_INTR_SATN)
194                 printk("SLCT_ATN ");
195         if(intreg & ESP_INTR_RSEL)
196                 printk("RSLCT ");
197         if(intreg & ESP_INTR_FDONE)
198                 printk("FDONE ");
199         if(intreg & ESP_INTR_BSERV)
200                 printk("BSERV ");
201         if(intreg & ESP_INTR_DC)
202                 printk("DISCNCT ");
203         if(intreg & ESP_INTR_IC)
204                 printk("ILL_CMD ");
205         if(intreg & ESP_INTR_SR)
206                 printk("SCSI_BUS_RESET ");
207         printk(">");
208 }
209
210 /* Print the sequence step registers contents */
211 static inline void esp_print_seqreg(unchar stepreg)
212 {
213         stepreg &= ESP_STEP_VBITS;
214         printk("STEP<%s>",
215                (stepreg == ESP_STEP_ASEL ? "SLCT_ARB_CMPLT" :
216                 (stepreg == ESP_STEP_SID ? "1BYTE_MSG_SENT" :
217                  (stepreg == ESP_STEP_NCMD ? "NOT_IN_CMD_PHASE" :
218                   (stepreg == ESP_STEP_PPC ? "CMD_BYTES_LOST" :
219                    (stepreg == ESP_STEP_FINI4 ? "CMD_SENT_OK" :
220                     "UNKNOWN"))))));
221 }
222
223 static char *phase_string(int phase)
224 {
225         switch(phase) {
226         case not_issued:
227                 return "UNISSUED";
228         case in_slct_norm:
229                 return "SLCTNORM";
230         case in_slct_stop:
231                 return "SLCTSTOP";
232         case in_slct_msg:
233                 return "SLCTMSG";
234         case in_slct_tag:
235                 return "SLCTTAG";
236         case in_slct_sneg:
237                 return "SLCTSNEG";
238         case in_datain:
239                 return "DATAIN";
240         case in_dataout:
241                 return "DATAOUT";
242         case in_data_done:
243                 return "DATADONE";
244         case in_msgin:
245                 return "MSGIN";
246         case in_msgincont:
247                 return "MSGINCONT";
248         case in_msgindone:
249                 return "MSGINDONE";
250         case in_msgout:
251                 return "MSGOUT";
252         case in_msgoutdone:
253                 return "MSGOUTDONE";
254         case in_cmdbegin:
255                 return "CMDBEGIN";
256         case in_cmdend:
257                 return "CMDEND";
258         case in_status:
259                 return "STATUS";
260         case in_freeing:
261                 return "FREEING";
262         case in_the_dark:
263                 return "CLUELESS";
264         case in_abortone:
265                 return "ABORTONE";
266         case in_abortall:
267                 return "ABORTALL";
268         case in_resetdev:
269                 return "RESETDEV";
270         case in_resetbus:
271                 return "RESETBUS";
272         case in_tgterror:
273                 return "TGTERROR";
274         default:
275                 return "UNKNOWN";
276         };
277 }
278
279 #ifdef DEBUG_STATE_MACHINE
280 static inline void esp_advance_phase(Scsi_Cmnd *s, int newphase)
281 {
282         ESPLOG(("<%s>", phase_string(newphase)));
283         s->SCp.sent_command = s->SCp.phase;
284         s->SCp.phase = newphase;
285 }
286 #else
287 #define esp_advance_phase(__s, __newphase) \
288         (__s)->SCp.sent_command = (__s)->SCp.phase; \
289         (__s)->SCp.phase = (__newphase);
290 #endif
291
292 #ifdef DEBUG_ESP_CMDS
293 static inline void esp_cmd(struct NCR_ESP *esp, struct ESP_regs *eregs,
294                            unchar cmd)
295 {
296         esp->espcmdlog[esp->espcmdent] = cmd;
297         esp->espcmdent = (esp->espcmdent + 1) & 31;
298         esp_write(eregs->esp_cmnd, cmd);
299 }
300 #else
301 #define esp_cmd(__esp, __eregs, __cmd)  esp_write((__eregs)->esp_cmnd, (__cmd))
302 #endif
303
304 /* How we use the various Linux SCSI data structures for operation.
305  *
306  * struct scsi_cmnd:
307  *
308  *   We keep track of the syncronous capabilities of a target
309  *   in the device member, using sync_min_period and
310  *   sync_max_offset.  These are the values we directly write
311  *   into the ESP registers while running a command.  If offset
312  *   is zero the ESP will use asynchronous transfers.
313  *   If the borken flag is set we assume we shouldn't even bother
314  *   trying to negotiate for synchronous transfer as this target
315  *   is really stupid.  If we notice the target is dropping the
316  *   bus, and we have been allowing it to disconnect, we clear
317  *   the disconnect flag.
318  */
319
320 /* Manipulation of the ESP command queues.  Thanks to the aha152x driver
321  * and its author, Juergen E. Fischer, for the methods used here.
322  * Note that these are per-ESP queues, not global queues like
323  * the aha152x driver uses.
324  */
325 static inline void append_SC(Scsi_Cmnd **SC, Scsi_Cmnd *new_SC)
326 {
327         Scsi_Cmnd *end;
328
329         new_SC->host_scribble = (unsigned char *) NULL;
330         if(!*SC)
331                 *SC = new_SC;
332         else {
333                 for(end=*SC;end->host_scribble;end=(Scsi_Cmnd *)end->host_scribble)
334                         ;
335                 end->host_scribble = (unsigned char *) new_SC;
336         }
337 }
338
339 static inline void prepend_SC(Scsi_Cmnd **SC, Scsi_Cmnd *new_SC)
340 {
341         new_SC->host_scribble = (unsigned char *) *SC;
342         *SC = new_SC;
343 }
344
345 static inline Scsi_Cmnd *remove_first_SC(Scsi_Cmnd **SC)
346 {
347         Scsi_Cmnd *ptr;
348
349         ptr = *SC;
350         if(ptr)
351                 *SC = (Scsi_Cmnd *) (*SC)->host_scribble;
352         return ptr;
353 }
354
355 static inline Scsi_Cmnd *remove_SC(Scsi_Cmnd **SC, int target, int lun)
356 {
357         Scsi_Cmnd *ptr, *prev;
358
359         for(ptr = *SC, prev = NULL;
360             ptr && ((ptr->device->id != target) || (ptr->device->lun != lun));
361             prev = ptr, ptr = (Scsi_Cmnd *) ptr->host_scribble)
362                 ;
363         if(ptr) {
364                 if(prev)
365                         prev->host_scribble=ptr->host_scribble;
366                 else
367                         *SC=(Scsi_Cmnd *)ptr->host_scribble;
368         }
369         return ptr;
370 }
371
372 /* Resetting various pieces of the ESP scsi driver chipset */
373
374 /* Reset the ESP chip, _not_ the SCSI bus. */
375 static void esp_reset_esp(struct NCR_ESP *esp, struct ESP_regs *eregs)
376 {
377         int family_code, version, i;
378         volatile int trash;
379
380         /* Now reset the ESP chip */
381         esp_cmd(esp, eregs, ESP_CMD_RC);
382         esp_cmd(esp, eregs, ESP_CMD_NULL | ESP_CMD_DMA);
383         if(esp->erev == fast)
384                 esp_write(eregs->esp_cfg2, ESP_CONFIG2_FENAB);
385         esp_cmd(esp, eregs, ESP_CMD_NULL | ESP_CMD_DMA);
386
387         /* This is the only point at which it is reliable to read
388          * the ID-code for a fast ESP chip variant.
389          */
390         esp->max_period = ((35 * esp->ccycle) / 1000);
391         if(esp->erev == fast) {
392                 char *erev2string[] = {
393                         "Emulex FAS236",
394                         "Emulex FPESP100A",
395                         "fast",
396                         "QLogic FAS366",
397                         "Emulex FAS216",
398                         "Symbios Logic 53CF9x-2",
399                         "unknown!"
400                 };
401                         
402                 version = esp_read(eregs->esp_uid);
403                 family_code = (version & 0xf8) >> 3;
404                 if(family_code == 0x02) {
405                         if ((version & 7) == 2)
406                                 esp->erev = fas216;     
407                         else
408                                 esp->erev = fas236;
409                 } else if(family_code == 0x0a)
410                         esp->erev = fas366; /* Version is usually '5'. */
411                 else if(family_code == 0x00) {
412                         if ((version & 7) == 2)
413                                 esp->erev = fas100a; /* NCR53C9X */
414                         else
415                                 esp->erev = espunknown;
416                 } else if(family_code == 0x14) {
417                         if ((version & 7) == 2)
418                                 esp->erev = fsc;
419                         else
420                                 esp->erev = espunknown;
421                 } else if(family_code == 0x00) {
422                         if ((version & 7) == 2)
423                                 esp->erev = fas100a; /* NCR53C9X */
424                         else
425                                 esp->erev = espunknown;
426                 } else
427                         esp->erev = espunknown;
428                 ESPLOG(("esp%d: FAST chip is %s (family=%d, version=%d)\n",
429                         esp->esp_id, erev2string[esp->erev - fas236],
430                         family_code, (version & 7)));
431
432                 esp->min_period = ((4 * esp->ccycle) / 1000);
433         } else {
434                 esp->min_period = ((5 * esp->ccycle) / 1000);
435         }
436
437         /* Reload the configuration registers */
438         esp_write(eregs->esp_cfact, esp->cfact);
439         esp->prev_stp = 0;
440         esp_write(eregs->esp_stp, 0);
441         esp->prev_soff = 0;
442         esp_write(eregs->esp_soff, 0);
443         esp_write(eregs->esp_timeo, esp->neg_defp);
444         esp->max_period = (esp->max_period + 3)>>2;
445         esp->min_period = (esp->min_period + 3)>>2;
446
447         esp_write(eregs->esp_cfg1, esp->config1);
448         switch(esp->erev) {
449         case esp100:
450                 /* nothing to do */
451                 break;
452         case esp100a:
453                 esp_write(eregs->esp_cfg2, esp->config2);
454                 break;
455         case esp236:
456                 /* Slow 236 */
457                 esp_write(eregs->esp_cfg2, esp->config2);
458                 esp->prev_cfg3 = esp->config3[0];
459                 esp_write(eregs->esp_cfg3, esp->prev_cfg3);
460                 break;
461         case fas366:
462                 panic("esp: FAS366 support not present, please notify "
463                       "jongk@cs.utwente.nl");
464                 break;
465         case fas216:
466         case fas236:
467         case fsc:
468                 /* Fast ESP variants */
469                 esp_write(eregs->esp_cfg2, esp->config2);
470                 for(i=0; i<8; i++)
471                         esp->config3[i] |= ESP_CONFIG3_FCLK;
472                 esp->prev_cfg3 = esp->config3[0];
473                 esp_write(eregs->esp_cfg3, esp->prev_cfg3);
474                 if(esp->diff)
475                         esp->radelay = 0;
476                 else
477                         esp->radelay = 16;
478                 /* Different timeout constant for these chips */
479                 esp->neg_defp =
480                         FSC_NEG_DEFP(esp->cfreq,
481                                      (esp->cfact == ESP_CCF_F0 ?
482                                       ESP_CCF_F7 + 1 : esp->cfact));
483                 esp_write(eregs->esp_timeo, esp->neg_defp);
484                 /* Enable Active Negotiation if possible */
485                 if((esp->erev == fsc) && !esp->diff)
486                         esp_write(eregs->esp_cfg4, ESP_CONFIG4_EAN);
487                 break;
488         case fas100a:
489                 /* Fast 100a */
490                 esp_write(eregs->esp_cfg2, esp->config2);
491                 for(i=0; i<8; i++)
492                         esp->config3[i] |= ESP_CONFIG3_FCLOCK;
493                 esp->prev_cfg3 = esp->config3[0];
494                 esp_write(eregs->esp_cfg3, esp->prev_cfg3);
495                 esp->radelay = 32;
496                 break;
497         default:
498                 panic("esp: what could it be... I wonder...");
499                 break;
500         };
501
502         /* Eat any bitrot in the chip */
503         trash = esp_read(eregs->esp_intrpt);
504         udelay(100);
505 }
506
507 /* This places the ESP into a known state at boot time. */
508 void esp_bootup_reset(struct NCR_ESP *esp, struct ESP_regs *eregs)
509 {
510         volatile unchar trash;
511
512         /* Reset the DMA */
513         if(esp->dma_reset)
514                 esp->dma_reset(esp);
515
516         /* Reset the ESP */
517         esp_reset_esp(esp, eregs);
518
519         /* Reset the SCSI bus, but tell ESP not to generate an irq */
520         esp_write(eregs->esp_cfg1, (esp_read(eregs->esp_cfg1) | ESP_CONFIG1_SRRDISAB));
521         esp_cmd(esp, eregs, ESP_CMD_RS);
522         udelay(400);
523         esp_write(eregs->esp_cfg1, esp->config1);
524
525         /* Eat any bitrot in the chip and we are done... */
526         trash = esp_read(eregs->esp_intrpt);
527 }
528
529 /* Allocate structure and insert basic data such as SCSI chip frequency
530  * data and a pointer to the device
531  */
532 struct NCR_ESP* esp_allocate(struct scsi_host_template *tpnt, void *esp_dev)
533 {
534         struct NCR_ESP *esp, *elink;
535         struct Scsi_Host *esp_host;
536
537         esp_host = scsi_register(tpnt, sizeof(struct NCR_ESP));
538         if(!esp_host)
539                 panic("Cannot register ESP SCSI host");
540         esp = (struct NCR_ESP *) esp_host->hostdata;
541         if(!esp)
542                 panic("No esp in hostdata");
543         esp->ehost = esp_host;
544         esp->edev = esp_dev;
545         esp->esp_id = nesps++;
546
547         /* Set bitshift value (only used on Amiga with multiple ESPs) */
548         esp->shift = 2;
549
550         /* Put into the chain of esp chips detected */
551         if(espchain) {
552                 elink = espchain;
553                 while(elink->next) elink = elink->next;
554                 elink->next = esp;
555         } else {
556                 espchain = esp;
557         }
558         esp->next = NULL;
559
560         return esp;
561 }
562
563 void esp_deallocate(struct NCR_ESP *esp)
564 {
565         struct NCR_ESP *elink;
566
567         if(espchain == esp) {
568                 espchain = NULL;
569         } else {
570                 for(elink = espchain; elink && (elink->next != esp); elink = elink->next);
571                 if(elink) 
572                         elink->next = esp->next;
573         }
574         nesps--;
575 }
576
577 /* Complete initialization of ESP structure and device
578  * Caller must have initialized appropriate parts of the ESP structure
579  * between the call to esp_allocate and this function.
580  */
581 void esp_initialize(struct NCR_ESP *esp)
582 {
583         struct ESP_regs *eregs = esp->eregs;
584         unsigned int fmhz;
585         unchar ccf;
586         int i;
587         
588         /* Check out the clock properties of the chip. */
589
590         /* This is getting messy but it has to be done
591          * correctly or else you get weird behavior all
592          * over the place.  We are trying to basically
593          * figure out three pieces of information.
594          *
595          * a) Clock Conversion Factor
596          *
597          *    This is a representation of the input
598          *    crystal clock frequency going into the
599          *    ESP on this machine.  Any operation whose
600          *    timing is longer than 400ns depends on this
601          *    value being correct.  For example, you'll
602          *    get blips for arbitration/selection during
603          *    high load or with multiple targets if this
604          *    is not set correctly.
605          *
606          * b) Selection Time-Out
607          *
608          *    The ESP isn't very bright and will arbitrate
609          *    for the bus and try to select a target
610          *    forever if you let it.  This value tells
611          *    the ESP when it has taken too long to
612          *    negotiate and that it should interrupt
613          *    the CPU so we can see what happened.
614          *    The value is computed as follows (from
615          *    NCR/Symbios chip docs).
616          *
617          *          (Time Out Period) *  (Input Clock)
618          *    STO = ----------------------------------
619          *          (8192) * (Clock Conversion Factor)
620          *
621          *    You usually want the time out period to be
622          *    around 250ms, I think we'll set it a little
623          *    bit higher to account for fully loaded SCSI
624          *    bus's and slow devices that don't respond so
625          *    quickly to selection attempts. (yeah, I know
626          *    this is out of spec. but there is a lot of
627          *    buggy pieces of firmware out there so bite me)
628          *
629          * c) Imperical constants for synchronous offset
630          *    and transfer period register values
631          *
632          *    This entails the smallest and largest sync
633          *    period we could ever handle on this ESP.
634          */
635         
636         fmhz = esp->cfreq;
637
638         if(fmhz <= (5000000))
639                 ccf = 0;
640         else
641                 ccf = (((5000000 - 1) + (fmhz))/(5000000));
642         if(!ccf || ccf > 8) {
643                 /* If we can't find anything reasonable,
644                  * just assume 20MHZ.  This is the clock
645                  * frequency of the older sun4c's where I've
646                  * been unable to find the clock-frequency
647                  * PROM property.  All other machines provide
648                  * useful values it seems.
649                  */
650                 ccf = ESP_CCF_F4;
651                 fmhz = (20000000);
652         }
653         if(ccf==(ESP_CCF_F7+1))
654                 esp->cfact = ESP_CCF_F0;
655         else if(ccf == ESP_CCF_NEVER)
656                 esp->cfact = ESP_CCF_F2;
657         else
658                 esp->cfact = ccf;
659         esp->cfreq = fmhz;
660         esp->ccycle = ESP_MHZ_TO_CYCLE(fmhz);
661         esp->ctick = ESP_TICK(ccf, esp->ccycle);
662         esp->neg_defp = ESP_NEG_DEFP(fmhz, ccf);
663         esp->sync_defp = SYNC_DEFP_SLOW;
664
665         printk("SCSI ID %d Clk %dMHz CCF=%d TOut %d ",
666                esp->scsi_id, (esp->cfreq / 1000000),
667                ccf, (int) esp->neg_defp);
668
669         /* Fill in ehost data */
670         esp->ehost->base = (unsigned long)eregs;
671         esp->ehost->this_id = esp->scsi_id;
672         esp->ehost->irq = esp->irq;
673
674         /* SCSI id mask */
675         esp->scsi_id_mask = (1 << esp->scsi_id);
676
677         /* Probe the revision of this esp */
678         esp->config1 = (ESP_CONFIG1_PENABLE | (esp->scsi_id & 7));
679         esp->config2 = (ESP_CONFIG2_SCSI2ENAB | ESP_CONFIG2_REGPARITY);
680         esp_write(eregs->esp_cfg2, esp->config2);
681         if((esp_read(eregs->esp_cfg2) & ~(ESP_CONFIG2_MAGIC)) !=
682            (ESP_CONFIG2_SCSI2ENAB | ESP_CONFIG2_REGPARITY)) {
683                 printk("NCR53C90(esp100)\n");
684                 esp->erev = esp100;
685         } else {
686                 esp->config2 = 0;
687                 esp_write(eregs->esp_cfg2, 0);
688                 esp_write(eregs->esp_cfg3, 5);
689                 if(esp_read(eregs->esp_cfg3) != 5) {
690                         printk("NCR53C90A(esp100a)\n");
691                         esp->erev = esp100a;
692                 } else {
693                         int target;
694
695                         for(target=0; target<8; target++)
696                                 esp->config3[target] = 0;
697                         esp->prev_cfg3 = 0;
698                         esp_write(eregs->esp_cfg3, 0);
699                         if(ccf > ESP_CCF_F5) {
700                                 printk("NCR53C9XF(espfast)\n");
701                                 esp->erev = fast;
702                                 esp->sync_defp = SYNC_DEFP_FAST;
703                         } else {
704                                 printk("NCR53C9x(esp236)\n");
705                                 esp->erev = esp236;
706                         }
707                 }
708         }                               
709
710         /* Initialize the command queues */
711         esp->current_SC = NULL;
712         esp->disconnected_SC = NULL;
713         esp->issue_SC = NULL;
714
715         /* Clear the state machines. */
716         esp->targets_present = 0;
717         esp->resetting_bus = 0;
718         esp->snip = 0;
719
720         init_waitqueue_head(&esp->reset_queue);
721
722         esp->fas_premature_intr_workaround = 0;
723         for(i = 0; i < 32; i++)
724                 esp->espcmdlog[i] = 0;
725         esp->espcmdent = 0;
726         for(i = 0; i < 16; i++) {
727                 esp->cur_msgout[i] = 0;
728                 esp->cur_msgin[i] = 0;
729         }
730         esp->prevmsgout = esp->prevmsgin = 0;
731         esp->msgout_len = esp->msgin_len = 0;
732
733         /* Clear the one behind caches to hold unmatchable values. */
734         esp->prev_soff = esp->prev_stp = esp->prev_cfg3 = 0xff;
735
736         /* Reset the thing before we try anything... */
737         esp_bootup_reset(esp, eregs);
738
739         esps_in_use++;
740 }
741
742 /* The info function will return whatever useful
743  * information the developer sees fit.  If not provided, then
744  * the name field will be used instead.
745  */
746 const char *esp_info(struct Scsi_Host *host)
747 {
748         struct NCR_ESP *esp;
749
750         esp = (struct NCR_ESP *) host->hostdata;
751         switch(esp->erev) {
752         case esp100:
753                 return "ESP100 (NCR53C90)";
754         case esp100a:
755                 return "ESP100A (NCR53C90A)";
756         case esp236:
757                 return "ESP236 (NCR53C9x)";
758         case fas216:
759                 return "Emulex FAS216";
760         case fas236:
761                 return "Emulex FAS236";
762         case fas366:
763                 return "QLogic FAS366";
764         case fas100a:
765                 return "FPESP100A";
766         case fsc:
767                 return "Symbios Logic 53CF9x-2";
768         default:
769                 panic("Bogon ESP revision");
770         };
771 }
772
773 /* From Wolfgang Stanglmeier's NCR scsi driver. */
774 struct info_str
775 {
776         char *buffer;
777         int length;
778         int offset;
779         int pos;
780 };
781
782 static void copy_mem_info(struct info_str *info, char *data, int len)
783 {
784         if (info->pos + len > info->length)
785                 len = info->length - info->pos;
786
787         if (info->pos + len < info->offset) {
788                 info->pos += len;
789                 return;
790         }
791         if (info->pos < info->offset) {
792                 data += (info->offset - info->pos);
793                 len  -= (info->offset - info->pos);
794         }
795
796         if (len > 0) {
797                 memcpy(info->buffer + info->pos, data, len);
798                 info->pos += len;
799         }
800 }
801
802 static int copy_info(struct info_str *info, char *fmt, ...)
803 {
804         va_list args;
805         char buf[81];
806         int len;
807
808         va_start(args, fmt);
809         len = vsprintf(buf, fmt, args);
810         va_end(args);
811
812         copy_mem_info(info, buf, len);
813         return len;
814 }
815
816 static int esp_host_info(struct NCR_ESP *esp, char *ptr, off_t offset, int len)
817 {
818         struct scsi_device *sdev;
819         struct info_str info;
820         int i;
821
822         info.buffer     = ptr;
823         info.length     = len;
824         info.offset     = offset;
825         info.pos        = 0;
826
827         copy_info(&info, "ESP Host Adapter:\n");
828         copy_info(&info, "\tESP Model\t\t");
829         switch(esp->erev) {
830         case esp100:
831                 copy_info(&info, "ESP100 (NCR53C90)\n");
832                 break;
833         case esp100a:
834                 copy_info(&info, "ESP100A (NCR53C90A)\n");
835                 break;
836         case esp236:
837                 copy_info(&info, "ESP236 (NCR53C9x)\n");
838                 break;
839         case fas216:
840                 copy_info(&info, "Emulex FAS216\n");
841                 break;
842         case fas236:
843                 copy_info(&info, "Emulex FAS236\n");
844                 break;
845         case fas100a:
846                 copy_info(&info, "FPESP100A\n");
847                 break;
848         case fast:
849                 copy_info(&info, "Generic FAST\n");
850                 break;
851         case fas366:
852                 copy_info(&info, "QLogic FAS366\n");
853                 break;
854         case fsc:
855                 copy_info(&info, "Symbios Logic 53C9x-2\n");
856                 break;
857         case espunknown:
858         default:
859                 copy_info(&info, "Unknown!\n");
860                 break;
861         };
862         copy_info(&info, "\tLive Targets\t\t[ ");
863         for(i = 0; i < 15; i++) {
864                 if(esp->targets_present & (1 << i))
865                         copy_info(&info, "%d ", i);
866         }
867         copy_info(&info, "]\n\n");
868         
869         /* Now describe the state of each existing target. */
870         copy_info(&info, "Target #\tconfig3\t\tSync Capabilities\tDisconnect\n");
871
872         shost_for_each_device(sdev, esp->ehost) {
873                 struct esp_device *esp_dev = sdev->hostdata;
874                 uint id = sdev->id;
875
876                 if (!(esp->targets_present & (1 << id)))
877                         continue;
878
879                 copy_info(&info, "%d\t\t", id);
880                 copy_info(&info, "%08lx\t", esp->config3[id]);
881                 copy_info(&info, "[%02lx,%02lx]\t\t\t",
882                         esp_dev->sync_max_offset,
883                         esp_dev->sync_min_period);
884                 copy_info(&info, "%s\n", esp_dev->disconnect ? "yes" : "no");
885         }
886
887         return info.pos > info.offset? info.pos - info.offset : 0;
888 }
889
890 /* ESP proc filesystem code. */
891 int esp_proc_info(struct Scsi_Host *shost, char *buffer, char **start, off_t offset, int length,
892                   int inout)
893 {
894         struct NCR_ESP *esp = (struct NCR_ESP *)shost->hostdata;
895
896         if(inout)
897                 return -EINVAL; /* not yet */
898         if(start)
899                 *start = buffer;
900         return esp_host_info(esp, buffer, offset, length);
901 }
902
903 static void esp_get_dmabufs(struct NCR_ESP *esp, Scsi_Cmnd *sp)
904 {
905         if(sp->use_sg == 0) {
906                 sp->SCp.this_residual = sp->request_bufflen;
907                 sp->SCp.buffer = (struct scatterlist *) sp->request_buffer;
908                 sp->SCp.buffers_residual = 0;
909                 if (esp->dma_mmu_get_scsi_one)
910                         esp->dma_mmu_get_scsi_one(esp, sp);
911                 else
912                         sp->SCp.ptr =
913                                 (char *) virt_to_phys(sp->request_buffer);
914         } else {
915                 sp->SCp.buffer = (struct scatterlist *) sp->buffer;
916                 sp->SCp.buffers_residual = sp->use_sg - 1;
917                 sp->SCp.this_residual = sp->SCp.buffer->length;
918                 if (esp->dma_mmu_get_scsi_sgl)
919                         esp->dma_mmu_get_scsi_sgl(esp, sp);
920                 else
921                         sp->SCp.ptr =
922                                 (char *) virt_to_phys((page_address(sp->SCp.buffer->page) + sp->SCp.buffer->offset));
923         }
924 }
925
926 static void esp_release_dmabufs(struct NCR_ESP *esp, Scsi_Cmnd *sp)
927 {
928         if(sp->use_sg == 0) {
929                 if (esp->dma_mmu_release_scsi_one)
930                         esp->dma_mmu_release_scsi_one(esp, sp);
931         } else {
932                 if (esp->dma_mmu_release_scsi_sgl)
933                         esp->dma_mmu_release_scsi_sgl(esp, sp);
934         }
935 }
936
937 static void esp_restore_pointers(struct NCR_ESP *esp, Scsi_Cmnd *sp)
938 {
939         struct esp_pointers *ep = &esp->data_pointers[scmd_id(sp)];
940
941         sp->SCp.ptr = ep->saved_ptr;
942         sp->SCp.buffer = ep->saved_buffer;
943         sp->SCp.this_residual = ep->saved_this_residual;
944         sp->SCp.buffers_residual = ep->saved_buffers_residual;
945 }
946
947 static void esp_save_pointers(struct NCR_ESP *esp, Scsi_Cmnd *sp)
948 {
949         struct esp_pointers *ep = &esp->data_pointers[scmd_id(sp)];
950
951         ep->saved_ptr = sp->SCp.ptr;
952         ep->saved_buffer = sp->SCp.buffer;
953         ep->saved_this_residual = sp->SCp.this_residual;
954         ep->saved_buffers_residual = sp->SCp.buffers_residual;
955 }
956
957 /* Some rules:
958  *
959  *   1) Never ever panic while something is live on the bus.
960  *      If there is to be any chance of syncing the disks this
961  *      rule is to be obeyed.
962  *
963  *   2) Any target that causes a foul condition will no longer
964  *      have synchronous transfers done to it, no questions
965  *      asked.
966  *
967  *   3) Keep register accesses to a minimum.  Think about some
968  *      day when we have Xbus machines this is running on and
969  *      the ESP chip is on the other end of the machine on a
970  *      different board from the cpu where this is running.
971  */
972
973 /* Fire off a command.  We assume the bus is free and that the only
974  * case where we could see an interrupt is where we have disconnected
975  * commands active and they are trying to reselect us.
976  */
977 static inline void esp_check_cmd(struct NCR_ESP *esp, Scsi_Cmnd *sp)
978 {
979         switch(sp->cmd_len) {
980         case 6:
981         case 10:
982         case 12:
983                 esp->esp_slowcmd = 0;
984                 break;
985
986         default:
987                 esp->esp_slowcmd = 1;
988                 esp->esp_scmdleft = sp->cmd_len;
989                 esp->esp_scmdp = &sp->cmnd[0];
990                 break;
991         };
992 }
993
994 static inline void build_sync_nego_msg(struct NCR_ESP *esp, int period, int offset)
995 {
996         esp->cur_msgout[0] = EXTENDED_MESSAGE;
997         esp->cur_msgout[1] = 3;
998         esp->cur_msgout[2] = EXTENDED_SDTR;
999         esp->cur_msgout[3] = period;
1000         esp->cur_msgout[4] = offset;
1001         esp->msgout_len = 5;
1002 }
1003
1004 static void esp_exec_cmd(struct NCR_ESP *esp)
1005 {
1006         struct ESP_regs *eregs = esp->eregs;
1007         struct esp_device *esp_dev;
1008         Scsi_Cmnd *SCptr;
1009         struct scsi_device *SDptr;
1010         volatile unchar *cmdp = esp->esp_command;
1011         unsigned char the_esp_command;
1012         int lun, target;
1013         int i;
1014
1015         /* Hold off if we have disconnected commands and
1016          * an IRQ is showing...
1017          */
1018         if(esp->disconnected_SC && esp->dma_irq_p(esp))
1019                 return;
1020
1021         /* Grab first member of the issue queue. */
1022         SCptr = esp->current_SC = remove_first_SC(&esp->issue_SC);
1023
1024         /* Safe to panic here because current_SC is null. */
1025         if(!SCptr)
1026                 panic("esp: esp_exec_cmd and issue queue is NULL");
1027
1028         SDptr = SCptr->device;
1029         esp_dev = SDptr->hostdata;
1030         lun = SCptr->device->lun;
1031         target = SCptr->device->id;
1032
1033         esp->snip = 0;
1034         esp->msgout_len = 0;
1035
1036         /* Send it out whole, or piece by piece?   The ESP
1037          * only knows how to automatically send out 6, 10,
1038          * and 12 byte commands.  I used to think that the
1039          * Linux SCSI code would never throw anything other
1040          * than that to us, but then again there is the
1041          * SCSI generic driver which can send us anything.
1042          */
1043         esp_check_cmd(esp, SCptr);
1044
1045         /* If arbitration/selection is successful, the ESP will leave
1046          * ATN asserted, causing the target to go into message out
1047          * phase.  The ESP will feed the target the identify and then
1048          * the target can only legally go to one of command,
1049          * datain/out, status, or message in phase, or stay in message
1050          * out phase (should we be trying to send a sync negotiation
1051          * message after the identify).  It is not allowed to drop
1052          * BSY, but some buggy targets do and we check for this
1053          * condition in the selection complete code.  Most of the time
1054          * we'll make the command bytes available to the ESP and it
1055          * will not interrupt us until it finishes command phase, we
1056          * cannot do this for command sizes the ESP does not
1057          * understand and in this case we'll get interrupted right
1058          * when the target goes into command phase.
1059          *
1060          * It is absolutely _illegal_ in the presence of SCSI-2 devices
1061          * to use the ESP select w/o ATN command.  When SCSI-2 devices are
1062          * present on the bus we _must_ always go straight to message out
1063          * phase with an identify message for the target.  Being that
1064          * selection attempts in SCSI-1 w/o ATN was an option, doing SCSI-2
1065          * selections should not confuse SCSI-1 we hope.
1066          */
1067
1068         if(esp_dev->sync) {
1069                 /* this targets sync is known */
1070 #ifdef CONFIG_SCSI_MAC_ESP
1071 do_sync_known:
1072 #endif
1073                 if(esp_dev->disconnect)
1074                         *cmdp++ = IDENTIFY(1, lun);
1075                 else
1076                         *cmdp++ = IDENTIFY(0, lun);
1077
1078                 if(esp->esp_slowcmd) {
1079                         the_esp_command = (ESP_CMD_SELAS | ESP_CMD_DMA);
1080                         esp_advance_phase(SCptr, in_slct_stop);
1081                 } else {
1082                         the_esp_command = (ESP_CMD_SELA | ESP_CMD_DMA);
1083                         esp_advance_phase(SCptr, in_slct_norm);
1084                 }
1085         } else if(!(esp->targets_present & (1<<target)) || !(esp_dev->disconnect)) {
1086                 /* After the bootup SCSI code sends both the
1087                  * TEST_UNIT_READY and INQUIRY commands we want
1088                  * to at least attempt allowing the device to
1089                  * disconnect.
1090                  */
1091                 ESPMISC(("esp: Selecting device for first time. target=%d "
1092                          "lun=%d\n", target, SCptr->device->lun));
1093                 if(!SDptr->borken && !esp_dev->disconnect)
1094                         esp_dev->disconnect = 1;
1095
1096                 *cmdp++ = IDENTIFY(0, lun);
1097                 esp->prevmsgout = NOP;
1098                 esp_advance_phase(SCptr, in_slct_norm);
1099                 the_esp_command = (ESP_CMD_SELA | ESP_CMD_DMA);
1100
1101                 /* Take no chances... */
1102                 esp_dev->sync_max_offset = 0;
1103                 esp_dev->sync_min_period = 0;
1104         } else {
1105                 int toshiba_cdrom_hwbug_wkaround = 0;
1106
1107 #ifdef CONFIG_SCSI_MAC_ESP
1108                 /* Never allow synchronous transfers (disconnect OK) on
1109                  * Macintosh. Well, maybe later when we figured out how to 
1110                  * do DMA on the machines that support it ...
1111                  */
1112                 esp_dev->disconnect = 1;
1113                 esp_dev->sync_max_offset = 0;
1114                 esp_dev->sync_min_period = 0;
1115                 esp_dev->sync = 1;
1116                 esp->snip = 0;
1117                 goto do_sync_known;
1118 #endif
1119                 /* We've talked to this guy before,
1120                  * but never negotiated.  Let's try
1121                  * sync negotiation.
1122                  */
1123                 if(!SDptr->borken) {
1124                         if((SDptr->type == TYPE_ROM) &&
1125                            (!strncmp(SDptr->vendor, "TOSHIBA", 7))) {
1126                                 /* Nice try sucker... */
1127                                 ESPMISC(("esp%d: Disabling sync for buggy "
1128                                          "Toshiba CDROM.\n", esp->esp_id));
1129                                 toshiba_cdrom_hwbug_wkaround = 1;
1130                                 build_sync_nego_msg(esp, 0, 0);
1131                         } else {
1132                                 build_sync_nego_msg(esp, esp->sync_defp, 15);
1133                         }
1134                 } else {
1135                         build_sync_nego_msg(esp, 0, 0);
1136                 }
1137                 esp_dev->sync = 1;
1138                 esp->snip = 1;
1139
1140                 /* A fix for broken SCSI1 targets, when they disconnect
1141                  * they lock up the bus and confuse ESP.  So disallow
1142                  * disconnects for SCSI1 targets for now until we
1143                  * find a better fix.
1144                  *
1145                  * Addendum: This is funny, I figured out what was going
1146                  *           on.  The blotzed SCSI1 target would disconnect,
1147                  *           one of the other SCSI2 targets or both would be
1148                  *           disconnected as well.  The SCSI1 target would
1149                  *           stay disconnected long enough that we start
1150                  *           up a command on one of the SCSI2 targets.  As
1151                  *           the ESP is arbitrating for the bus the SCSI1
1152                  *           target begins to arbitrate as well to reselect
1153                  *           the ESP.  The SCSI1 target refuses to drop it's
1154                  *           ID bit on the data bus even though the ESP is
1155                  *           at ID 7 and is the obvious winner for any
1156                  *           arbitration.  The ESP is a poor sport and refuses
1157                  *           to lose arbitration, it will continue indefinitely
1158                  *           trying to arbitrate for the bus and can only be
1159                  *           stopped via a chip reset or SCSI bus reset.
1160                  *           Therefore _no_ disconnects for SCSI1 targets
1161                  *           thank you very much. ;-)
1162                  */
1163                 if(((SDptr->scsi_level < 3) && (SDptr->type != TYPE_TAPE)) ||
1164                    toshiba_cdrom_hwbug_wkaround || SDptr->borken) {
1165                         ESPMISC((KERN_INFO "esp%d: Disabling DISCONNECT for target %d "
1166                                  "lun %d\n", esp->esp_id, SCptr->device->id, SCptr->device->lun));
1167                         esp_dev->disconnect = 0;
1168                         *cmdp++ = IDENTIFY(0, lun);
1169                 } else {
1170                         *cmdp++ = IDENTIFY(1, lun);
1171                 }
1172
1173                 /* ESP fifo is only so big...
1174                  * Make this look like a slow command.
1175                  */
1176                 esp->esp_slowcmd = 1;
1177                 esp->esp_scmdleft = SCptr->cmd_len;
1178                 esp->esp_scmdp = &SCptr->cmnd[0];
1179
1180                 the_esp_command = (ESP_CMD_SELAS | ESP_CMD_DMA);
1181                 esp_advance_phase(SCptr, in_slct_msg);
1182         }
1183
1184         if(!esp->esp_slowcmd)
1185                 for(i = 0; i < SCptr->cmd_len; i++)
1186                         *cmdp++ = SCptr->cmnd[i];
1187
1188         esp_write(eregs->esp_busid, (target & 7));
1189         if (esp->prev_soff != esp_dev->sync_max_offset ||
1190             esp->prev_stp  != esp_dev->sync_min_period ||
1191             (esp->erev > esp100a &&
1192              esp->prev_cfg3 != esp->config3[target])) {
1193                 esp->prev_soff = esp_dev->sync_max_offset;
1194                 esp_write(eregs->esp_soff, esp->prev_soff);
1195                 esp->prev_stp = esp_dev->sync_min_period;
1196                 esp_write(eregs->esp_stp, esp->prev_stp); 
1197                 if(esp->erev > esp100a) {
1198                         esp->prev_cfg3 = esp->config3[target];
1199                         esp_write(eregs->esp_cfg3, esp->prev_cfg3);
1200                 }
1201         }
1202         i = (cmdp - esp->esp_command);
1203
1204         /* Set up the DMA and ESP counters */
1205         if(esp->do_pio_cmds){
1206                 int j = 0;
1207
1208                 /* 
1209                  * XXX MSch:
1210                  *
1211                  * It seems this is required, at least to clean up
1212                  * after failed commands when using PIO mode ...
1213                  */
1214                 esp_cmd(esp, eregs, ESP_CMD_FLUSH);
1215
1216                 for(;j<i;j++)
1217                         esp_write(eregs->esp_fdata, esp->esp_command[j]);
1218                 the_esp_command &= ~ESP_CMD_DMA;
1219
1220                 /* Tell ESP to "go". */
1221                 esp_cmd(esp, eregs, the_esp_command);
1222         } else {
1223                 /* Set up the ESP counters */
1224                 esp_write(eregs->esp_tclow, i);
1225                 esp_write(eregs->esp_tcmed, 0);
1226                 esp->dma_init_write(esp, esp->esp_command_dvma, i);
1227
1228                 /* Tell ESP to "go". */
1229                 esp_cmd(esp, eregs, the_esp_command);
1230         }
1231 }
1232
1233 /* Queue a SCSI command delivered from the mid-level Linux SCSI code. */
1234 int esp_queue(Scsi_Cmnd *SCpnt, void (*done)(Scsi_Cmnd *))
1235 {
1236         struct NCR_ESP *esp;
1237
1238         /* Set up func ptr and initial driver cmd-phase. */
1239         SCpnt->scsi_done = done;
1240         SCpnt->SCp.phase = not_issued;
1241
1242         esp = (struct NCR_ESP *) SCpnt->device->host->hostdata;
1243
1244         if(esp->dma_led_on)
1245                 esp->dma_led_on(esp);
1246
1247         /* We use the scratch area. */
1248         ESPQUEUE(("esp_queue: target=%d lun=%d ", SCpnt->device->id, SCpnt->lun));
1249         ESPDISC(("N<%02x,%02x>", SCpnt->device->id, SCpnt->lun));
1250
1251         esp_get_dmabufs(esp, SCpnt);
1252         esp_save_pointers(esp, SCpnt); /* FIXME for tag queueing */
1253
1254         SCpnt->SCp.Status           = CHECK_CONDITION;
1255         SCpnt->SCp.Message          = 0xff;
1256         SCpnt->SCp.sent_command     = 0;
1257
1258         /* Place into our queue. */
1259         if(SCpnt->cmnd[0] == REQUEST_SENSE) {
1260                 ESPQUEUE(("RQSENSE\n"));
1261                 prepend_SC(&esp->issue_SC, SCpnt);
1262         } else {
1263                 ESPQUEUE(("\n"));
1264                 append_SC(&esp->issue_SC, SCpnt);
1265         }
1266
1267         /* Run it now if we can. */
1268         if(!esp->current_SC && !esp->resetting_bus)
1269                 esp_exec_cmd(esp);
1270
1271         return 0;
1272 }
1273
1274 /* Dump driver state. */
1275 static void esp_dump_cmd(Scsi_Cmnd *SCptr)
1276 {
1277         ESPLOG(("[tgt<%02x> lun<%02x> "
1278                 "pphase<%s> cphase<%s>]",
1279                 SCptr->device->id, SCptr->device->lun,
1280                 phase_string(SCptr->SCp.sent_command),
1281                 phase_string(SCptr->SCp.phase)));
1282 }
1283
1284 static void esp_dump_state(struct NCR_ESP *esp, 
1285                            struct ESP_regs *eregs)
1286 {
1287         Scsi_Cmnd *SCptr = esp->current_SC;
1288 #ifdef DEBUG_ESP_CMDS
1289         int i;
1290 #endif
1291
1292         ESPLOG(("esp%d: dumping state\n", esp->esp_id));
1293         
1294         /* Print DMA status */
1295         esp->dma_dump_state(esp);
1296
1297         ESPLOG(("esp%d: SW [sreg<%02x> sstep<%02x> ireg<%02x>]\n",
1298                 esp->esp_id, esp->sreg, esp->seqreg, esp->ireg));
1299         ESPLOG(("esp%d: HW reread [sreg<%02x> sstep<%02x> ireg<%02x>]\n",
1300                 esp->esp_id, esp_read(eregs->esp_status), esp_read(eregs->esp_sstep),
1301                 esp_read(eregs->esp_intrpt)));
1302 #ifdef DEBUG_ESP_CMDS
1303         printk("esp%d: last ESP cmds [", esp->esp_id);
1304         i = (esp->espcmdent - 1) & 31;
1305         printk("<");
1306         esp_print_cmd(esp->espcmdlog[i]);
1307         printk(">");
1308         i = (i - 1) & 31;
1309         printk("<");
1310         esp_print_cmd(esp->espcmdlog[i]);
1311         printk(">");
1312         i = (i - 1) & 31;
1313         printk("<");
1314         esp_print_cmd(esp->espcmdlog[i]);
1315         printk(">");
1316         i = (i - 1) & 31;
1317         printk("<");
1318         esp_print_cmd(esp->espcmdlog[i]);
1319         printk(">");
1320         printk("]\n");
1321 #endif /* (DEBUG_ESP_CMDS) */
1322
1323         if(SCptr) {
1324                 ESPLOG(("esp%d: current command ", esp->esp_id));
1325                 esp_dump_cmd(SCptr);
1326         }
1327         ESPLOG(("\n"));
1328         SCptr = esp->disconnected_SC;
1329         ESPLOG(("esp%d: disconnected ", esp->esp_id));
1330         while(SCptr) {
1331                 esp_dump_cmd(SCptr);
1332                 SCptr = (Scsi_Cmnd *) SCptr->host_scribble;
1333         }
1334         ESPLOG(("\n"));
1335 }
1336
1337 /* Abort a command.  The host_lock is acquired by caller. */
1338 int esp_abort(Scsi_Cmnd *SCptr)
1339 {
1340         struct NCR_ESP *esp = (struct NCR_ESP *) SCptr->device->host->hostdata;
1341         struct ESP_regs *eregs = esp->eregs;
1342         int don;
1343
1344         ESPLOG(("esp%d: Aborting command\n", esp->esp_id));
1345         esp_dump_state(esp, eregs);
1346
1347         /* Wheee, if this is the current command on the bus, the
1348          * best we can do is assert ATN and wait for msgout phase.
1349          * This should even fix a hung SCSI bus when we lose state
1350          * in the driver and timeout because the eventual phase change
1351          * will cause the ESP to (eventually) give an interrupt.
1352          */
1353         if(esp->current_SC == SCptr) {
1354                 esp->cur_msgout[0] = ABORT;
1355                 esp->msgout_len = 1;
1356                 esp->msgout_ctr = 0;
1357                 esp_cmd(esp, eregs, ESP_CMD_SATN);
1358                 return SUCCESS;
1359         }
1360
1361         /* If it is still in the issue queue then we can safely
1362          * call the completion routine and report abort success.
1363          */
1364         don = esp->dma_ports_p(esp);
1365         if(don) {
1366                 esp->dma_ints_off(esp);
1367                 synchronize_irq(esp->irq);
1368         }
1369         if(esp->issue_SC) {
1370                 Scsi_Cmnd **prev, *this;
1371                 for(prev = (&esp->issue_SC), this = esp->issue_SC;
1372                     this;
1373                     prev = (Scsi_Cmnd **) &(this->host_scribble),
1374                     this = (Scsi_Cmnd *) this->host_scribble) {
1375                         if(this == SCptr) {
1376                                 *prev = (Scsi_Cmnd *) this->host_scribble;
1377                                 this->host_scribble = NULL;
1378                                 esp_release_dmabufs(esp, this);
1379                                 this->result = DID_ABORT << 16;
1380                                 this->done(this);
1381                                 if(don)
1382                                         esp->dma_ints_on(esp);
1383                                 return SUCCESS;
1384                         }
1385                 }
1386         }
1387
1388         /* Yuck, the command to abort is disconnected, it is not
1389          * worth trying to abort it now if something else is live
1390          * on the bus at this time.  So, we let the SCSI code wait
1391          * a little bit and try again later.
1392          */
1393         if(esp->current_SC) {
1394                 if(don)
1395                         esp->dma_ints_on(esp);
1396                 return FAILED;
1397         }
1398
1399         /* It's disconnected, we have to reconnect to re-establish
1400          * the nexus and tell the device to abort.  However, we really
1401          * cannot 'reconnect' per se.  Don't try to be fancy, just
1402          * indicate failure, which causes our caller to reset the whole
1403          * bus.
1404          */
1405
1406         if(don)
1407                 esp->dma_ints_on(esp);
1408         return FAILED;
1409 }
1410
1411 /* We've sent ESP_CMD_RS to the ESP, the interrupt had just
1412  * arrived indicating the end of the SCSI bus reset.  Our job
1413  * is to clean out the command queues and begin re-execution
1414  * of SCSI commands once more.
1415  */
1416 static int esp_finish_reset(struct NCR_ESP *esp,
1417                             struct ESP_regs *eregs)
1418 {
1419         Scsi_Cmnd *sp = esp->current_SC;
1420
1421         /* Clean up currently executing command, if any. */
1422         if (sp != NULL) {
1423                 esp_release_dmabufs(esp, sp);
1424                 sp->result = (DID_RESET << 16);
1425                 sp->scsi_done(sp);
1426                 esp->current_SC = NULL;
1427         }
1428
1429         /* Clean up disconnected queue, they have been invalidated
1430          * by the bus reset.
1431          */
1432         if (esp->disconnected_SC) {
1433                 while((sp = remove_first_SC(&esp->disconnected_SC)) != NULL) {
1434                         esp_release_dmabufs(esp, sp);
1435                         sp->result = (DID_RESET << 16);
1436                         sp->scsi_done(sp);
1437                 }
1438         }
1439
1440         /* SCSI bus reset is complete. */
1441         esp->resetting_bus = 0;
1442         wake_up(&esp->reset_queue);
1443
1444         /* Ok, now it is safe to get commands going once more. */
1445         if(esp->issue_SC)
1446                 esp_exec_cmd(esp);
1447
1448         return do_intr_end;
1449 }
1450
1451 static int esp_do_resetbus(struct NCR_ESP *esp,
1452                            struct ESP_regs *eregs)
1453 {
1454         ESPLOG(("esp%d: Resetting scsi bus\n", esp->esp_id));
1455         esp->resetting_bus = 1;
1456         esp_cmd(esp, eregs, ESP_CMD_RS);
1457
1458         return do_intr_end;
1459 }
1460
1461 /* Reset ESP chip, reset hanging bus, then kill active and
1462  * disconnected commands for targets without soft reset.
1463  *
1464  * The host_lock is acquired by caller.
1465  */
1466 int esp_reset(Scsi_Cmnd *SCptr)
1467 {
1468         struct NCR_ESP *esp = (struct NCR_ESP *) SCptr->device->host->hostdata;
1469
1470         spin_lock_irq(esp->ehost->host_lock);
1471         (void) esp_do_resetbus(esp, esp->eregs);
1472         spin_unlock_irq(esp->ehost->host_lock);
1473
1474         wait_event(esp->reset_queue, (esp->resetting_bus == 0));
1475
1476         return SUCCESS;
1477 }
1478
1479 /* Internal ESP done function. */
1480 static void esp_done(struct NCR_ESP *esp, int error)
1481 {
1482         Scsi_Cmnd *done_SC;
1483
1484         if(esp->current_SC) {
1485                 done_SC = esp->current_SC;
1486                 esp->current_SC = NULL;
1487                 esp_release_dmabufs(esp, done_SC);
1488                 done_SC->result = error;
1489                 done_SC->scsi_done(done_SC);
1490
1491                 /* Bus is free, issue any commands in the queue. */
1492                 if(esp->issue_SC && !esp->current_SC)
1493                         esp_exec_cmd(esp);
1494         } else {
1495                 /* Panic is safe as current_SC is null so we may still
1496                  * be able to accept more commands to sync disk buffers.
1497                  */
1498                 ESPLOG(("panicing\n"));
1499                 panic("esp: done() called with NULL esp->current_SC");
1500         }
1501 }
1502
1503 /* Wheee, ESP interrupt engine. */  
1504
1505 /* Forward declarations. */
1506 static int esp_do_phase_determine(struct NCR_ESP *esp, 
1507                                   struct ESP_regs *eregs);
1508 static int esp_do_data_finale(struct NCR_ESP *esp, struct ESP_regs *eregs);
1509 static int esp_select_complete(struct NCR_ESP *esp, struct ESP_regs *eregs);
1510 static int esp_do_status(struct NCR_ESP *esp, struct ESP_regs *eregs);
1511 static int esp_do_msgin(struct NCR_ESP *esp, struct ESP_regs *eregs);
1512 static int esp_do_msgindone(struct NCR_ESP *esp, struct ESP_regs *eregs);
1513 static int esp_do_msgout(struct NCR_ESP *esp, struct ESP_regs *eregs);
1514 static int esp_do_cmdbegin(struct NCR_ESP *esp, struct ESP_regs *eregs);
1515
1516 #define sreg_datainp(__sreg)  (((__sreg) & ESP_STAT_PMASK) == ESP_DIP)
1517 #define sreg_dataoutp(__sreg) (((__sreg) & ESP_STAT_PMASK) == ESP_DOP)
1518
1519 /* We try to avoid some interrupts by jumping ahead and see if the ESP
1520  * has gotten far enough yet.  Hence the following.
1521  */
1522 static inline int skipahead1(struct NCR_ESP *esp, struct ESP_regs *eregs,
1523                              Scsi_Cmnd *scp, int prev_phase, int new_phase)
1524 {
1525         if(scp->SCp.sent_command != prev_phase)
1526                 return 0;
1527
1528         if(esp->dma_irq_p(esp)) {
1529                 /* Yes, we are able to save an interrupt. */
1530                 esp->sreg = (esp_read(eregs->esp_status) & ~(ESP_STAT_INTR));
1531                 esp->ireg = esp_read(eregs->esp_intrpt);
1532                 if(!(esp->ireg & ESP_INTR_SR))
1533                         return 0;
1534                 else
1535                         return do_reset_complete;
1536         }
1537         /* Ho hum, target is taking forever... */
1538         scp->SCp.sent_command = new_phase; /* so we don't recurse... */
1539         return do_intr_end;
1540 }
1541
1542 static inline int skipahead2(struct NCR_ESP *esp,
1543                              struct ESP_regs *eregs,
1544                              Scsi_Cmnd *scp, int prev_phase1, int prev_phase2,
1545                              int new_phase)
1546 {
1547         if(scp->SCp.sent_command != prev_phase1 &&
1548            scp->SCp.sent_command != prev_phase2)
1549                 return 0;
1550         if(esp->dma_irq_p(esp)) {
1551                 /* Yes, we are able to save an interrupt. */
1552                 esp->sreg = (esp_read(eregs->esp_status) & ~(ESP_STAT_INTR));
1553                 esp->ireg = esp_read(eregs->esp_intrpt);
1554                 if(!(esp->ireg & ESP_INTR_SR))
1555                         return 0;
1556                 else
1557                         return do_reset_complete;
1558         }
1559         /* Ho hum, target is taking forever... */
1560         scp->SCp.sent_command = new_phase; /* so we don't recurse... */
1561         return do_intr_end;
1562 }
1563
1564 /* Misc. esp helper macros. */
1565 #define esp_setcount(__eregs, __cnt) \
1566         esp_write((__eregs)->esp_tclow, ((__cnt) & 0xff)); \
1567         esp_write((__eregs)->esp_tcmed, (((__cnt) >> 8) & 0xff))
1568
1569 #define esp_getcount(__eregs) \
1570         ((esp_read((__eregs)->esp_tclow)&0xff) | \
1571          ((esp_read((__eregs)->esp_tcmed)&0xff) << 8))
1572
1573 #define fcount(__esp, __eregs) \
1574         (esp_read((__eregs)->esp_fflags) & ESP_FF_FBYTES)
1575
1576 #define fnzero(__esp, __eregs) \
1577         (esp_read((__eregs)->esp_fflags) & ESP_FF_ONOTZERO)
1578
1579 /* XXX speculative nops unnecessary when continuing amidst a data phase
1580  * XXX even on esp100!!!  another case of flooding the bus with I/O reg
1581  * XXX writes...
1582  */
1583 #define esp_maybe_nop(__esp, __eregs) \
1584         if((__esp)->erev == esp100) \
1585                 esp_cmd((__esp), (__eregs), ESP_CMD_NULL)
1586
1587 #define sreg_to_dataphase(__sreg) \
1588         ((((__sreg) & ESP_STAT_PMASK) == ESP_DOP) ? in_dataout : in_datain)
1589
1590 /* The ESP100 when in synchronous data phase, can mistake a long final
1591  * REQ pulse from the target as an extra byte, it places whatever is on
1592  * the data lines into the fifo.  For now, we will assume when this
1593  * happens that the target is a bit quirky and we don't want to
1594  * be talking synchronously to it anyways.  Regardless, we need to
1595  * tell the ESP to eat the extraneous byte so that we can proceed
1596  * to the next phase.
1597  */
1598 static inline int esp100_sync_hwbug(struct NCR_ESP *esp, struct ESP_regs *eregs,
1599                                     Scsi_Cmnd *sp, int fifocnt)
1600 {
1601         /* Do not touch this piece of code. */
1602         if((!(esp->erev == esp100)) ||
1603            (!(sreg_datainp((esp->sreg = esp_read(eregs->esp_status))) && !fifocnt) &&
1604             !(sreg_dataoutp(esp->sreg) && !fnzero(esp, eregs)))) {
1605                 if(sp->SCp.phase == in_dataout)
1606                         esp_cmd(esp, eregs, ESP_CMD_FLUSH);
1607                 return 0;
1608         } else {
1609                 /* Async mode for this guy. */
1610                 build_sync_nego_msg(esp, 0, 0);
1611
1612                 /* Ack the bogus byte, but set ATN first. */
1613                 esp_cmd(esp, eregs, ESP_CMD_SATN);
1614                 esp_cmd(esp, eregs, ESP_CMD_MOK);
1615                 return 1;
1616         }
1617 }
1618
1619 /* This closes the window during a selection with a reselect pending, because
1620  * we use DMA for the selection process the FIFO should hold the correct
1621  * contents if we get reselected during this process.  So we just need to
1622  * ack the possible illegal cmd interrupt pending on the esp100.
1623  */
1624 static inline int esp100_reconnect_hwbug(struct NCR_ESP *esp,
1625                                          struct ESP_regs *eregs)
1626 {
1627         volatile unchar junk;
1628
1629         if(esp->erev != esp100)
1630                 return 0;
1631         junk = esp_read(eregs->esp_intrpt);
1632
1633         if(junk & ESP_INTR_SR)
1634                 return 1;
1635         return 0;
1636 }
1637
1638 /* This verifies the BUSID bits during a reselection so that we know which
1639  * target is talking to us.
1640  */
1641 static inline int reconnect_target(struct NCR_ESP *esp, struct ESP_regs *eregs)
1642 {
1643         int it, me = esp->scsi_id_mask, targ = 0;
1644
1645         if(2 != fcount(esp, eregs))
1646                 return -1;
1647         it = esp_read(eregs->esp_fdata);
1648         if(!(it & me))
1649                 return -1;
1650         it &= ~me;
1651         if(it & (it - 1))
1652                 return -1;
1653         while(!(it & 1))
1654                 targ++, it >>= 1;
1655         return targ;
1656 }
1657
1658 /* This verifies the identify from the target so that we know which lun is
1659  * being reconnected.
1660  */
1661 static inline int reconnect_lun(struct NCR_ESP *esp, struct ESP_regs *eregs)
1662 {
1663         int lun;
1664
1665         if((esp->sreg & ESP_STAT_PMASK) != ESP_MIP)
1666                 return -1;
1667         lun = esp_read(eregs->esp_fdata);
1668
1669         /* Yes, you read this correctly.  We report lun of zero
1670          * if we see parity error.  ESP reports parity error for
1671          * the lun byte, and this is the only way to hope to recover
1672          * because the target is connected.
1673          */
1674         if(esp->sreg & ESP_STAT_PERR)
1675                 return 0;
1676
1677         /* Check for illegal bits being set in the lun. */
1678         if((lun & 0x40) || !(lun & 0x80))
1679                 return -1;
1680
1681         return lun & 7;
1682 }
1683
1684 /* This puts the driver in a state where it can revitalize a command that
1685  * is being continued due to reselection.
1686  */
1687 static inline void esp_connect(struct NCR_ESP *esp, struct ESP_regs *eregs,
1688                                Scsi_Cmnd *sp)
1689 {
1690         struct scsi_device *dp = sp->device;
1691         struct esp_device *esp_dev = dp->hostdata;
1692
1693         if(esp->prev_soff  != esp_dev->sync_max_offset ||
1694            esp->prev_stp   != esp_dev->sync_min_period ||
1695            (esp->erev > esp100a &&
1696             esp->prev_cfg3 != esp->config3[scmd_id(sp)])) {
1697                 esp->prev_soff = esp_dev->sync_max_offset;
1698                 esp_write(eregs->esp_soff, esp->prev_soff);
1699                 esp->prev_stp = esp_dev->sync_min_period;
1700                 esp_write(eregs->esp_stp, esp->prev_stp);
1701                 if(esp->erev > esp100a) {
1702                         esp->prev_cfg3 = esp->config3[scmd_id(sp)];
1703                         esp_write(eregs->esp_cfg3, esp->prev_cfg3);
1704                 } 
1705         }
1706         esp->current_SC = sp;
1707 }
1708
1709 /* This will place the current working command back into the issue queue
1710  * if we are to receive a reselection amidst a selection attempt.
1711  */
1712 static inline void esp_reconnect(struct NCR_ESP *esp, Scsi_Cmnd *sp)
1713 {
1714         if(!esp->disconnected_SC)
1715                 ESPLOG(("esp%d: Weird, being reselected but disconnected "
1716                         "command queue is empty.\n", esp->esp_id));
1717         esp->snip = 0;
1718         esp->current_SC = NULL;
1719         sp->SCp.phase = not_issued;
1720         append_SC(&esp->issue_SC, sp);
1721 }
1722
1723 /* Begin message in phase. */
1724 static int esp_do_msgin(struct NCR_ESP *esp, struct ESP_regs *eregs)
1725 {
1726         esp_cmd(esp, eregs, ESP_CMD_FLUSH);
1727         esp_maybe_nop(esp, eregs);
1728         esp_cmd(esp, eregs, ESP_CMD_TI);
1729         esp->msgin_len = 1;
1730         esp->msgin_ctr = 0;
1731         esp_advance_phase(esp->current_SC, in_msgindone);
1732         return do_work_bus;
1733 }
1734
1735 static inline void advance_sg(struct NCR_ESP *esp, Scsi_Cmnd *sp)
1736 {
1737         ++sp->SCp.buffer;
1738         --sp->SCp.buffers_residual;
1739         sp->SCp.this_residual = sp->SCp.buffer->length;
1740         if (esp->dma_advance_sg)
1741                 esp->dma_advance_sg (sp);
1742         else
1743                 sp->SCp.ptr = (char *) virt_to_phys((page_address(sp->SCp.buffer->page) + sp->SCp.buffer->offset));
1744
1745 }
1746
1747 /* Please note that the way I've coded these routines is that I _always_
1748  * check for a disconnect during any and all information transfer
1749  * phases.  The SCSI standard states that the target _can_ cause a BUS
1750  * FREE condition by dropping all MSG/CD/IO/BSY signals.  Also note
1751  * that during information transfer phases the target controls every
1752  * change in phase, the only thing the initiator can do is "ask" for
1753  * a message out phase by driving ATN true.  The target can, and sometimes
1754  * will, completely ignore this request so we cannot assume anything when
1755  * we try to force a message out phase to abort/reset a target.  Most of
1756  * the time the target will eventually be nice and go to message out, so
1757  * we may have to hold on to our state about what we want to tell the target
1758  * for some period of time.
1759  */
1760
1761 /* I think I have things working here correctly.  Even partial transfers
1762  * within a buffer or sub-buffer should not upset us at all no matter
1763  * how bad the target and/or ESP fucks things up.
1764  */
1765 static int esp_do_data(struct NCR_ESP *esp, struct ESP_regs *eregs)
1766 {
1767         Scsi_Cmnd *SCptr = esp->current_SC;
1768         int thisphase, hmuch;
1769
1770         ESPDATA(("esp_do_data: "));
1771         esp_maybe_nop(esp, eregs);
1772         thisphase = sreg_to_dataphase(esp->sreg);
1773         esp_advance_phase(SCptr, thisphase);
1774         ESPDATA(("newphase<%s> ", (thisphase == in_datain) ? "DATAIN" : "DATAOUT"));
1775         hmuch = esp->dma_can_transfer(esp, SCptr);
1776
1777         /*
1778          * XXX MSch: cater for PIO transfer here; PIO used if hmuch == 0
1779          */
1780         if (hmuch) {    /* DMA */
1781                 /*
1782                  * DMA
1783                  */
1784                 ESPDATA(("hmuch<%d> ", hmuch));
1785                 esp->current_transfer_size = hmuch;
1786                 esp_setcount(eregs, (esp->fas_premature_intr_workaround ?
1787                                      (hmuch + 0x40) : hmuch));
1788                 esp->dma_setup(esp, (__u32)((unsigned long)SCptr->SCp.ptr), 
1789                                hmuch, (thisphase == in_datain));
1790                 ESPDATA(("DMA|TI --> do_intr_end\n"));
1791                 esp_cmd(esp, eregs, ESP_CMD_DMA | ESP_CMD_TI);
1792                 return do_intr_end;
1793                 /*
1794                  * end DMA
1795                  */
1796         } else {
1797                 /*
1798                  * PIO
1799                  */
1800                 int oldphase, i = 0; /* or where we left off last time ?? esp->current_data ?? */
1801                 int fifocnt = 0;
1802                 unsigned char *p = phys_to_virt((unsigned long)SCptr->SCp.ptr);
1803
1804                 oldphase = esp_read(eregs->esp_status) & ESP_STAT_PMASK;
1805
1806                 /*
1807                  * polled transfer; ugly, can we make this happen in a DRQ 
1808                  * interrupt handler ??
1809                  * requires keeping track of state information in host or 
1810                  * command struct!
1811                  * Problem: I've never seen a DRQ happen on Mac, not even
1812                  * with ESP_CMD_DMA ...
1813                  */
1814
1815                 /* figure out how much needs to be transferred */
1816                 hmuch = SCptr->SCp.this_residual;
1817                 ESPDATA(("hmuch<%d> pio ", hmuch));
1818                 esp->current_transfer_size = hmuch;
1819
1820                 /* tell the ESP ... */
1821                 esp_setcount(eregs, hmuch);
1822
1823                 /* loop */
1824                 while (hmuch) {
1825                         int j, fifo_stuck = 0, newphase;
1826                         unsigned long timeout;
1827 #if 0
1828                         unsigned long flags;
1829 #endif
1830 #if 0
1831                         if ( i % 10 )
1832                                 ESPDATA(("\r"));
1833                         else
1834                                 ESPDATA(( /*"\n"*/ "\r"));
1835 #endif
1836 #if 0
1837                         local_irq_save(flags);
1838 #endif
1839                         if(thisphase == in_datain) {
1840                                 /* 'go' ... */ 
1841                                 esp_cmd(esp, eregs, ESP_CMD_TI);
1842
1843                                 /* wait for data */
1844                                 timeout = 1000000;
1845                                 while (!((esp->sreg=esp_read(eregs->esp_status)) & ESP_STAT_INTR) && --timeout)
1846                                         udelay(2);
1847                                 if (timeout == 0)
1848                                         printk("DRQ datain timeout! \n");
1849
1850                                 newphase = esp->sreg & ESP_STAT_PMASK;
1851
1852                                 /* see how much we got ... */
1853                                 fifocnt = (esp_read(eregs->esp_fflags) & ESP_FF_FBYTES);
1854
1855                                 if (!fifocnt)
1856                                         fifo_stuck++;
1857                                 else
1858                                         fifo_stuck = 0;
1859
1860                                 ESPDATA(("\rgot %d st %x ph %x", fifocnt, esp->sreg, newphase));
1861
1862                                 /* read fifo */
1863                                 for(j=0;j<fifocnt;j++)
1864                                         p[i++] = esp_read(eregs->esp_fdata);
1865
1866                                 ESPDATA(("(%d) ", i));
1867
1868                                 /* how many to go ?? */
1869                                 hmuch -= fifocnt;
1870
1871                                 /* break if status phase !! */
1872                                 if(newphase == ESP_STATP) {
1873                                         /* clear int. */
1874                                         esp->ireg = esp_read(eregs->esp_intrpt);
1875                                         break;
1876                                 }
1877                         } else {
1878 #define MAX_FIFO 8
1879                                 /* how much will fit ? */
1880                                 int this_count = MAX_FIFO - fifocnt;
1881                                 if (this_count > hmuch)
1882                                         this_count = hmuch;
1883
1884                                 /* fill fifo */
1885                                 for(j=0;j<this_count;j++)
1886                                         esp_write(eregs->esp_fdata, p[i++]);
1887
1888                                 /* how many left if this goes out ?? */
1889                                 hmuch -= this_count;
1890
1891                                 /* 'go' ... */ 
1892                                 esp_cmd(esp, eregs, ESP_CMD_TI);
1893
1894                                 /* wait for 'got it' */
1895                                 timeout = 1000000;
1896                                 while (!((esp->sreg=esp_read(eregs->esp_status)) & ESP_STAT_INTR) && --timeout)
1897                                         udelay(2);
1898                                 if (timeout == 0)
1899                                         printk("DRQ dataout timeout!  \n");
1900
1901                                 newphase = esp->sreg & ESP_STAT_PMASK;
1902
1903                                 /* need to check how much was sent ?? */
1904                                 fifocnt = (esp_read(eregs->esp_fflags) & ESP_FF_FBYTES);
1905
1906                                 ESPDATA(("\rsent %d st %x ph %x", this_count - fifocnt, esp->sreg, newphase));
1907
1908                                 ESPDATA(("(%d) ", i));
1909
1910                                 /* break if status phase !! */
1911                                 if(newphase == ESP_STATP) {
1912                                         /* clear int. */
1913                                         esp->ireg = esp_read(eregs->esp_intrpt);
1914                                         break;
1915                                 }
1916
1917                         }
1918
1919                         /* clear int. */
1920                         esp->ireg = esp_read(eregs->esp_intrpt);
1921
1922                         ESPDATA(("ir %x ... ", esp->ireg));
1923
1924                         if (hmuch == 0)
1925                                 ESPDATA(("done! \n"));
1926
1927 #if 0
1928                         local_irq_restore(flags);
1929 #endif
1930
1931                         /* check new bus phase */
1932                         if (newphase != oldphase && i < esp->current_transfer_size) {
1933                                 /* something happened; disconnect ?? */
1934                                 ESPDATA(("phase change, dropped out with %d done ... ", i));
1935                                 break;
1936                         }
1937
1938                         /* check int. status */
1939                         if (esp->ireg & ESP_INTR_DC) {
1940                                 /* disconnect */
1941                                 ESPDATA(("disconnect; %d transferred ... ", i));
1942                                 break;
1943                         } else if (esp->ireg & ESP_INTR_FDONE) {
1944                                 /* function done */
1945                                 ESPDATA(("function done; %d transferred ... ", i));
1946                                 break;
1947                         }
1948
1949                         /* XXX fixme: bail out on stall */
1950                         if (fifo_stuck > 10) {
1951                                 /* we're stuck */
1952                                 ESPDATA(("fifo stall; %d transferred ... ", i));
1953                                 break;
1954                         }
1955                 }
1956
1957                 ESPDATA(("\n"));
1958                 /* check successful completion ?? */
1959
1960                 if (thisphase == in_dataout)
1961                         hmuch += fifocnt; /* stuck?? adjust data pointer ...*/
1962
1963                 /* tell do_data_finale how much was transferred */
1964                 esp->current_transfer_size -= hmuch;
1965
1966                 /* still not completely sure on this one ... */         
1967                 return /*do_intr_end*/ do_work_bus /*do_phase_determine*/ ;
1968
1969                 /*
1970                  * end PIO
1971                  */
1972         }
1973         return do_intr_end;
1974 }
1975
1976 /* See how successful the data transfer was. */
1977 static int esp_do_data_finale(struct NCR_ESP *esp,
1978                               struct ESP_regs *eregs)
1979 {
1980         Scsi_Cmnd *SCptr = esp->current_SC;
1981         struct esp_device *esp_dev = SCptr->device->hostdata;
1982         int bogus_data = 0, bytes_sent = 0, fifocnt, ecount = 0;
1983
1984         if(esp->dma_led_off)
1985                 esp->dma_led_off(esp);
1986
1987         ESPDATA(("esp_do_data_finale: "));
1988
1989         if(SCptr->SCp.phase == in_datain) {
1990                 if(esp->sreg & ESP_STAT_PERR) {
1991                         /* Yuck, parity error.  The ESP asserts ATN
1992                          * so that we can go to message out phase
1993                          * immediately and inform the target that
1994                          * something bad happened.
1995                          */
1996                         ESPLOG(("esp%d: data bad parity detected.\n",
1997                                 esp->esp_id));
1998                         esp->cur_msgout[0] = INITIATOR_ERROR;
1999                         esp->msgout_len = 1;
2000                 }
2001                 if(esp->dma_drain)
2002                         esp->dma_drain(esp);
2003         }
2004         if(esp->dma_invalidate)
2005                 esp->dma_invalidate(esp);
2006
2007         /* This could happen for the above parity error case. */
2008         if(!(esp->ireg == ESP_INTR_BSERV)) {
2009                 /* Please go to msgout phase, please please please... */
2010                 ESPLOG(("esp%d: !BSERV after data, probably to msgout\n",
2011                         esp->esp_id));
2012                 return esp_do_phase_determine(esp, eregs);
2013         }       
2014
2015         /* Check for partial transfers and other horrible events. */
2016         fifocnt = (esp_read(eregs->esp_fflags) & ESP_FF_FBYTES);
2017         ecount = esp_getcount(eregs);
2018         if(esp->fas_premature_intr_workaround)
2019                 ecount -= 0x40;
2020         bytes_sent = esp->current_transfer_size;
2021
2022         ESPDATA(("trans_sz=%d, ", bytes_sent));
2023         if(!(esp->sreg & ESP_STAT_TCNT))
2024                 bytes_sent -= ecount;
2025         if(SCptr->SCp.phase == in_dataout)
2026                 bytes_sent -= fifocnt;
2027
2028         ESPDATA(("bytes_sent=%d (ecount=%d, fifocnt=%d), ", bytes_sent,
2029                  ecount, fifocnt));
2030
2031         /* If we were in synchronous mode, check for peculiarities. */
2032         if(esp_dev->sync_max_offset)
2033                 bogus_data = esp100_sync_hwbug(esp, eregs, SCptr, fifocnt);
2034         else
2035                 esp_cmd(esp, eregs, ESP_CMD_FLUSH);
2036
2037         /* Until we are sure of what has happened, we are certainly
2038          * in the dark.
2039          */
2040         esp_advance_phase(SCptr, in_the_dark);
2041
2042         /* Check for premature interrupt condition. Can happen on FAS2x6
2043          * chips. QLogic recommends a workaround by overprogramming the
2044          * transfer counters, but this makes doing scatter-gather impossible.
2045          * Until there is a way to disable scatter-gather for a single target,
2046          * and not only for the entire host adapter as it is now, the workaround
2047          * is way to expensive performance wise.
2048          * Instead, it turns out that when this happens the target has disconnected
2049          * already but it doesn't show in the interrupt register. Compensate for
2050          * that here to try and avoid a SCSI bus reset.
2051          */
2052         if(!esp->fas_premature_intr_workaround && (fifocnt == 1) &&
2053            sreg_dataoutp(esp->sreg)) {
2054                 ESPLOG(("esp%d: Premature interrupt, enabling workaround\n",
2055                         esp->esp_id));
2056 #if 0
2057                 /* Disable scatter-gather operations, they are not possible
2058                  * when using this workaround.
2059                  */
2060                 esp->ehost->sg_tablesize = 0;
2061                 esp->ehost->use_clustering = ENABLE_CLUSTERING;
2062                 esp->fas_premature_intr_workaround = 1;
2063                 bytes_sent = 0;
2064                 if(SCptr->use_sg) {
2065                         ESPLOG(("esp%d: Aborting scatter-gather operation\n",
2066                                 esp->esp_id));
2067                         esp->cur_msgout[0] = ABORT;
2068                         esp->msgout_len = 1;
2069                         esp->msgout_ctr = 0;
2070                         esp_cmd(esp, eregs, ESP_CMD_SATN);
2071                         esp_setcount(eregs, 0xffff);
2072                         esp_cmd(esp, eregs, ESP_CMD_NULL);
2073                         esp_cmd(esp, eregs, ESP_CMD_TPAD | ESP_CMD_DMA);
2074                         return do_intr_end;
2075                 }
2076 #else
2077                 /* Just set the disconnected bit. That's what appears to
2078                  * happen anyway. The state machine will pick it up when
2079                  * we return.
2080                  */
2081                 esp->ireg |= ESP_INTR_DC;
2082 #endif
2083         }
2084
2085         if(bytes_sent < 0) {
2086                 /* I've seen this happen due to lost state in this
2087                  * driver.  No idea why it happened, but allowing
2088                  * this value to be negative caused things to
2089                  * lock up.  This allows greater chance of recovery.
2090                  * In fact every time I've seen this, it has been
2091                  * a driver bug without question.
2092                  */
2093                 ESPLOG(("esp%d: yieee, bytes_sent < 0!\n", esp->esp_id));
2094                 ESPLOG(("esp%d: csz=%d fifocount=%d ecount=%d\n",
2095                         esp->esp_id,
2096                         esp->current_transfer_size, fifocnt, ecount));
2097                 ESPLOG(("esp%d: use_sg=%d ptr=%p this_residual=%d\n",
2098                         esp->esp_id,
2099                         SCptr->use_sg, SCptr->SCp.ptr, SCptr->SCp.this_residual));
2100                 ESPLOG(("esp%d: Forcing async for target %d\n", esp->esp_id, 
2101                         SCptr->device->id));
2102                 SCptr->device->borken = 1;
2103                 esp_dev->sync = 0;
2104                 bytes_sent = 0;
2105         }
2106
2107         /* Update the state of our transfer. */
2108         SCptr->SCp.ptr += bytes_sent;
2109         SCptr->SCp.this_residual -= bytes_sent;
2110         if(SCptr->SCp.this_residual < 0) {
2111                 /* shit */
2112                 ESPLOG(("esp%d: Data transfer overrun.\n", esp->esp_id));
2113                 SCptr->SCp.this_residual = 0;
2114         }
2115
2116         /* Maybe continue. */
2117         if(!bogus_data) {
2118                 ESPDATA(("!bogus_data, "));
2119                 /* NO MATTER WHAT, we advance the scatterlist,
2120                  * if the target should decide to disconnect
2121                  * in between scatter chunks (which is common)
2122                  * we could die horribly!  I used to have the sg
2123                  * advance occur only if we are going back into
2124                  * (or are staying in) a data phase, you can
2125                  * imagine the hell I went through trying to
2126                  * figure this out.
2127                  */
2128                 if(!SCptr->SCp.this_residual && SCptr->SCp.buffers_residual)
2129                         advance_sg(esp, SCptr);
2130 #ifdef DEBUG_ESP_DATA
2131                 if(sreg_datainp(esp->sreg) || sreg_dataoutp(esp->sreg)) {
2132                         ESPDATA(("to more data\n"));
2133                 } else {
2134                         ESPDATA(("to new phase\n"));
2135                 }
2136 #endif
2137                 return esp_do_phase_determine(esp, eregs);
2138         }
2139         /* Bogus data, just wait for next interrupt. */
2140         ESPLOG(("esp%d: bogus_data during end of data phase\n",
2141                 esp->esp_id));
2142         return do_intr_end;
2143 }
2144
2145 /* We received a non-good status return at the end of
2146  * running a SCSI command.  This is used to decide if
2147  * we should clear our synchronous transfer state for
2148  * such a device when that happens.
2149  *
2150  * The idea is that when spinning up a disk or rewinding
2151  * a tape, we don't want to go into a loop re-negotiating
2152  * synchronous capabilities over and over.
2153  */
2154 static int esp_should_clear_sync(Scsi_Cmnd *sp)
2155 {
2156         unchar cmd1 = sp->cmnd[0];
2157         unchar cmd2 = sp->data_cmnd[0];
2158
2159         /* These cases are for spinning up a disk and
2160          * waiting for that spinup to complete.
2161          */
2162         if(cmd1 == START_STOP ||
2163            cmd2 == START_STOP)
2164                 return 0;
2165
2166         if(cmd1 == TEST_UNIT_READY ||
2167            cmd2 == TEST_UNIT_READY)
2168                 return 0;
2169
2170         /* One more special case for SCSI tape drives,
2171          * this is what is used to probe the device for
2172          * completion of a rewind or tape load operation.
2173          */
2174         if(sp->device->type == TYPE_TAPE) {
2175                 if(cmd1 == MODE_SENSE ||
2176                    cmd2 == MODE_SENSE)
2177                         return 0;
2178         }
2179
2180         return 1;
2181 }
2182
2183 /* Either a command is completing or a target is dropping off the bus
2184  * to continue the command in the background so we can do other work.
2185  */
2186 static int esp_do_freebus(struct NCR_ESP *esp, struct ESP_regs *eregs)
2187 {
2188         Scsi_Cmnd *SCptr = esp->current_SC;
2189         int rval;
2190
2191         rval = skipahead2(esp, eregs, SCptr, in_status, in_msgindone, in_freeing);
2192         if(rval)
2193                 return rval;
2194
2195         if(esp->ireg != ESP_INTR_DC) {
2196                 ESPLOG(("esp%d: Target will not disconnect\n", esp->esp_id));
2197                 return do_reset_bus; /* target will not drop BSY... */
2198         }
2199         esp->msgout_len = 0;
2200         esp->prevmsgout = NOP;
2201         if(esp->prevmsgin == COMMAND_COMPLETE) {
2202                 struct esp_device *esp_dev = SCptr->device->hostdata;
2203                 /* Normal end of nexus. */
2204                 if(esp->disconnected_SC)
2205                         esp_cmd(esp, eregs, ESP_CMD_ESEL);
2206
2207                 if(SCptr->SCp.Status != GOOD &&
2208                    SCptr->SCp.Status != CONDITION_GOOD &&
2209                    ((1<<scmd_id(SCptr)) & esp->targets_present) &&
2210                    esp_dev->sync && esp_dev->sync_max_offset) {
2211                         /* SCSI standard says that the synchronous capabilities
2212                          * should be renegotiated at this point.  Most likely
2213                          * we are about to request sense from this target
2214                          * in which case we want to avoid using sync
2215                          * transfers until we are sure of the current target
2216                          * state.
2217                          */
2218                         ESPMISC(("esp: Status <%d> for target %d lun %d\n",
2219                                  SCptr->SCp.Status, SCptr->device->id, SCptr->device->lun));
2220
2221                         /* But don't do this when spinning up a disk at
2222                          * boot time while we poll for completion as it
2223                          * fills up the console with messages.  Also, tapes
2224                          * can report not ready many times right after
2225                          * loading up a tape.
2226                          */
2227                         if(esp_should_clear_sync(SCptr) != 0)
2228                                 esp_dev->sync = 0;
2229                 }
2230                 ESPDISC(("F<%02x,%02x>", SCptr->device->id, SCptr->device->lun));
2231                 esp_done(esp, ((SCptr->SCp.Status & 0xff) |
2232                                ((SCptr->SCp.Message & 0xff)<<8) |
2233                                (DID_OK << 16)));
2234         } else if(esp->prevmsgin == DISCONNECT) {
2235                 /* Normal disconnect. */
2236                 esp_cmd(esp, eregs, ESP_CMD_ESEL);
2237                 ESPDISC(("D<%02x,%02x>", SCptr->device->id, SCptr->device->lun));
2238                 append_SC(&esp->disconnected_SC, SCptr);
2239                 esp->current_SC = NULL;
2240                 if(esp->issue_SC)
2241                         esp_exec_cmd(esp);
2242         } else {
2243                 /* Driver bug, we do not expect a disconnect here
2244                  * and should not have advanced the state engine
2245                  * to in_freeing.
2246                  */
2247                 ESPLOG(("esp%d: last msg not disc and not cmd cmplt.\n",
2248                         esp->esp_id));
2249                 return do_reset_bus;
2250         }
2251         return do_intr_end;
2252 }
2253
2254 /* When a reselect occurs, and we cannot find the command to
2255  * reconnect to in our queues, we do this.
2256  */
2257 static int esp_bad_reconnect(struct NCR_ESP *esp)
2258 {
2259         Scsi_Cmnd *sp;
2260
2261         ESPLOG(("esp%d: Eieeee, reconnecting unknown command!\n",
2262                 esp->esp_id));
2263         ESPLOG(("QUEUE DUMP\n"));
2264         sp = esp->issue_SC;
2265         ESPLOG(("esp%d: issue_SC[", esp->esp_id));
2266         while(sp) {
2267                 ESPLOG(("<%02x,%02x>", sp->device->id, sp->device->lun));
2268                 sp = (Scsi_Cmnd *) sp->host_scribble;
2269         }
2270         ESPLOG(("]\n"));
2271         sp = esp->current_SC;
2272         ESPLOG(("esp%d: current_SC[", esp->esp_id));
2273         while(sp) {
2274                 ESPLOG(("<%02x,%02x>", sp->device->id, sp->device->lun));
2275                 sp = (Scsi_Cmnd *) sp->host_scribble;
2276         }
2277         ESPLOG(("]\n"));
2278         sp = esp->disconnected_SC;
2279         ESPLOG(("esp%d: disconnected_SC[", esp->esp_id));
2280         while(sp) {
2281                 ESPLOG(("<%02x,%02x>", sp->device->id, sp->device->lun));
2282                 sp = (Scsi_Cmnd *) sp->host_scribble;
2283         }
2284         ESPLOG(("]\n"));
2285         return do_reset_bus;
2286 }
2287
2288 /* Do the needy when a target tries to reconnect to us. */
2289 static int esp_do_reconnect(struct NCR_ESP *esp, 
2290                             struct ESP_regs *eregs)
2291 {
2292         int lun, target;
2293         Scsi_Cmnd *SCptr;
2294
2295         /* Check for all bogus conditions first. */
2296         target = reconnect_target(esp, eregs);
2297         if(target < 0) {
2298                 ESPDISC(("bad bus bits\n"));
2299                 return do_reset_bus;
2300         }
2301         lun = reconnect_lun(esp, eregs);
2302         if(lun < 0) {
2303                 ESPDISC(("target=%2x, bad identify msg\n", target));
2304                 return do_reset_bus;
2305         }
2306
2307         /* Things look ok... */
2308         ESPDISC(("R<%02x,%02x>", target, lun));
2309
2310         esp_cmd(esp, eregs, ESP_CMD_FLUSH);
2311         if(esp100_reconnect_hwbug(esp, eregs))
2312                 return do_reset_bus;
2313         esp_cmd(esp, eregs, ESP_CMD_NULL);
2314
2315         SCptr = remove_SC(&esp->disconnected_SC, (unchar) target, (unchar) lun);
2316         if(!SCptr)
2317                 return esp_bad_reconnect(esp);
2318
2319         esp_connect(esp, eregs, SCptr);
2320         esp_cmd(esp, eregs, ESP_CMD_MOK);
2321
2322         /* Reconnect implies a restore pointers operation. */
2323         esp_restore_pointers(esp, SCptr);
2324
2325         esp->snip = 0;
2326         esp_advance_phase(SCptr, in_the_dark);
2327         return do_intr_end;
2328 }
2329
2330 /* End of NEXUS (hopefully), pick up status + message byte then leave if
2331  * all goes well.
2332  */
2333 static int esp_do_status(struct NCR_ESP *esp, struct ESP_regs *eregs)
2334 {
2335         Scsi_Cmnd *SCptr = esp->current_SC;
2336         int intr, rval;
2337
2338         rval = skipahead1(esp, eregs, SCptr, in_the_dark, in_status);
2339         if(rval)
2340                 return rval;
2341
2342         intr = esp->ireg;
2343         ESPSTAT(("esp_do_status: "));
2344         if(intr != ESP_INTR_DC) {
2345                 int message_out = 0; /* for parity problems */
2346
2347                 /* Ack the message. */
2348                 ESPSTAT(("ack msg, "));
2349                 esp_cmd(esp, eregs, ESP_CMD_MOK);
2350
2351                 if(esp->dma_poll)
2352                         esp->dma_poll(esp, (unsigned char *) esp->esp_command);
2353
2354                 ESPSTAT(("got something, "));
2355                 /* ESP chimes in with one of
2356                  *
2357                  * 1) function done interrupt:
2358                  *      both status and message in bytes
2359                  *      are available
2360                  *
2361                  * 2) bus service interrupt:
2362                  *      only status byte was acquired
2363                  *
2364                  * 3) Anything else:
2365                  *      can't happen, but we test for it
2366                  *      anyways
2367                  *
2368                  * ALSO: If bad parity was detected on either
2369                  *       the status _or_ the message byte then
2370                  *       the ESP has asserted ATN on the bus
2371                  *       and we must therefore wait for the
2372                  *       next phase change.
2373                  */
2374                 if(intr & ESP_INTR_FDONE) {
2375                         /* We got it all, hallejulia. */
2376                         ESPSTAT(("got both, "));
2377                         SCptr->SCp.Status = esp->esp_command[0];
2378                         SCptr->SCp.Message = esp->esp_command[1];
2379                         esp->prevmsgin = SCptr->SCp.Message;
2380                         esp->cur_msgin[0] = SCptr->SCp.Message;
2381                         if(esp->sreg & ESP_STAT_PERR) {
2382                                 /* There was bad parity for the
2383                                  * message byte, the status byte
2384                                  * was ok.
2385                                  */
2386                                 message_out = MSG_PARITY_ERROR;
2387                         }
2388                 } else if(intr == ESP_INTR_BSERV) {
2389                         /* Only got status byte. */
2390                         ESPLOG(("esp%d: got status only, ", esp->esp_id));
2391                         if(!(esp->sreg & ESP_STAT_PERR)) {
2392                                 SCptr->SCp.Status = esp->esp_command[0];
2393                                 SCptr->SCp.Message = 0xff;
2394                         } else {
2395                                 /* The status byte had bad parity.
2396                                  * we leave the scsi_pointer Status
2397                                  * field alone as we set it to a default
2398                                  * of CHECK_CONDITION in esp_queue.
2399                                  */
2400                                 message_out = INITIATOR_ERROR;
2401                         }
2402                 } else {
2403                         /* This shouldn't happen ever. */
2404                         ESPSTAT(("got bolixed\n"));
2405                         esp_advance_phase(SCptr, in_the_dark);
2406                         return esp_do_phase_determine(esp, eregs);
2407                 }
2408
2409                 if(!message_out) {
2410                         ESPSTAT(("status=%2x msg=%2x, ", SCptr->SCp.Status,
2411                                 SCptr->SCp.Message));
2412                         if(SCptr->SCp.Message == COMMAND_COMPLETE) {
2413                                 ESPSTAT(("and was COMMAND_COMPLETE\n"));
2414                                 esp_advance_phase(SCptr, in_freeing);
2415                                 return esp_do_freebus(esp, eregs);
2416                         } else {
2417                                 ESPLOG(("esp%d: and _not_ COMMAND_COMPLETE\n",
2418                                         esp->esp_id));
2419                                 esp->msgin_len = esp->msgin_ctr = 1;
2420                                 esp_advance_phase(SCptr, in_msgindone);
2421                                 return esp_do_msgindone(esp, eregs);
2422                         }
2423                 } else {
2424                         /* With luck we'll be able to let the target
2425                          * know that bad parity happened, it will know
2426                          * which byte caused the problems and send it
2427                          * again.  For the case where the status byte
2428                          * receives bad parity, I do not believe most
2429                          * targets recover very well.  We'll see.
2430                          */
2431                         ESPLOG(("esp%d: bad parity somewhere mout=%2x\n",
2432                                 esp->esp_id, message_out));
2433                         esp->cur_msgout[0] = message_out;
2434                         esp->msgout_len = esp->msgout_ctr = 1;
2435                         esp_advance_phase(SCptr, in_the_dark);
2436                         return esp_do_phase_determine(esp, eregs);
2437                 }
2438         } else {
2439                 /* If we disconnect now, all hell breaks loose. */
2440                 ESPLOG(("esp%d: whoops, disconnect\n", esp->esp_id));
2441                 esp_advance_phase(SCptr, in_the_dark);
2442                 return esp_do_phase_determine(esp, eregs);
2443         }
2444 }
2445
2446 static int esp_enter_status(struct NCR_ESP *esp,
2447                             struct ESP_regs *eregs)
2448 {
2449         unchar thecmd = ESP_CMD_ICCSEQ;
2450
2451         esp_cmd(esp, eregs, ESP_CMD_FLUSH);
2452
2453         if(esp->do_pio_cmds) {
2454                 esp_advance_phase(esp->current_SC, in_status);
2455                 esp_cmd(esp, eregs, thecmd);
2456                 while(!(esp_read(esp->eregs->esp_status) & ESP_STAT_INTR));
2457                 esp->esp_command[0] = esp_read(eregs->esp_fdata);
2458                 while(!(esp_read(esp->eregs->esp_status) & ESP_STAT_INTR));
2459                 esp->esp_command[1] = esp_read(eregs->esp_fdata);
2460         } else {
2461                 esp->esp_command[0] = esp->esp_command[1] = 0xff;
2462                 esp_write(eregs->esp_tclow, 2);
2463                 esp_write(eregs->esp_tcmed, 0);
2464                 esp->dma_init_read(esp, esp->esp_command_dvma, 2);
2465                 thecmd |= ESP_CMD_DMA;
2466                 esp_cmd(esp, eregs, thecmd);
2467                 esp_advance_phase(esp->current_SC, in_status);
2468         }
2469
2470         return esp_do_status(esp, eregs);
2471 }
2472
2473 static int esp_disconnect_amidst_phases(struct NCR_ESP *esp,
2474                                         struct ESP_regs *eregs)
2475 {
2476         Scsi_Cmnd *sp = esp->current_SC;
2477         struct esp_device *esp_dev = sp->device->hostdata;
2478
2479         /* This means real problems if we see this
2480          * here.  Unless we were actually trying
2481          * to force the device to abort/reset.
2482          */
2483         ESPLOG(("esp%d: Disconnect amidst phases, ", esp->esp_id));
2484         ESPLOG(("pphase<%s> cphase<%s>, ",
2485                 phase_string(sp->SCp.phase),
2486                 phase_string(sp->SCp.sent_command)));
2487
2488         if(esp->disconnected_SC)
2489                 esp_cmd(esp, eregs, ESP_CMD_ESEL);
2490
2491         switch(esp->cur_msgout[0]) {
2492         default:
2493                 /* We didn't expect this to happen at all. */
2494                 ESPLOG(("device is bolixed\n"));
2495                 esp_advance_phase(sp, in_tgterror);
2496                 esp_done(esp, (DID_ERROR << 16));
2497                 break;
2498
2499         case BUS_DEVICE_RESET:
2500                 ESPLOG(("device reset successful\n"));
2501                 esp_dev->sync_max_offset = 0;
2502                 esp_dev->sync_min_period = 0;
2503                 esp_dev->sync = 0;
2504                 esp_advance_phase(sp, in_resetdev);
2505                 esp_done(esp, (DID_RESET << 16));
2506                 break;
2507
2508         case ABORT:
2509                 ESPLOG(("device abort successful\n"));
2510                 esp_advance_phase(sp, in_abortone);
2511                 esp_done(esp, (DID_ABORT << 16));
2512                 break;
2513
2514         };
2515         return do_intr_end;
2516 }
2517
2518 static int esp_enter_msgout(struct NCR_ESP *esp,
2519                             struct ESP_regs *eregs)
2520 {
2521         esp_advance_phase(esp->current_SC, in_msgout);
2522         return esp_do_msgout(esp, eregs);
2523 }
2524
2525 static int esp_enter_msgin(struct NCR_ESP *esp,
2526                            struct ESP_regs *eregs)
2527 {
2528         esp_advance_phase(esp->current_SC, in_msgin);
2529         return esp_do_msgin(esp, eregs);
2530 }
2531
2532 static int esp_enter_cmd(struct NCR_ESP *esp,
2533                          struct ESP_regs *eregs)
2534 {
2535         esp_advance_phase(esp->current_SC, in_cmdbegin);
2536         return esp_do_cmdbegin(esp, eregs);
2537 }
2538
2539 static int esp_enter_badphase(struct NCR_ESP *esp,
2540                               struct ESP_regs *eregs)
2541 {
2542         ESPLOG(("esp%d: Bizarre bus phase %2x.\n", esp->esp_id,
2543                 esp->sreg & ESP_STAT_PMASK));
2544         return do_reset_bus;
2545 }
2546
2547 typedef int (*espfunc_t)(struct NCR_ESP *,
2548                          struct ESP_regs *);
2549
2550 static espfunc_t phase_vector[] = {
2551         esp_do_data,            /* ESP_DOP */
2552         esp_do_data,            /* ESP_DIP */
2553         esp_enter_cmd,          /* ESP_CMDP */
2554         esp_enter_status,       /* ESP_STATP */
2555         esp_enter_badphase,     /* ESP_STAT_PMSG */
2556         esp_enter_badphase,     /* ESP_STAT_PMSG | ESP_STAT_PIO */
2557         esp_enter_msgout,       /* ESP_MOP */
2558         esp_enter_msgin,        /* ESP_MIP */
2559 };
2560
2561 /* The target has control of the bus and we have to see where it has
2562  * taken us.
2563  */
2564 static int esp_do_phase_determine(struct NCR_ESP *esp,
2565                                   struct ESP_regs *eregs)
2566 {
2567         if ((esp->ireg & ESP_INTR_DC) != 0)
2568                 return esp_disconnect_amidst_phases(esp, eregs);
2569         return phase_vector[esp->sreg & ESP_STAT_PMASK](esp, eregs);
2570 }
2571
2572 /* First interrupt after exec'ing a cmd comes here. */
2573 static int esp_select_complete(struct NCR_ESP *esp, struct ESP_regs *eregs)
2574 {
2575         Scsi_Cmnd *SCptr = esp->current_SC;
2576         struct esp_device *esp_dev = SCptr->device->hostdata;
2577         int cmd_bytes_sent, fcnt;
2578
2579         fcnt = (esp_read(eregs->esp_fflags) & ESP_FF_FBYTES);
2580         cmd_bytes_sent = esp->dma_bytes_sent(esp, fcnt);
2581         if(esp->dma_invalidate)
2582                 esp->dma_invalidate(esp);
2583
2584         /* Let's check to see if a reselect happened
2585          * while we we're trying to select.  This must
2586          * be checked first.
2587          */
2588         if(esp->ireg == (ESP_INTR_RSEL | ESP_INTR_FDONE)) {
2589                 esp_reconnect(esp, SCptr);
2590                 return esp_do_reconnect(esp, eregs);
2591         }
2592
2593         /* Looks like things worked, we should see a bus service &
2594          * a function complete interrupt at this point.  Note we
2595          * are doing a direct comparison because we don't want to
2596          * be fooled into thinking selection was successful if
2597          * ESP_INTR_DC is set, see below.
2598          */
2599         if(esp->ireg == (ESP_INTR_FDONE | ESP_INTR_BSERV)) {
2600                 /* target speaks... */
2601                 esp->targets_present |= (1<<scmd_id(SCptr));
2602
2603                 /* What if the target ignores the sdtr? */
2604                 if(esp->snip)
2605                         esp_dev->sync = 1;
2606
2607                 /* See how far, if at all, we got in getting
2608                  * the information out to the target.
2609                  */
2610                 switch(esp->seqreg) {
2611                 default:
2612
2613                 case ESP_STEP_ASEL:
2614                         /* Arbitration won, target selected, but
2615                          * we are in some phase which is not command
2616                          * phase nor is it message out phase.
2617                          *
2618                          * XXX We've confused the target, obviously.
2619                          * XXX So clear it's state, but we also end
2620                          * XXX up clearing everyone elses.  That isn't
2621                          * XXX so nice.  I'd like to just reset this
2622                          * XXX target, but if I cannot even get it's
2623                          * XXX attention and finish selection to talk
2624                          * XXX to it, there is not much more I can do.
2625                          * XXX If we have a loaded bus we're going to
2626                          * XXX spend the next second or so renegotiating
2627                          * XXX for synchronous transfers.
2628                          */
2629                         ESPLOG(("esp%d: STEP_ASEL for tgt %d\n",
2630                                 esp->esp_id, SCptr->device->id));
2631
2632                 case ESP_STEP_SID:
2633                         /* Arbitration won, target selected, went
2634                          * to message out phase, sent one message
2635                          * byte, then we stopped.  ATN is asserted
2636                          * on the SCSI bus and the target is still
2637                          * there hanging on.  This is a legal
2638                          * sequence step if we gave the ESP a select
2639                          * and stop command.
2640                          *
2641                          * XXX See above, I could set the borken flag
2642                          * XXX in the device struct and retry the
2643                          * XXX command.  But would that help for
2644                          * XXX tagged capable targets?
2645                          */
2646
2647                 case ESP_STEP_NCMD:
2648                         /* Arbitration won, target selected, maybe
2649                          * sent the one message byte in message out
2650                          * phase, but we did not go to command phase
2651                          * in the end.  Actually, we could have sent
2652                          * only some of the message bytes if we tried
2653                          * to send out the entire identify and tag
2654                          * message using ESP_CMD_SA3.
2655                          */
2656                         cmd_bytes_sent = 0;
2657                         break;
2658
2659                 case ESP_STEP_PPC:
2660                         /* No, not the powerPC pinhead.  Arbitration
2661                          * won, all message bytes sent if we went to
2662                          * message out phase, went to command phase
2663                          * but only part of the command was sent.
2664                          *
2665                          * XXX I've seen this, but usually in conjunction
2666                          * XXX with a gross error which appears to have
2667                          * XXX occurred between the time I told the
2668                          * XXX ESP to arbitrate and when I got the
2669                          * XXX interrupt.  Could I have misloaded the
2670                          * XXX command bytes into the fifo?  Actually,
2671                          * XXX I most likely missed a phase, and therefore
2672                          * XXX went into never never land and didn't even
2673                          * XXX know it.  That was the old driver though.
2674                          * XXX What is even more peculiar is that the ESP
2675                          * XXX showed the proper function complete and
2676                          * XXX bus service bits in the interrupt register.
2677                          */
2678
2679                 case ESP_STEP_FINI4:
2680                 case ESP_STEP_FINI5:
2681                 case ESP_STEP_FINI6:
2682                 case ESP_STEP_FINI7:
2683                         /* Account for the identify message */
2684                         if(SCptr->SCp.phase == in_slct_norm)
2685                                 cmd_bytes_sent -= 1;
2686                 };
2687                 esp_cmd(esp, eregs, ESP_CMD_NULL);
2688
2689                 /* Be careful, we could really get fucked during synchronous
2690                  * data transfers if we try to flush the fifo now.
2691                  */
2692                 if(!fcnt && /* Fifo is empty and... */
2693                    /* either we are not doing synchronous transfers or... */
2694                    (!esp_dev->sync_max_offset ||
2695                     /* We are not going into data in phase. */
2696                     ((esp->sreg & ESP_STAT_PMASK) != ESP_DIP)))
2697                         esp_cmd(esp, eregs, ESP_CMD_FLUSH); /* flush is safe */
2698
2699                 /* See how far we got if this is not a slow command. */
2700                 if(!esp->esp_slowcmd) {
2701                         if(cmd_bytes_sent < 0)
2702                                 cmd_bytes_sent = 0;
2703                         if(cmd_bytes_sent != SCptr->cmd_len) {
2704                                 /* Crapola, mark it as a slowcmd
2705                                  * so that we have some chance of
2706                                  * keeping the command alive with
2707                                  * good luck.
2708                                  *
2709                                  * XXX Actually, if we didn't send it all
2710                                  * XXX this means either we didn't set things
2711                                  * XXX up properly (driver bug) or the target
2712                                  * XXX or the ESP detected parity on one of
2713                                  * XXX the command bytes.  This makes much
2714                                  * XXX more sense, and therefore this code
2715                                  * XXX should be changed to send out a
2716                                  * XXX parity error message or if the status
2717                                  * XXX register shows no parity error then
2718                                  * XXX just expect the target to bring the
2719                                  * XXX bus into message in phase so that it
2720                                  * XXX can send us the parity error message.
2721                                  * XXX SCSI sucks...
2722                                  */
2723                                 esp->esp_slowcmd = 1;
2724                                 esp->esp_scmdp = &(SCptr->cmnd[cmd_bytes_sent]);
2725                                 esp->esp_scmdleft = (SCptr->cmd_len - cmd_bytes_sent);
2726                         }
2727                 }
2728
2729                 /* Now figure out where we went. */
2730                 esp_advance_phase(SCptr, in_the_dark);
2731                 return esp_do_phase_determine(esp, eregs);
2732         }
2733
2734         /* Did the target even make it? */
2735         if(esp->ireg == ESP_INTR_DC) {
2736                 /* wheee... nobody there or they didn't like
2737                  * what we told it to do, clean up.
2738                  */
2739
2740                 /* If anyone is off the bus, but working on
2741                  * a command in the background for us, tell
2742                  * the ESP to listen for them.
2743                  */
2744                 if(esp->disconnected_SC)
2745                         esp_cmd(esp, eregs, ESP_CMD_ESEL);
2746
2747                 if(((1<<SCptr->device->id) & esp->targets_present) &&
2748                    esp->seqreg && esp->cur_msgout[0] == EXTENDED_MESSAGE &&
2749                    (SCptr->SCp.phase == in_slct_msg ||
2750                     SCptr->SCp.phase == in_slct_stop)) {
2751                         /* shit */
2752                         esp->snip = 0;
2753                         ESPLOG(("esp%d: Failed synchronous negotiation for target %d "
2754                                 "lun %d\n", esp->esp_id, SCptr->device->id, SCptr->device->lun));
2755                         esp_dev->sync_max_offset = 0;
2756                         esp_dev->sync_min_period = 0;
2757                         esp_dev->sync = 1; /* so we don't negotiate again */
2758
2759                         /* Run the command again, this time though we
2760                          * won't try to negotiate for synchronous transfers.
2761                          *
2762                          * XXX I'd like to do something like send an
2763                          * XXX INITIATOR_ERROR or ABORT message to the
2764                          * XXX target to tell it, "Sorry I confused you,
2765                          * XXX please come back and I will be nicer next
2766                          * XXX time".  But that requires having the target
2767                          * XXX on the bus, and it has dropped BSY on us.
2768                          */
2769                         esp->current_SC = NULL;
2770                         esp_advance_phase(SCptr, not_issued);
2771                         prepend_SC(&esp->issue_SC, SCptr);
2772                         esp_exec_cmd(esp);
2773                         return do_intr_end;
2774                 }
2775
2776                 /* Ok, this is normal, this is what we see during boot
2777                  * or whenever when we are scanning the bus for targets.
2778                  * But first make sure that is really what is happening.
2779                  */
2780                 if(((1<<SCptr->device->id) & esp->targets_present)) {
2781                         ESPLOG(("esp%d: Warning, live target %d not responding to "
2782                                 "selection.\n", esp->esp_id, SCptr->device->id));
2783
2784                         /* This _CAN_ happen.  The SCSI standard states that
2785                          * the target is to _not_ respond to selection if
2786                          * _it_ detects bad parity on the bus for any reason.
2787                          * Therefore, we assume that if we've talked successfully
2788                          * to this target before, bad parity is the problem.
2789                          */
2790                         esp_done(esp, (DID_PARITY << 16));
2791                 } else {
2792                         /* Else, there really isn't anyone there. */
2793                         ESPMISC(("esp: selection failure, maybe nobody there?\n"));
2794                         ESPMISC(("esp: target %d lun %d\n",
2795                                  SCptr->device->id, SCptr->device->lun));
2796                         esp_done(esp, (DID_BAD_TARGET << 16));
2797                 }
2798                 return do_intr_end;
2799         }
2800
2801
2802         ESPLOG(("esp%d: Selection failure.\n", esp->esp_id));
2803         printk("esp%d: Currently -- ", esp->esp_id);
2804         esp_print_ireg(esp->ireg);
2805         printk(" ");
2806         esp_print_statreg(esp->sreg);
2807         printk(" ");
2808         esp_print_seqreg(esp->seqreg);
2809         printk("\n");
2810         printk("esp%d: New -- ", esp->esp_id);
2811         esp->sreg = esp_read(eregs->esp_status);
2812         esp->seqreg = esp_read(eregs->esp_sstep);
2813         esp->ireg = esp_read(eregs->esp_intrpt);
2814         esp_print_ireg(esp->ireg);
2815         printk(" ");
2816         esp_print_statreg(esp->sreg);
2817         printk(" ");
2818         esp_print_seqreg(esp->seqreg);
2819         printk("\n");
2820         ESPLOG(("esp%d: resetting bus\n", esp->esp_id));
2821         return do_reset_bus; /* ugh... */
2822 }
2823
2824 /* Continue reading bytes for msgin phase. */
2825 static int esp_do_msgincont(struct NCR_ESP *esp, struct ESP_regs *eregs)
2826 {
2827         if(esp->ireg & ESP_INTR_BSERV) {
2828                 /* in the right phase too? */
2829                 if((esp->sreg & ESP_STAT_PMASK) == ESP_MIP) {
2830                         /* phew... */
2831                         esp_cmd(esp, eregs, ESP_CMD_TI);
2832                         esp_advance_phase(esp->current_SC, in_msgindone);
2833                         return do_intr_end;
2834                 }
2835
2836                 /* We changed phase but ESP shows bus service,
2837                  * in this case it is most likely that we, the
2838                  * hacker who has been up for 20hrs straight
2839                  * staring at the screen, drowned in coffee
2840                  * smelling like retched cigarette ashes
2841                  * have miscoded something..... so, try to
2842                  * recover as best we can.
2843                  */
2844                 ESPLOG(("esp%d: message in mis-carriage.\n", esp->esp_id));
2845         }
2846         esp_advance_phase(esp->current_SC, in_the_dark);
2847         return do_phase_determine;
2848 }
2849
2850 static int check_singlebyte_msg(struct NCR_ESP *esp,
2851                                 struct ESP_regs *eregs)
2852 {
2853         esp->prevmsgin = esp->cur_msgin[0];
2854         if(esp->cur_msgin[0] & 0x80) {
2855                 /* wheee... */
2856                 ESPLOG(("esp%d: target sends identify amidst phases\n",
2857                         esp->esp_id));
2858                 esp_advance_phase(esp->current_SC, in_the_dark);
2859                 return 0;
2860         } else if(((esp->cur_msgin[0] & 0xf0) == 0x20) ||
2861                   (esp->cur_msgin[0] == EXTENDED_MESSAGE)) {
2862                 esp->msgin_len = 2;
2863                 esp_advance_phase(esp->current_SC, in_msgincont);
2864                 return 0;
2865         }
2866         esp_advance_phase(esp->current_SC, in_the_dark);
2867         switch(esp->cur_msgin[0]) {
2868         default:
2869                 /* We don't want to hear about it. */
2870                 ESPLOG(("esp%d: msg %02x which we don't know about\n", esp->esp_id,
2871                         esp->cur_msgin[0]));
2872                 return MESSAGE_REJECT;
2873
2874         case NOP:
2875                 ESPLOG(("esp%d: target %d sends a nop\n", esp->esp_id,
2876                         esp->current_SC->device->id));
2877                 return 0;
2878
2879         case RESTORE_POINTERS:
2880                 /* In this case we might also have to backup the
2881                  * "slow command" pointer.  It is rare to get such
2882                  * a save/restore pointer sequence so early in the
2883                  * bus transition sequences, but cover it.
2884                  */
2885                 if(esp->esp_slowcmd) {
2886                         esp->esp_scmdleft = esp->current_SC->cmd_len;
2887                         esp->esp_scmdp = &esp->current_SC->cmnd[0];
2888                 }
2889                 esp_restore_pointers(esp, esp->current_SC);
2890                 return 0;
2891
2892         case SAVE_POINTERS:
2893                 esp_save_pointers(esp, esp->current_SC);
2894                 return 0;
2895
2896         case COMMAND_COMPLETE:
2897         case DISCONNECT:
2898                 /* Freeing the bus, let it go. */
2899                 esp->current_SC->SCp.phase = in_freeing;
2900                 return 0;
2901
2902         case MESSAGE_REJECT:
2903                 ESPMISC(("msg reject, "));
2904                 if(esp->prevmsgout == EXTENDED_MESSAGE) {
2905                         struct esp_device *esp_dev = esp->current_SC->device->hostdata;
2906
2907                         /* Doesn't look like this target can
2908                          * do synchronous or WIDE transfers.
2909                          */
2910                         ESPSDTR(("got reject, was trying nego, clearing sync/WIDE\n"));
2911                         esp_dev->sync = 1;
2912                         esp_dev->wide = 1;
2913                         esp_dev->sync_min_period = 0;
2914                         esp_dev->sync_max_offset = 0;
2915                         return 0;
2916                 } else {
2917                         ESPMISC(("not sync nego, sending ABORT\n"));
2918                         return ABORT;
2919                 }
2920         };
2921 }
2922
2923 /* Target negotiates for synchronous transfers before we do, this
2924  * is legal although very strange.  What is even funnier is that
2925  * the SCSI2 standard specifically recommends against targets doing
2926  * this because so many initiators cannot cope with this occurring.
2927  */
2928 static int target_with_ants_in_pants(struct NCR_ESP *esp,
2929                                      Scsi_Cmnd *SCptr,
2930                                      struct esp_device *esp_dev)
2931 {
2932         if(esp_dev->sync || SCptr->device->borken) {
2933                 /* sorry, no can do */
2934                 ESPSDTR(("forcing to async, "));
2935                 build_sync_nego_msg(esp, 0, 0);
2936                 esp_dev->sync = 1;
2937                 esp->snip = 1;
2938                 ESPLOG(("esp%d: hoping for msgout\n", esp->esp_id));
2939                 esp_advance_phase(SCptr, in_the_dark);
2940                 return EXTENDED_MESSAGE;
2941         }
2942
2943         /* Ok, we'll check them out... */
2944         return 0;
2945 }
2946
2947 static void sync_report(struct NCR_ESP *esp)
2948 {
2949         int msg3, msg4;
2950         char *type;
2951
2952         msg3 = esp->cur_msgin[3];
2953         msg4 = esp->cur_msgin[4];
2954         if(msg4) {
2955                 int hz = 1000000000 / (msg3 * 4);
2956                 int integer = hz / 1000000;
2957                 int fraction = (hz - (integer * 1000000)) / 10000;
2958                 if((msg3 * 4) < 200) {
2959                         type = "FAST";
2960                 } else {
2961                         type = "synchronous";
2962                 }
2963
2964                 /* Do not transform this back into one big printk
2965                  * again, it triggers a bug in our sparc64-gcc272
2966                  * sibling call optimization.  -DaveM
2967                  */
2968                 ESPLOG((KERN_INFO "esp%d: target %d ",
2969                         esp->esp_id, esp->current_SC->device->id));
2970                 ESPLOG(("[period %dns offset %d %d.%02dMHz ",
2971                         (int) msg3 * 4, (int) msg4,
2972                         integer, fraction));
2973                 ESPLOG(("%s SCSI%s]\n", type,
2974                         (((msg3 * 4) < 200) ? "-II" : "")));
2975         } else {
2976                 ESPLOG((KERN_INFO "esp%d: target %d asynchronous\n",
2977                         esp->esp_id, esp->current_SC->device->id));
2978         }
2979 }
2980
2981 static int check_multibyte_msg(struct NCR_ESP *esp,
2982                                struct ESP_regs *eregs)
2983 {
2984         Scsi_Cmnd *SCptr = esp->current_SC;
2985         struct esp_device *esp_dev = SCptr->device->hostdata;
2986         unchar regval = 0;
2987         int message_out = 0;
2988
2989         ESPSDTR(("chk multibyte msg: "));
2990         if(esp->cur_msgin[2] == EXTENDED_SDTR) {
2991                 int period = esp->cur_msgin[3];
2992                 int offset = esp->cur_msgin[4];
2993
2994                 ESPSDTR(("is sync nego response, "));
2995                 if(!esp->snip) {
2996                         int rval;
2997
2998                         /* Target negotiates first! */
2999                         ESPSDTR(("target jumps the gun, "));
3000                         message_out = EXTENDED_MESSAGE; /* we must respond */
3001                         rval = target_with_ants_in_pants(esp, SCptr, esp_dev);
3002                         if(rval)
3003                                 return rval;
3004                 }
3005
3006                 ESPSDTR(("examining sdtr, "));
3007
3008                 /* Offset cannot be larger than ESP fifo size. */
3009                 if(offset > 15) {
3010                         ESPSDTR(("offset too big %2x, ", offset));
3011                         offset = 15;
3012                         ESPSDTR(("sending back new offset\n"));
3013                         build_sync_nego_msg(esp, period, offset);
3014                         return EXTENDED_MESSAGE;
3015                 }
3016
3017                 if(offset && period > esp->max_period) {
3018                         /* Yeee, async for this slow device. */
3019                         ESPSDTR(("period too long %2x, ", period));
3020                         build_sync_nego_msg(esp, 0, 0);
3021                         ESPSDTR(("hoping for msgout\n"));
3022                         esp_advance_phase(esp->current_SC, in_the_dark);
3023                         return EXTENDED_MESSAGE;
3024                 } else if (offset && period < esp->min_period) {
3025                         ESPSDTR(("period too short %2x, ", period));
3026                         period = esp->min_period;
3027                         if(esp->erev > esp236)
3028                                 regval = 4;
3029                         else
3030                                 regval = 5;
3031                 } else if(offset) {
3032                         int tmp;
3033
3034                         ESPSDTR(("period is ok, "));
3035                         tmp = esp->ccycle / 1000;
3036                         regval = (((period << 2) + tmp - 1) / tmp);
3037                         if(regval && (esp->erev > esp236)) {
3038                                 if(period >= 50)
3039                                         regval--;
3040                         }
3041                 }
3042
3043                 if(offset) {
3044                         unchar bit;
3045
3046                         esp_dev->sync_min_period = (regval & 0x1f);
3047                         esp_dev->sync_max_offset = (offset | esp->radelay);
3048                         if(esp->erev > esp236) {
3049                                 if(esp->erev == fas100a)
3050                                         bit = ESP_CONFIG3_FAST;
3051                                 else
3052                                         bit = ESP_CONFIG3_FSCSI;
3053                                 if(period < 50)
3054                                         esp->config3[SCptr->device->id] |= bit;
3055                                 else
3056                                         esp->config3[SCptr->device->id] &= ~bit;
3057                                 esp->prev_cfg3 = esp->config3[SCptr->device->id];
3058                                 esp_write(eregs->esp_cfg3, esp->prev_cfg3);
3059                         }
3060                         esp->prev_soff = esp_dev->sync_min_period;
3061                         esp_write(eregs->esp_soff, esp->prev_soff);
3062                         esp->prev_stp = esp_dev->sync_max_offset;
3063                         esp_write(eregs->esp_stp, esp->prev_stp);
3064
3065                         ESPSDTR(("soff=%2x stp=%2x cfg3=%2x\n",
3066                                 esp_dev->sync_max_offset,
3067                                 esp_dev->sync_min_period,
3068                                 esp->config3[scmd_id(SCptr)]));
3069
3070                         esp->snip = 0;
3071                 } else if(esp_dev->sync_max_offset) {
3072                         unchar bit;
3073
3074                         /* back to async mode */
3075                         ESPSDTR(("unaccaptable sync nego, forcing async\n"));
3076                         esp_dev->sync_max_offset = 0;
3077                         esp_dev->sync_min_period = 0;
3078                         esp->prev_soff = 0;
3079                         esp_write(eregs->esp_soff, 0);
3080                         esp->prev_stp = 0;
3081                         esp_write(eregs->esp_stp, 0);
3082                         if(esp->erev > esp236) {
3083                                 if(esp->erev == fas100a)
3084                                         bit = ESP_CONFIG3_FAST;
3085                                 else
3086                                         bit = ESP_CONFIG3_FSCSI;
3087                                 esp->config3[SCptr->device->id] &= ~bit;
3088                                 esp->prev_cfg3 = esp->config3[SCptr->device->id];
3089                                 esp_write(eregs->esp_cfg3, esp->prev_cfg3);
3090                         }
3091                 }
3092
3093                 sync_report(esp);
3094
3095                 ESPSDTR(("chk multibyte msg: sync is known, "));
3096                 esp_dev->sync = 1;
3097
3098                 if(message_out) {
3099                         ESPLOG(("esp%d: sending sdtr back, hoping for msgout\n",
3100                                 esp->esp_id));
3101                         build_sync_nego_msg(esp, period, offset);
3102                         esp_advance_phase(SCptr, in_the_dark);
3103                         return EXTENDED_MESSAGE;
3104                 }
3105
3106                 ESPSDTR(("returning zero\n"));
3107                 esp_advance_phase(SCptr, in_the_dark); /* ...or else! */
3108                 return 0;
3109         } else if(esp->cur_msgin[2] == EXTENDED_WDTR) {
3110                 ESPLOG(("esp%d: AIEEE wide msg received\n", esp->esp_id));
3111                 message_out = MESSAGE_REJECT;
3112         } else if(esp->cur_msgin[2] == EXTENDED_MODIFY_DATA_POINTER) {
3113                 ESPLOG(("esp%d: rejecting modify data ptr msg\n", esp->esp_id));
3114                 message_out = MESSAGE_REJECT;
3115         }
3116         esp_advance_phase(SCptr, in_the_dark);
3117         return message_out;
3118 }
3119
3120 static int esp_do_msgindone(struct NCR_ESP *esp, struct ESP_regs *eregs)
3121 {
3122         Scsi_Cmnd *SCptr = esp->current_SC;
3123         int message_out = 0, it = 0, rval;
3124
3125         rval = skipahead1(esp, eregs, SCptr, in_msgin, in_msgindone);
3126         if(rval)
3127                 return rval;
3128         if(SCptr->SCp.sent_command != in_status) {
3129                 if(!(esp->ireg & ESP_INTR_DC)) {
3130                         if(esp->msgin_len && (esp->sreg & ESP_STAT_PERR)) {
3131                                 message_out = MSG_PARITY_ERROR;
3132                                 esp_cmd(esp, eregs, ESP_CMD_FLUSH);
3133                         } else if((it = (esp_read(eregs->esp_fflags) & ESP_FF_FBYTES))!=1) {
3134                                 /* We certainly dropped the ball somewhere. */
3135                                 message_out = INITIATOR_ERROR;
3136                                 esp_cmd(esp, eregs, ESP_CMD_FLUSH);
3137                         } else if(!esp->msgin_len) {
3138                                 it = esp_read(eregs->esp_fdata);
3139                                 esp_advance_phase(SCptr, in_msgincont);
3140                         } else {
3141                                 /* it is ok and we want it */
3142                                 it = esp->cur_msgin[esp->msgin_ctr] =
3143                                         esp_read(eregs->esp_fdata);
3144                                 esp->msgin_ctr++;
3145                         }
3146                 } else {
3147                         esp_advance_phase(SCptr, in_the_dark);
3148                         return do_work_bus;
3149                 }
3150         } else {
3151                 it = esp->cur_msgin[0];
3152         }
3153         if(!message_out && esp->msgin_len) {
3154                 if(esp->msgin_ctr < esp->msgin_len) {
3155                         esp_advance_phase(SCptr, in_msgincont);
3156                 } else if(esp->msgin_len == 1) {
3157                         message_out = check_singlebyte_msg(esp, eregs);
3158                 } else if(esp->msgin_len == 2) {
3159                         if(esp->cur_msgin[0] == EXTENDED_MESSAGE) {
3160                                 if((it+2) >= 15) {
3161                                         message_out = MESSAGE_REJECT;
3162                                 } else {
3163                                         esp->msgin_len = (it + 2);
3164                                         esp_advance_phase(SCptr, in_msgincont);
3165                                 }
3166                         } else {
3167                                 message_out = MESSAGE_REJECT; /* foo on you */
3168                         }
3169                 } else {
3170                         message_out = check_multibyte_msg(esp, eregs);
3171                 }
3172         }
3173         if(message_out < 0) {
3174                 return -message_out;
3175         } else if(message_out) {
3176                 if(((message_out != 1) &&
3177                     ((message_out < 0x20) || (message_out & 0x80))))
3178                         esp->msgout_len = 1;
3179                 esp->cur_msgout[0] = message_out;
3180                 esp_cmd(esp, eregs, ESP_CMD_SATN);
3181                 esp_advance_phase(SCptr, in_the_dark);
3182                 esp->msgin_len = 0;
3183         }
3184         esp->sreg = esp_read(eregs->esp_status);
3185         esp->sreg &= ~(ESP_STAT_INTR);
3186         if((esp->sreg & (ESP_STAT_PMSG|ESP_STAT_PCD)) == (ESP_STAT_PMSG|ESP_STAT_PCD))
3187                 esp_cmd(esp, eregs, ESP_CMD_MOK);
3188         if((SCptr->SCp.sent_command == in_msgindone) &&
3189             (SCptr->SCp.phase == in_freeing))
3190                 return esp_do_freebus(esp, eregs);
3191         return do_intr_end;
3192 }
3193
3194 static int esp_do_cmdbegin(struct NCR_ESP *esp, struct ESP_regs *eregs)
3195 {
3196         unsigned char tmp;
3197         Scsi_Cmnd *SCptr = esp->current_SC;
3198
3199         esp_advance_phase(SCptr, in_cmdend);
3200         esp_cmd(esp, eregs, ESP_CMD_FLUSH);
3201         tmp = *esp->esp_scmdp++;
3202         esp->esp_scmdleft--;
3203         esp_write(eregs->esp_fdata, tmp);
3204         esp_cmd(esp, eregs, ESP_CMD_TI);
3205         return do_intr_end;
3206 }
3207
3208 static int esp_do_cmddone(struct NCR_ESP *esp, struct ESP_regs *eregs)
3209 {
3210         esp_cmd(esp, eregs, ESP_CMD_NULL);
3211         if(esp->ireg & ESP_INTR_BSERV) {
3212                 esp_advance_phase(esp->current_SC, in_the_dark);
3213                 return esp_do_phase_determine(esp, eregs);
3214         }
3215         ESPLOG(("esp%d: in do_cmddone() but didn't get BSERV interrupt.\n",
3216                 esp->esp_id));
3217         return do_reset_bus;
3218 }
3219
3220 static int esp_do_msgout(struct NCR_ESP *esp, struct ESP_regs *eregs)
3221 {
3222         esp_cmd(esp, eregs, ESP_CMD_FLUSH);
3223         switch(esp->msgout_len) {
3224         case 1:
3225                 esp_write(eregs->esp_fdata, esp->cur_msgout[0]);
3226                 esp_cmd(esp, eregs, ESP_CMD_TI);
3227                 break;
3228
3229         case 2:
3230                 if(esp->do_pio_cmds){
3231                         esp_write(eregs->esp_fdata, esp->cur_msgout[0]);
3232                         esp_write(eregs->esp_fdata, esp->cur_msgout[1]);
3233                         esp_cmd(esp, eregs, ESP_CMD_TI);
3234                 } else {
3235                         esp->esp_command[0] = esp->cur_msgout[0];
3236                         esp->esp_command[1] = esp->cur_msgout[1];
3237                         esp->dma_setup(esp, esp->esp_command_dvma, 2, 0);
3238                         esp_setcount(eregs, 2);
3239                         esp_cmd(esp, eregs, ESP_CMD_DMA | ESP_CMD_TI);
3240                 }
3241                 break;
3242
3243         case 4:
3244                 esp->snip = 1;
3245                 if(esp->do_pio_cmds){
3246                         esp_write(eregs->esp_fdata, esp->cur_msgout[0]);
3247                         esp_write(eregs->esp_fdata, esp->cur_msgout[1]);
3248                         esp_write(eregs->esp_fdata, esp->cur_msgout[2]);
3249                         esp_write(eregs->esp_fdata, esp->cur_msgout[3]);
3250                         esp_cmd(esp, eregs, ESP_CMD_TI);
3251                 } else {
3252                         esp->esp_command[0] = esp->cur_msgout[0];
3253                         esp->esp_command[1] = esp->cur_msgout[1];
3254                         esp->esp_command[2] = esp->cur_msgout[2];
3255                         esp->esp_command[3] = esp->cur_msgout[3];
3256                         esp->dma_setup(esp, esp->esp_command_dvma, 4, 0);
3257                         esp_setcount(eregs, 4);
3258                         esp_cmd(esp, eregs, ESP_CMD_DMA | ESP_CMD_TI);
3259                 }
3260                 break;
3261
3262         case 5:
3263                 esp->snip = 1;
3264                 if(esp->do_pio_cmds){
3265                         esp_write(eregs->esp_fdata, esp->cur_msgout[0]);
3266                         esp_write(eregs->esp_fdata, esp->cur_msgout[1]);
3267                         esp_write(eregs->esp_fdata, esp->cur_msgout[2]);
3268                         esp_write(eregs->esp_fdata, esp->cur_msgout[3]);
3269                         esp_write(eregs->esp_fdata, esp->cur_msgout[4]);
3270                         esp_cmd(esp, eregs, ESP_CMD_TI);
3271                 } else {
3272                         esp->esp_command[0] = esp->cur_msgout[0];
3273                         esp->esp_command[1] = esp->cur_msgout[1];
3274                         esp->esp_command[2] = esp->cur_msgout[2];
3275                         esp->esp_command[3] = esp->cur_msgout[3];
3276                         esp->esp_command[4] = esp->cur_msgout[4];
3277                         esp->dma_setup(esp, esp->esp_command_dvma, 5, 0);
3278                         esp_setcount(eregs, 5);
3279                         esp_cmd(esp, eregs, ESP_CMD_DMA | ESP_CMD_TI);
3280                 }
3281                 break;
3282
3283         default:
3284                 /* whoops */
3285                 ESPMISC(("bogus msgout sending NOP\n"));
3286                 esp->cur_msgout[0] = NOP;
3287                 esp_write(eregs->esp_fdata, esp->cur_msgout[0]);
3288                 esp->msgout_len = 1;
3289                 esp_cmd(esp, eregs, ESP_CMD_TI);
3290                 break;
3291         }
3292         esp_advance_phase(esp->current_SC, in_msgoutdone);
3293         return do_intr_end;
3294 }
3295
3296 static int esp_do_msgoutdone(struct NCR_ESP *esp, 
3297                              struct ESP_regs *eregs)
3298 {
3299         if((esp->msgout_len > 1) && esp->dma_barrier)
3300                 esp->dma_barrier(esp);
3301
3302         if(!(esp->ireg & ESP_INTR_DC)) {
3303                 esp_cmd(esp, eregs, ESP_CMD_NULL);
3304                 switch(esp->sreg & ESP_STAT_PMASK) {
3305                 case ESP_MOP:
3306                         /* whoops, parity error */
3307                         ESPLOG(("esp%d: still in msgout, parity error assumed\n",
3308                                 esp->esp_id));
3309                         if(esp->msgout_len > 1)
3310                                 esp_cmd(esp, eregs, ESP_CMD_SATN);
3311                         esp_advance_phase(esp->current_SC, in_msgout);
3312                         return do_work_bus;
3313
3314                 case ESP_DIP:
3315                         break;
3316
3317                 default:
3318                         if(!fcount(esp, eregs) &&
3319                            !(((struct esp_device *)esp->current_SC->device->hostdata)->sync_max_offset))
3320                                 esp_cmd(esp, eregs, ESP_CMD_FLUSH);
3321                         break;
3322
3323                 };
3324         }
3325
3326         /* If we sent out a synchronous negotiation message, update
3327          * our state.
3328          */
3329         if(esp->cur_msgout[2] == EXTENDED_MESSAGE &&
3330            esp->cur_msgout[4] == EXTENDED_SDTR) {
3331                 esp->snip = 1; /* anal retentiveness... */
3332         }
3333
3334         esp->prevmsgout = esp->cur_msgout[0];
3335         esp->msgout_len = 0;
3336         esp_advance_phase(esp->current_SC, in_the_dark);
3337         return esp_do_phase_determine(esp, eregs);
3338 }
3339
3340 static int esp_bus_unexpected(struct NCR_ESP *esp, struct ESP_regs *eregs)
3341 {
3342         ESPLOG(("esp%d: command in weird state %2x\n",
3343                 esp->esp_id, esp->current_SC->SCp.phase));
3344         return do_reset_bus;
3345 }
3346
3347 static espfunc_t bus_vector[] = {
3348         esp_do_data_finale,
3349         esp_do_data_finale,
3350         esp_bus_unexpected,
3351         esp_do_msgin,
3352         esp_do_msgincont,
3353         esp_do_msgindone,
3354         esp_do_msgout,
3355         esp_do_msgoutdone,
3356         esp_do_cmdbegin,
3357         esp_do_cmddone,
3358         esp_do_status,
3359         esp_do_freebus,
3360         esp_do_phase_determine,
3361         esp_bus_unexpected,
3362         esp_bus_unexpected,
3363         esp_bus_unexpected,
3364 };
3365
3366 /* This is the second tier in our dual-level SCSI state machine. */
3367 static int esp_work_bus(struct NCR_ESP *esp, struct ESP_regs *eregs)
3368 {
3369         Scsi_Cmnd *SCptr = esp->current_SC;
3370         unsigned int phase;
3371
3372         ESPBUS(("esp_work_bus: "));
3373         if(!SCptr) {
3374                 ESPBUS(("reconnect\n"));
3375                 return esp_do_reconnect(esp, eregs);
3376         }
3377         phase = SCptr->SCp.phase;
3378         if ((phase & 0xf0) == in_phases_mask)
3379                 return bus_vector[(phase & 0x0f)](esp, eregs);
3380         else if((phase & 0xf0) == in_slct_mask)
3381                 return esp_select_complete(esp, eregs);
3382         else
3383                 return esp_bus_unexpected(esp, eregs);
3384 }
3385
3386 static espfunc_t isvc_vector[] = {
3387         NULL,
3388         esp_do_phase_determine,
3389         esp_do_resetbus,
3390         esp_finish_reset,
3391         esp_work_bus
3392 };
3393
3394 /* Main interrupt handler for an esp adapter. */
3395 void esp_handle(struct NCR_ESP *esp)
3396 {
3397         struct ESP_regs *eregs;
3398         Scsi_Cmnd *SCptr;
3399         int what_next = do_intr_end;
3400         eregs = esp->eregs;
3401         SCptr = esp->current_SC;
3402
3403         if(esp->dma_irq_entry)
3404                 esp->dma_irq_entry(esp);
3405
3406         /* Check for errors. */
3407         esp->sreg = esp_read(eregs->esp_status);
3408         esp->sreg &= (~ESP_STAT_INTR);
3409         esp->seqreg = (esp_read(eregs->esp_sstep) & ESP_STEP_VBITS);
3410         esp->ireg = esp_read(eregs->esp_intrpt);   /* Unlatch intr and stat regs */
3411         ESPIRQ(("handle_irq: [sreg<%02x> sstep<%02x> ireg<%02x>]\n",
3412                 esp->sreg, esp->seqreg, esp->ireg));
3413         if(esp->sreg & (ESP_STAT_SPAM)) {
3414                 /* Gross error, could be due to one of:
3415                  *
3416                  * - top of fifo overwritten, could be because
3417                  *   we tried to do a synchronous transfer with
3418                  *   an offset greater than ESP fifo size
3419                  *
3420                  * - top of command register overwritten
3421                  *
3422                  * - DMA setup to go in one direction, SCSI
3423                  *   bus points in the other, whoops
3424                  *
3425                  * - weird phase change during asynchronous
3426                  *   data phase while we are initiator
3427                  */
3428                 ESPLOG(("esp%d: Gross error sreg=%2x\n", esp->esp_id, esp->sreg));
3429
3430                 /* If a command is live on the bus we cannot safely
3431                  * reset the bus, so we'll just let the pieces fall
3432                  * where they may.  Here we are hoping that the
3433                  * target will be able to cleanly go away soon
3434                  * so we can safely reset things.
3435                  */
3436                 if(!SCptr) {
3437                         ESPLOG(("esp%d: No current cmd during gross error, "
3438                                 "resetting bus\n", esp->esp_id));
3439                         what_next = do_reset_bus;
3440                         goto state_machine;
3441                 }
3442         }
3443
3444         /* No current cmd is only valid at this point when there are
3445          * commands off the bus or we are trying a reset.
3446          */
3447         if(!SCptr && !esp->disconnected_SC && !(esp->ireg & ESP_INTR_SR)) {
3448                 /* Panic is safe, since current_SC is null. */
3449                 ESPLOG(("esp%d: no command in esp_handle()\n", esp->esp_id));
3450                 panic("esp_handle: current_SC == penguin within interrupt!");
3451         }
3452
3453         if(esp->ireg & (ESP_INTR_IC)) {
3454                 /* Illegal command fed to ESP.  Outside of obvious
3455                  * software bugs that could cause this, there is
3456                  * a condition with ESP100 where we can confuse the
3457                  * ESP into an erroneous illegal command interrupt
3458                  * because it does not scrape the FIFO properly
3459                  * for reselection.  See esp100_reconnect_hwbug()
3460                  * to see how we try very hard to avoid this.
3461                  */
3462                 ESPLOG(("esp%d: invalid command\n", esp->esp_id));
3463
3464                 esp_dump_state(esp, eregs);
3465
3466                 if(SCptr) {
3467                         /* Devices with very buggy firmware can drop BSY
3468                          * during a scatter list interrupt when using sync
3469                          * mode transfers.  We continue the transfer as
3470                          * expected, the target drops the bus, the ESP
3471                          * gets confused, and we get a illegal command
3472                          * interrupt because the bus is in the disconnected
3473                          * state now and ESP_CMD_TI is only allowed when
3474                          * a nexus is alive on the bus.
3475                          */
3476                         ESPLOG(("esp%d: Forcing async and disabling disconnect for "
3477                                 "target %d\n", esp->esp_id, SCptr->device->id));
3478                         SCptr->device->borken = 1; /* foo on you */
3479                 }
3480
3481                 what_next = do_reset_bus;
3482         } else if(!(esp->ireg & ~(ESP_INTR_FDONE | ESP_INTR_BSERV | ESP_INTR_DC))) {
3483                 int phase;
3484
3485                 if(SCptr) {
3486                         phase = SCptr->SCp.phase;
3487                         if(phase & in_phases_mask) {
3488                                 what_next = esp_work_bus(esp, eregs);
3489                         } else if(phase & in_slct_mask) {
3490                                 what_next = esp_select_complete(esp, eregs);
3491                         } else {
3492                                 ESPLOG(("esp%d: interrupt for no good reason...\n",
3493                                         esp->esp_id));
3494                                 what_next = do_intr_end;
3495                         }
3496                 } else {
3497                         ESPLOG(("esp%d: BSERV or FDONE or DC while SCptr==NULL\n",
3498                                 esp->esp_id));
3499                         what_next = do_reset_bus;
3500                 }
3501         } else if(esp->ireg & ESP_INTR_SR) {
3502                 ESPLOG(("esp%d: SCSI bus reset interrupt\n", esp->esp_id));
3503                 what_next = do_reset_complete;
3504         } else if(esp->ireg & (ESP_INTR_S | ESP_INTR_SATN)) {
3505                 ESPLOG(("esp%d: AIEEE we have been selected by another initiator!\n",
3506                         esp->esp_id));
3507                 what_next = do_reset_bus;
3508         } else if(esp->ireg & ESP_INTR_RSEL) {
3509                 if(!SCptr) {
3510                         /* This is ok. */
3511                         what_next = esp_do_reconnect(esp, eregs);
3512                 } else if(SCptr->SCp.phase & in_slct_mask) {
3513                         /* Only selection code knows how to clean
3514                          * up properly.
3515                          */
3516                         ESPDISC(("Reselected during selection attempt\n"));
3517                         what_next = esp_select_complete(esp, eregs);
3518                 } else {
3519                         ESPLOG(("esp%d: Reselected while bus is busy\n",
3520                                 esp->esp_id));
3521                         what_next = do_reset_bus;
3522                 }
3523         }
3524
3525         /* This is tier-one in our dual level SCSI state machine. */
3526 state_machine:
3527         while(what_next != do_intr_end) {
3528                 if (what_next >= do_phase_determine &&
3529                     what_next < do_intr_end)
3530                         what_next = isvc_vector[what_next](esp, eregs);
3531                 else {
3532                         /* state is completely lost ;-( */
3533                         ESPLOG(("esp%d: interrupt engine loses state, resetting bus\n",
3534                                 esp->esp_id));
3535                         what_next = do_reset_bus;
3536                 }
3537         }
3538         if(esp->dma_irq_exit)
3539                 esp->dma_irq_exit(esp);
3540 }
3541
3542 #ifndef CONFIG_SMP
3543 irqreturn_t esp_intr(int irq, void *dev_id, struct pt_regs *pregs)
3544 {
3545         struct NCR_ESP *esp;
3546         unsigned long flags;
3547         int again;
3548         struct Scsi_Host *dev = dev_id;
3549
3550         /* Handle all ESP interrupts showing at this IRQ level. */
3551         spin_lock_irqsave(dev->host_lock, flags);
3552 repeat:
3553         again = 0;
3554         for_each_esp(esp) {
3555 #ifndef __mips__            
3556                 if(((esp)->irq & 0xff) == irq) {
3557 #endif              
3558                         if(esp->dma_irq_p(esp)) {
3559                                 again = 1;
3560
3561                                 esp->dma_ints_off(esp);
3562
3563                                 ESPIRQ(("I%d(", esp->esp_id));
3564                                 esp_handle(esp);
3565                                 ESPIRQ((")"));
3566
3567                                 esp->dma_ints_on(esp);
3568                         }
3569 #ifndef __mips__                    
3570                 }
3571 #endif      
3572         }
3573         if(again)
3574                 goto repeat;
3575         spin_unlock_irqrestore(dev->host_lock, flags);
3576         return IRQ_HANDLED;
3577 }
3578 #else
3579 /* For SMP we only service one ESP on the list list at our IRQ level! */
3580 irqreturn_t esp_intr(int irq, void *dev_id, struct pt_regs *pregs)
3581 {
3582         struct NCR_ESP *esp;
3583         unsigned long flags;
3584         struct Scsi_Host *dev = dev_id;
3585         
3586         /* Handle all ESP interrupts showing at this IRQ level. */
3587         spin_lock_irqsave(dev->host_lock, flags);
3588         for_each_esp(esp) {
3589                 if(((esp)->irq & 0xf) == irq) {
3590                         if(esp->dma_irq_p(esp)) {
3591                                 esp->dma_ints_off(esp);
3592
3593                                 ESPIRQ(("I[%d:%d](",
3594                                         smp_processor_id(), esp->esp_id));
3595                                 esp_handle(esp);
3596                                 ESPIRQ((")"));
3597
3598                                 esp->dma_ints_on(esp);
3599                                 goto out;
3600                         }
3601                 }
3602         }
3603 out:
3604         spin_unlock_irqrestore(dev->host_lock, flags);
3605         return IRQ_HANDLED;
3606 }
3607 #endif
3608
3609 int esp_slave_alloc(struct scsi_device *SDptr)
3610 {
3611         struct esp_device *esp_dev =
3612                 kmalloc(sizeof(struct esp_device), GFP_ATOMIC);
3613
3614         if (!esp_dev)
3615                 return -ENOMEM;
3616         memset(esp_dev, 0, sizeof(struct esp_device));
3617         SDptr->hostdata = esp_dev;
3618         return 0;
3619 }
3620
3621 void esp_slave_destroy(struct scsi_device *SDptr)
3622 {
3623         struct NCR_ESP *esp = (struct NCR_ESP *) SDptr->host->hostdata;
3624
3625         esp->targets_present &= ~(1 << sdev_id(SDptr));
3626         kfree(SDptr->hostdata);
3627         SDptr->hostdata = NULL;
3628 }
3629
3630 #ifdef MODULE
3631 int init_module(void) { return 0; }
3632 void cleanup_module(void) {}
3633 void esp_release(void)
3634 {
3635         esps_in_use--;
3636         esps_running = esps_in_use;
3637 }
3638 #endif
3639
3640 EXPORT_SYMBOL(esp_abort);
3641 EXPORT_SYMBOL(esp_allocate);
3642 EXPORT_SYMBOL(esp_deallocate);
3643 EXPORT_SYMBOL(esp_initialize);
3644 EXPORT_SYMBOL(esp_intr);
3645 EXPORT_SYMBOL(esp_queue);
3646 EXPORT_SYMBOL(esp_reset);
3647 EXPORT_SYMBOL(esp_slave_alloc);
3648 EXPORT_SYMBOL(esp_slave_destroy);
3649 EXPORT_SYMBOL(esps_in_use);
3650
3651 MODULE_LICENSE("GPL");