bnx2x: Minimize lock time
[linux-2.6] / drivers / net / lib8390.c
1 /* 8390.c: A general NS8390 ethernet driver core for linux. */
2 /*
3         Written 1992-94 by Donald Becker.
4
5         Copyright 1993 United States Government as represented by the
6         Director, National Security Agency.
7
8         This software may be used and distributed according to the terms
9         of the GNU General Public License, incorporated herein by reference.
10
11         The author may be reached as becker@scyld.com, or C/O
12         Scyld Computing Corporation
13         410 Severn Ave., Suite 210
14         Annapolis MD 21403
15
16
17   This is the chip-specific code for many 8390-based ethernet adaptors.
18   This is not a complete driver, it must be combined with board-specific
19   code such as ne.c, wd.c, 3c503.c, etc.
20
21   Seeing how at least eight drivers use this code, (not counting the
22   PCMCIA ones either) it is easy to break some card by what seems like
23   a simple innocent change. Please contact me or Donald if you think
24   you have found something that needs changing. -- PG
25
26
27   Changelog:
28
29   Paul Gortmaker        : remove set_bit lock, other cleanups.
30   Paul Gortmaker        : add ei_get_8390_hdr() so we can pass skb's to
31                           ei_block_input() for eth_io_copy_and_sum().
32   Paul Gortmaker        : exchange static int ei_pingpong for a #define,
33                           also add better Tx error handling.
34   Paul Gortmaker        : rewrite Rx overrun handling as per NS specs.
35   Alexey Kuznetsov      : use the 8390's six bit hash multicast filter.
36   Paul Gortmaker        : tweak ANK's above multicast changes a bit.
37   Paul Gortmaker        : update packet statistics for v2.1.x
38   Alan Cox              : support arbitary stupid port mappings on the
39                           68K Macintosh. Support >16bit I/O spaces
40   Paul Gortmaker        : add kmod support for auto-loading of the 8390
41                           module by all drivers that require it.
42   Alan Cox              : Spinlocking work, added 'BUG_83C690'
43   Paul Gortmaker        : Separate out Tx timeout code from Tx path.
44   Paul Gortmaker        : Remove old unused single Tx buffer code.
45   Hayato Fujiwara       : Add m32r support.
46   Paul Gortmaker        : use skb_padto() instead of stack scratch area
47
48   Sources:
49   The National Semiconductor LAN Databook, and the 3Com 3c503 databook.
50
51   */
52
53 #include <linux/module.h>
54 #include <linux/kernel.h>
55 #include <linux/jiffies.h>
56 #include <linux/fs.h>
57 #include <linux/types.h>
58 #include <linux/string.h>
59 #include <linux/bitops.h>
60 #include <asm/system.h>
61 #include <asm/uaccess.h>
62 #include <asm/io.h>
63 #include <asm/irq.h>
64 #include <linux/delay.h>
65 #include <linux/errno.h>
66 #include <linux/fcntl.h>
67 #include <linux/in.h>
68 #include <linux/interrupt.h>
69 #include <linux/init.h>
70 #include <linux/crc32.h>
71
72 #include <linux/netdevice.h>
73 #include <linux/etherdevice.h>
74
75 #define NS8390_CORE
76 #include "8390.h"
77
78 #define BUG_83C690
79
80 /* These are the operational function interfaces to board-specific
81    routines.
82         void reset_8390(struct net_device *dev)
83                 Resets the board associated with DEV, including a hardware reset of
84                 the 8390.  This is only called when there is a transmit timeout, and
85                 it is always followed by 8390_init().
86         void block_output(struct net_device *dev, int count, const unsigned char *buf,
87                                           int start_page)
88                 Write the COUNT bytes of BUF to the packet buffer at START_PAGE.  The
89                 "page" value uses the 8390's 256-byte pages.
90         void get_8390_hdr(struct net_device *dev, struct e8390_hdr *hdr, int ring_page)
91                 Read the 4 byte, page aligned 8390 header. *If* there is a
92                 subsequent read, it will be of the rest of the packet.
93         void block_input(struct net_device *dev, int count, struct sk_buff *skb, int ring_offset)
94                 Read COUNT bytes from the packet buffer into the skb data area. Start
95                 reading from RING_OFFSET, the address as the 8390 sees it.  This will always
96                 follow the read of the 8390 header.
97 */
98 #define ei_reset_8390 (ei_local->reset_8390)
99 #define ei_block_output (ei_local->block_output)
100 #define ei_block_input (ei_local->block_input)
101 #define ei_get_8390_hdr (ei_local->get_8390_hdr)
102
103 /* use 0 for production, 1 for verification, >2 for debug */
104 #ifndef ei_debug
105 int ei_debug = 1;
106 #endif
107
108 /* Index to functions. */
109 static void ei_tx_intr(struct net_device *dev);
110 static void ei_tx_err(struct net_device *dev);
111 static void ei_tx_timeout(struct net_device *dev);
112 static void ei_receive(struct net_device *dev);
113 static void ei_rx_overrun(struct net_device *dev);
114
115 /* Routines generic to NS8390-based boards. */
116 static void NS8390_trigger_send(struct net_device *dev, unsigned int length,
117                                                                 int start_page);
118 static void set_multicast_list(struct net_device *dev);
119 static void do_set_multicast_list(struct net_device *dev);
120 static void __NS8390_init(struct net_device *dev, int startp);
121
122 /*
123  *      SMP and the 8390 setup.
124  *
125  *      The 8390 isnt exactly designed to be multithreaded on RX/TX. There is
126  *      a page register that controls bank and packet buffer access. We guard
127  *      this with ei_local->page_lock. Nobody should assume or set the page other
128  *      than zero when the lock is not held. Lock holders must restore page 0
129  *      before unlocking. Even pure readers must take the lock to protect in
130  *      page 0.
131  *
132  *      To make life difficult the chip can also be very slow. We therefore can't
133  *      just use spinlocks. For the longer lockups we disable the irq the device
134  *      sits on and hold the lock. We must hold the lock because there is a dual
135  *      processor case other than interrupts (get stats/set multicast list in
136  *      parallel with each other and transmit).
137  *
138  *      Note: in theory we can just disable the irq on the card _but_ there is
139  *      a latency on SMP irq delivery. So we can easily go "disable irq" "sync irqs"
140  *      enter lock, take the queued irq. So we waddle instead of flying.
141  *
142  *      Finally by special arrangement for the purpose of being generally
143  *      annoying the transmit function is called bh atomic. That places
144  *      restrictions on the user context callers as disable_irq won't save
145  *      them.
146  *
147  *      Additional explanation of problems with locking by Alan Cox:
148  *
149  *      "The author (me) didn't use spin_lock_irqsave because the slowness of the
150  *      card means that approach caused horrible problems like losing serial data
151  *      at 38400 baud on some chips. Remember many 8390 nics on PCI were ISA
152  *      chips with FPGA front ends.
153  *
154  *      Ok the logic behind the 8390 is very simple:
155  *
156  *      Things to know
157  *              - IRQ delivery is asynchronous to the PCI bus
158  *              - Blocking the local CPU IRQ via spin locks was too slow
159  *              - The chip has register windows needing locking work
160  *
161  *      So the path was once (I say once as people appear to have changed it
162  *      in the mean time and it now looks rather bogus if the changes to use
163  *      disable_irq_nosync_irqsave are disabling the local IRQ)
164  *
165  *
166  *              Take the page lock
167  *              Mask the IRQ on chip
168  *              Disable the IRQ (but not mask locally- someone seems to have
169  *                      broken this with the lock validator stuff)
170  *                      [This must be _nosync as the page lock may otherwise
171  *                              deadlock us]
172  *              Drop the page lock and turn IRQs back on
173  *
174  *              At this point an existing IRQ may still be running but we can't
175  *              get a new one
176  *
177  *              Take the lock (so we know the IRQ has terminated) but don't mask
178  *      the IRQs on the processor
179  *              Set irqlock [for debug]
180  *
181  *              Transmit (slow as ****)
182  *
183  *              re-enable the IRQ
184  *
185  *
186  *      We have to use disable_irq because otherwise you will get delayed
187  *      interrupts on the APIC bus deadlocking the transmit path.
188  *
189  *      Quite hairy but the chip simply wasn't designed for SMP and you can't
190  *      even ACK an interrupt without risking corrupting other parallel
191  *      activities on the chip." [lkml, 25 Jul 2007]
192  */
193
194
195
196 /**
197  * ei_open - Open/initialize the board.
198  * @dev: network device to initialize
199  *
200  * This routine goes all-out, setting everything
201  * up anew at each open, even though many of these registers should only
202  * need to be set once at boot.
203  */
204 static int __ei_open(struct net_device *dev)
205 {
206         unsigned long flags;
207         struct ei_device *ei_local = (struct ei_device *) netdev_priv(dev);
208
209         /* The card I/O part of the driver (e.g. 3c503) can hook a Tx timeout
210             wrapper that does e.g. media check & then calls ei_tx_timeout. */
211         if (dev->tx_timeout == NULL)
212                  dev->tx_timeout = ei_tx_timeout;
213         if (dev->watchdog_timeo <= 0)
214                  dev->watchdog_timeo = TX_TIMEOUT;
215
216         /*
217          *      Grab the page lock so we own the register set, then call
218          *      the init function.
219          */
220
221         spin_lock_irqsave(&ei_local->page_lock, flags);
222         __NS8390_init(dev, 1);
223         /* Set the flag before we drop the lock, That way the IRQ arrives
224            after its set and we get no silly warnings */
225         netif_start_queue(dev);
226         spin_unlock_irqrestore(&ei_local->page_lock, flags);
227         ei_local->irqlock = 0;
228         return 0;
229 }
230
231 /**
232  * ei_close - shut down network device
233  * @dev: network device to close
234  *
235  * Opposite of ei_open(). Only used when "ifconfig <devname> down" is done.
236  */
237 static int __ei_close(struct net_device *dev)
238 {
239         struct ei_device *ei_local = (struct ei_device *) netdev_priv(dev);
240         unsigned long flags;
241
242         /*
243          *      Hold the page lock during close
244          */
245
246         spin_lock_irqsave(&ei_local->page_lock, flags);
247         __NS8390_init(dev, 0);
248         spin_unlock_irqrestore(&ei_local->page_lock, flags);
249         netif_stop_queue(dev);
250         return 0;
251 }
252
253 /**
254  * ei_tx_timeout - handle transmit time out condition
255  * @dev: network device which has apparently fallen asleep
256  *
257  * Called by kernel when device never acknowledges a transmit has
258  * completed (or failed) - i.e. never posted a Tx related interrupt.
259  */
260
261 static void ei_tx_timeout(struct net_device *dev)
262 {
263         unsigned long e8390_base = dev->base_addr;
264         struct ei_device *ei_local = (struct ei_device *) netdev_priv(dev);
265         int txsr, isr, tickssofar = jiffies - dev->trans_start;
266         unsigned long flags;
267
268         dev->stats.tx_errors++;
269
270         spin_lock_irqsave(&ei_local->page_lock, flags);
271         txsr = ei_inb(e8390_base+EN0_TSR);
272         isr = ei_inb(e8390_base+EN0_ISR);
273         spin_unlock_irqrestore(&ei_local->page_lock, flags);
274
275         printk(KERN_DEBUG "%s: Tx timed out, %s TSR=%#2x, ISR=%#2x, t=%d.\n",
276                 dev->name, (txsr & ENTSR_ABT) ? "excess collisions." :
277                 (isr) ? "lost interrupt?" : "cable problem?", txsr, isr, tickssofar);
278
279         if (!isr && !dev->stats.tx_packets)
280         {
281                 /* The 8390 probably hasn't gotten on the cable yet. */
282                 ei_local->interface_num ^= 1;   /* Try a different xcvr.  */
283         }
284
285         /* Ugly but a reset can be slow, yet must be protected */
286
287         disable_irq_nosync_lockdep(dev->irq);
288         spin_lock(&ei_local->page_lock);
289
290         /* Try to restart the card.  Perhaps the user has fixed something. */
291         ei_reset_8390(dev);
292         __NS8390_init(dev, 1);
293
294         spin_unlock(&ei_local->page_lock);
295         enable_irq_lockdep(dev->irq);
296         netif_wake_queue(dev);
297 }
298
299 /**
300  * ei_start_xmit - begin packet transmission
301  * @skb: packet to be sent
302  * @dev: network device to which packet is sent
303  *
304  * Sends a packet to an 8390 network device.
305  */
306
307 static int ei_start_xmit(struct sk_buff *skb, struct net_device *dev)
308 {
309         unsigned long e8390_base = dev->base_addr;
310         struct ei_device *ei_local = (struct ei_device *) netdev_priv(dev);
311         int send_length = skb->len, output_page;
312         unsigned long flags;
313         char buf[ETH_ZLEN];
314         char *data = skb->data;
315
316         if (skb->len < ETH_ZLEN) {
317                 memset(buf, 0, ETH_ZLEN);       /* more efficient than doing just the needed bits */
318                 memcpy(buf, data, skb->len);
319                 send_length = ETH_ZLEN;
320                 data = buf;
321         }
322
323         /* Mask interrupts from the ethercard.
324            SMP: We have to grab the lock here otherwise the IRQ handler
325            on another CPU can flip window and race the IRQ mask set. We end
326            up trashing the mcast filter not disabling irqs if we don't lock */
327
328         spin_lock_irqsave(&ei_local->page_lock, flags);
329         ei_outb_p(0x00, e8390_base + EN0_IMR);
330         spin_unlock_irqrestore(&ei_local->page_lock, flags);
331
332
333         /*
334          *      Slow phase with lock held.
335          */
336
337         disable_irq_nosync_lockdep_irqsave(dev->irq, &flags);
338
339         spin_lock(&ei_local->page_lock);
340
341         ei_local->irqlock = 1;
342
343         /*
344          * We have two Tx slots available for use. Find the first free
345          * slot, and then perform some sanity checks. With two Tx bufs,
346          * you get very close to transmitting back-to-back packets. With
347          * only one Tx buf, the transmitter sits idle while you reload the
348          * card, leaving a substantial gap between each transmitted packet.
349          */
350
351         if (ei_local->tx1 == 0)
352         {
353                 output_page = ei_local->tx_start_page;
354                 ei_local->tx1 = send_length;
355                 if (ei_debug  &&  ei_local->tx2 > 0)
356                         printk(KERN_DEBUG "%s: idle transmitter tx2=%d, lasttx=%d, txing=%d.\n",
357                                 dev->name, ei_local->tx2, ei_local->lasttx, ei_local->txing);
358         }
359         else if (ei_local->tx2 == 0)
360         {
361                 output_page = ei_local->tx_start_page + TX_PAGES/2;
362                 ei_local->tx2 = send_length;
363                 if (ei_debug  &&  ei_local->tx1 > 0)
364                         printk(KERN_DEBUG "%s: idle transmitter, tx1=%d, lasttx=%d, txing=%d.\n",
365                                 dev->name, ei_local->tx1, ei_local->lasttx, ei_local->txing);
366         }
367         else
368         {       /* We should never get here. */
369                 if (ei_debug)
370                         printk(KERN_DEBUG "%s: No Tx buffers free! tx1=%d tx2=%d last=%d\n",
371                                 dev->name, ei_local->tx1, ei_local->tx2, ei_local->lasttx);
372                 ei_local->irqlock = 0;
373                 netif_stop_queue(dev);
374                 ei_outb_p(ENISR_ALL, e8390_base + EN0_IMR);
375                 spin_unlock(&ei_local->page_lock);
376                 enable_irq_lockdep_irqrestore(dev->irq, &flags);
377                 dev->stats.tx_errors++;
378                 return 1;
379         }
380
381         /*
382          * Okay, now upload the packet and trigger a send if the transmitter
383          * isn't already sending. If it is busy, the interrupt handler will
384          * trigger the send later, upon receiving a Tx done interrupt.
385          */
386
387         ei_block_output(dev, send_length, data, output_page);
388
389         if (! ei_local->txing)
390         {
391                 ei_local->txing = 1;
392                 NS8390_trigger_send(dev, send_length, output_page);
393                 dev->trans_start = jiffies;
394                 if (output_page == ei_local->tx_start_page)
395                 {
396                         ei_local->tx1 = -1;
397                         ei_local->lasttx = -1;
398                 }
399                 else
400                 {
401                         ei_local->tx2 = -1;
402                         ei_local->lasttx = -2;
403                 }
404         }
405         else ei_local->txqueue++;
406
407         if (ei_local->tx1  &&  ei_local->tx2)
408                 netif_stop_queue(dev);
409         else
410                 netif_start_queue(dev);
411
412         /* Turn 8390 interrupts back on. */
413         ei_local->irqlock = 0;
414         ei_outb_p(ENISR_ALL, e8390_base + EN0_IMR);
415
416         spin_unlock(&ei_local->page_lock);
417         enable_irq_lockdep_irqrestore(dev->irq, &flags);
418
419         dev_kfree_skb (skb);
420         dev->stats.tx_bytes += send_length;
421
422         return 0;
423 }
424
425 /**
426  * ei_interrupt - handle the interrupts from an 8390
427  * @irq: interrupt number
428  * @dev_id: a pointer to the net_device
429  *
430  * Handle the ether interface interrupts. We pull packets from
431  * the 8390 via the card specific functions and fire them at the networking
432  * stack. We also handle transmit completions and wake the transmit path if
433  * necessary. We also update the counters and do other housekeeping as
434  * needed.
435  */
436
437 static irqreturn_t __ei_interrupt(int irq, void *dev_id)
438 {
439         struct net_device *dev = dev_id;
440         unsigned long e8390_base = dev->base_addr;
441         int interrupts, nr_serviced = 0;
442         struct ei_device *ei_local = netdev_priv(dev);
443
444         /*
445          *      Protect the irq test too.
446          */
447
448         spin_lock(&ei_local->page_lock);
449
450         if (ei_local->irqlock)
451         {
452 #if 1 /* This might just be an interrupt for a PCI device sharing this line */
453                 /* The "irqlock" check is only for testing. */
454                 printk(ei_local->irqlock
455                            ? "%s: Interrupted while interrupts are masked! isr=%#2x imr=%#2x.\n"
456                            : "%s: Reentering the interrupt handler! isr=%#2x imr=%#2x.\n",
457                            dev->name, ei_inb_p(e8390_base + EN0_ISR),
458                            ei_inb_p(e8390_base + EN0_IMR));
459 #endif
460                 spin_unlock(&ei_local->page_lock);
461                 return IRQ_NONE;
462         }
463
464         /* Change to page 0 and read the intr status reg. */
465         ei_outb_p(E8390_NODMA+E8390_PAGE0, e8390_base + E8390_CMD);
466         if (ei_debug > 3)
467                 printk(KERN_DEBUG "%s: interrupt(isr=%#2.2x).\n", dev->name,
468                            ei_inb_p(e8390_base + EN0_ISR));
469
470         /* !!Assumption!! -- we stay in page 0.  Don't break this. */
471         while ((interrupts = ei_inb_p(e8390_base + EN0_ISR)) != 0
472                    && ++nr_serviced < MAX_SERVICE)
473         {
474                 if (!netif_running(dev)) {
475                         printk(KERN_WARNING "%s: interrupt from stopped card\n", dev->name);
476                         /* rmk - acknowledge the interrupts */
477                         ei_outb_p(interrupts, e8390_base + EN0_ISR);
478                         interrupts = 0;
479                         break;
480                 }
481                 if (interrupts & ENISR_OVER)
482                         ei_rx_overrun(dev);
483                 else if (interrupts & (ENISR_RX+ENISR_RX_ERR))
484                 {
485                         /* Got a good (?) packet. */
486                         ei_receive(dev);
487                 }
488                 /* Push the next to-transmit packet through. */
489                 if (interrupts & ENISR_TX)
490                         ei_tx_intr(dev);
491                 else if (interrupts & ENISR_TX_ERR)
492                         ei_tx_err(dev);
493
494                 if (interrupts & ENISR_COUNTERS)
495                 {
496                         dev->stats.rx_frame_errors += ei_inb_p(e8390_base + EN0_COUNTER0);
497                         dev->stats.rx_crc_errors   += ei_inb_p(e8390_base + EN0_COUNTER1);
498                         dev->stats.rx_missed_errors+= ei_inb_p(e8390_base + EN0_COUNTER2);
499                         ei_outb_p(ENISR_COUNTERS, e8390_base + EN0_ISR); /* Ack intr. */
500                 }
501
502                 /* Ignore any RDC interrupts that make it back to here. */
503                 if (interrupts & ENISR_RDC)
504                 {
505                         ei_outb_p(ENISR_RDC, e8390_base + EN0_ISR);
506                 }
507
508                 ei_outb_p(E8390_NODMA+E8390_PAGE0+E8390_START, e8390_base + E8390_CMD);
509         }
510
511         if (interrupts && ei_debug)
512         {
513                 ei_outb_p(E8390_NODMA+E8390_PAGE0+E8390_START, e8390_base + E8390_CMD);
514                 if (nr_serviced >= MAX_SERVICE)
515                 {
516                         /* 0xFF is valid for a card removal */
517                         if(interrupts!=0xFF)
518                                 printk(KERN_WARNING "%s: Too much work at interrupt, status %#2.2x\n",
519                                    dev->name, interrupts);
520                         ei_outb_p(ENISR_ALL, e8390_base + EN0_ISR); /* Ack. most intrs. */
521                 } else {
522                         printk(KERN_WARNING "%s: unknown interrupt %#2x\n", dev->name, interrupts);
523                         ei_outb_p(0xff, e8390_base + EN0_ISR); /* Ack. all intrs. */
524                 }
525         }
526         spin_unlock(&ei_local->page_lock);
527         return IRQ_RETVAL(nr_serviced > 0);
528 }
529
530 #ifdef CONFIG_NET_POLL_CONTROLLER
531 static void __ei_poll(struct net_device *dev)
532 {
533         disable_irq_lockdep(dev->irq);
534         __ei_interrupt(dev->irq, dev);
535         enable_irq_lockdep(dev->irq);
536 }
537 #endif
538
539 /**
540  * ei_tx_err - handle transmitter error
541  * @dev: network device which threw the exception
542  *
543  * A transmitter error has happened. Most likely excess collisions (which
544  * is a fairly normal condition). If the error is one where the Tx will
545  * have been aborted, we try and send another one right away, instead of
546  * letting the failed packet sit and collect dust in the Tx buffer. This
547  * is a much better solution as it avoids kernel based Tx timeouts, and
548  * an unnecessary card reset.
549  *
550  * Called with lock held.
551  */
552
553 static void ei_tx_err(struct net_device *dev)
554 {
555         unsigned long e8390_base = dev->base_addr;
556         /* ei_local is used on some platforms via the EI_SHIFT macro */
557         struct ei_device *ei_local __maybe_unused = netdev_priv(dev);
558         unsigned char txsr = ei_inb_p(e8390_base+EN0_TSR);
559         unsigned char tx_was_aborted = txsr & (ENTSR_ABT+ENTSR_FU);
560
561 #ifdef VERBOSE_ERROR_DUMP
562         printk(KERN_DEBUG "%s: transmitter error (%#2x): ", dev->name, txsr);
563         if (txsr & ENTSR_ABT)
564                 printk("excess-collisions ");
565         if (txsr & ENTSR_ND)
566                 printk("non-deferral ");
567         if (txsr & ENTSR_CRS)
568                 printk("lost-carrier ");
569         if (txsr & ENTSR_FU)
570                 printk("FIFO-underrun ");
571         if (txsr & ENTSR_CDH)
572                 printk("lost-heartbeat ");
573         printk("\n");
574 #endif
575
576         ei_outb_p(ENISR_TX_ERR, e8390_base + EN0_ISR); /* Ack intr. */
577
578         if (tx_was_aborted)
579                 ei_tx_intr(dev);
580         else
581         {
582                 dev->stats.tx_errors++;
583                 if (txsr & ENTSR_CRS) dev->stats.tx_carrier_errors++;
584                 if (txsr & ENTSR_CDH) dev->stats.tx_heartbeat_errors++;
585                 if (txsr & ENTSR_OWC) dev->stats.tx_window_errors++;
586         }
587 }
588
589 /**
590  * ei_tx_intr - transmit interrupt handler
591  * @dev: network device for which tx intr is handled
592  *
593  * We have finished a transmit: check for errors and then trigger the next
594  * packet to be sent. Called with lock held.
595  */
596
597 static void ei_tx_intr(struct net_device *dev)
598 {
599         unsigned long e8390_base = dev->base_addr;
600         struct ei_device *ei_local = (struct ei_device *) netdev_priv(dev);
601         int status = ei_inb(e8390_base + EN0_TSR);
602
603         ei_outb_p(ENISR_TX, e8390_base + EN0_ISR); /* Ack intr. */
604
605         /*
606          * There are two Tx buffers, see which one finished, and trigger
607          * the send of another one if it exists.
608          */
609         ei_local->txqueue--;
610
611         if (ei_local->tx1 < 0)
612         {
613                 if (ei_local->lasttx != 1 && ei_local->lasttx != -1)
614                         printk(KERN_ERR "%s: bogus last_tx_buffer %d, tx1=%d.\n",
615                                 ei_local->name, ei_local->lasttx, ei_local->tx1);
616                 ei_local->tx1 = 0;
617                 if (ei_local->tx2 > 0)
618                 {
619                         ei_local->txing = 1;
620                         NS8390_trigger_send(dev, ei_local->tx2, ei_local->tx_start_page + 6);
621                         dev->trans_start = jiffies;
622                         ei_local->tx2 = -1,
623                         ei_local->lasttx = 2;
624                 }
625                 else ei_local->lasttx = 20, ei_local->txing = 0;
626         }
627         else if (ei_local->tx2 < 0)
628         {
629                 if (ei_local->lasttx != 2  &&  ei_local->lasttx != -2)
630                         printk("%s: bogus last_tx_buffer %d, tx2=%d.\n",
631                                 ei_local->name, ei_local->lasttx, ei_local->tx2);
632                 ei_local->tx2 = 0;
633                 if (ei_local->tx1 > 0)
634                 {
635                         ei_local->txing = 1;
636                         NS8390_trigger_send(dev, ei_local->tx1, ei_local->tx_start_page);
637                         dev->trans_start = jiffies;
638                         ei_local->tx1 = -1;
639                         ei_local->lasttx = 1;
640                 }
641                 else
642                         ei_local->lasttx = 10, ei_local->txing = 0;
643         }
644 //      else printk(KERN_WARNING "%s: unexpected TX-done interrupt, lasttx=%d.\n",
645 //                      dev->name, ei_local->lasttx);
646
647         /* Minimize Tx latency: update the statistics after we restart TXing. */
648         if (status & ENTSR_COL)
649                 dev->stats.collisions++;
650         if (status & ENTSR_PTX)
651                 dev->stats.tx_packets++;
652         else
653         {
654                 dev->stats.tx_errors++;
655                 if (status & ENTSR_ABT)
656                 {
657                         dev->stats.tx_aborted_errors++;
658                         dev->stats.collisions += 16;
659                 }
660                 if (status & ENTSR_CRS)
661                         dev->stats.tx_carrier_errors++;
662                 if (status & ENTSR_FU)
663                         dev->stats.tx_fifo_errors++;
664                 if (status & ENTSR_CDH)
665                         dev->stats.tx_heartbeat_errors++;
666                 if (status & ENTSR_OWC)
667                         dev->stats.tx_window_errors++;
668         }
669         netif_wake_queue(dev);
670 }
671
672 /**
673  * ei_receive - receive some packets
674  * @dev: network device with which receive will be run
675  *
676  * We have a good packet(s), get it/them out of the buffers.
677  * Called with lock held.
678  */
679
680 static void ei_receive(struct net_device *dev)
681 {
682         unsigned long e8390_base = dev->base_addr;
683         struct ei_device *ei_local = (struct ei_device *) netdev_priv(dev);
684         unsigned char rxing_page, this_frame, next_frame;
685         unsigned short current_offset;
686         int rx_pkt_count = 0;
687         struct e8390_pkt_hdr rx_frame;
688         int num_rx_pages = ei_local->stop_page-ei_local->rx_start_page;
689
690         while (++rx_pkt_count < 10)
691         {
692                 int pkt_len, pkt_stat;
693
694                 /* Get the rx page (incoming packet pointer). */
695                 ei_outb_p(E8390_NODMA+E8390_PAGE1, e8390_base + E8390_CMD);
696                 rxing_page = ei_inb_p(e8390_base + EN1_CURPAG);
697                 ei_outb_p(E8390_NODMA+E8390_PAGE0, e8390_base + E8390_CMD);
698
699                 /* Remove one frame from the ring.  Boundary is always a page behind. */
700                 this_frame = ei_inb_p(e8390_base + EN0_BOUNDARY) + 1;
701                 if (this_frame >= ei_local->stop_page)
702                         this_frame = ei_local->rx_start_page;
703
704                 /* Someday we'll omit the previous, iff we never get this message.
705                    (There is at least one clone claimed to have a problem.)
706
707                    Keep quiet if it looks like a card removal. One problem here
708                    is that some clones crash in roughly the same way.
709                  */
710                 if (ei_debug > 0  &&  this_frame != ei_local->current_page && (this_frame!=0x0 || rxing_page!=0xFF))
711                         printk(KERN_ERR "%s: mismatched read page pointers %2x vs %2x.\n",
712                                    dev->name, this_frame, ei_local->current_page);
713
714                 if (this_frame == rxing_page)   /* Read all the frames? */
715                         break;                          /* Done for now */
716
717                 current_offset = this_frame << 8;
718                 ei_get_8390_hdr(dev, &rx_frame, this_frame);
719
720                 pkt_len = rx_frame.count - sizeof(struct e8390_pkt_hdr);
721                 pkt_stat = rx_frame.status;
722
723                 next_frame = this_frame + 1 + ((pkt_len+4)>>8);
724
725                 /* Check for bogosity warned by 3c503 book: the status byte is never
726                    written.  This happened a lot during testing! This code should be
727                    cleaned up someday. */
728                 if (rx_frame.next != next_frame
729                         && rx_frame.next != next_frame + 1
730                         && rx_frame.next != next_frame - num_rx_pages
731                         && rx_frame.next != next_frame + 1 - num_rx_pages) {
732                         ei_local->current_page = rxing_page;
733                         ei_outb(ei_local->current_page-1, e8390_base+EN0_BOUNDARY);
734                         dev->stats.rx_errors++;
735                         continue;
736                 }
737
738                 if (pkt_len < 60  ||  pkt_len > 1518)
739                 {
740                         if (ei_debug)
741                                 printk(KERN_DEBUG "%s: bogus packet size: %d, status=%#2x nxpg=%#2x.\n",
742                                            dev->name, rx_frame.count, rx_frame.status,
743                                            rx_frame.next);
744                         dev->stats.rx_errors++;
745                         dev->stats.rx_length_errors++;
746                 }
747                  else if ((pkt_stat & 0x0F) == ENRSR_RXOK)
748                 {
749                         struct sk_buff *skb;
750
751                         skb = dev_alloc_skb(pkt_len+2);
752                         if (skb == NULL)
753                         {
754                                 if (ei_debug > 1)
755                                         printk(KERN_DEBUG "%s: Couldn't allocate a sk_buff of size %d.\n",
756                                                    dev->name, pkt_len);
757                                 dev->stats.rx_dropped++;
758                                 break;
759                         }
760                         else
761                         {
762                                 skb_reserve(skb,2);     /* IP headers on 16 byte boundaries */
763                                 skb_put(skb, pkt_len);  /* Make room */
764                                 ei_block_input(dev, pkt_len, skb, current_offset + sizeof(rx_frame));
765                                 skb->protocol=eth_type_trans(skb,dev);
766                                 netif_rx(skb);
767                                 dev->last_rx = jiffies;
768                                 dev->stats.rx_packets++;
769                                 dev->stats.rx_bytes += pkt_len;
770                                 if (pkt_stat & ENRSR_PHY)
771                                         dev->stats.multicast++;
772                         }
773                 }
774                 else
775                 {
776                         if (ei_debug)
777                                 printk(KERN_DEBUG "%s: bogus packet: status=%#2x nxpg=%#2x size=%d\n",
778                                            dev->name, rx_frame.status, rx_frame.next,
779                                            rx_frame.count);
780                         dev->stats.rx_errors++;
781                         /* NB: The NIC counts CRC, frame and missed errors. */
782                         if (pkt_stat & ENRSR_FO)
783                                 dev->stats.rx_fifo_errors++;
784                 }
785                 next_frame = rx_frame.next;
786
787                 /* This _should_ never happen: it's here for avoiding bad clones. */
788                 if (next_frame >= ei_local->stop_page) {
789                         printk("%s: next frame inconsistency, %#2x\n", dev->name,
790                                    next_frame);
791                         next_frame = ei_local->rx_start_page;
792                 }
793                 ei_local->current_page = next_frame;
794                 ei_outb_p(next_frame-1, e8390_base+EN0_BOUNDARY);
795         }
796
797         /* We used to also ack ENISR_OVER here, but that would sometimes mask
798            a real overrun, leaving the 8390 in a stopped state with rec'vr off. */
799         ei_outb_p(ENISR_RX+ENISR_RX_ERR, e8390_base+EN0_ISR);
800         return;
801 }
802
803 /**
804  * ei_rx_overrun - handle receiver overrun
805  * @dev: network device which threw exception
806  *
807  * We have a receiver overrun: we have to kick the 8390 to get it started
808  * again. Problem is that you have to kick it exactly as NS prescribes in
809  * the updated datasheets, or "the NIC may act in an unpredictable manner."
810  * This includes causing "the NIC to defer indefinitely when it is stopped
811  * on a busy network."  Ugh.
812  * Called with lock held. Don't call this with the interrupts off or your
813  * computer will hate you - it takes 10ms or so.
814  */
815
816 static void ei_rx_overrun(struct net_device *dev)
817 {
818         unsigned long e8390_base = dev->base_addr;
819         unsigned char was_txing, must_resend = 0;
820         /* ei_local is used on some platforms via the EI_SHIFT macro */
821         struct ei_device *ei_local __maybe_unused = netdev_priv(dev);
822
823         /*
824          * Record whether a Tx was in progress and then issue the
825          * stop command.
826          */
827         was_txing = ei_inb_p(e8390_base+E8390_CMD) & E8390_TRANS;
828         ei_outb_p(E8390_NODMA+E8390_PAGE0+E8390_STOP, e8390_base+E8390_CMD);
829
830         if (ei_debug > 1)
831                 printk(KERN_DEBUG "%s: Receiver overrun.\n", dev->name);
832         dev->stats.rx_over_errors++;
833
834         /*
835          * Wait a full Tx time (1.2ms) + some guard time, NS says 1.6ms total.
836          * Early datasheets said to poll the reset bit, but now they say that
837          * it "is not a reliable indicator and subsequently should be ignored."
838          * We wait at least 10ms.
839          */
840
841         mdelay(10);
842
843         /*
844          * Reset RBCR[01] back to zero as per magic incantation.
845          */
846         ei_outb_p(0x00, e8390_base+EN0_RCNTLO);
847         ei_outb_p(0x00, e8390_base+EN0_RCNTHI);
848
849         /*
850          * See if any Tx was interrupted or not. According to NS, this
851          * step is vital, and skipping it will cause no end of havoc.
852          */
853
854         if (was_txing)
855         {
856                 unsigned char tx_completed = ei_inb_p(e8390_base+EN0_ISR) & (ENISR_TX+ENISR_TX_ERR);
857                 if (!tx_completed)
858                         must_resend = 1;
859         }
860
861         /*
862          * Have to enter loopback mode and then restart the NIC before
863          * you are allowed to slurp packets up off the ring.
864          */
865         ei_outb_p(E8390_TXOFF, e8390_base + EN0_TXCR);
866         ei_outb_p(E8390_NODMA + E8390_PAGE0 + E8390_START, e8390_base + E8390_CMD);
867
868         /*
869          * Clear the Rx ring of all the debris, and ack the interrupt.
870          */
871         ei_receive(dev);
872         ei_outb_p(ENISR_OVER, e8390_base+EN0_ISR);
873
874         /*
875          * Leave loopback mode, and resend any packet that got stopped.
876          */
877         ei_outb_p(E8390_TXCONFIG, e8390_base + EN0_TXCR);
878         if (must_resend)
879                 ei_outb_p(E8390_NODMA + E8390_PAGE0 + E8390_START + E8390_TRANS, e8390_base + E8390_CMD);
880 }
881
882 /*
883  *      Collect the stats. This is called unlocked and from several contexts.
884  */
885
886 static struct net_device_stats *get_stats(struct net_device *dev)
887 {
888         unsigned long ioaddr = dev->base_addr;
889         struct ei_device *ei_local = (struct ei_device *) netdev_priv(dev);
890         unsigned long flags;
891
892         /* If the card is stopped, just return the present stats. */
893         if (!netif_running(dev))
894                 return &dev->stats;
895
896         spin_lock_irqsave(&ei_local->page_lock,flags);
897         /* Read the counter registers, assuming we are in page 0. */
898         dev->stats.rx_frame_errors += ei_inb_p(ioaddr + EN0_COUNTER0);
899         dev->stats.rx_crc_errors   += ei_inb_p(ioaddr + EN0_COUNTER1);
900         dev->stats.rx_missed_errors+= ei_inb_p(ioaddr + EN0_COUNTER2);
901         spin_unlock_irqrestore(&ei_local->page_lock, flags);
902
903         return &dev->stats;
904 }
905
906 /*
907  * Form the 64 bit 8390 multicast table from the linked list of addresses
908  * associated with this dev structure.
909  */
910
911 static inline void make_mc_bits(u8 *bits, struct net_device *dev)
912 {
913         struct dev_mc_list *dmi;
914
915         for (dmi=dev->mc_list; dmi; dmi=dmi->next)
916         {
917                 u32 crc;
918                 if (dmi->dmi_addrlen != ETH_ALEN)
919                 {
920                         printk(KERN_INFO "%s: invalid multicast address length given.\n", dev->name);
921                         continue;
922                 }
923                 crc = ether_crc(ETH_ALEN, dmi->dmi_addr);
924                 /*
925                  * The 8390 uses the 6 most significant bits of the
926                  * CRC to index the multicast table.
927                  */
928                 bits[crc>>29] |= (1<<((crc>>26)&7));
929         }
930 }
931
932 /**
933  * do_set_multicast_list - set/clear multicast filter
934  * @dev: net device for which multicast filter is adjusted
935  *
936  *      Set or clear the multicast filter for this adaptor. May be called
937  *      from a BH in 2.1.x. Must be called with lock held.
938  */
939
940 static void do_set_multicast_list(struct net_device *dev)
941 {
942         unsigned long e8390_base = dev->base_addr;
943         int i;
944         struct ei_device *ei_local = (struct ei_device*)netdev_priv(dev);
945
946         if (!(dev->flags&(IFF_PROMISC|IFF_ALLMULTI)))
947         {
948                 memset(ei_local->mcfilter, 0, 8);
949                 if (dev->mc_list)
950                         make_mc_bits(ei_local->mcfilter, dev);
951         }
952         else
953                 memset(ei_local->mcfilter, 0xFF, 8);    /* mcast set to accept-all */
954
955         /*
956          * DP8390 manuals don't specify any magic sequence for altering
957          * the multicast regs on an already running card. To be safe, we
958          * ensure multicast mode is off prior to loading up the new hash
959          * table. If this proves to be not enough, we can always resort
960          * to stopping the NIC, loading the table and then restarting.
961          *
962          * Bug Alert!  The MC regs on the SMC 83C690 (SMC Elite and SMC
963          * Elite16) appear to be write-only. The NS 8390 data sheet lists
964          * them as r/w so this is a bug.  The SMC 83C790 (SMC Ultra and
965          * Ultra32 EISA) appears to have this bug fixed.
966          */
967
968         if (netif_running(dev))
969                 ei_outb_p(E8390_RXCONFIG, e8390_base + EN0_RXCR);
970         ei_outb_p(E8390_NODMA + E8390_PAGE1, e8390_base + E8390_CMD);
971         for(i = 0; i < 8; i++)
972         {
973                 ei_outb_p(ei_local->mcfilter[i], e8390_base + EN1_MULT_SHIFT(i));
974 #ifndef BUG_83C690
975                 if(ei_inb_p(e8390_base + EN1_MULT_SHIFT(i))!=ei_local->mcfilter[i])
976                         printk(KERN_ERR "Multicast filter read/write mismap %d\n",i);
977 #endif
978         }
979         ei_outb_p(E8390_NODMA + E8390_PAGE0, e8390_base + E8390_CMD);
980
981         if(dev->flags&IFF_PROMISC)
982                 ei_outb_p(E8390_RXCONFIG | 0x18, e8390_base + EN0_RXCR);
983         else if(dev->flags&IFF_ALLMULTI || dev->mc_list)
984                 ei_outb_p(E8390_RXCONFIG | 0x08, e8390_base + EN0_RXCR);
985         else
986                 ei_outb_p(E8390_RXCONFIG, e8390_base + EN0_RXCR);
987  }
988
989 /*
990  *      Called without lock held. This is invoked from user context and may
991  *      be parallel to just about everything else. Its also fairly quick and
992  *      not called too often. Must protect against both bh and irq users
993  */
994
995 static void set_multicast_list(struct net_device *dev)
996 {
997         unsigned long flags;
998         struct ei_device *ei_local = (struct ei_device*)netdev_priv(dev);
999
1000         spin_lock_irqsave(&ei_local->page_lock, flags);
1001         do_set_multicast_list(dev);
1002         spin_unlock_irqrestore(&ei_local->page_lock, flags);
1003 }
1004
1005 /**
1006  * ethdev_setup - init rest of 8390 device struct
1007  * @dev: network device structure to init
1008  *
1009  * Initialize the rest of the 8390 device structure.  Do NOT __init
1010  * this, as it is used by 8390 based modular drivers too.
1011  */
1012
1013 static void ethdev_setup(struct net_device *dev)
1014 {
1015         struct ei_device *ei_local = (struct ei_device *) netdev_priv(dev);
1016         if (ei_debug > 1)
1017                 printk(version);
1018
1019         dev->hard_start_xmit = &ei_start_xmit;
1020         dev->get_stats  = get_stats;
1021         dev->set_multicast_list = &set_multicast_list;
1022
1023         ether_setup(dev);
1024
1025         spin_lock_init(&ei_local->page_lock);
1026 }
1027
1028 /**
1029  * alloc_ei_netdev - alloc_etherdev counterpart for 8390
1030  * @size: extra bytes to allocate
1031  *
1032  * Allocate 8390-specific net_device.
1033  */
1034 static struct net_device *____alloc_ei_netdev(int size)
1035 {
1036         return alloc_netdev(sizeof(struct ei_device) + size, "eth%d",
1037                                 ethdev_setup);
1038 }
1039
1040
1041
1042
1043 /* This page of functions should be 8390 generic */
1044 /* Follow National Semi's recommendations for initializing the "NIC". */
1045
1046 /**
1047  * NS8390_init - initialize 8390 hardware
1048  * @dev: network device to initialize
1049  * @startp: boolean.  non-zero value to initiate chip processing
1050  *
1051  *      Must be called with lock held.
1052  */
1053
1054 static void __NS8390_init(struct net_device *dev, int startp)
1055 {
1056         unsigned long e8390_base = dev->base_addr;
1057         struct ei_device *ei_local = (struct ei_device *) netdev_priv(dev);
1058         int i;
1059         int endcfg = ei_local->word16
1060             ? (0x48 | ENDCFG_WTS | (ei_local->bigendian ? ENDCFG_BOS : 0))
1061             : 0x48;
1062
1063         if(sizeof(struct e8390_pkt_hdr)!=4)
1064                 panic("8390.c: header struct mispacked\n");
1065         /* Follow National Semi's recommendations for initing the DP83902. */
1066         ei_outb_p(E8390_NODMA+E8390_PAGE0+E8390_STOP, e8390_base+E8390_CMD); /* 0x21 */
1067         ei_outb_p(endcfg, e8390_base + EN0_DCFG);       /* 0x48 or 0x49 */
1068         /* Clear the remote byte count registers. */
1069         ei_outb_p(0x00,  e8390_base + EN0_RCNTLO);
1070         ei_outb_p(0x00,  e8390_base + EN0_RCNTHI);
1071         /* Set to monitor and loopback mode -- this is vital!. */
1072         ei_outb_p(E8390_RXOFF, e8390_base + EN0_RXCR); /* 0x20 */
1073         ei_outb_p(E8390_TXOFF, e8390_base + EN0_TXCR); /* 0x02 */
1074         /* Set the transmit page and receive ring. */
1075         ei_outb_p(ei_local->tx_start_page, e8390_base + EN0_TPSR);
1076         ei_local->tx1 = ei_local->tx2 = 0;
1077         ei_outb_p(ei_local->rx_start_page, e8390_base + EN0_STARTPG);
1078         ei_outb_p(ei_local->stop_page-1, e8390_base + EN0_BOUNDARY);    /* 3c503 says 0x3f,NS0x26*/
1079         ei_local->current_page = ei_local->rx_start_page;               /* assert boundary+1 */
1080         ei_outb_p(ei_local->stop_page, e8390_base + EN0_STOPPG);
1081         /* Clear the pending interrupts and mask. */
1082         ei_outb_p(0xFF, e8390_base + EN0_ISR);
1083         ei_outb_p(0x00,  e8390_base + EN0_IMR);
1084
1085         /* Copy the station address into the DS8390 registers. */
1086
1087         ei_outb_p(E8390_NODMA + E8390_PAGE1 + E8390_STOP, e8390_base+E8390_CMD); /* 0x61 */
1088         for(i = 0; i < 6; i++)
1089         {
1090                 ei_outb_p(dev->dev_addr[i], e8390_base + EN1_PHYS_SHIFT(i));
1091                 if (ei_debug > 1 && ei_inb_p(e8390_base + EN1_PHYS_SHIFT(i))!=dev->dev_addr[i])
1092                         printk(KERN_ERR "Hw. address read/write mismap %d\n",i);
1093         }
1094
1095         ei_outb_p(ei_local->rx_start_page, e8390_base + EN1_CURPAG);
1096         ei_outb_p(E8390_NODMA+E8390_PAGE0+E8390_STOP, e8390_base+E8390_CMD);
1097
1098         netif_start_queue(dev);
1099         ei_local->tx1 = ei_local->tx2 = 0;
1100         ei_local->txing = 0;
1101
1102         if (startp)
1103         {
1104                 ei_outb_p(0xff,  e8390_base + EN0_ISR);
1105                 ei_outb_p(ENISR_ALL,  e8390_base + EN0_IMR);
1106                 ei_outb_p(E8390_NODMA+E8390_PAGE0+E8390_START, e8390_base+E8390_CMD);
1107                 ei_outb_p(E8390_TXCONFIG, e8390_base + EN0_TXCR); /* xmit on. */
1108                 /* 3c503 TechMan says rxconfig only after the NIC is started. */
1109                 ei_outb_p(E8390_RXCONFIG, e8390_base + EN0_RXCR); /* rx on,  */
1110                 do_set_multicast_list(dev);     /* (re)load the mcast table */
1111         }
1112 }
1113
1114 /* Trigger a transmit start, assuming the length is valid.
1115    Always called with the page lock held */
1116
1117 static void NS8390_trigger_send(struct net_device *dev, unsigned int length,
1118                                                                 int start_page)
1119 {
1120         unsigned long e8390_base = dev->base_addr;
1121         struct ei_device *ei_local __attribute((unused)) = (struct ei_device *) netdev_priv(dev);
1122
1123         ei_outb_p(E8390_NODMA+E8390_PAGE0, e8390_base+E8390_CMD);
1124
1125         if (ei_inb_p(e8390_base + E8390_CMD) & E8390_TRANS)
1126         {
1127                 printk(KERN_WARNING "%s: trigger_send() called with the transmitter busy.\n",
1128                         dev->name);
1129                 return;
1130         }
1131         ei_outb_p(length & 0xff, e8390_base + EN0_TCNTLO);
1132         ei_outb_p(length >> 8, e8390_base + EN0_TCNTHI);
1133         ei_outb_p(start_page, e8390_base + EN0_TPSR);
1134         ei_outb_p(E8390_NODMA+E8390_TRANS+E8390_START, e8390_base+E8390_CMD);
1135 }