drivers/net/atlx: fix sparse warnings: make symbols static
[linux-2.6] / drivers / net / r6040.c
1 /*
2  * RDC R6040 Fast Ethernet MAC support
3  *
4  * Copyright (C) 2004 Sten Wang <sten.wang@rdc.com.tw>
5  * Copyright (C) 2007
6  *      Daniel Gimpelevich <daniel@gimpelevich.san-francisco.ca.us>
7  *      Florian Fainelli <florian@openwrt.org>
8  *
9  * This program is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU General Public License
11  * as published by the Free Software Foundation; either version 2
12  * of the License, or (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the
21  * Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
22  * Boston, MA  02110-1301, USA.
23 */
24
25 #include <linux/kernel.h>
26 #include <linux/module.h>
27 #include <linux/moduleparam.h>
28 #include <linux/string.h>
29 #include <linux/timer.h>
30 #include <linux/errno.h>
31 #include <linux/ioport.h>
32 #include <linux/slab.h>
33 #include <linux/interrupt.h>
34 #include <linux/pci.h>
35 #include <linux/netdevice.h>
36 #include <linux/etherdevice.h>
37 #include <linux/skbuff.h>
38 #include <linux/init.h>
39 #include <linux/delay.h>
40 #include <linux/mii.h>
41 #include <linux/ethtool.h>
42 #include <linux/crc32.h>
43 #include <linux/spinlock.h>
44 #include <linux/bitops.h>
45 #include <linux/io.h>
46 #include <linux/irq.h>
47 #include <linux/uaccess.h>
48
49 #include <asm/processor.h>
50
51 #define DRV_NAME        "r6040"
52 #define DRV_VERSION     "0.19"
53 #define DRV_RELDATE     "18Dec2008"
54
55 /* PHY CHIP Address */
56 #define PHY1_ADDR       1       /* For MAC1 */
57 #define PHY2_ADDR       2       /* For MAC2 */
58 #define PHY_MODE        0x3100  /* PHY CHIP Register 0 */
59 #define PHY_CAP         0x01E1  /* PHY CHIP Register 4 */
60
61 /* Time in jiffies before concluding the transmitter is hung. */
62 #define TX_TIMEOUT      (6000 * HZ / 1000)
63
64 /* RDC MAC I/O Size */
65 #define R6040_IO_SIZE   256
66
67 /* MAX RDC MAC */
68 #define MAX_MAC         2
69
70 /* MAC registers */
71 #define MCR0            0x00    /* Control register 0 */
72 #define MCR1            0x04    /* Control register 1 */
73 #define  MAC_RST        0x0001  /* Reset the MAC */
74 #define MBCR            0x08    /* Bus control */
75 #define MT_ICR          0x0C    /* TX interrupt control */
76 #define MR_ICR          0x10    /* RX interrupt control */
77 #define MTPR            0x14    /* TX poll command register */
78 #define MR_BSR          0x18    /* RX buffer size */
79 #define MR_DCR          0x1A    /* RX descriptor control */
80 #define MLSR            0x1C    /* Last status */
81 #define MMDIO           0x20    /* MDIO control register */
82 #define  MDIO_WRITE     0x4000  /* MDIO write */
83 #define  MDIO_READ      0x2000  /* MDIO read */
84 #define MMRD            0x24    /* MDIO read data register */
85 #define MMWD            0x28    /* MDIO write data register */
86 #define MTD_SA0         0x2C    /* TX descriptor start address 0 */
87 #define MTD_SA1         0x30    /* TX descriptor start address 1 */
88 #define MRD_SA0         0x34    /* RX descriptor start address 0 */
89 #define MRD_SA1         0x38    /* RX descriptor start address 1 */
90 #define MISR            0x3C    /* Status register */
91 #define MIER            0x40    /* INT enable register */
92 #define  MSK_INT        0x0000  /* Mask off interrupts */
93 #define  RX_FINISH      0x0001  /* RX finished */
94 #define  RX_NO_DESC     0x0002  /* No RX descriptor available */
95 #define  RX_FIFO_FULL   0x0004  /* RX FIFO full */
96 #define  RX_EARLY       0x0008  /* RX early */
97 #define  TX_FINISH      0x0010  /* TX finished */
98 #define  TX_EARLY       0x0080  /* TX early */
99 #define  EVENT_OVRFL    0x0100  /* Event counter overflow */
100 #define  LINK_CHANGED   0x0200  /* PHY link changed */
101 #define ME_CISR         0x44    /* Event counter INT status */
102 #define ME_CIER         0x48    /* Event counter INT enable  */
103 #define MR_CNT          0x50    /* Successfully received packet counter */
104 #define ME_CNT0         0x52    /* Event counter 0 */
105 #define ME_CNT1         0x54    /* Event counter 1 */
106 #define ME_CNT2         0x56    /* Event counter 2 */
107 #define ME_CNT3         0x58    /* Event counter 3 */
108 #define MT_CNT          0x5A    /* Successfully transmit packet counter */
109 #define ME_CNT4         0x5C    /* Event counter 4 */
110 #define MP_CNT          0x5E    /* Pause frame counter register */
111 #define MAR0            0x60    /* Hash table 0 */
112 #define MAR1            0x62    /* Hash table 1 */
113 #define MAR2            0x64    /* Hash table 2 */
114 #define MAR3            0x66    /* Hash table 3 */
115 #define MID_0L          0x68    /* Multicast address MID0 Low */
116 #define MID_0M          0x6A    /* Multicast address MID0 Medium */
117 #define MID_0H          0x6C    /* Multicast address MID0 High */
118 #define MID_1L          0x70    /* MID1 Low */
119 #define MID_1M          0x72    /* MID1 Medium */
120 #define MID_1H          0x74    /* MID1 High */
121 #define MID_2L          0x78    /* MID2 Low */
122 #define MID_2M          0x7A    /* MID2 Medium */
123 #define MID_2H          0x7C    /* MID2 High */
124 #define MID_3L          0x80    /* MID3 Low */
125 #define MID_3M          0x82    /* MID3 Medium */
126 #define MID_3H          0x84    /* MID3 High */
127 #define PHY_CC          0x88    /* PHY status change configuration register */
128 #define PHY_ST          0x8A    /* PHY status register */
129 #define MAC_SM          0xAC    /* MAC status machine */
130 #define MAC_ID          0xBE    /* Identifier register */
131
132 #define TX_DCNT         0x80    /* TX descriptor count */
133 #define RX_DCNT         0x80    /* RX descriptor count */
134 #define MAX_BUF_SIZE    0x600
135 #define RX_DESC_SIZE    (RX_DCNT * sizeof(struct r6040_descriptor))
136 #define TX_DESC_SIZE    (TX_DCNT * sizeof(struct r6040_descriptor))
137 #define MBCR_DEFAULT    0x012A  /* MAC Bus Control Register */
138 #define MCAST_MAX       4       /* Max number multicast addresses to filter */
139
140 /* Descriptor status */
141 #define DSC_OWNER_MAC   0x8000  /* MAC is the owner of this descriptor */
142 #define DSC_RX_OK       0x4000  /* RX was successful */
143 #define DSC_RX_ERR      0x0800  /* RX PHY error */
144 #define DSC_RX_ERR_DRI  0x0400  /* RX dribble packet */
145 #define DSC_RX_ERR_BUF  0x0200  /* RX length exceeds buffer size */
146 #define DSC_RX_ERR_LONG 0x0100  /* RX length > maximum packet length */
147 #define DSC_RX_ERR_RUNT 0x0080  /* RX packet length < 64 byte */
148 #define DSC_RX_ERR_CRC  0x0040  /* RX CRC error */
149 #define DSC_RX_BCAST    0x0020  /* RX broadcast (no error) */
150 #define DSC_RX_MCAST    0x0010  /* RX multicast (no error) */
151 #define DSC_RX_MCH_HIT  0x0008  /* RX multicast hit in hash table (no error) */
152 #define DSC_RX_MIDH_HIT 0x0004  /* RX MID table hit (no error) */
153 #define DSC_RX_IDX_MID_MASK 3   /* RX mask for the index of matched MIDx */
154
155 /* PHY settings */
156 #define ICPLUS_PHY_ID   0x0243
157
158 MODULE_AUTHOR("Sten Wang <sten.wang@rdc.com.tw>,"
159         "Daniel Gimpelevich <daniel@gimpelevich.san-francisco.ca.us>,"
160         "Florian Fainelli <florian@openwrt.org>");
161 MODULE_LICENSE("GPL");
162 MODULE_DESCRIPTION("RDC R6040 NAPI PCI FastEthernet driver");
163
164 /* RX and TX interrupts that we handle */
165 #define RX_INTS                 (RX_FIFO_FULL | RX_NO_DESC | RX_FINISH)
166 #define TX_INTS                 (TX_FINISH)
167 #define INT_MASK                (RX_INTS | TX_INTS)
168
169 struct r6040_descriptor {
170         u16     status, len;            /* 0-3 */
171         __le32  buf;                    /* 4-7 */
172         __le32  ndesc;                  /* 8-B */
173         u32     rev1;                   /* C-F */
174         char    *vbufp;                 /* 10-13 */
175         struct r6040_descriptor *vndescp;       /* 14-17 */
176         struct sk_buff *skb_ptr;        /* 18-1B */
177         u32     rev2;                   /* 1C-1F */
178 } __attribute__((aligned(32)));
179
180 struct r6040_private {
181         spinlock_t lock;                /* driver lock */
182         struct timer_list timer;
183         struct pci_dev *pdev;
184         struct r6040_descriptor *rx_insert_ptr;
185         struct r6040_descriptor *rx_remove_ptr;
186         struct r6040_descriptor *tx_insert_ptr;
187         struct r6040_descriptor *tx_remove_ptr;
188         struct r6040_descriptor *rx_ring;
189         struct r6040_descriptor *tx_ring;
190         dma_addr_t rx_ring_dma;
191         dma_addr_t tx_ring_dma;
192         u16     tx_free_desc, phy_addr, phy_mode;
193         u16     mcr0, mcr1;
194         u16     switch_sig;
195         struct net_device *dev;
196         struct mii_if_info mii_if;
197         struct napi_struct napi;
198         void __iomem *base;
199 };
200
201 static char version[] __devinitdata = KERN_INFO DRV_NAME
202         ": RDC R6040 NAPI net driver,"
203         "version "DRV_VERSION " (" DRV_RELDATE ")\n";
204
205 static int phy_table[] = { PHY1_ADDR, PHY2_ADDR };
206
207 /* Read a word data from PHY Chip */
208 static int r6040_phy_read(void __iomem *ioaddr, int phy_addr, int reg)
209 {
210         int limit = 2048;
211         u16 cmd;
212
213         iowrite16(MDIO_READ + reg + (phy_addr << 8), ioaddr + MMDIO);
214         /* Wait for the read bit to be cleared */
215         while (limit--) {
216                 cmd = ioread16(ioaddr + MMDIO);
217                 if (!(cmd & MDIO_READ))
218                         break;
219         }
220
221         return ioread16(ioaddr + MMRD);
222 }
223
224 /* Write a word data from PHY Chip */
225 static void r6040_phy_write(void __iomem *ioaddr, int phy_addr, int reg, u16 val)
226 {
227         int limit = 2048;
228         u16 cmd;
229
230         iowrite16(val, ioaddr + MMWD);
231         /* Write the command to the MDIO bus */
232         iowrite16(MDIO_WRITE + reg + (phy_addr << 8), ioaddr + MMDIO);
233         /* Wait for the write bit to be cleared */
234         while (limit--) {
235                 cmd = ioread16(ioaddr + MMDIO);
236                 if (!(cmd & MDIO_WRITE))
237                         break;
238         }
239 }
240
241 static int r6040_mdio_read(struct net_device *dev, int mii_id, int reg)
242 {
243         struct r6040_private *lp = netdev_priv(dev);
244         void __iomem *ioaddr = lp->base;
245
246         return (r6040_phy_read(ioaddr, lp->phy_addr, reg));
247 }
248
249 static void r6040_mdio_write(struct net_device *dev, int mii_id, int reg, int val)
250 {
251         struct r6040_private *lp = netdev_priv(dev);
252         void __iomem *ioaddr = lp->base;
253
254         r6040_phy_write(ioaddr, lp->phy_addr, reg, val);
255 }
256
257 static void r6040_free_txbufs(struct net_device *dev)
258 {
259         struct r6040_private *lp = netdev_priv(dev);
260         int i;
261
262         for (i = 0; i < TX_DCNT; i++) {
263                 if (lp->tx_insert_ptr->skb_ptr) {
264                         pci_unmap_single(lp->pdev,
265                                 le32_to_cpu(lp->tx_insert_ptr->buf),
266                                 MAX_BUF_SIZE, PCI_DMA_TODEVICE);
267                         dev_kfree_skb(lp->tx_insert_ptr->skb_ptr);
268                         lp->tx_insert_ptr->skb_ptr = NULL;
269                 }
270                 lp->tx_insert_ptr = lp->tx_insert_ptr->vndescp;
271         }
272 }
273
274 static void r6040_free_rxbufs(struct net_device *dev)
275 {
276         struct r6040_private *lp = netdev_priv(dev);
277         int i;
278
279         for (i = 0; i < RX_DCNT; i++) {
280                 if (lp->rx_insert_ptr->skb_ptr) {
281                         pci_unmap_single(lp->pdev,
282                                 le32_to_cpu(lp->rx_insert_ptr->buf),
283                                 MAX_BUF_SIZE, PCI_DMA_FROMDEVICE);
284                         dev_kfree_skb(lp->rx_insert_ptr->skb_ptr);
285                         lp->rx_insert_ptr->skb_ptr = NULL;
286                 }
287                 lp->rx_insert_ptr = lp->rx_insert_ptr->vndescp;
288         }
289 }
290
291 static void r6040_init_ring_desc(struct r6040_descriptor *desc_ring,
292                                  dma_addr_t desc_dma, int size)
293 {
294         struct r6040_descriptor *desc = desc_ring;
295         dma_addr_t mapping = desc_dma;
296
297         while (size-- > 0) {
298                 mapping += sizeof(*desc);
299                 desc->ndesc = cpu_to_le32(mapping);
300                 desc->vndescp = desc + 1;
301                 desc++;
302         }
303         desc--;
304         desc->ndesc = cpu_to_le32(desc_dma);
305         desc->vndescp = desc_ring;
306 }
307
308 static void r6040_init_txbufs(struct net_device *dev)
309 {
310         struct r6040_private *lp = netdev_priv(dev);
311
312         lp->tx_free_desc = TX_DCNT;
313
314         lp->tx_remove_ptr = lp->tx_insert_ptr = lp->tx_ring;
315         r6040_init_ring_desc(lp->tx_ring, lp->tx_ring_dma, TX_DCNT);
316 }
317
318 static int r6040_alloc_rxbufs(struct net_device *dev)
319 {
320         struct r6040_private *lp = netdev_priv(dev);
321         struct r6040_descriptor *desc;
322         struct sk_buff *skb;
323         int rc;
324
325         lp->rx_remove_ptr = lp->rx_insert_ptr = lp->rx_ring;
326         r6040_init_ring_desc(lp->rx_ring, lp->rx_ring_dma, RX_DCNT);
327
328         /* Allocate skbs for the rx descriptors */
329         desc = lp->rx_ring;
330         do {
331                 skb = netdev_alloc_skb(dev, MAX_BUF_SIZE);
332                 if (!skb) {
333                         printk(KERN_ERR "%s: failed to alloc skb for rx\n", dev->name);
334                         rc = -ENOMEM;
335                         goto err_exit;
336                 }
337                 desc->skb_ptr = skb;
338                 desc->buf = cpu_to_le32(pci_map_single(lp->pdev,
339                                                 desc->skb_ptr->data,
340                                                 MAX_BUF_SIZE, PCI_DMA_FROMDEVICE));
341                 desc->status = DSC_OWNER_MAC;
342                 desc = desc->vndescp;
343         } while (desc != lp->rx_ring);
344
345         return 0;
346
347 err_exit:
348         /* Deallocate all previously allocated skbs */
349         r6040_free_rxbufs(dev);
350         return rc;
351 }
352
353 static void r6040_init_mac_regs(struct net_device *dev)
354 {
355         struct r6040_private *lp = netdev_priv(dev);
356         void __iomem *ioaddr = lp->base;
357         int limit = 2048;
358         u16 cmd;
359
360         /* Mask Off Interrupt */
361         iowrite16(MSK_INT, ioaddr + MIER);
362
363         /* Reset RDC MAC */
364         iowrite16(MAC_RST, ioaddr + MCR1);
365         while (limit--) {
366                 cmd = ioread16(ioaddr + MCR1);
367                 if (cmd & 0x1)
368                         break;
369         }
370         /* Reset internal state machine */
371         iowrite16(2, ioaddr + MAC_SM);
372         iowrite16(0, ioaddr + MAC_SM);
373         mdelay(5);
374
375         /* MAC Bus Control Register */
376         iowrite16(MBCR_DEFAULT, ioaddr + MBCR);
377
378         /* Buffer Size Register */
379         iowrite16(MAX_BUF_SIZE, ioaddr + MR_BSR);
380
381         /* Write TX ring start address */
382         iowrite16(lp->tx_ring_dma, ioaddr + MTD_SA0);
383         iowrite16(lp->tx_ring_dma >> 16, ioaddr + MTD_SA1);
384
385         /* Write RX ring start address */
386         iowrite16(lp->rx_ring_dma, ioaddr + MRD_SA0);
387         iowrite16(lp->rx_ring_dma >> 16, ioaddr + MRD_SA1);
388
389         /* Set interrupt waiting time and packet numbers */
390         iowrite16(0, ioaddr + MT_ICR);
391         iowrite16(0, ioaddr + MR_ICR);
392
393         /* Enable interrupts */
394         iowrite16(INT_MASK, ioaddr + MIER);
395
396         /* Enable TX and RX */
397         iowrite16(lp->mcr0 | 0x0002, ioaddr);
398
399         /* Let TX poll the descriptors
400          * we may got called by r6040_tx_timeout which has left
401          * some unsent tx buffers */
402         iowrite16(0x01, ioaddr + MTPR);
403 }
404
405 static void r6040_tx_timeout(struct net_device *dev)
406 {
407         struct r6040_private *priv = netdev_priv(dev);
408         void __iomem *ioaddr = priv->base;
409
410         printk(KERN_WARNING "%s: transmit timed out, int enable %4.4x "
411                 "status %4.4x, PHY status %4.4x\n",
412                 dev->name, ioread16(ioaddr + MIER),
413                 ioread16(ioaddr + MISR),
414                 r6040_mdio_read(dev, priv->mii_if.phy_id, MII_BMSR));
415
416         dev->stats.tx_errors++;
417
418         /* Reset MAC and re-init all registers */
419         r6040_init_mac_regs(dev);
420 }
421
422 static struct net_device_stats *r6040_get_stats(struct net_device *dev)
423 {
424         struct r6040_private *priv = netdev_priv(dev);
425         void __iomem *ioaddr = priv->base;
426         unsigned long flags;
427
428         spin_lock_irqsave(&priv->lock, flags);
429         dev->stats.rx_crc_errors += ioread8(ioaddr + ME_CNT1);
430         dev->stats.multicast += ioread8(ioaddr + ME_CNT0);
431         spin_unlock_irqrestore(&priv->lock, flags);
432
433         return &dev->stats;
434 }
435
436 /* Stop RDC MAC and Free the allocated resource */
437 static void r6040_down(struct net_device *dev)
438 {
439         struct r6040_private *lp = netdev_priv(dev);
440         void __iomem *ioaddr = lp->base;
441         struct pci_dev *pdev = lp->pdev;
442         int limit = 2048;
443         u16 *adrp;
444         u16 cmd;
445
446         /* Stop MAC */
447         iowrite16(MSK_INT, ioaddr + MIER);      /* Mask Off Interrupt */
448         iowrite16(MAC_RST, ioaddr + MCR1);      /* Reset RDC MAC */
449         while (limit--) {
450                 cmd = ioread16(ioaddr + MCR1);
451                 if (cmd & 0x1)
452                         break;
453         }
454
455         /* Restore MAC Address to MIDx */
456         adrp = (u16 *) dev->dev_addr;
457         iowrite16(adrp[0], ioaddr + MID_0L);
458         iowrite16(adrp[1], ioaddr + MID_0M);
459         iowrite16(adrp[2], ioaddr + MID_0H);
460         free_irq(dev->irq, dev);
461
462         /* Free RX buffer */
463         r6040_free_rxbufs(dev);
464
465         /* Free TX buffer */
466         r6040_free_txbufs(dev);
467
468         /* Free Descriptor memory */
469         pci_free_consistent(pdev, RX_DESC_SIZE, lp->rx_ring, lp->rx_ring_dma);
470         pci_free_consistent(pdev, TX_DESC_SIZE, lp->tx_ring, lp->tx_ring_dma);
471 }
472
473 static int r6040_close(struct net_device *dev)
474 {
475         struct r6040_private *lp = netdev_priv(dev);
476
477         /* deleted timer */
478         del_timer_sync(&lp->timer);
479
480         spin_lock_irq(&lp->lock);
481         napi_disable(&lp->napi);
482         netif_stop_queue(dev);
483         r6040_down(dev);
484         spin_unlock_irq(&lp->lock);
485
486         return 0;
487 }
488
489 /* Status of PHY CHIP */
490 static int r6040_phy_mode_chk(struct net_device *dev)
491 {
492         struct r6040_private *lp = netdev_priv(dev);
493         void __iomem *ioaddr = lp->base;
494         int phy_dat;
495
496         /* PHY Link Status Check */
497         phy_dat = r6040_phy_read(ioaddr, lp->phy_addr, 1);
498         if (!(phy_dat & 0x4))
499                 phy_dat = 0x8000;       /* Link Failed, full duplex */
500
501         /* PHY Chip Auto-Negotiation Status */
502         phy_dat = r6040_phy_read(ioaddr, lp->phy_addr, 1);
503         if (phy_dat & 0x0020) {
504                 /* Auto Negotiation Mode */
505                 phy_dat = r6040_phy_read(ioaddr, lp->phy_addr, 5);
506                 phy_dat &= r6040_phy_read(ioaddr, lp->phy_addr, 4);
507                 if (phy_dat & 0x140)
508                         /* Force full duplex */
509                         phy_dat = 0x8000;
510                 else
511                         phy_dat = 0;
512         } else {
513                 /* Force Mode */
514                 phy_dat = r6040_phy_read(ioaddr, lp->phy_addr, 0);
515                 if (phy_dat & 0x100)
516                         phy_dat = 0x8000;
517                 else
518                         phy_dat = 0x0000;
519         }
520
521         return phy_dat;
522 };
523
524 static void r6040_set_carrier(struct mii_if_info *mii)
525 {
526         if (r6040_phy_mode_chk(mii->dev)) {
527                 /* autoneg is off: Link is always assumed to be up */
528                 if (!netif_carrier_ok(mii->dev))
529                         netif_carrier_on(mii->dev);
530         } else
531                 r6040_phy_mode_chk(mii->dev);
532 }
533
534 static int r6040_ioctl(struct net_device *dev, struct ifreq *rq, int cmd)
535 {
536         struct r6040_private *lp = netdev_priv(dev);
537         struct mii_ioctl_data *data = if_mii(rq);
538         int rc;
539
540         if (!netif_running(dev))
541                 return -EINVAL;
542         spin_lock_irq(&lp->lock);
543         rc = generic_mii_ioctl(&lp->mii_if, data, cmd, NULL);
544         spin_unlock_irq(&lp->lock);
545         r6040_set_carrier(&lp->mii_if);
546         return rc;
547 }
548
549 static int r6040_rx(struct net_device *dev, int limit)
550 {
551         struct r6040_private *priv = netdev_priv(dev);
552         struct r6040_descriptor *descptr = priv->rx_remove_ptr;
553         struct sk_buff *skb_ptr, *new_skb;
554         int count = 0;
555         u16 err;
556
557         /* Limit not reached and the descriptor belongs to the CPU */
558         while (count < limit && !(descptr->status & DSC_OWNER_MAC)) {
559                 /* Read the descriptor status */
560                 err = descptr->status;
561                 /* Global error status set */
562                 if (err & DSC_RX_ERR) {
563                         /* RX dribble */
564                         if (err & DSC_RX_ERR_DRI)
565                                 dev->stats.rx_frame_errors++;
566                         /* Buffer lenght exceeded */
567                         if (err & DSC_RX_ERR_BUF)
568                                 dev->stats.rx_length_errors++;
569                         /* Packet too long */
570                         if (err & DSC_RX_ERR_LONG)
571                                 dev->stats.rx_length_errors++;
572                         /* Packet < 64 bytes */
573                         if (err & DSC_RX_ERR_RUNT)
574                                 dev->stats.rx_length_errors++;
575                         /* CRC error */
576                         if (err & DSC_RX_ERR_CRC) {
577                                 spin_lock(&priv->lock);
578                                 dev->stats.rx_crc_errors++;
579                                 spin_unlock(&priv->lock);
580                         }
581                         goto next_descr;
582                 }
583                 
584                 /* Packet successfully received */
585                 new_skb = netdev_alloc_skb(dev, MAX_BUF_SIZE);
586                 if (!new_skb) {
587                         dev->stats.rx_dropped++;
588                         goto next_descr;
589                 }
590                 skb_ptr = descptr->skb_ptr;
591                 skb_ptr->dev = priv->dev;
592                 
593                 /* Do not count the CRC */
594                 skb_put(skb_ptr, descptr->len - 4);
595                 pci_unmap_single(priv->pdev, le32_to_cpu(descptr->buf),
596                                         MAX_BUF_SIZE, PCI_DMA_FROMDEVICE);
597                 skb_ptr->protocol = eth_type_trans(skb_ptr, priv->dev);
598                 
599                 /* Send to upper layer */
600                 netif_receive_skb(skb_ptr);
601                 dev->stats.rx_packets++;
602                 dev->stats.rx_bytes += descptr->len - 4;
603
604                 /* put new skb into descriptor */
605                 descptr->skb_ptr = new_skb;
606                 descptr->buf = cpu_to_le32(pci_map_single(priv->pdev,
607                                                 descptr->skb_ptr->data,
608                                         MAX_BUF_SIZE, PCI_DMA_FROMDEVICE));
609
610 next_descr:
611                 /* put the descriptor back to the MAC */
612                 descptr->status = DSC_OWNER_MAC;
613                 descptr = descptr->vndescp;
614                 count++;
615         }
616         priv->rx_remove_ptr = descptr;
617
618         return count;
619 }
620
621 static void r6040_tx(struct net_device *dev)
622 {
623         struct r6040_private *priv = netdev_priv(dev);
624         struct r6040_descriptor *descptr;
625         void __iomem *ioaddr = priv->base;
626         struct sk_buff *skb_ptr;
627         u16 err;
628
629         spin_lock(&priv->lock);
630         descptr = priv->tx_remove_ptr;
631         while (priv->tx_free_desc < TX_DCNT) {
632                 /* Check for errors */
633                 err = ioread16(ioaddr + MLSR);
634
635                 if (err & 0x0200)
636                         dev->stats.rx_fifo_errors++;
637                 if (err & (0x2000 | 0x4000))
638                         dev->stats.tx_carrier_errors++;
639
640                 if (descptr->status & DSC_OWNER_MAC)
641                         break; /* Not complete */
642                 skb_ptr = descptr->skb_ptr;
643                 pci_unmap_single(priv->pdev, le32_to_cpu(descptr->buf),
644                         skb_ptr->len, PCI_DMA_TODEVICE);
645                 /* Free buffer */
646                 dev_kfree_skb_irq(skb_ptr);
647                 descptr->skb_ptr = NULL;
648                 /* To next descriptor */
649                 descptr = descptr->vndescp;
650                 priv->tx_free_desc++;
651         }
652         priv->tx_remove_ptr = descptr;
653
654         if (priv->tx_free_desc)
655                 netif_wake_queue(dev);
656         spin_unlock(&priv->lock);
657 }
658
659 static int r6040_poll(struct napi_struct *napi, int budget)
660 {
661         struct r6040_private *priv =
662                 container_of(napi, struct r6040_private, napi);
663         struct net_device *dev = priv->dev;
664         void __iomem *ioaddr = priv->base;
665         int work_done;
666
667         work_done = r6040_rx(dev, budget);
668
669         if (work_done < budget) {
670                 netif_rx_complete(napi);
671                 /* Enable RX interrupt */
672                 iowrite16(ioread16(ioaddr + MIER) | RX_INTS, ioaddr + MIER);
673         }
674         return work_done;
675 }
676
677 /* The RDC interrupt handler. */
678 static irqreturn_t r6040_interrupt(int irq, void *dev_id)
679 {
680         struct net_device *dev = dev_id;
681         struct r6040_private *lp = netdev_priv(dev);
682         void __iomem *ioaddr = lp->base;
683         u16 misr, status;
684
685         /* Save MIER */
686         misr = ioread16(ioaddr + MIER);
687         /* Mask off RDC MAC interrupt */
688         iowrite16(MSK_INT, ioaddr + MIER);
689         /* Read MISR status and clear */
690         status = ioread16(ioaddr + MISR);
691
692         if (status == 0x0000 || status == 0xffff)
693                 return IRQ_NONE;
694
695         /* RX interrupt request */
696         if (status & RX_INTS) {
697                 if (status & RX_NO_DESC) {
698                         /* RX descriptor unavailable */
699                         dev->stats.rx_dropped++;
700                         dev->stats.rx_missed_errors++;
701                 }
702                 if (status & RX_FIFO_FULL)
703                         dev->stats.rx_fifo_errors++;
704
705                 /* Mask off RX interrupt */
706                 misr &= ~RX_INTS;
707                 netif_rx_schedule(&lp->napi);
708         }
709
710         /* TX interrupt request */
711         if (status & TX_INTS)
712                 r6040_tx(dev);
713
714         /* Restore RDC MAC interrupt */
715         iowrite16(misr, ioaddr + MIER);
716
717         return IRQ_HANDLED;
718 }
719
720 #ifdef CONFIG_NET_POLL_CONTROLLER
721 static void r6040_poll_controller(struct net_device *dev)
722 {
723         disable_irq(dev->irq);
724         r6040_interrupt(dev->irq, dev);
725         enable_irq(dev->irq);
726 }
727 #endif
728
729 /* Init RDC MAC */
730 static int r6040_up(struct net_device *dev)
731 {
732         struct r6040_private *lp = netdev_priv(dev);
733         void __iomem *ioaddr = lp->base;
734         int ret;
735
736         /* Initialise and alloc RX/TX buffers */
737         r6040_init_txbufs(dev);
738         ret = r6040_alloc_rxbufs(dev);
739         if (ret)
740                 return ret;
741
742         /* Read the PHY ID */
743         lp->switch_sig = r6040_phy_read(ioaddr, 0, 2);
744
745         if (lp->switch_sig  == ICPLUS_PHY_ID) {
746                 r6040_phy_write(ioaddr, 29, 31, 0x175C); /* Enable registers */
747                 lp->phy_mode = 0x8000;
748         } else {
749                 /* PHY Mode Check */
750                 r6040_phy_write(ioaddr, lp->phy_addr, 4, PHY_CAP);
751                 r6040_phy_write(ioaddr, lp->phy_addr, 0, PHY_MODE);
752
753                 if (PHY_MODE == 0x3100)
754                         lp->phy_mode = r6040_phy_mode_chk(dev);
755                 else
756                         lp->phy_mode = (PHY_MODE & 0x0100) ? 0x8000:0x0;
757         }
758
759         /* Set duplex mode */
760         lp->mcr0 |= lp->phy_mode;
761
762         /* improve performance (by RDC guys) */
763         r6040_phy_write(ioaddr, 30, 17, (r6040_phy_read(ioaddr, 30, 17) | 0x4000));
764         r6040_phy_write(ioaddr, 30, 17, ~((~r6040_phy_read(ioaddr, 30, 17)) | 0x2000));
765         r6040_phy_write(ioaddr, 0, 19, 0x0000);
766         r6040_phy_write(ioaddr, 0, 30, 0x01F0);
767
768         /* Initialize all MAC registers */
769         r6040_init_mac_regs(dev);
770
771         return 0;
772 }
773
774 /*
775   A periodic timer routine
776         Polling PHY Chip Link Status
777 */
778 static void r6040_timer(unsigned long data)
779 {
780         struct net_device *dev = (struct net_device *)data;
781         struct r6040_private *lp = netdev_priv(dev);
782         void __iomem *ioaddr = lp->base;
783         u16 phy_mode;
784
785         /* Polling PHY Chip Status */
786         if (PHY_MODE == 0x3100)
787                 phy_mode = r6040_phy_mode_chk(dev);
788         else
789                 phy_mode = (PHY_MODE & 0x0100) ? 0x8000:0x0;
790
791         if (phy_mode != lp->phy_mode) {
792                 lp->phy_mode = phy_mode;
793                 lp->mcr0 = (lp->mcr0 & 0x7fff) | phy_mode;
794                 iowrite16(lp->mcr0, ioaddr);
795                 printk(KERN_INFO "Link Change %x \n", ioread16(ioaddr));
796         }
797
798         /* Timer active again */
799         mod_timer(&lp->timer, round_jiffies(jiffies + HZ));
800 }
801
802 /* Read/set MAC address routines */
803 static void r6040_mac_address(struct net_device *dev)
804 {
805         struct r6040_private *lp = netdev_priv(dev);
806         void __iomem *ioaddr = lp->base;
807         u16 *adrp;
808
809         /* MAC operation register */
810         iowrite16(0x01, ioaddr + MCR1); /* Reset MAC */
811         iowrite16(2, ioaddr + MAC_SM); /* Reset internal state machine */
812         iowrite16(0, ioaddr + MAC_SM);
813         mdelay(5);
814
815         /* Restore MAC Address */
816         adrp = (u16 *) dev->dev_addr;
817         iowrite16(adrp[0], ioaddr + MID_0L);
818         iowrite16(adrp[1], ioaddr + MID_0M);
819         iowrite16(adrp[2], ioaddr + MID_0H);
820 }
821
822 static int r6040_open(struct net_device *dev)
823 {
824         struct r6040_private *lp = netdev_priv(dev);
825         int ret;
826
827         /* Request IRQ and Register interrupt handler */
828         ret = request_irq(dev->irq, &r6040_interrupt,
829                 IRQF_SHARED, dev->name, dev);
830         if (ret)
831                 return ret;
832
833         /* Set MAC address */
834         r6040_mac_address(dev);
835
836         /* Allocate Descriptor memory */
837         lp->rx_ring =
838                 pci_alloc_consistent(lp->pdev, RX_DESC_SIZE, &lp->rx_ring_dma);
839         if (!lp->rx_ring)
840                 return -ENOMEM;
841
842         lp->tx_ring =
843                 pci_alloc_consistent(lp->pdev, TX_DESC_SIZE, &lp->tx_ring_dma);
844         if (!lp->tx_ring) {
845                 pci_free_consistent(lp->pdev, RX_DESC_SIZE, lp->rx_ring,
846                                      lp->rx_ring_dma);
847                 return -ENOMEM;
848         }
849
850         ret = r6040_up(dev);
851         if (ret) {
852                 pci_free_consistent(lp->pdev, TX_DESC_SIZE, lp->tx_ring,
853                                                         lp->tx_ring_dma);
854                 pci_free_consistent(lp->pdev, RX_DESC_SIZE, lp->rx_ring,
855                                                         lp->rx_ring_dma);
856                 return ret;
857         }
858
859         napi_enable(&lp->napi);
860         netif_start_queue(dev);
861
862         /* set and active a timer process */
863         setup_timer(&lp->timer, r6040_timer, (unsigned long) dev);
864         if (lp->switch_sig != ICPLUS_PHY_ID)
865                 mod_timer(&lp->timer, jiffies + HZ);
866         return 0;
867 }
868
869 static int r6040_start_xmit(struct sk_buff *skb, struct net_device *dev)
870 {
871         struct r6040_private *lp = netdev_priv(dev);
872         struct r6040_descriptor *descptr;
873         void __iomem *ioaddr = lp->base;
874         unsigned long flags;
875         int ret = NETDEV_TX_OK;
876
877         /* Critical Section */
878         spin_lock_irqsave(&lp->lock, flags);
879
880         /* TX resource check */
881         if (!lp->tx_free_desc) {
882                 spin_unlock_irqrestore(&lp->lock, flags);
883                 netif_stop_queue(dev);
884                 printk(KERN_ERR DRV_NAME ": no tx descriptor\n");
885                 ret = NETDEV_TX_BUSY;
886                 return ret;
887         }
888
889         /* Statistic Counter */
890         dev->stats.tx_packets++;
891         dev->stats.tx_bytes += skb->len;
892         /* Set TX descriptor & Transmit it */
893         lp->tx_free_desc--;
894         descptr = lp->tx_insert_ptr;
895         if (skb->len < MISR)
896                 descptr->len = MISR;
897         else
898                 descptr->len = skb->len;
899
900         descptr->skb_ptr = skb;
901         descptr->buf = cpu_to_le32(pci_map_single(lp->pdev,
902                 skb->data, skb->len, PCI_DMA_TODEVICE));
903         descptr->status = DSC_OWNER_MAC;
904         /* Trigger the MAC to check the TX descriptor */
905         iowrite16(0x01, ioaddr + MTPR);
906         lp->tx_insert_ptr = descptr->vndescp;
907
908         /* If no tx resource, stop */
909         if (!lp->tx_free_desc)
910                 netif_stop_queue(dev);
911
912         dev->trans_start = jiffies;
913         spin_unlock_irqrestore(&lp->lock, flags);
914         return ret;
915 }
916
917 static void r6040_multicast_list(struct net_device *dev)
918 {
919         struct r6040_private *lp = netdev_priv(dev);
920         void __iomem *ioaddr = lp->base;
921         u16 *adrp;
922         u16 reg;
923         unsigned long flags;
924         struct dev_mc_list *dmi = dev->mc_list;
925         int i;
926
927         /* MAC Address */
928         adrp = (u16 *)dev->dev_addr;
929         iowrite16(adrp[0], ioaddr + MID_0L);
930         iowrite16(adrp[1], ioaddr + MID_0M);
931         iowrite16(adrp[2], ioaddr + MID_0H);
932
933         /* Promiscous Mode */
934         spin_lock_irqsave(&lp->lock, flags);
935
936         /* Clear AMCP & PROM bits */
937         reg = ioread16(ioaddr) & ~0x0120;
938         if (dev->flags & IFF_PROMISC) {
939                 reg |= 0x0020;
940                 lp->mcr0 |= 0x0020;
941         }
942         /* Too many multicast addresses
943          * accept all traffic */
944         else if ((dev->mc_count > MCAST_MAX)
945                 || (dev->flags & IFF_ALLMULTI))
946                 reg |= 0x0020;
947
948         iowrite16(reg, ioaddr);
949         spin_unlock_irqrestore(&lp->lock, flags);
950
951         /* Build the hash table */
952         if (dev->mc_count > MCAST_MAX) {
953                 u16 hash_table[4];
954                 u32 crc;
955
956                 for (i = 0; i < 4; i++)
957                         hash_table[i] = 0;
958
959                 for (i = 0; i < dev->mc_count; i++) {
960                         char *addrs = dmi->dmi_addr;
961
962                         dmi = dmi->next;
963
964                         if (!(*addrs & 1))
965                                 continue;
966
967                         crc = ether_crc_le(6, addrs);
968                         crc >>= 26;
969                         hash_table[crc >> 4] |= 1 << (15 - (crc & 0xf));
970                 }
971                 /* Write the index of the hash table */
972                 for (i = 0; i < 4; i++)
973                         iowrite16(hash_table[i] << 14, ioaddr + MCR1);
974                 /* Fill the MAC hash tables with their values */
975                 iowrite16(hash_table[0], ioaddr + MAR0);
976                 iowrite16(hash_table[1], ioaddr + MAR1);
977                 iowrite16(hash_table[2], ioaddr + MAR2);
978                 iowrite16(hash_table[3], ioaddr + MAR3);
979         }
980         /* Multicast Address 1~4 case */
981         for (i = 0, dmi; (i < dev->mc_count) && (i < MCAST_MAX); i++) {
982                 adrp = (u16 *)dmi->dmi_addr;
983                 iowrite16(adrp[0], ioaddr + MID_1L + 8*i);
984                 iowrite16(adrp[1], ioaddr + MID_1M + 8*i);
985                 iowrite16(adrp[2], ioaddr + MID_1H + 8*i);
986                 dmi = dmi->next;
987         }
988         for (i = dev->mc_count; i < MCAST_MAX; i++) {
989                 iowrite16(0xffff, ioaddr + MID_0L + 8*i);
990                 iowrite16(0xffff, ioaddr + MID_0M + 8*i);
991                 iowrite16(0xffff, ioaddr + MID_0H + 8*i);
992         }
993 }
994
995 static void netdev_get_drvinfo(struct net_device *dev,
996                         struct ethtool_drvinfo *info)
997 {
998         struct r6040_private *rp = netdev_priv(dev);
999
1000         strcpy(info->driver, DRV_NAME);
1001         strcpy(info->version, DRV_VERSION);
1002         strcpy(info->bus_info, pci_name(rp->pdev));
1003 }
1004
1005 static int netdev_get_settings(struct net_device *dev, struct ethtool_cmd *cmd)
1006 {
1007         struct r6040_private *rp = netdev_priv(dev);
1008         int rc;
1009
1010         spin_lock_irq(&rp->lock);
1011         rc = mii_ethtool_gset(&rp->mii_if, cmd);
1012         spin_unlock_irq(&rp->lock);
1013
1014         return rc;
1015 }
1016
1017 static int netdev_set_settings(struct net_device *dev, struct ethtool_cmd *cmd)
1018 {
1019         struct r6040_private *rp = netdev_priv(dev);
1020         int rc;
1021
1022         spin_lock_irq(&rp->lock);
1023         rc = mii_ethtool_sset(&rp->mii_if, cmd);
1024         spin_unlock_irq(&rp->lock);
1025         r6040_set_carrier(&rp->mii_if);
1026
1027         return rc;
1028 }
1029
1030 static u32 netdev_get_link(struct net_device *dev)
1031 {
1032         struct r6040_private *rp = netdev_priv(dev);
1033
1034         return mii_link_ok(&rp->mii_if);
1035 }
1036
1037 static const struct ethtool_ops netdev_ethtool_ops = {
1038         .get_drvinfo            = netdev_get_drvinfo,
1039         .get_settings           = netdev_get_settings,
1040         .set_settings           = netdev_set_settings,
1041         .get_link               = netdev_get_link,
1042 };
1043
1044 static const struct net_device_ops r6040_netdev_ops = {
1045         .ndo_open               = r6040_open,
1046         .ndo_stop               = r6040_close,
1047         .ndo_start_xmit         = r6040_start_xmit,
1048         .ndo_get_stats          = r6040_get_stats,
1049         .ndo_set_multicast_list = r6040_multicast_list,
1050         .ndo_change_mtu         = eth_change_mtu,
1051         .ndo_validate_addr      = eth_validate_addr,
1052         .ndo_do_ioctl           = r6040_ioctl,
1053         .ndo_tx_timeout         = r6040_tx_timeout,
1054 #ifdef CONFIG_NET_POLL_CONTROLLER
1055         .ndo_poll_controller    = r6040_poll_controller,
1056 #endif
1057 };
1058
1059 static int __devinit r6040_init_one(struct pci_dev *pdev,
1060                                          const struct pci_device_id *ent)
1061 {
1062         struct net_device *dev;
1063         struct r6040_private *lp;
1064         void __iomem *ioaddr;
1065         int err, io_size = R6040_IO_SIZE;
1066         static int card_idx = -1;
1067         int bar = 0;
1068         long pioaddr;
1069         u16 *adrp;
1070
1071         printk(KERN_INFO "%s\n", version);
1072
1073         err = pci_enable_device(pdev);
1074         if (err)
1075                 goto err_out;
1076
1077         /* this should always be supported */
1078         err = pci_set_dma_mask(pdev, DMA_32BIT_MASK);
1079         if (err) {
1080                 printk(KERN_ERR DRV_NAME "32-bit PCI DMA addresses"
1081                                 "not supported by the card\n");
1082                 goto err_out;
1083         }
1084         err = pci_set_consistent_dma_mask(pdev, DMA_32BIT_MASK);
1085         if (err) {
1086                 printk(KERN_ERR DRV_NAME "32-bit PCI DMA addresses"
1087                                 "not supported by the card\n");
1088                 goto err_out;
1089         }
1090
1091         /* IO Size check */
1092         if (pci_resource_len(pdev, 0) < io_size) {
1093                 printk(KERN_ERR DRV_NAME "Insufficient PCI resources, aborting\n");
1094                 err = -EIO;
1095                 goto err_out;
1096         }
1097
1098         pioaddr = pci_resource_start(pdev, 0);  /* IO map base address */
1099         pci_set_master(pdev);
1100
1101         dev = alloc_etherdev(sizeof(struct r6040_private));
1102         if (!dev) {
1103                 printk(KERN_ERR DRV_NAME "Failed to allocate etherdev\n");
1104                 err = -ENOMEM;
1105                 goto err_out;
1106         }
1107         SET_NETDEV_DEV(dev, &pdev->dev);
1108         lp = netdev_priv(dev);
1109
1110         err = pci_request_regions(pdev, DRV_NAME);
1111
1112         if (err) {
1113                 printk(KERN_ERR DRV_NAME ": Failed to request PCI regions\n");
1114                 goto err_out_free_dev;
1115         }
1116
1117         ioaddr = pci_iomap(pdev, bar, io_size);
1118         if (!ioaddr) {
1119                 printk(KERN_ERR "ioremap failed for device %s\n",
1120                         pci_name(pdev));
1121                 err = -EIO;
1122                 goto err_out_free_res;
1123         }
1124
1125         /* Init system & device */
1126         lp->base = ioaddr;
1127         dev->irq = pdev->irq;
1128
1129         spin_lock_init(&lp->lock);
1130         pci_set_drvdata(pdev, dev);
1131
1132         /* Set MAC address */
1133         card_idx++;
1134
1135         adrp = (u16 *)dev->dev_addr;
1136         adrp[0] = ioread16(ioaddr + MID_0L);
1137         adrp[1] = ioread16(ioaddr + MID_0M);
1138         adrp[2] = ioread16(ioaddr + MID_0H);
1139
1140         /* Link new device into r6040_root_dev */
1141         lp->pdev = pdev;
1142         lp->dev = dev;
1143
1144         /* Init RDC private data */
1145         lp->mcr0 = 0x1002;
1146         lp->phy_addr = phy_table[card_idx];
1147         lp->switch_sig = 0;
1148
1149         /* The RDC-specific entries in the device structure. */
1150         dev->netdev_ops = &r6040_netdev_ops;
1151         dev->ethtool_ops = &netdev_ethtool_ops;
1152         dev->watchdog_timeo = TX_TIMEOUT;
1153
1154         netif_napi_add(dev, &lp->napi, r6040_poll, 64);
1155         lp->mii_if.dev = dev;
1156         lp->mii_if.mdio_read = r6040_mdio_read;
1157         lp->mii_if.mdio_write = r6040_mdio_write;
1158         lp->mii_if.phy_id = lp->phy_addr;
1159         lp->mii_if.phy_id_mask = 0x1f;
1160         lp->mii_if.reg_num_mask = 0x1f;
1161
1162         /* Register net device. After this dev->name assign */
1163         err = register_netdev(dev);
1164         if (err) {
1165                 printk(KERN_ERR DRV_NAME ": Failed to register net device\n");
1166                 goto err_out_unmap;
1167         }
1168         return 0;
1169
1170 err_out_unmap:
1171         pci_iounmap(pdev, ioaddr);
1172 err_out_free_res:
1173         pci_release_regions(pdev);
1174 err_out_free_dev:
1175         free_netdev(dev);
1176 err_out:
1177         return err;
1178 }
1179
1180 static void __devexit r6040_remove_one(struct pci_dev *pdev)
1181 {
1182         struct net_device *dev = pci_get_drvdata(pdev);
1183
1184         unregister_netdev(dev);
1185         pci_release_regions(pdev);
1186         free_netdev(dev);
1187         pci_disable_device(pdev);
1188         pci_set_drvdata(pdev, NULL);
1189 }
1190
1191
1192 static struct pci_device_id r6040_pci_tbl[] = {
1193         { PCI_DEVICE(PCI_VENDOR_ID_RDC, 0x6040) },
1194         { 0 }
1195 };
1196 MODULE_DEVICE_TABLE(pci, r6040_pci_tbl);
1197
1198 static struct pci_driver r6040_driver = {
1199         .name           = DRV_NAME,
1200         .id_table       = r6040_pci_tbl,
1201         .probe          = r6040_init_one,
1202         .remove         = __devexit_p(r6040_remove_one),
1203 };
1204
1205
1206 static int __init r6040_init(void)
1207 {
1208         return pci_register_driver(&r6040_driver);
1209 }
1210
1211
1212 static void __exit r6040_cleanup(void)
1213 {
1214         pci_unregister_driver(&r6040_driver);
1215 }
1216
1217 module_init(r6040_init);
1218 module_exit(r6040_cleanup);