Merge branches 'topic/fix/hda' and 'topic/fix/sound-core' into for-linus
[linux-2.6] / drivers / pci / msi.c
1 /*
2  * File:        msi.c
3  * Purpose:     PCI Message Signaled Interrupt (MSI)
4  *
5  * Copyright (C) 2003-2004 Intel
6  * Copyright (C) Tom Long Nguyen (tom.l.nguyen@intel.com)
7  */
8
9 #include <linux/err.h>
10 #include <linux/mm.h>
11 #include <linux/irq.h>
12 #include <linux/interrupt.h>
13 #include <linux/init.h>
14 #include <linux/ioport.h>
15 #include <linux/pci.h>
16 #include <linux/proc_fs.h>
17 #include <linux/msi.h>
18 #include <linux/smp.h>
19
20 #include <asm/errno.h>
21 #include <asm/io.h>
22
23 #include "pci.h"
24 #include "msi.h"
25
26 static int pci_msi_enable = 1;
27
28 /* Arch hooks */
29
30 int __attribute__ ((weak))
31 arch_msi_check_device(struct pci_dev *dev, int nvec, int type)
32 {
33         return 0;
34 }
35
36 int __attribute__ ((weak))
37 arch_setup_msi_irq(struct pci_dev *dev, struct msi_desc *entry)
38 {
39         return 0;
40 }
41
42 int __attribute__ ((weak))
43 arch_setup_msi_irqs(struct pci_dev *dev, int nvec, int type)
44 {
45         struct msi_desc *entry;
46         int ret;
47
48         list_for_each_entry(entry, &dev->msi_list, list) {
49                 ret = arch_setup_msi_irq(dev, entry);
50                 if (ret)
51                         return ret;
52         }
53
54         return 0;
55 }
56
57 void __attribute__ ((weak)) arch_teardown_msi_irq(unsigned int irq)
58 {
59         return;
60 }
61
62 void __attribute__ ((weak))
63 arch_teardown_msi_irqs(struct pci_dev *dev)
64 {
65         struct msi_desc *entry;
66
67         list_for_each_entry(entry, &dev->msi_list, list) {
68                 if (entry->irq != 0)
69                         arch_teardown_msi_irq(entry->irq);
70         }
71 }
72
73 static void __msi_set_enable(struct pci_dev *dev, int pos, int enable)
74 {
75         u16 control;
76
77         if (pos) {
78                 pci_read_config_word(dev, pos + PCI_MSI_FLAGS, &control);
79                 control &= ~PCI_MSI_FLAGS_ENABLE;
80                 if (enable)
81                         control |= PCI_MSI_FLAGS_ENABLE;
82                 pci_write_config_word(dev, pos + PCI_MSI_FLAGS, control);
83         }
84 }
85
86 static void msi_set_enable(struct pci_dev *dev, int enable)
87 {
88         __msi_set_enable(dev, pci_find_capability(dev, PCI_CAP_ID_MSI), enable);
89 }
90
91 static void msix_set_enable(struct pci_dev *dev, int enable)
92 {
93         int pos;
94         u16 control;
95
96         pos = pci_find_capability(dev, PCI_CAP_ID_MSIX);
97         if (pos) {
98                 pci_read_config_word(dev, pos + PCI_MSIX_FLAGS, &control);
99                 control &= ~PCI_MSIX_FLAGS_ENABLE;
100                 if (enable)
101                         control |= PCI_MSIX_FLAGS_ENABLE;
102                 pci_write_config_word(dev, pos + PCI_MSIX_FLAGS, control);
103         }
104 }
105
106 static void msix_flush_writes(unsigned int irq)
107 {
108         struct msi_desc *entry;
109
110         entry = get_irq_msi(irq);
111         BUG_ON(!entry || !entry->dev);
112         switch (entry->msi_attrib.type) {
113         case PCI_CAP_ID_MSI:
114                 /* nothing to do */
115                 break;
116         case PCI_CAP_ID_MSIX:
117         {
118                 int offset = entry->msi_attrib.entry_nr * PCI_MSIX_ENTRY_SIZE +
119                         PCI_MSIX_ENTRY_VECTOR_CTRL_OFFSET;
120                 readl(entry->mask_base + offset);
121                 break;
122         }
123         default:
124                 BUG();
125                 break;
126         }
127 }
128
129 /*
130  * PCI 2.3 does not specify mask bits for each MSI interrupt.  Attempting to
131  * mask all MSI interrupts by clearing the MSI enable bit does not work
132  * reliably as devices without an INTx disable bit will then generate a
133  * level IRQ which will never be cleared.
134  *
135  * Returns 1 if it succeeded in masking the interrupt and 0 if the device
136  * doesn't support MSI masking.
137  */
138 static int msi_set_mask_bits(unsigned int irq, u32 mask, u32 flag)
139 {
140         struct msi_desc *entry;
141
142         entry = get_irq_msi(irq);
143         BUG_ON(!entry || !entry->dev);
144         switch (entry->msi_attrib.type) {
145         case PCI_CAP_ID_MSI:
146                 if (entry->msi_attrib.maskbit) {
147                         int pos;
148                         u32 mask_bits;
149
150                         pos = (long)entry->mask_base;
151                         pci_read_config_dword(entry->dev, pos, &mask_bits);
152                         mask_bits &= ~(mask);
153                         mask_bits |= flag & mask;
154                         pci_write_config_dword(entry->dev, pos, mask_bits);
155                 } else {
156                         return 0;
157                 }
158                 break;
159         case PCI_CAP_ID_MSIX:
160         {
161                 int offset = entry->msi_attrib.entry_nr * PCI_MSIX_ENTRY_SIZE +
162                         PCI_MSIX_ENTRY_VECTOR_CTRL_OFFSET;
163                 writel(flag, entry->mask_base + offset);
164                 readl(entry->mask_base + offset);
165                 break;
166         }
167         default:
168                 BUG();
169                 break;
170         }
171         entry->msi_attrib.masked = !!flag;
172         return 1;
173 }
174
175 void read_msi_msg(unsigned int irq, struct msi_msg *msg)
176 {
177         struct msi_desc *entry = get_irq_msi(irq);
178         switch(entry->msi_attrib.type) {
179         case PCI_CAP_ID_MSI:
180         {
181                 struct pci_dev *dev = entry->dev;
182                 int pos = entry->msi_attrib.pos;
183                 u16 data;
184
185                 pci_read_config_dword(dev, msi_lower_address_reg(pos),
186                                         &msg->address_lo);
187                 if (entry->msi_attrib.is_64) {
188                         pci_read_config_dword(dev, msi_upper_address_reg(pos),
189                                                 &msg->address_hi);
190                         pci_read_config_word(dev, msi_data_reg(pos, 1), &data);
191                 } else {
192                         msg->address_hi = 0;
193                         pci_read_config_word(dev, msi_data_reg(pos, 0), &data);
194                 }
195                 msg->data = data;
196                 break;
197         }
198         case PCI_CAP_ID_MSIX:
199         {
200                 void __iomem *base;
201                 base = entry->mask_base +
202                         entry->msi_attrib.entry_nr * PCI_MSIX_ENTRY_SIZE;
203
204                 msg->address_lo = readl(base + PCI_MSIX_ENTRY_LOWER_ADDR_OFFSET);
205                 msg->address_hi = readl(base + PCI_MSIX_ENTRY_UPPER_ADDR_OFFSET);
206                 msg->data = readl(base + PCI_MSIX_ENTRY_DATA_OFFSET);
207                 break;
208         }
209         default:
210                 BUG();
211         }
212 }
213
214 void write_msi_msg(unsigned int irq, struct msi_msg *msg)
215 {
216         struct msi_desc *entry = get_irq_msi(irq);
217         switch (entry->msi_attrib.type) {
218         case PCI_CAP_ID_MSI:
219         {
220                 struct pci_dev *dev = entry->dev;
221                 int pos = entry->msi_attrib.pos;
222
223                 pci_write_config_dword(dev, msi_lower_address_reg(pos),
224                                         msg->address_lo);
225                 if (entry->msi_attrib.is_64) {
226                         pci_write_config_dword(dev, msi_upper_address_reg(pos),
227                                                 msg->address_hi);
228                         pci_write_config_word(dev, msi_data_reg(pos, 1),
229                                                 msg->data);
230                 } else {
231                         pci_write_config_word(dev, msi_data_reg(pos, 0),
232                                                 msg->data);
233                 }
234                 break;
235         }
236         case PCI_CAP_ID_MSIX:
237         {
238                 void __iomem *base;
239                 base = entry->mask_base +
240                         entry->msi_attrib.entry_nr * PCI_MSIX_ENTRY_SIZE;
241
242                 writel(msg->address_lo,
243                         base + PCI_MSIX_ENTRY_LOWER_ADDR_OFFSET);
244                 writel(msg->address_hi,
245                         base + PCI_MSIX_ENTRY_UPPER_ADDR_OFFSET);
246                 writel(msg->data, base + PCI_MSIX_ENTRY_DATA_OFFSET);
247                 break;
248         }
249         default:
250                 BUG();
251         }
252         entry->msg = *msg;
253 }
254
255 void mask_msi_irq(unsigned int irq)
256 {
257         msi_set_mask_bits(irq, 1, 1);
258         msix_flush_writes(irq);
259 }
260
261 void unmask_msi_irq(unsigned int irq)
262 {
263         msi_set_mask_bits(irq, 1, 0);
264         msix_flush_writes(irq);
265 }
266
267 static int msi_free_irqs(struct pci_dev* dev);
268
269
270 static struct msi_desc* alloc_msi_entry(void)
271 {
272         struct msi_desc *entry;
273
274         entry = kzalloc(sizeof(struct msi_desc), GFP_KERNEL);
275         if (!entry)
276                 return NULL;
277
278         INIT_LIST_HEAD(&entry->list);
279         entry->irq = 0;
280         entry->dev = NULL;
281
282         return entry;
283 }
284
285 static void pci_intx_for_msi(struct pci_dev *dev, int enable)
286 {
287         if (!(dev->dev_flags & PCI_DEV_FLAGS_MSI_INTX_DISABLE_BUG))
288                 pci_intx(dev, enable);
289 }
290
291 static void __pci_restore_msi_state(struct pci_dev *dev)
292 {
293         int pos;
294         u16 control;
295         struct msi_desc *entry;
296
297         if (!dev->msi_enabled)
298                 return;
299
300         entry = get_irq_msi(dev->irq);
301         pos = entry->msi_attrib.pos;
302
303         pci_intx_for_msi(dev, 0);
304         msi_set_enable(dev, 0);
305         write_msi_msg(dev->irq, &entry->msg);
306         if (entry->msi_attrib.maskbit)
307                 msi_set_mask_bits(dev->irq, entry->msi_attrib.maskbits_mask,
308                                   entry->msi_attrib.masked);
309
310         pci_read_config_word(dev, pos + PCI_MSI_FLAGS, &control);
311         control &= ~PCI_MSI_FLAGS_QSIZE;
312         control |= PCI_MSI_FLAGS_ENABLE;
313         pci_write_config_word(dev, pos + PCI_MSI_FLAGS, control);
314 }
315
316 static void __pci_restore_msix_state(struct pci_dev *dev)
317 {
318         int pos;
319         struct msi_desc *entry;
320         u16 control;
321
322         if (!dev->msix_enabled)
323                 return;
324
325         /* route the table */
326         pci_intx_for_msi(dev, 0);
327         msix_set_enable(dev, 0);
328
329         list_for_each_entry(entry, &dev->msi_list, list) {
330                 write_msi_msg(entry->irq, &entry->msg);
331                 msi_set_mask_bits(entry->irq, 1, entry->msi_attrib.masked);
332         }
333
334         BUG_ON(list_empty(&dev->msi_list));
335         entry = list_entry(dev->msi_list.next, struct msi_desc, list);
336         pos = entry->msi_attrib.pos;
337         pci_read_config_word(dev, pos + PCI_MSIX_FLAGS, &control);
338         control &= ~PCI_MSIX_FLAGS_MASKALL;
339         control |= PCI_MSIX_FLAGS_ENABLE;
340         pci_write_config_word(dev, pos + PCI_MSIX_FLAGS, control);
341 }
342
343 void pci_restore_msi_state(struct pci_dev *dev)
344 {
345         __pci_restore_msi_state(dev);
346         __pci_restore_msix_state(dev);
347 }
348 EXPORT_SYMBOL_GPL(pci_restore_msi_state);
349
350 /**
351  * msi_capability_init - configure device's MSI capability structure
352  * @dev: pointer to the pci_dev data structure of MSI device function
353  *
354  * Setup the MSI capability structure of device function with a single
355  * MSI irq, regardless of device function is capable of handling
356  * multiple messages. A return of zero indicates the successful setup
357  * of an entry zero with the new MSI irq or non-zero for otherwise.
358  **/
359 static int msi_capability_init(struct pci_dev *dev)
360 {
361         struct msi_desc *entry;
362         int pos, ret;
363         u16 control;
364
365         msi_set_enable(dev, 0); /* Ensure msi is disabled as I set it up */
366
367         pos = pci_find_capability(dev, PCI_CAP_ID_MSI);
368         pci_read_config_word(dev, msi_control_reg(pos), &control);
369         /* MSI Entry Initialization */
370         entry = alloc_msi_entry();
371         if (!entry)
372                 return -ENOMEM;
373
374         entry->msi_attrib.type = PCI_CAP_ID_MSI;
375         entry->msi_attrib.is_64 = is_64bit_address(control);
376         entry->msi_attrib.entry_nr = 0;
377         entry->msi_attrib.maskbit = is_mask_bit_support(control);
378         entry->msi_attrib.masked = 1;
379         entry->msi_attrib.default_irq = dev->irq;       /* Save IOAPIC IRQ */
380         entry->msi_attrib.pos = pos;
381         if (entry->msi_attrib.maskbit) {
382                 entry->mask_base = (void __iomem *)(long)msi_mask_bits_reg(pos,
383                                 entry->msi_attrib.is_64);
384         }
385         entry->dev = dev;
386         if (entry->msi_attrib.maskbit) {
387                 unsigned int maskbits, temp;
388                 /* All MSIs are unmasked by default, Mask them all */
389                 pci_read_config_dword(dev,
390                         msi_mask_bits_reg(pos, entry->msi_attrib.is_64),
391                         &maskbits);
392                 temp = (1 << multi_msi_capable(control));
393                 temp = ((temp - 1) & ~temp);
394                 maskbits |= temp;
395                 pci_write_config_dword(dev, entry->msi_attrib.is_64, maskbits);
396                 entry->msi_attrib.maskbits_mask = temp;
397         }
398         list_add_tail(&entry->list, &dev->msi_list);
399
400         /* Configure MSI capability structure */
401         ret = arch_setup_msi_irqs(dev, 1, PCI_CAP_ID_MSI);
402         if (ret) {
403                 msi_free_irqs(dev);
404                 return ret;
405         }
406
407         /* Set MSI enabled bits  */
408         pci_intx_for_msi(dev, 0);
409         msi_set_enable(dev, 1);
410         dev->msi_enabled = 1;
411
412         dev->irq = entry->irq;
413         return 0;
414 }
415
416 /**
417  * msix_capability_init - configure device's MSI-X capability
418  * @dev: pointer to the pci_dev data structure of MSI-X device function
419  * @entries: pointer to an array of struct msix_entry entries
420  * @nvec: number of @entries
421  *
422  * Setup the MSI-X capability structure of device function with a
423  * single MSI-X irq. A return of zero indicates the successful setup of
424  * requested MSI-X entries with allocated irqs or non-zero for otherwise.
425  **/
426 static int msix_capability_init(struct pci_dev *dev,
427                                 struct msix_entry *entries, int nvec)
428 {
429         struct msi_desc *entry;
430         int pos, i, j, nr_entries, ret;
431         unsigned long phys_addr;
432         u32 table_offset;
433         u16 control;
434         u8 bir;
435         void __iomem *base;
436
437         msix_set_enable(dev, 0);/* Ensure msix is disabled as I set it up */
438
439         pos = pci_find_capability(dev, PCI_CAP_ID_MSIX);
440         /* Request & Map MSI-X table region */
441         pci_read_config_word(dev, msi_control_reg(pos), &control);
442         nr_entries = multi_msix_capable(control);
443
444         pci_read_config_dword(dev, msix_table_offset_reg(pos), &table_offset);
445         bir = (u8)(table_offset & PCI_MSIX_FLAGS_BIRMASK);
446         table_offset &= ~PCI_MSIX_FLAGS_BIRMASK;
447         phys_addr = pci_resource_start (dev, bir) + table_offset;
448         base = ioremap_nocache(phys_addr, nr_entries * PCI_MSIX_ENTRY_SIZE);
449         if (base == NULL)
450                 return -ENOMEM;
451
452         /* MSI-X Table Initialization */
453         for (i = 0; i < nvec; i++) {
454                 entry = alloc_msi_entry();
455                 if (!entry)
456                         break;
457
458                 j = entries[i].entry;
459                 entry->msi_attrib.type = PCI_CAP_ID_MSIX;
460                 entry->msi_attrib.is_64 = 1;
461                 entry->msi_attrib.entry_nr = j;
462                 entry->msi_attrib.maskbit = 1;
463                 entry->msi_attrib.masked = 1;
464                 entry->msi_attrib.default_irq = dev->irq;
465                 entry->msi_attrib.pos = pos;
466                 entry->dev = dev;
467                 entry->mask_base = base;
468
469                 list_add_tail(&entry->list, &dev->msi_list);
470         }
471
472         ret = arch_setup_msi_irqs(dev, nvec, PCI_CAP_ID_MSIX);
473         if (ret) {
474                 int avail = 0;
475                 list_for_each_entry(entry, &dev->msi_list, list) {
476                         if (entry->irq != 0) {
477                                 avail++;
478                         }
479                 }
480
481                 msi_free_irqs(dev);
482
483                 /* If we had some success report the number of irqs
484                  * we succeeded in setting up.
485                  */
486                 if (avail == 0)
487                         avail = ret;
488                 return avail;
489         }
490
491         i = 0;
492         list_for_each_entry(entry, &dev->msi_list, list) {
493                 entries[i].vector = entry->irq;
494                 set_irq_msi(entry->irq, entry);
495                 i++;
496         }
497         /* Set MSI-X enabled bits */
498         pci_intx_for_msi(dev, 0);
499         msix_set_enable(dev, 1);
500         dev->msix_enabled = 1;
501
502         return 0;
503 }
504
505 /**
506  * pci_msi_check_device - check whether MSI may be enabled on a device
507  * @dev: pointer to the pci_dev data structure of MSI device function
508  * @nvec: how many MSIs have been requested ?
509  * @type: are we checking for MSI or MSI-X ?
510  *
511  * Look at global flags, the device itself, and its parent busses
512  * to determine if MSI/-X are supported for the device. If MSI/-X is
513  * supported return 0, else return an error code.
514  **/
515 static int pci_msi_check_device(struct pci_dev* dev, int nvec, int type)
516 {
517         struct pci_bus *bus;
518         int ret;
519
520         /* MSI must be globally enabled and supported by the device */
521         if (!pci_msi_enable || !dev || dev->no_msi)
522                 return -EINVAL;
523
524         /*
525          * You can't ask to have 0 or less MSIs configured.
526          *  a) it's stupid ..
527          *  b) the list manipulation code assumes nvec >= 1.
528          */
529         if (nvec < 1)
530                 return -ERANGE;
531
532         /* Any bridge which does NOT route MSI transactions from it's
533          * secondary bus to it's primary bus must set NO_MSI flag on
534          * the secondary pci_bus.
535          * We expect only arch-specific PCI host bus controller driver
536          * or quirks for specific PCI bridges to be setting NO_MSI.
537          */
538         for (bus = dev->bus; bus; bus = bus->parent)
539                 if (bus->bus_flags & PCI_BUS_FLAGS_NO_MSI)
540                         return -EINVAL;
541
542         ret = arch_msi_check_device(dev, nvec, type);
543         if (ret)
544                 return ret;
545
546         if (!pci_find_capability(dev, type))
547                 return -EINVAL;
548
549         return 0;
550 }
551
552 /**
553  * pci_enable_msi - configure device's MSI capability structure
554  * @dev: pointer to the pci_dev data structure of MSI device function
555  *
556  * Setup the MSI capability structure of device function with
557  * a single MSI irq upon its software driver call to request for
558  * MSI mode enabled on its hardware device function. A return of zero
559  * indicates the successful setup of an entry zero with the new MSI
560  * irq or non-zero for otherwise.
561  **/
562 int pci_enable_msi(struct pci_dev* dev)
563 {
564         int status;
565
566         status = pci_msi_check_device(dev, 1, PCI_CAP_ID_MSI);
567         if (status)
568                 return status;
569
570         WARN_ON(!!dev->msi_enabled);
571
572         /* Check whether driver already requested for MSI-X irqs */
573         if (dev->msix_enabled) {
574                 dev_info(&dev->dev, "can't enable MSI "
575                          "(MSI-X already enabled)\n");
576                 return -EINVAL;
577         }
578         status = msi_capability_init(dev);
579         return status;
580 }
581 EXPORT_SYMBOL(pci_enable_msi);
582
583 void pci_msi_shutdown(struct pci_dev* dev)
584 {
585         struct msi_desc *entry;
586
587         if (!pci_msi_enable || !dev || !dev->msi_enabled)
588                 return;
589
590         msi_set_enable(dev, 0);
591         pci_intx_for_msi(dev, 1);
592         dev->msi_enabled = 0;
593
594         BUG_ON(list_empty(&dev->msi_list));
595         entry = list_entry(dev->msi_list.next, struct msi_desc, list);
596         /* Return the the pci reset with msi irqs unmasked */
597         if (entry->msi_attrib.maskbit) {
598                 u32 mask = entry->msi_attrib.maskbits_mask;
599                 msi_set_mask_bits(dev->irq, mask, ~mask);
600         }
601         if (!entry->dev || entry->msi_attrib.type != PCI_CAP_ID_MSI)
602                 return;
603
604         /* Restore dev->irq to its default pin-assertion irq */
605         dev->irq = entry->msi_attrib.default_irq;
606 }
607 void pci_disable_msi(struct pci_dev* dev)
608 {
609         struct msi_desc *entry;
610
611         if (!pci_msi_enable || !dev || !dev->msi_enabled)
612                 return;
613
614         pci_msi_shutdown(dev);
615
616         entry = list_entry(dev->msi_list.next, struct msi_desc, list);
617         if (!entry->dev || entry->msi_attrib.type != PCI_CAP_ID_MSI)
618                 return;
619
620         msi_free_irqs(dev);
621 }
622 EXPORT_SYMBOL(pci_disable_msi);
623
624 static int msi_free_irqs(struct pci_dev* dev)
625 {
626         struct msi_desc *entry, *tmp;
627
628         list_for_each_entry(entry, &dev->msi_list, list) {
629                 if (entry->irq)
630                         BUG_ON(irq_has_action(entry->irq));
631         }
632
633         arch_teardown_msi_irqs(dev);
634
635         list_for_each_entry_safe(entry, tmp, &dev->msi_list, list) {
636                 if (entry->msi_attrib.type == PCI_CAP_ID_MSIX) {
637                         writel(1, entry->mask_base + entry->msi_attrib.entry_nr
638                                   * PCI_MSIX_ENTRY_SIZE
639                                   + PCI_MSIX_ENTRY_VECTOR_CTRL_OFFSET);
640
641                         if (list_is_last(&entry->list, &dev->msi_list))
642                                 iounmap(entry->mask_base);
643                 }
644                 list_del(&entry->list);
645                 kfree(entry);
646         }
647
648         return 0;
649 }
650
651 /**
652  * pci_enable_msix - configure device's MSI-X capability structure
653  * @dev: pointer to the pci_dev data structure of MSI-X device function
654  * @entries: pointer to an array of MSI-X entries
655  * @nvec: number of MSI-X irqs requested for allocation by device driver
656  *
657  * Setup the MSI-X capability structure of device function with the number
658  * of requested irqs upon its software driver call to request for
659  * MSI-X mode enabled on its hardware device function. A return of zero
660  * indicates the successful configuration of MSI-X capability structure
661  * with new allocated MSI-X irqs. A return of < 0 indicates a failure.
662  * Or a return of > 0 indicates that driver request is exceeding the number
663  * of irqs available. Driver should use the returned value to re-send
664  * its request.
665  **/
666 int pci_enable_msix(struct pci_dev* dev, struct msix_entry *entries, int nvec)
667 {
668         int status, pos, nr_entries;
669         int i, j;
670         u16 control;
671
672         if (!entries)
673                 return -EINVAL;
674
675         status = pci_msi_check_device(dev, nvec, PCI_CAP_ID_MSIX);
676         if (status)
677                 return status;
678
679         pos = pci_find_capability(dev, PCI_CAP_ID_MSIX);
680         pci_read_config_word(dev, msi_control_reg(pos), &control);
681         nr_entries = multi_msix_capable(control);
682         if (nvec > nr_entries)
683                 return -EINVAL;
684
685         /* Check for any invalid entries */
686         for (i = 0; i < nvec; i++) {
687                 if (entries[i].entry >= nr_entries)
688                         return -EINVAL;         /* invalid entry */
689                 for (j = i + 1; j < nvec; j++) {
690                         if (entries[i].entry == entries[j].entry)
691                                 return -EINVAL; /* duplicate entry */
692                 }
693         }
694         WARN_ON(!!dev->msix_enabled);
695
696         /* Check whether driver already requested for MSI irq */
697         if (dev->msi_enabled) {
698                 dev_info(&dev->dev, "can't enable MSI-X "
699                        "(MSI IRQ already assigned)\n");
700                 return -EINVAL;
701         }
702         status = msix_capability_init(dev, entries, nvec);
703         return status;
704 }
705 EXPORT_SYMBOL(pci_enable_msix);
706
707 static void msix_free_all_irqs(struct pci_dev *dev)
708 {
709         msi_free_irqs(dev);
710 }
711
712 void pci_msix_shutdown(struct pci_dev* dev)
713 {
714         if (!pci_msi_enable || !dev || !dev->msix_enabled)
715                 return;
716
717         msix_set_enable(dev, 0);
718         pci_intx_for_msi(dev, 1);
719         dev->msix_enabled = 0;
720 }
721 void pci_disable_msix(struct pci_dev* dev)
722 {
723         if (!pci_msi_enable || !dev || !dev->msix_enabled)
724                 return;
725
726         pci_msix_shutdown(dev);
727
728         msix_free_all_irqs(dev);
729 }
730 EXPORT_SYMBOL(pci_disable_msix);
731
732 /**
733  * msi_remove_pci_irq_vectors - reclaim MSI(X) irqs to unused state
734  * @dev: pointer to the pci_dev data structure of MSI(X) device function
735  *
736  * Being called during hotplug remove, from which the device function
737  * is hot-removed. All previous assigned MSI/MSI-X irqs, if
738  * allocated for this device function, are reclaimed to unused state,
739  * which may be used later on.
740  **/
741 void msi_remove_pci_irq_vectors(struct pci_dev* dev)
742 {
743         if (!pci_msi_enable || !dev)
744                 return;
745
746         if (dev->msi_enabled)
747                 msi_free_irqs(dev);
748
749         if (dev->msix_enabled)
750                 msix_free_all_irqs(dev);
751 }
752
753 void pci_no_msi(void)
754 {
755         pci_msi_enable = 0;
756 }
757
758 void pci_msi_init_pci_dev(struct pci_dev *dev)
759 {
760         INIT_LIST_HEAD(&dev->msi_list);
761 }
762
763 #ifdef CONFIG_ACPI
764 #include <linux/acpi.h>
765 #include <linux/pci-acpi.h>
766 static void __devinit msi_acpi_init(void)
767 {
768         if (acpi_pci_disabled)
769                 return;
770         pci_osc_support_set(OSC_MSI_SUPPORT);
771         pcie_osc_support_set(OSC_MSI_SUPPORT);
772 }
773 #else
774 static inline void msi_acpi_init(void) { }
775 #endif /* CONFIG_ACPI */
776
777 void __devinit msi_init(void)
778 {
779         if (!pci_msi_enable)
780                 return;
781         msi_acpi_init();
782 }