Pull button into test branch
[linux-2.6] / arch / mips / sgi-ip27 / ip27-irq.c
1 /*
2  * ip27-irq.c: Highlevel interrupt handling for IP27 architecture.
3  *
4  * Copyright (C) 1999, 2000 Ralf Baechle (ralf@gnu.org)
5  * Copyright (C) 1999, 2000 Silicon Graphics, Inc.
6  * Copyright (C) 1999 - 2001 Kanoj Sarcar
7  */
8
9 #undef DEBUG
10
11 #include <linux/init.h>
12 #include <linux/irq.h>
13 #include <linux/errno.h>
14 #include <linux/signal.h>
15 #include <linux/sched.h>
16 #include <linux/types.h>
17 #include <linux/interrupt.h>
18 #include <linux/ioport.h>
19 #include <linux/timex.h>
20 #include <linux/slab.h>
21 #include <linux/random.h>
22 #include <linux/smp_lock.h>
23 #include <linux/kernel.h>
24 #include <linux/kernel_stat.h>
25 #include <linux/delay.h>
26 #include <linux/bitops.h>
27
28 #include <asm/bootinfo.h>
29 #include <asm/io.h>
30 #include <asm/mipsregs.h>
31 #include <asm/system.h>
32
33 #include <asm/processor.h>
34 #include <asm/pci/bridge.h>
35 #include <asm/sn/addrs.h>
36 #include <asm/sn/agent.h>
37 #include <asm/sn/arch.h>
38 #include <asm/sn/hub.h>
39 #include <asm/sn/intr.h>
40
41 /*
42  * Linux has a controller-independent x86 interrupt architecture.
43  * every controller has a 'controller-template', that is used
44  * by the main code to do the right thing. Each driver-visible
45  * interrupt source is transparently wired to the apropriate
46  * controller. Thus drivers need not be aware of the
47  * interrupt-controller.
48  *
49  * Various interrupt controllers we handle: 8259 PIC, SMP IO-APIC,
50  * PIIX4's internal 8259 PIC and SGI's Visual Workstation Cobalt (IO-)APIC.
51  * (IO-APICs assumed to be messaging to Pentium local-APICs)
52  *
53  * the code is designed to be easily extended with new/different
54  * interrupt controllers, without having to do assembly magic.
55  */
56
57 extern asmlinkage void ip27_irq(void);
58
59 extern struct bridge_controller *irq_to_bridge[];
60 extern int irq_to_slot[];
61
62 /*
63  * use these macros to get the encoded nasid and widget id
64  * from the irq value
65  */
66 #define IRQ_TO_BRIDGE(i)                irq_to_bridge[(i)]
67 #define SLOT_FROM_PCI_IRQ(i)            irq_to_slot[i]
68
69 static inline int alloc_level(int cpu, int irq)
70 {
71         struct hub_data *hub = hub_data(cpu_to_node(cpu));
72         struct slice_data *si = cpu_data[cpu].data;
73         int level;
74
75         level = find_first_zero_bit(hub->irq_alloc_mask, LEVELS_PER_SLICE);
76         if (level >= LEVELS_PER_SLICE)
77                 panic("Cpu %d flooded with devices\n", cpu);
78
79         __set_bit(level, hub->irq_alloc_mask);
80         si->level_to_irq[level] = irq;
81
82         return level;
83 }
84
85 static inline int find_level(cpuid_t *cpunum, int irq)
86 {
87         int cpu, i;
88
89         for_each_online_cpu(cpu) {
90                 struct slice_data *si = cpu_data[cpu].data;
91
92                 for (i = BASE_PCI_IRQ; i < LEVELS_PER_SLICE; i++)
93                         if (si->level_to_irq[i] == irq) {
94                                 *cpunum = cpu;
95
96                                 return i;
97                         }
98         }
99
100         panic("Could not identify cpu/level for irq %d\n", irq);
101 }
102
103 /*
104  * Find first bit set
105  */
106 static int ms1bit(unsigned long x)
107 {
108         int b = 0, s;
109
110         s = 16; if (x >> 16 == 0) s = 0; b += s; x >>= s;
111         s =  8; if (x >>  8 == 0) s = 0; b += s; x >>= s;
112         s =  4; if (x >>  4 == 0) s = 0; b += s; x >>= s;
113         s =  2; if (x >>  2 == 0) s = 0; b += s; x >>= s;
114         s =  1; if (x >>  1 == 0) s = 0; b += s;
115
116         return b;
117 }
118
119 /*
120  * This code is unnecessarily complex, because we do IRQF_DISABLED
121  * intr enabling. Basically, once we grab the set of intrs we need
122  * to service, we must mask _all_ these interrupts; firstly, to make
123  * sure the same intr does not intr again, causing recursion that
124  * can lead to stack overflow. Secondly, we can not just mask the
125  * one intr we are do_IRQing, because the non-masked intrs in the
126  * first set might intr again, causing multiple servicings of the
127  * same intr. This effect is mostly seen for intercpu intrs.
128  * Kanoj 05.13.00
129  */
130
131 static void ip27_do_irq_mask0(void)
132 {
133         int irq, swlevel;
134         hubreg_t pend0, mask0;
135         cpuid_t cpu = smp_processor_id();
136         int pi_int_mask0 =
137                 (cputoslice(cpu) == 0) ?  PI_INT_MASK0_A : PI_INT_MASK0_B;
138
139         /* copied from Irix intpend0() */
140         pend0 = LOCAL_HUB_L(PI_INT_PEND0);
141         mask0 = LOCAL_HUB_L(pi_int_mask0);
142
143         pend0 &= mask0;         /* Pick intrs we should look at */
144         if (!pend0)
145                 return;
146
147         swlevel = ms1bit(pend0);
148 #ifdef CONFIG_SMP
149         if (pend0 & (1UL << CPU_RESCHED_A_IRQ)) {
150                 LOCAL_HUB_CLR_INTR(CPU_RESCHED_A_IRQ);
151         } else if (pend0 & (1UL << CPU_RESCHED_B_IRQ)) {
152                 LOCAL_HUB_CLR_INTR(CPU_RESCHED_B_IRQ);
153         } else if (pend0 & (1UL << CPU_CALL_A_IRQ)) {
154                 LOCAL_HUB_CLR_INTR(CPU_CALL_A_IRQ);
155                 smp_call_function_interrupt();
156         } else if (pend0 & (1UL << CPU_CALL_B_IRQ)) {
157                 LOCAL_HUB_CLR_INTR(CPU_CALL_B_IRQ);
158                 smp_call_function_interrupt();
159         } else
160 #endif
161         {
162                 /* "map" swlevel to irq */
163                 struct slice_data *si = cpu_data[cpu].data;
164
165                 irq = si->level_to_irq[swlevel];
166                 do_IRQ(irq);
167         }
168
169         LOCAL_HUB_L(PI_INT_PEND0);
170 }
171
172 static void ip27_do_irq_mask1(void)
173 {
174         int irq, swlevel;
175         hubreg_t pend1, mask1;
176         cpuid_t cpu = smp_processor_id();
177         int pi_int_mask1 = (cputoslice(cpu) == 0) ?  PI_INT_MASK1_A : PI_INT_MASK1_B;
178         struct slice_data *si = cpu_data[cpu].data;
179
180         /* copied from Irix intpend0() */
181         pend1 = LOCAL_HUB_L(PI_INT_PEND1);
182         mask1 = LOCAL_HUB_L(pi_int_mask1);
183
184         pend1 &= mask1;         /* Pick intrs we should look at */
185         if (!pend1)
186                 return;
187
188         swlevel = ms1bit(pend1);
189         /* "map" swlevel to irq */
190         irq = si->level_to_irq[swlevel];
191         LOCAL_HUB_CLR_INTR(swlevel);
192         do_IRQ(irq);
193
194         LOCAL_HUB_L(PI_INT_PEND1);
195 }
196
197 static void ip27_prof_timer(void)
198 {
199         panic("CPU %d got a profiling interrupt", smp_processor_id());
200 }
201
202 static void ip27_hub_error(void)
203 {
204         panic("CPU %d got a hub error interrupt", smp_processor_id());
205 }
206
207 static int intr_connect_level(int cpu, int bit)
208 {
209         nasid_t nasid = COMPACT_TO_NASID_NODEID(cpu_to_node(cpu));
210         struct slice_data *si = cpu_data[cpu].data;
211         unsigned long flags;
212
213         set_bit(bit, si->irq_enable_mask);
214
215         local_irq_save(flags);
216         if (!cputoslice(cpu)) {
217                 REMOTE_HUB_S(nasid, PI_INT_MASK0_A, si->irq_enable_mask[0]);
218                 REMOTE_HUB_S(nasid, PI_INT_MASK1_A, si->irq_enable_mask[1]);
219         } else {
220                 REMOTE_HUB_S(nasid, PI_INT_MASK0_B, si->irq_enable_mask[0]);
221                 REMOTE_HUB_S(nasid, PI_INT_MASK1_B, si->irq_enable_mask[1]);
222         }
223         local_irq_restore(flags);
224
225         return 0;
226 }
227
228 static int intr_disconnect_level(int cpu, int bit)
229 {
230         nasid_t nasid = COMPACT_TO_NASID_NODEID(cpu_to_node(cpu));
231         struct slice_data *si = cpu_data[cpu].data;
232
233         clear_bit(bit, si->irq_enable_mask);
234
235         if (!cputoslice(cpu)) {
236                 REMOTE_HUB_S(nasid, PI_INT_MASK0_A, si->irq_enable_mask[0]);
237                 REMOTE_HUB_S(nasid, PI_INT_MASK1_A, si->irq_enable_mask[1]);
238         } else {
239                 REMOTE_HUB_S(nasid, PI_INT_MASK0_B, si->irq_enable_mask[0]);
240                 REMOTE_HUB_S(nasid, PI_INT_MASK1_B, si->irq_enable_mask[1]);
241         }
242
243         return 0;
244 }
245
246 /* Startup one of the (PCI ...) IRQs routes over a bridge.  */
247 static unsigned int startup_bridge_irq(unsigned int irq)
248 {
249         struct bridge_controller *bc;
250         bridgereg_t device;
251         bridge_t *bridge;
252         int pin, swlevel;
253         cpuid_t cpu;
254
255         pin = SLOT_FROM_PCI_IRQ(irq);
256         bc = IRQ_TO_BRIDGE(irq);
257         bridge = bc->base;
258
259         pr_debug("bridge_startup(): irq= 0x%x  pin=%d\n", irq, pin);
260         /*
261          * "map" irq to a swlevel greater than 6 since the first 6 bits
262          * of INT_PEND0 are taken
263          */
264         swlevel = find_level(&cpu, irq);
265         bridge->b_int_addr[pin].addr = (0x20000 | swlevel | (bc->nasid << 8));
266         bridge->b_int_enable |= (1 << pin);
267         bridge->b_int_enable |= 0x7ffffe00;     /* more stuff in int_enable */
268
269         /*
270          * Enable sending of an interrupt clear packt to the hub on a high to
271          * low transition of the interrupt pin.
272          *
273          * IRIX sets additional bits in the address which are documented as
274          * reserved in the bridge docs.
275          */
276         bridge->b_int_mode |= (1UL << pin);
277
278         /*
279          * We assume the bridge to have a 1:1 mapping between devices
280          * (slots) and intr pins.
281          */
282         device = bridge->b_int_device;
283         device &= ~(7 << (pin*3));
284         device |= (pin << (pin*3));
285         bridge->b_int_device = device;
286
287         bridge->b_wid_tflush;
288
289         return 0;       /* Never anything pending.  */
290 }
291
292 /* Shutdown one of the (PCI ...) IRQs routes over a bridge.  */
293 static void shutdown_bridge_irq(unsigned int irq)
294 {
295         struct bridge_controller *bc = IRQ_TO_BRIDGE(irq);
296         struct hub_data *hub = hub_data(cpu_to_node(bc->irq_cpu));
297         bridge_t *bridge = bc->base;
298         int pin, swlevel;
299         cpuid_t cpu;
300
301         pr_debug("bridge_shutdown: irq 0x%x\n", irq);
302         pin = SLOT_FROM_PCI_IRQ(irq);
303
304         /*
305          * map irq to a swlevel greater than 6 since the first 6 bits
306          * of INT_PEND0 are taken
307          */
308         swlevel = find_level(&cpu, irq);
309         intr_disconnect_level(cpu, swlevel);
310
311         __clear_bit(swlevel, hub->irq_alloc_mask);
312
313         bridge->b_int_enable &= ~(1 << pin);
314         bridge->b_wid_tflush;
315 }
316
317 static inline void enable_bridge_irq(unsigned int irq)
318 {
319         cpuid_t cpu;
320         int swlevel;
321
322         swlevel = find_level(&cpu, irq);        /* Criminal offence */
323         intr_connect_level(cpu, swlevel);
324 }
325
326 static inline void disable_bridge_irq(unsigned int irq)
327 {
328         cpuid_t cpu;
329         int swlevel;
330
331         swlevel = find_level(&cpu, irq);        /* Criminal offence */
332         intr_disconnect_level(cpu, swlevel);
333 }
334
335 static struct irq_chip bridge_irq_type = {
336         .typename       = "bridge",
337         .startup        = startup_bridge_irq,
338         .shutdown       = shutdown_bridge_irq,
339         .ack            = disable_bridge_irq,
340         .mask           = disable_bridge_irq,
341         .mask_ack       = disable_bridge_irq,
342         .unmask         = enable_bridge_irq,
343 };
344
345 void __devinit register_bridge_irq(unsigned int irq)
346 {
347         set_irq_chip_and_handler(irq, &bridge_irq_type, handle_level_irq);
348 }
349
350 int __devinit request_bridge_irq(struct bridge_controller *bc)
351 {
352         int irq = allocate_irqno();
353         int swlevel, cpu;
354         nasid_t nasid;
355
356         if (irq < 0)
357                 return irq;
358
359         /*
360          * "map" irq to a swlevel greater than 6 since the first 6 bits
361          * of INT_PEND0 are taken
362          */
363         cpu = bc->irq_cpu;
364         swlevel = alloc_level(cpu, irq);
365         if (unlikely(swlevel < 0)) {
366                 free_irqno(irq);
367
368                 return -EAGAIN;
369         }
370
371         /* Make sure it's not already pending when we connect it. */
372         nasid = COMPACT_TO_NASID_NODEID(cpu_to_node(cpu));
373         REMOTE_HUB_CLR_INTR(nasid, swlevel);
374
375         intr_connect_level(cpu, swlevel);
376
377         register_bridge_irq(irq);
378
379         return irq;
380 }
381
382 extern void ip27_rt_timer_interrupt(void);
383
384 asmlinkage void plat_irq_dispatch(void)
385 {
386         unsigned long pending = read_c0_cause() & read_c0_status();
387
388         if (pending & CAUSEF_IP4)
389                 ip27_rt_timer_interrupt();
390         else if (pending & CAUSEF_IP2)  /* PI_INT_PEND_0 or CC_PEND_{A|B} */
391                 ip27_do_irq_mask0();
392         else if (pending & CAUSEF_IP3)  /* PI_INT_PEND_1 */
393                 ip27_do_irq_mask1();
394         else if (pending & CAUSEF_IP5)
395                 ip27_prof_timer();
396         else if (pending & CAUSEF_IP6)
397                 ip27_hub_error();
398 }
399
400 void __init arch_init_irq(void)
401 {
402 }
403
404 void install_ipi(void)
405 {
406         int slice = LOCAL_HUB_L(PI_CPU_NUM);
407         int cpu = smp_processor_id();
408         struct slice_data *si = cpu_data[cpu].data;
409         struct hub_data *hub = hub_data(cpu_to_node(cpu));
410         int resched, call;
411
412         resched = CPU_RESCHED_A_IRQ + slice;
413         __set_bit(resched, hub->irq_alloc_mask);
414         __set_bit(resched, si->irq_enable_mask);
415         LOCAL_HUB_CLR_INTR(resched);
416
417         call = CPU_CALL_A_IRQ + slice;
418         __set_bit(call, hub->irq_alloc_mask);
419         __set_bit(call, si->irq_enable_mask);
420         LOCAL_HUB_CLR_INTR(call);
421
422         if (slice == 0) {
423                 LOCAL_HUB_S(PI_INT_MASK0_A, si->irq_enable_mask[0]);
424                 LOCAL_HUB_S(PI_INT_MASK1_A, si->irq_enable_mask[1]);
425         } else {
426                 LOCAL_HUB_S(PI_INT_MASK0_B, si->irq_enable_mask[0]);
427                 LOCAL_HUB_S(PI_INT_MASK1_B, si->irq_enable_mask[1]);
428         }
429 }