Merge with linus
[linux-2.6] / arch / alpha / kernel / smp.c
1 /*
2  *      linux/arch/alpha/kernel/smp.c
3  *
4  *      2001-07-09 Phil Ezolt (Phillip.Ezolt@compaq.com)
5  *            Renamed modified smp_call_function to smp_call_function_on_cpu()
6  *            Created an function that conforms to the old calling convention
7  *            of smp_call_function().
8  *
9  *            This is helpful for DCPI.
10  *
11  */
12
13 #include <linux/errno.h>
14 #include <linux/kernel.h>
15 #include <linux/kernel_stat.h>
16 #include <linux/module.h>
17 #include <linux/sched.h>
18 #include <linux/mm.h>
19 #include <linux/threads.h>
20 #include <linux/smp.h>
21 #include <linux/smp_lock.h>
22 #include <linux/interrupt.h>
23 #include <linux/init.h>
24 #include <linux/delay.h>
25 #include <linux/spinlock.h>
26 #include <linux/irq.h>
27 #include <linux/cache.h>
28 #include <linux/profile.h>
29 #include <linux/bitops.h>
30
31 #include <asm/hwrpb.h>
32 #include <asm/ptrace.h>
33 #include <asm/atomic.h>
34
35 #include <asm/io.h>
36 #include <asm/irq.h>
37 #include <asm/pgtable.h>
38 #include <asm/pgalloc.h>
39 #include <asm/mmu_context.h>
40 #include <asm/tlbflush.h>
41
42 #include "proto.h"
43 #include "irq_impl.h"
44
45
46 #define DEBUG_SMP 0
47 #if DEBUG_SMP
48 #define DBGS(args)      printk args
49 #else
50 #define DBGS(args)
51 #endif
52
53 /* A collection of per-processor data.  */
54 struct cpuinfo_alpha cpu_data[NR_CPUS];
55
56 /* A collection of single bit ipi messages.  */
57 static struct {
58         unsigned long bits ____cacheline_aligned;
59 } ipi_data[NR_CPUS] __cacheline_aligned;
60
61 enum ipi_message_type {
62         IPI_RESCHEDULE,
63         IPI_CALL_FUNC,
64         IPI_CPU_STOP,
65 };
66
67 /* Set to a secondary's cpuid when it comes online.  */
68 static int smp_secondary_alive __initdata = 0;
69
70 /* Which cpus ids came online.  */
71 cpumask_t cpu_present_mask;
72 cpumask_t cpu_online_map;
73
74 EXPORT_SYMBOL(cpu_online_map);
75
76 /* cpus reported in the hwrpb */
77 static unsigned long hwrpb_cpu_present_mask __initdata = 0;
78
79 int smp_num_probed;             /* Internal processor count */
80 int smp_num_cpus = 1;           /* Number that came online.  */
81
82 extern void calibrate_delay(void);
83
84 \f
85
86 /*
87  * Called by both boot and secondaries to move global data into
88  *  per-processor storage.
89  */
90 static inline void __init
91 smp_store_cpu_info(int cpuid)
92 {
93         cpu_data[cpuid].loops_per_jiffy = loops_per_jiffy;
94         cpu_data[cpuid].last_asn = ASN_FIRST_VERSION;
95         cpu_data[cpuid].need_new_asn = 0;
96         cpu_data[cpuid].asn_lock = 0;
97 }
98
99 /*
100  * Ideally sets up per-cpu profiling hooks.  Doesn't do much now...
101  */
102 static inline void __init
103 smp_setup_percpu_timer(int cpuid)
104 {
105         cpu_data[cpuid].prof_counter = 1;
106         cpu_data[cpuid].prof_multiplier = 1;
107 }
108
109 static void __init
110 wait_boot_cpu_to_stop(int cpuid)
111 {
112         unsigned long stop = jiffies + 10*HZ;
113
114         while (time_before(jiffies, stop)) {
115                 if (!smp_secondary_alive)
116                         return;
117                 barrier();
118         }
119
120         printk("wait_boot_cpu_to_stop: FAILED on CPU %d, hanging now\n", cpuid);
121         for (;;)
122                 barrier();
123 }
124
125 /*
126  * Where secondaries begin a life of C.
127  */
128 void __init
129 smp_callin(void)
130 {
131         int cpuid = hard_smp_processor_id();
132
133         if (cpu_test_and_set(cpuid, cpu_online_map)) {
134                 printk("??, cpu 0x%x already present??\n", cpuid);
135                 BUG();
136         }
137
138         /* Turn on machine checks.  */
139         wrmces(7);
140
141         /* Set trap vectors.  */
142         trap_init();
143
144         /* Set interrupt vector.  */
145         wrent(entInt, 0);
146
147         /* Get our local ticker going. */
148         smp_setup_percpu_timer(cpuid);
149
150         /* Call platform-specific callin, if specified */
151         if (alpha_mv.smp_callin) alpha_mv.smp_callin();
152
153         /* All kernel threads share the same mm context.  */
154         atomic_inc(&init_mm.mm_count);
155         current->active_mm = &init_mm;
156
157         /* Must have completely accurate bogos.  */
158         local_irq_enable();
159
160         /* Wait boot CPU to stop with irq enabled before running
161            calibrate_delay. */
162         wait_boot_cpu_to_stop(cpuid);
163         mb();
164         calibrate_delay();
165
166         smp_store_cpu_info(cpuid);
167         /* Allow master to continue only after we written loops_per_jiffy.  */
168         wmb();
169         smp_secondary_alive = 1;
170
171         DBGS(("smp_callin: commencing CPU %d current %p active_mm %p\n",
172               cpuid, current, current->active_mm));
173
174         /* Do nothing.  */
175         cpu_idle();
176 }
177
178 /* Wait until hwrpb->txrdy is clear for cpu.  Return -1 on timeout.  */
179 static int __init
180 wait_for_txrdy (unsigned long cpumask)
181 {
182         unsigned long timeout;
183
184         if (!(hwrpb->txrdy & cpumask))
185                 return 0;
186
187         timeout = jiffies + 10*HZ;
188         while (time_before(jiffies, timeout)) {
189                 if (!(hwrpb->txrdy & cpumask))
190                         return 0;
191                 udelay(10);
192                 barrier();
193         }
194
195         return -1;
196 }
197
198 /*
199  * Send a message to a secondary's console.  "START" is one such
200  * interesting message.  ;-)
201  */
202 static void __init
203 send_secondary_console_msg(char *str, int cpuid)
204 {
205         struct percpu_struct *cpu;
206         register char *cp1, *cp2;
207         unsigned long cpumask;
208         size_t len;
209
210         cpu = (struct percpu_struct *)
211                 ((char*)hwrpb
212                  + hwrpb->processor_offset
213                  + cpuid * hwrpb->processor_size);
214
215         cpumask = (1UL << cpuid);
216         if (wait_for_txrdy(cpumask))
217                 goto timeout;
218
219         cp2 = str;
220         len = strlen(cp2);
221         *(unsigned int *)&cpu->ipc_buffer[0] = len;
222         cp1 = (char *) &cpu->ipc_buffer[1];
223         memcpy(cp1, cp2, len);
224
225         /* atomic test and set */
226         wmb();
227         set_bit(cpuid, &hwrpb->rxrdy);
228
229         if (wait_for_txrdy(cpumask))
230                 goto timeout;
231         return;
232
233  timeout:
234         printk("Processor %x not ready\n", cpuid);
235 }
236
237 /*
238  * A secondary console wants to send a message.  Receive it.
239  */
240 static void
241 recv_secondary_console_msg(void)
242 {
243         int mycpu, i, cnt;
244         unsigned long txrdy = hwrpb->txrdy;
245         char *cp1, *cp2, buf[80];
246         struct percpu_struct *cpu;
247
248         DBGS(("recv_secondary_console_msg: TXRDY 0x%lx.\n", txrdy));
249
250         mycpu = hard_smp_processor_id();
251
252         for (i = 0; i < NR_CPUS; i++) {
253                 if (!(txrdy & (1UL << i)))
254                         continue;
255
256                 DBGS(("recv_secondary_console_msg: "
257                       "TXRDY contains CPU %d.\n", i));
258
259                 cpu = (struct percpu_struct *)
260                   ((char*)hwrpb
261                    + hwrpb->processor_offset
262                    + i * hwrpb->processor_size);
263
264                 DBGS(("recv_secondary_console_msg: on %d from %d"
265                       " HALT_REASON 0x%lx FLAGS 0x%lx\n",
266                       mycpu, i, cpu->halt_reason, cpu->flags));
267
268                 cnt = cpu->ipc_buffer[0] >> 32;
269                 if (cnt <= 0 || cnt >= 80)
270                         strcpy(buf, "<<< BOGUS MSG >>>");
271                 else {
272                         cp1 = (char *) &cpu->ipc_buffer[11];
273                         cp2 = buf;
274                         strcpy(cp2, cp1);
275                         
276                         while ((cp2 = strchr(cp2, '\r')) != 0) {
277                                 *cp2 = ' ';
278                                 if (cp2[1] == '\n')
279                                         cp2[1] = ' ';
280                         }
281                 }
282
283                 DBGS((KERN_INFO "recv_secondary_console_msg: on %d "
284                       "message is '%s'\n", mycpu, buf));
285         }
286
287         hwrpb->txrdy = 0;
288 }
289
290 /*
291  * Convince the console to have a secondary cpu begin execution.
292  */
293 static int __init
294 secondary_cpu_start(int cpuid, struct task_struct *idle)
295 {
296         struct percpu_struct *cpu;
297         struct pcb_struct *hwpcb, *ipcb;
298         unsigned long timeout;
299           
300         cpu = (struct percpu_struct *)
301                 ((char*)hwrpb
302                  + hwrpb->processor_offset
303                  + cpuid * hwrpb->processor_size);
304         hwpcb = (struct pcb_struct *) cpu->hwpcb;
305         ipcb = &idle->thread_info->pcb;
306
307         /* Initialize the CPU's HWPCB to something just good enough for
308            us to get started.  Immediately after starting, we'll swpctx
309            to the target idle task's pcb.  Reuse the stack in the mean
310            time.  Precalculate the target PCBB.  */
311         hwpcb->ksp = (unsigned long)ipcb + sizeof(union thread_union) - 16;
312         hwpcb->usp = 0;
313         hwpcb->ptbr = ipcb->ptbr;
314         hwpcb->pcc = 0;
315         hwpcb->asn = 0;
316         hwpcb->unique = virt_to_phys(ipcb);
317         hwpcb->flags = ipcb->flags;
318         hwpcb->res1 = hwpcb->res2 = 0;
319
320 #if 0
321         DBGS(("KSP 0x%lx PTBR 0x%lx VPTBR 0x%lx UNIQUE 0x%lx\n",
322               hwpcb->ksp, hwpcb->ptbr, hwrpb->vptb, hwpcb->unique));
323 #endif
324         DBGS(("Starting secondary cpu %d: state 0x%lx pal_flags 0x%lx\n",
325               cpuid, idle->state, ipcb->flags));
326
327         /* Setup HWRPB fields that SRM uses to activate secondary CPU */
328         hwrpb->CPU_restart = __smp_callin;
329         hwrpb->CPU_restart_data = (unsigned long) __smp_callin;
330
331         /* Recalculate and update the HWRPB checksum */
332         hwrpb_update_checksum(hwrpb);
333
334         /*
335          * Send a "start" command to the specified processor.
336          */
337
338         /* SRM III 3.4.1.3 */
339         cpu->flags |= 0x22;     /* turn on Context Valid and Restart Capable */
340         cpu->flags &= ~1;       /* turn off Bootstrap In Progress */
341         wmb();
342
343         send_secondary_console_msg("START\r\n", cpuid);
344
345         /* Wait 10 seconds for an ACK from the console.  */
346         timeout = jiffies + 10*HZ;
347         while (time_before(jiffies, timeout)) {
348                 if (cpu->flags & 1)
349                         goto started;
350                 udelay(10);
351                 barrier();
352         }
353         printk(KERN_ERR "SMP: Processor %d failed to start.\n", cpuid);
354         return -1;
355
356  started:
357         DBGS(("secondary_cpu_start: SUCCESS for CPU %d!!!\n", cpuid));
358         return 0;
359 }
360
361 /*
362  * Bring one cpu online.
363  */
364 static int __init
365 smp_boot_one_cpu(int cpuid)
366 {
367         struct task_struct *idle;
368         unsigned long timeout;
369
370         /* Cook up an idler for this guy.  Note that the address we
371            give to kernel_thread is irrelevant -- it's going to start
372            where HWRPB.CPU_restart says to start.  But this gets all
373            the other task-y sort of data structures set up like we
374            wish.  We can't use kernel_thread since we must avoid
375            rescheduling the child.  */
376         idle = fork_idle(cpuid);
377         if (IS_ERR(idle))
378                 panic("failed fork for CPU %d", cpuid);
379
380         DBGS(("smp_boot_one_cpu: CPU %d state 0x%lx flags 0x%lx\n",
381               cpuid, idle->state, idle->flags));
382
383         /* Signal the secondary to wait a moment.  */
384         smp_secondary_alive = -1;
385
386         /* Whirrr, whirrr, whirrrrrrrrr... */
387         if (secondary_cpu_start(cpuid, idle))
388                 return -1;
389
390         /* Notify the secondary CPU it can run calibrate_delay.  */
391         mb();
392         smp_secondary_alive = 0;
393
394         /* We've been acked by the console; wait one second for
395            the task to start up for real.  */
396         timeout = jiffies + 1*HZ;
397         while (time_before(jiffies, timeout)) {
398                 if (smp_secondary_alive == 1)
399                         goto alive;
400                 udelay(10);
401                 barrier();
402         }
403
404         /* We failed to boot the CPU.  */
405
406         printk(KERN_ERR "SMP: Processor %d is stuck.\n", cpuid);
407         return -1;
408
409  alive:
410         /* Another "Red Snapper". */
411         return 0;
412 }
413
414 /*
415  * Called from setup_arch.  Detect an SMP system and which processors
416  * are present.
417  */
418 void __init
419 setup_smp(void)
420 {
421         struct percpu_struct *cpubase, *cpu;
422         unsigned long i;
423
424         if (boot_cpuid != 0) {
425                 printk(KERN_WARNING "SMP: Booting off cpu %d instead of 0?\n",
426                        boot_cpuid);
427         }
428
429         if (hwrpb->nr_processors > 1) {
430                 int boot_cpu_palrev;
431
432                 DBGS(("setup_smp: nr_processors %ld\n",
433                       hwrpb->nr_processors));
434
435                 cpubase = (struct percpu_struct *)
436                         ((char*)hwrpb + hwrpb->processor_offset);
437                 boot_cpu_palrev = cpubase->pal_revision;
438
439                 for (i = 0; i < hwrpb->nr_processors; i++) {
440                         cpu = (struct percpu_struct *)
441                                 ((char *)cpubase + i*hwrpb->processor_size);
442                         if ((cpu->flags & 0x1cc) == 0x1cc) {
443                                 smp_num_probed++;
444                                 /* Assume here that "whami" == index */
445                                 hwrpb_cpu_present_mask |= (1UL << i);
446                                 cpu->pal_revision = boot_cpu_palrev;
447                         }
448
449                         DBGS(("setup_smp: CPU %d: flags 0x%lx type 0x%lx\n",
450                               i, cpu->flags, cpu->type));
451                         DBGS(("setup_smp: CPU %d: PAL rev 0x%lx\n",
452                               i, cpu->pal_revision));
453                 }
454         } else {
455                 smp_num_probed = 1;
456                 hwrpb_cpu_present_mask = (1UL << boot_cpuid);
457         }
458         cpu_present_mask = cpumask_of_cpu(boot_cpuid);
459
460         printk(KERN_INFO "SMP: %d CPUs probed -- cpu_present_mask = %lx\n",
461                smp_num_probed, hwrpb_cpu_present_mask);
462 }
463
464 /*
465  * Called by smp_init prepare the secondaries
466  */
467 void __init
468 smp_prepare_cpus(unsigned int max_cpus)
469 {
470         int cpu_count, i;
471
472         /* Take care of some initial bookkeeping.  */
473         memset(ipi_data, 0, sizeof(ipi_data));
474
475         current_thread_info()->cpu = boot_cpuid;
476
477         smp_store_cpu_info(boot_cpuid);
478         smp_setup_percpu_timer(boot_cpuid);
479
480         /* Nothing to do on a UP box, or when told not to.  */
481         if (smp_num_probed == 1 || max_cpus == 0) {
482                 cpu_present_mask = cpumask_of_cpu(boot_cpuid);
483                 printk(KERN_INFO "SMP mode deactivated.\n");
484                 return;
485         }
486
487         printk(KERN_INFO "SMP starting up secondaries.\n");
488
489         cpu_count = 1;
490         for (i = 0; (i < NR_CPUS) && (cpu_count < max_cpus); i++) {
491                 if (i == boot_cpuid)
492                         continue;
493
494                 if (((hwrpb_cpu_present_mask >> i) & 1) == 0)
495                         continue;
496
497                 cpu_set(i, cpu_possible_map);
498                 cpu_count++;
499         }
500
501         smp_num_cpus = cpu_count;
502 }
503
504 void __devinit
505 smp_prepare_boot_cpu(void)
506 {
507         /*
508          * Mark the boot cpu (current cpu) as both present and online
509          */ 
510         cpu_set(smp_processor_id(), cpu_present_mask);
511         cpu_set(smp_processor_id(), cpu_online_map);
512 }
513
514 int __devinit
515 __cpu_up(unsigned int cpu)
516 {
517         smp_boot_one_cpu(cpu);
518
519         return cpu_online(cpu) ? 0 : -ENOSYS;
520 }
521
522 void __init
523 smp_cpus_done(unsigned int max_cpus)
524 {
525         int cpu;
526         unsigned long bogosum = 0;
527
528         for(cpu = 0; cpu < NR_CPUS; cpu++) 
529                 if (cpu_online(cpu))
530                         bogosum += cpu_data[cpu].loops_per_jiffy;
531         
532         printk(KERN_INFO "SMP: Total of %d processors activated "
533                "(%lu.%02lu BogoMIPS).\n",
534                num_online_cpus(), 
535                (bogosum + 2500) / (500000/HZ),
536                ((bogosum + 2500) / (5000/HZ)) % 100);
537 }
538
539 \f
540 void
541 smp_percpu_timer_interrupt(struct pt_regs *regs)
542 {
543         int cpu = smp_processor_id();
544         unsigned long user = user_mode(regs);
545         struct cpuinfo_alpha *data = &cpu_data[cpu];
546
547         /* Record kernel PC.  */
548         profile_tick(CPU_PROFILING, regs);
549
550         if (!--data->prof_counter) {
551                 /* We need to make like a normal interrupt -- otherwise
552                    timer interrupts ignore the global interrupt lock,
553                    which would be a Bad Thing.  */
554                 irq_enter();
555
556                 update_process_times(user);
557
558                 data->prof_counter = data->prof_multiplier;
559
560                 irq_exit();
561         }
562 }
563
564 int __init
565 setup_profiling_timer(unsigned int multiplier)
566 {
567         return -EINVAL;
568 }
569
570 \f
571 static void
572 send_ipi_message(cpumask_t to_whom, enum ipi_message_type operation)
573 {
574         int i;
575
576         mb();
577         for_each_cpu_mask(i, to_whom)
578                 set_bit(operation, &ipi_data[i].bits);
579
580         mb();
581         for_each_cpu_mask(i, to_whom)
582                 wripir(i);
583 }
584
585 /* Structure and data for smp_call_function.  This is designed to 
586    minimize static memory requirements.  Plus it looks cleaner.  */
587
588 struct smp_call_struct {
589         void (*func) (void *info);
590         void *info;
591         long wait;
592         atomic_t unstarted_count;
593         atomic_t unfinished_count;
594 };
595
596 static struct smp_call_struct *smp_call_function_data;
597
598 /* Atomicly drop data into a shared pointer.  The pointer is free if
599    it is initially locked.  If retry, spin until free.  */
600
601 static int
602 pointer_lock (void *lock, void *data, int retry)
603 {
604         void *old, *tmp;
605
606         mb();
607  again:
608         /* Compare and swap with zero.  */
609         asm volatile (
610         "1:     ldq_l   %0,%1\n"
611         "       mov     %3,%2\n"
612         "       bne     %0,2f\n"
613         "       stq_c   %2,%1\n"
614         "       beq     %2,1b\n"
615         "2:"
616         : "=&r"(old), "=m"(*(void **)lock), "=&r"(tmp)
617         : "r"(data)
618         : "memory");
619
620         if (old == 0)
621                 return 0;
622         if (! retry)
623                 return -EBUSY;
624
625         while (*(void **)lock)
626                 barrier();
627         goto again;
628 }
629
630 void
631 handle_ipi(struct pt_regs *regs)
632 {
633         int this_cpu = smp_processor_id();
634         unsigned long *pending_ipis = &ipi_data[this_cpu].bits;
635         unsigned long ops;
636
637 #if 0
638         DBGS(("handle_ipi: on CPU %d ops 0x%lx PC 0x%lx\n",
639               this_cpu, *pending_ipis, regs->pc));
640 #endif
641
642         mb();   /* Order interrupt and bit testing. */
643         while ((ops = xchg(pending_ipis, 0)) != 0) {
644           mb(); /* Order bit clearing and data access. */
645           do {
646                 unsigned long which;
647
648                 which = ops & -ops;
649                 ops &= ~which;
650                 which = __ffs(which);
651
652                 switch (which) {
653                 case IPI_RESCHEDULE:
654                         /* Reschedule callback.  Everything to be done
655                            is done by the interrupt return path.  */
656                         break;
657
658                 case IPI_CALL_FUNC:
659                     {
660                         struct smp_call_struct *data;
661                         void (*func)(void *info);
662                         void *info;
663                         int wait;
664
665                         data = smp_call_function_data;
666                         func = data->func;
667                         info = data->info;
668                         wait = data->wait;
669
670                         /* Notify the sending CPU that the data has been
671                            received, and execution is about to begin.  */
672                         mb();
673                         atomic_dec (&data->unstarted_count);
674
675                         /* At this point the structure may be gone unless
676                            wait is true.  */
677                         (*func)(info);
678
679                         /* Notify the sending CPU that the task is done.  */
680                         mb();
681                         if (wait) atomic_dec (&data->unfinished_count);
682                         break;
683                     }
684
685                 case IPI_CPU_STOP:
686                         halt();
687
688                 default:
689                         printk(KERN_CRIT "Unknown IPI on CPU %d: %lu\n",
690                                this_cpu, which);
691                         break;
692                 }
693           } while (ops);
694
695           mb(); /* Order data access and bit testing. */
696         }
697
698         cpu_data[this_cpu].ipi_count++;
699
700         if (hwrpb->txrdy)
701                 recv_secondary_console_msg();
702 }
703
704 void
705 smp_send_reschedule(int cpu)
706 {
707 #ifdef DEBUG_IPI_MSG
708         if (cpu == hard_smp_processor_id())
709                 printk(KERN_WARNING
710                        "smp_send_reschedule: Sending IPI to self.\n");
711 #endif
712         send_ipi_message(cpumask_of_cpu(cpu), IPI_RESCHEDULE);
713 }
714
715 void
716 smp_send_stop(void)
717 {
718         cpumask_t to_whom = cpu_possible_map;
719         cpu_clear(smp_processor_id(), to_whom);
720 #ifdef DEBUG_IPI_MSG
721         if (hard_smp_processor_id() != boot_cpu_id)
722                 printk(KERN_WARNING "smp_send_stop: Not on boot cpu.\n");
723 #endif
724         send_ipi_message(to_whom, IPI_CPU_STOP);
725 }
726
727 /*
728  * Run a function on all other CPUs.
729  *  <func>      The function to run. This must be fast and non-blocking.
730  *  <info>      An arbitrary pointer to pass to the function.
731  *  <retry>     If true, keep retrying until ready.
732  *  <wait>      If true, wait until function has completed on other CPUs.
733  *  [RETURNS]   0 on success, else a negative status code.
734  *
735  * Does not return until remote CPUs are nearly ready to execute <func>
736  * or are or have executed.
737  * You must not call this function with disabled interrupts or from a
738  * hardware interrupt handler or from a bottom half handler.
739  */
740
741 int
742 smp_call_function_on_cpu (void (*func) (void *info), void *info, int retry,
743                           int wait, cpumask_t to_whom)
744 {
745         struct smp_call_struct data;
746         unsigned long timeout;
747         int num_cpus_to_call;
748         
749         /* Can deadlock when called with interrupts disabled */
750         WARN_ON(irqs_disabled());
751
752         data.func = func;
753         data.info = info;
754         data.wait = wait;
755
756         cpu_clear(smp_processor_id(), to_whom);
757         num_cpus_to_call = cpus_weight(to_whom);
758
759         atomic_set(&data.unstarted_count, num_cpus_to_call);
760         atomic_set(&data.unfinished_count, num_cpus_to_call);
761
762         /* Acquire the smp_call_function_data mutex.  */
763         if (pointer_lock(&smp_call_function_data, &data, retry))
764                 return -EBUSY;
765
766         /* Send a message to the requested CPUs.  */
767         send_ipi_message(to_whom, IPI_CALL_FUNC);
768
769         /* Wait for a minimal response.  */
770         timeout = jiffies + HZ;
771         while (atomic_read (&data.unstarted_count) > 0
772                && time_before (jiffies, timeout))
773                 barrier();
774
775         /* If there's no response yet, log a message but allow a longer
776          * timeout period -- if we get a response this time, log
777          * a message saying when we got it.. 
778          */
779         if (atomic_read(&data.unstarted_count) > 0) {
780                 long start_time = jiffies;
781                 printk(KERN_ERR "%s: initial timeout -- trying long wait\n",
782                        __FUNCTION__);
783                 timeout = jiffies + 30 * HZ;
784                 while (atomic_read(&data.unstarted_count) > 0
785                        && time_before(jiffies, timeout))
786                         barrier();
787                 if (atomic_read(&data.unstarted_count) <= 0) {
788                         long delta = jiffies - start_time;
789                         printk(KERN_ERR 
790                                "%s: response %ld.%ld seconds into long wait\n",
791                                __FUNCTION__, delta / HZ,
792                                (100 * (delta - ((delta / HZ) * HZ))) / HZ);
793                 }
794         }
795
796         /* We either got one or timed out -- clear the lock. */
797         mb();
798         smp_call_function_data = NULL;
799
800         /* 
801          * If after both the initial and long timeout periods we still don't
802          * have a response, something is very wrong...
803          */
804         BUG_ON(atomic_read (&data.unstarted_count) > 0);
805
806         /* Wait for a complete response, if needed.  */
807         if (wait) {
808                 while (atomic_read (&data.unfinished_count) > 0)
809                         barrier();
810         }
811
812         return 0;
813 }
814
815 int
816 smp_call_function (void (*func) (void *info), void *info, int retry, int wait)
817 {
818         return smp_call_function_on_cpu (func, info, retry, wait,
819                                          cpu_online_map);
820 }
821
822 static void
823 ipi_imb(void *ignored)
824 {
825         imb();
826 }
827
828 void
829 smp_imb(void)
830 {
831         /* Must wait other processors to flush their icache before continue. */
832         if (on_each_cpu(ipi_imb, NULL, 1, 1))
833                 printk(KERN_CRIT "smp_imb: timed out\n");
834 }
835
836 static void
837 ipi_flush_tlb_all(void *ignored)
838 {
839         tbia();
840 }
841
842 void
843 flush_tlb_all(void)
844 {
845         /* Although we don't have any data to pass, we do want to
846            synchronize with the other processors.  */
847         if (on_each_cpu(ipi_flush_tlb_all, NULL, 1, 1)) {
848                 printk(KERN_CRIT "flush_tlb_all: timed out\n");
849         }
850 }
851
852 #define asn_locked() (cpu_data[smp_processor_id()].asn_lock)
853
854 static void
855 ipi_flush_tlb_mm(void *x)
856 {
857         struct mm_struct *mm = (struct mm_struct *) x;
858         if (mm == current->active_mm && !asn_locked())
859                 flush_tlb_current(mm);
860         else
861                 flush_tlb_other(mm);
862 }
863
864 void
865 flush_tlb_mm(struct mm_struct *mm)
866 {
867         preempt_disable();
868
869         if (mm == current->active_mm) {
870                 flush_tlb_current(mm);
871                 if (atomic_read(&mm->mm_users) <= 1) {
872                         int cpu, this_cpu = smp_processor_id();
873                         for (cpu = 0; cpu < NR_CPUS; cpu++) {
874                                 if (!cpu_online(cpu) || cpu == this_cpu)
875                                         continue;
876                                 if (mm->context[cpu])
877                                         mm->context[cpu] = 0;
878                         }
879                         preempt_enable();
880                         return;
881                 }
882         }
883
884         if (smp_call_function(ipi_flush_tlb_mm, mm, 1, 1)) {
885                 printk(KERN_CRIT "flush_tlb_mm: timed out\n");
886         }
887
888         preempt_enable();
889 }
890
891 struct flush_tlb_page_struct {
892         struct vm_area_struct *vma;
893         struct mm_struct *mm;
894         unsigned long addr;
895 };
896
897 static void
898 ipi_flush_tlb_page(void *x)
899 {
900         struct flush_tlb_page_struct *data = (struct flush_tlb_page_struct *)x;
901         struct mm_struct * mm = data->mm;
902
903         if (mm == current->active_mm && !asn_locked())
904                 flush_tlb_current_page(mm, data->vma, data->addr);
905         else
906                 flush_tlb_other(mm);
907 }
908
909 void
910 flush_tlb_page(struct vm_area_struct *vma, unsigned long addr)
911 {
912         struct flush_tlb_page_struct data;
913         struct mm_struct *mm = vma->vm_mm;
914
915         preempt_disable();
916
917         if (mm == current->active_mm) {
918                 flush_tlb_current_page(mm, vma, addr);
919                 if (atomic_read(&mm->mm_users) <= 1) {
920                         int cpu, this_cpu = smp_processor_id();
921                         for (cpu = 0; cpu < NR_CPUS; cpu++) {
922                                 if (!cpu_online(cpu) || cpu == this_cpu)
923                                         continue;
924                                 if (mm->context[cpu])
925                                         mm->context[cpu] = 0;
926                         }
927                         preempt_enable();
928                         return;
929                 }
930         }
931
932         data.vma = vma;
933         data.mm = mm;
934         data.addr = addr;
935
936         if (smp_call_function(ipi_flush_tlb_page, &data, 1, 1)) {
937                 printk(KERN_CRIT "flush_tlb_page: timed out\n");
938         }
939
940         preempt_enable();
941 }
942
943 void
944 flush_tlb_range(struct vm_area_struct *vma, unsigned long start, unsigned long end)
945 {
946         /* On the Alpha we always flush the whole user tlb.  */
947         flush_tlb_mm(vma->vm_mm);
948 }
949
950 static void
951 ipi_flush_icache_page(void *x)
952 {
953         struct mm_struct *mm = (struct mm_struct *) x;
954         if (mm == current->active_mm && !asn_locked())
955                 __load_new_mm_context(mm);
956         else
957                 flush_tlb_other(mm);
958 }
959
960 void
961 flush_icache_user_range(struct vm_area_struct *vma, struct page *page,
962                         unsigned long addr, int len)
963 {
964         struct mm_struct *mm = vma->vm_mm;
965
966         if ((vma->vm_flags & VM_EXEC) == 0)
967                 return;
968
969         preempt_disable();
970
971         if (mm == current->active_mm) {
972                 __load_new_mm_context(mm);
973                 if (atomic_read(&mm->mm_users) <= 1) {
974                         int cpu, this_cpu = smp_processor_id();
975                         for (cpu = 0; cpu < NR_CPUS; cpu++) {
976                                 if (!cpu_online(cpu) || cpu == this_cpu)
977                                         continue;
978                                 if (mm->context[cpu])
979                                         mm->context[cpu] = 0;
980                         }
981                         preempt_enable();
982                         return;
983                 }
984         }
985
986         if (smp_call_function(ipi_flush_icache_page, mm, 1, 1)) {
987                 printk(KERN_CRIT "flush_icache_page: timed out\n");
988         }
989
990         preempt_enable();
991 }
992 \f
993 #ifdef CONFIG_DEBUG_SPINLOCK
994 void
995 _raw_spin_unlock(spinlock_t * lock)
996 {
997         mb();
998         lock->lock = 0;
999
1000         lock->on_cpu = -1;
1001         lock->previous = NULL;
1002         lock->task = NULL;
1003         lock->base_file = "none";
1004         lock->line_no = 0;
1005 }
1006
1007 void
1008 debug_spin_lock(spinlock_t * lock, const char *base_file, int line_no)
1009 {
1010         long tmp;
1011         long stuck;
1012         void *inline_pc = __builtin_return_address(0);
1013         unsigned long started = jiffies;
1014         int printed = 0;
1015         int cpu = smp_processor_id();
1016
1017         stuck = 1L << 30;
1018  try_again:
1019
1020         /* Use sub-sections to put the actual loop at the end
1021            of this object file's text section so as to perfect
1022            branch prediction.  */
1023         __asm__ __volatile__(
1024         "1:     ldl_l   %0,%1\n"
1025         "       subq    %2,1,%2\n"
1026         "       blbs    %0,2f\n"
1027         "       or      %0,1,%0\n"
1028         "       stl_c   %0,%1\n"
1029         "       beq     %0,3f\n"
1030         "4:     mb\n"
1031         ".subsection 2\n"
1032         "2:     ldl     %0,%1\n"
1033         "       subq    %2,1,%2\n"
1034         "3:     blt     %2,4b\n"
1035         "       blbs    %0,2b\n"
1036         "       br      1b\n"
1037         ".previous"
1038         : "=r" (tmp), "=m" (lock->lock), "=r" (stuck)
1039         : "1" (lock->lock), "2" (stuck) : "memory");
1040
1041         if (stuck < 0) {
1042                 printk(KERN_WARNING
1043                        "%s:%d spinlock stuck in %s at %p(%d)"
1044                        " owner %s at %p(%d) %s:%d\n",
1045                        base_file, line_no,
1046                        current->comm, inline_pc, cpu,
1047                        lock->task->comm, lock->previous,
1048                        lock->on_cpu, lock->base_file, lock->line_no);
1049                 stuck = 1L << 36;
1050                 printed = 1;
1051                 goto try_again;
1052         }
1053
1054         /* Exiting.  Got the lock.  */
1055         lock->on_cpu = cpu;
1056         lock->previous = inline_pc;
1057         lock->task = current;
1058         lock->base_file = base_file;
1059         lock->line_no = line_no;
1060
1061         if (printed) {
1062                 printk(KERN_WARNING
1063                        "%s:%d spinlock grabbed in %s at %p(%d) %ld ticks\n",
1064                        base_file, line_no, current->comm, inline_pc,
1065                        cpu, jiffies - started);
1066         }
1067 }
1068
1069 int
1070 debug_spin_trylock(spinlock_t * lock, const char *base_file, int line_no)
1071 {
1072         int ret;
1073         if ((ret = !test_and_set_bit(0, lock))) {
1074                 lock->on_cpu = smp_processor_id();
1075                 lock->previous = __builtin_return_address(0);
1076                 lock->task = current;
1077         } else {
1078                 lock->base_file = base_file;
1079                 lock->line_no = line_no;
1080         }
1081         return ret;
1082 }
1083 #endif /* CONFIG_DEBUG_SPINLOCK */
1084 \f
1085 #ifdef CONFIG_DEBUG_RWLOCK
1086 void _raw_write_lock(rwlock_t * lock)
1087 {
1088         long regx, regy;
1089         int stuck_lock, stuck_reader;
1090         void *inline_pc = __builtin_return_address(0);
1091
1092  try_again:
1093
1094         stuck_lock = 1<<30;
1095         stuck_reader = 1<<30;
1096
1097         __asm__ __volatile__(
1098         "1:     ldl_l   %1,%0\n"
1099         "       blbs    %1,6f\n"
1100         "       blt     %1,8f\n"
1101         "       mov     1,%1\n"
1102         "       stl_c   %1,%0\n"
1103         "       beq     %1,6f\n"
1104         "4:     mb\n"
1105         ".subsection 2\n"
1106         "6:     blt     %3,4b   # debug\n"
1107         "       subl    %3,1,%3 # debug\n"
1108         "       ldl     %1,%0\n"
1109         "       blbs    %1,6b\n"
1110         "8:     blt     %4,4b   # debug\n"
1111         "       subl    %4,1,%4 # debug\n"
1112         "       ldl     %1,%0\n"
1113         "       blt     %1,8b\n"
1114         "       br      1b\n"
1115         ".previous"
1116         : "=m" (*(volatile int *)lock), "=&r" (regx), "=&r" (regy),
1117           "=&r" (stuck_lock), "=&r" (stuck_reader)
1118         : "0" (*(volatile int *)lock), "3" (stuck_lock), "4" (stuck_reader) : "memory");
1119
1120         if (stuck_lock < 0) {
1121                 printk(KERN_WARNING "write_lock stuck at %p\n", inline_pc);
1122                 goto try_again;
1123         }
1124         if (stuck_reader < 0) {
1125                 printk(KERN_WARNING "write_lock stuck on readers at %p\n",
1126                        inline_pc);
1127                 goto try_again;
1128         }
1129 }
1130
1131 void _raw_read_lock(rwlock_t * lock)
1132 {
1133         long regx;
1134         int stuck_lock;
1135         void *inline_pc = __builtin_return_address(0);
1136
1137  try_again:
1138
1139         stuck_lock = 1<<30;
1140
1141         __asm__ __volatile__(
1142         "1:     ldl_l   %1,%0;"
1143         "       blbs    %1,6f;"
1144         "       subl    %1,2,%1;"
1145         "       stl_c   %1,%0;"
1146         "       beq     %1,6f;"
1147         "4:     mb\n"
1148         ".subsection 2\n"
1149         "6:     ldl     %1,%0;"
1150         "       blt     %2,4b   # debug\n"
1151         "       subl    %2,1,%2 # debug\n"
1152         "       blbs    %1,6b;"
1153         "       br      1b\n"
1154         ".previous"
1155         : "=m" (*(volatile int *)lock), "=&r" (regx), "=&r" (stuck_lock)
1156         : "0" (*(volatile int *)lock), "2" (stuck_lock) : "memory");
1157
1158         if (stuck_lock < 0) {
1159                 printk(KERN_WARNING "read_lock stuck at %p\n", inline_pc);
1160                 goto try_again;
1161         }
1162 }
1163 #endif /* CONFIG_DEBUG_RWLOCK */