Merge branch 'upstream-linus' of master.kernel.org:/pub/scm/linux/kernel/git/jgarzik...
[linux-2.6] / kernel / notifier.c
1 #include <linux/kdebug.h>
2 #include <linux/kprobes.h>
3 #include <linux/module.h>
4 #include <linux/notifier.h>
5 #include <linux/rcupdate.h>
6 #include <linux/vmalloc.h>
7
8 /*
9  *      Notifier list for kernel code which wants to be called
10  *      at shutdown. This is used to stop any idling DMA operations
11  *      and the like.
12  */
13 BLOCKING_NOTIFIER_HEAD(reboot_notifier_list);
14
15 /*
16  *      Notifier chain core routines.  The exported routines below
17  *      are layered on top of these, with appropriate locking added.
18  */
19
20 static int notifier_chain_register(struct notifier_block **nl,
21                 struct notifier_block *n)
22 {
23         while ((*nl) != NULL) {
24                 if (n->priority > (*nl)->priority)
25                         break;
26                 nl = &((*nl)->next);
27         }
28         n->next = *nl;
29         rcu_assign_pointer(*nl, n);
30         return 0;
31 }
32
33 static int notifier_chain_unregister(struct notifier_block **nl,
34                 struct notifier_block *n)
35 {
36         while ((*nl) != NULL) {
37                 if ((*nl) == n) {
38                         rcu_assign_pointer(*nl, n->next);
39                         return 0;
40                 }
41                 nl = &((*nl)->next);
42         }
43         return -ENOENT;
44 }
45
46 /**
47  * notifier_call_chain - Informs the registered notifiers about an event.
48  *      @nl:            Pointer to head of the blocking notifier chain
49  *      @val:           Value passed unmodified to notifier function
50  *      @v:             Pointer passed unmodified to notifier function
51  *      @nr_to_call:    Number of notifier functions to be called. Don't care
52  *                      value of this parameter is -1.
53  *      @nr_calls:      Records the number of notifications sent. Don't care
54  *                      value of this field is NULL.
55  *      @returns:       notifier_call_chain returns the value returned by the
56  *                      last notifier function called.
57  */
58 static int __kprobes notifier_call_chain(struct notifier_block **nl,
59                                         unsigned long val, void *v,
60                                         int nr_to_call, int *nr_calls)
61 {
62         int ret = NOTIFY_DONE;
63         struct notifier_block *nb, *next_nb;
64
65         nb = rcu_dereference(*nl);
66
67         while (nb && nr_to_call) {
68                 next_nb = rcu_dereference(nb->next);
69                 ret = nb->notifier_call(nb, val, v);
70
71                 if (nr_calls)
72                         (*nr_calls)++;
73
74                 if ((ret & NOTIFY_STOP_MASK) == NOTIFY_STOP_MASK)
75                         break;
76                 nb = next_nb;
77                 nr_to_call--;
78         }
79         return ret;
80 }
81
82 /*
83  *      Atomic notifier chain routines.  Registration and unregistration
84  *      use a spinlock, and call_chain is synchronized by RCU (no locks).
85  */
86
87 /**
88  *      atomic_notifier_chain_register - Add notifier to an atomic notifier chain
89  *      @nh: Pointer to head of the atomic notifier chain
90  *      @n: New entry in notifier chain
91  *
92  *      Adds a notifier to an atomic notifier chain.
93  *
94  *      Currently always returns zero.
95  */
96 int atomic_notifier_chain_register(struct atomic_notifier_head *nh,
97                 struct notifier_block *n)
98 {
99         unsigned long flags;
100         int ret;
101
102         spin_lock_irqsave(&nh->lock, flags);
103         ret = notifier_chain_register(&nh->head, n);
104         spin_unlock_irqrestore(&nh->lock, flags);
105         return ret;
106 }
107 EXPORT_SYMBOL_GPL(atomic_notifier_chain_register);
108
109 /**
110  *      atomic_notifier_chain_unregister - Remove notifier from an atomic notifier chain
111  *      @nh: Pointer to head of the atomic notifier chain
112  *      @n: Entry to remove from notifier chain
113  *
114  *      Removes a notifier from an atomic notifier chain.
115  *
116  *      Returns zero on success or %-ENOENT on failure.
117  */
118 int atomic_notifier_chain_unregister(struct atomic_notifier_head *nh,
119                 struct notifier_block *n)
120 {
121         unsigned long flags;
122         int ret;
123
124         spin_lock_irqsave(&nh->lock, flags);
125         ret = notifier_chain_unregister(&nh->head, n);
126         spin_unlock_irqrestore(&nh->lock, flags);
127         synchronize_rcu();
128         return ret;
129 }
130 EXPORT_SYMBOL_GPL(atomic_notifier_chain_unregister);
131
132 /**
133  *      __atomic_notifier_call_chain - Call functions in an atomic notifier chain
134  *      @nh: Pointer to head of the atomic notifier chain
135  *      @val: Value passed unmodified to notifier function
136  *      @v: Pointer passed unmodified to notifier function
137  *      @nr_to_call: See the comment for notifier_call_chain.
138  *      @nr_calls: See the comment for notifier_call_chain.
139  *
140  *      Calls each function in a notifier chain in turn.  The functions
141  *      run in an atomic context, so they must not block.
142  *      This routine uses RCU to synchronize with changes to the chain.
143  *
144  *      If the return value of the notifier can be and'ed
145  *      with %NOTIFY_STOP_MASK then atomic_notifier_call_chain()
146  *      will return immediately, with the return value of
147  *      the notifier function which halted execution.
148  *      Otherwise the return value is the return value
149  *      of the last notifier function called.
150  */
151 int __kprobes __atomic_notifier_call_chain(struct atomic_notifier_head *nh,
152                                         unsigned long val, void *v,
153                                         int nr_to_call, int *nr_calls)
154 {
155         int ret;
156
157         rcu_read_lock();
158         ret = notifier_call_chain(&nh->head, val, v, nr_to_call, nr_calls);
159         rcu_read_unlock();
160         return ret;
161 }
162 EXPORT_SYMBOL_GPL(__atomic_notifier_call_chain);
163
164 int __kprobes atomic_notifier_call_chain(struct atomic_notifier_head *nh,
165                 unsigned long val, void *v)
166 {
167         return __atomic_notifier_call_chain(nh, val, v, -1, NULL);
168 }
169 EXPORT_SYMBOL_GPL(atomic_notifier_call_chain);
170
171 /*
172  *      Blocking notifier chain routines.  All access to the chain is
173  *      synchronized by an rwsem.
174  */
175
176 /**
177  *      blocking_notifier_chain_register - Add notifier to a blocking notifier chain
178  *      @nh: Pointer to head of the blocking notifier chain
179  *      @n: New entry in notifier chain
180  *
181  *      Adds a notifier to a blocking notifier chain.
182  *      Must be called in process context.
183  *
184  *      Currently always returns zero.
185  */
186 int blocking_notifier_chain_register(struct blocking_notifier_head *nh,
187                 struct notifier_block *n)
188 {
189         int ret;
190
191         /*
192          * This code gets used during boot-up, when task switching is
193          * not yet working and interrupts must remain disabled.  At
194          * such times we must not call down_write().
195          */
196         if (unlikely(system_state == SYSTEM_BOOTING))
197                 return notifier_chain_register(&nh->head, n);
198
199         down_write(&nh->rwsem);
200         ret = notifier_chain_register(&nh->head, n);
201         up_write(&nh->rwsem);
202         return ret;
203 }
204 EXPORT_SYMBOL_GPL(blocking_notifier_chain_register);
205
206 /**
207  *      blocking_notifier_chain_unregister - Remove notifier from a blocking notifier chain
208  *      @nh: Pointer to head of the blocking notifier chain
209  *      @n: Entry to remove from notifier chain
210  *
211  *      Removes a notifier from a blocking notifier chain.
212  *      Must be called from process context.
213  *
214  *      Returns zero on success or %-ENOENT on failure.
215  */
216 int blocking_notifier_chain_unregister(struct blocking_notifier_head *nh,
217                 struct notifier_block *n)
218 {
219         int ret;
220
221         /*
222          * This code gets used during boot-up, when task switching is
223          * not yet working and interrupts must remain disabled.  At
224          * such times we must not call down_write().
225          */
226         if (unlikely(system_state == SYSTEM_BOOTING))
227                 return notifier_chain_unregister(&nh->head, n);
228
229         down_write(&nh->rwsem);
230         ret = notifier_chain_unregister(&nh->head, n);
231         up_write(&nh->rwsem);
232         return ret;
233 }
234 EXPORT_SYMBOL_GPL(blocking_notifier_chain_unregister);
235
236 /**
237  *      __blocking_notifier_call_chain - Call functions in a blocking notifier chain
238  *      @nh: Pointer to head of the blocking notifier chain
239  *      @val: Value passed unmodified to notifier function
240  *      @v: Pointer passed unmodified to notifier function
241  *      @nr_to_call: See comment for notifier_call_chain.
242  *      @nr_calls: See comment for notifier_call_chain.
243  *
244  *      Calls each function in a notifier chain in turn.  The functions
245  *      run in a process context, so they are allowed to block.
246  *
247  *      If the return value of the notifier can be and'ed
248  *      with %NOTIFY_STOP_MASK then blocking_notifier_call_chain()
249  *      will return immediately, with the return value of
250  *      the notifier function which halted execution.
251  *      Otherwise the return value is the return value
252  *      of the last notifier function called.
253  */
254 int __blocking_notifier_call_chain(struct blocking_notifier_head *nh,
255                                    unsigned long val, void *v,
256                                    int nr_to_call, int *nr_calls)
257 {
258         int ret = NOTIFY_DONE;
259
260         /*
261          * We check the head outside the lock, but if this access is
262          * racy then it does not matter what the result of the test
263          * is, we re-check the list after having taken the lock anyway:
264          */
265         if (rcu_dereference(nh->head)) {
266                 down_read(&nh->rwsem);
267                 ret = notifier_call_chain(&nh->head, val, v, nr_to_call,
268                                         nr_calls);
269                 up_read(&nh->rwsem);
270         }
271         return ret;
272 }
273 EXPORT_SYMBOL_GPL(__blocking_notifier_call_chain);
274
275 int blocking_notifier_call_chain(struct blocking_notifier_head *nh,
276                 unsigned long val, void *v)
277 {
278         return __blocking_notifier_call_chain(nh, val, v, -1, NULL);
279 }
280 EXPORT_SYMBOL_GPL(blocking_notifier_call_chain);
281
282 /*
283  *      Raw notifier chain routines.  There is no protection;
284  *      the caller must provide it.  Use at your own risk!
285  */
286
287 /**
288  *      raw_notifier_chain_register - Add notifier to a raw notifier chain
289  *      @nh: Pointer to head of the raw notifier chain
290  *      @n: New entry in notifier chain
291  *
292  *      Adds a notifier to a raw notifier chain.
293  *      All locking must be provided by the caller.
294  *
295  *      Currently always returns zero.
296  */
297 int raw_notifier_chain_register(struct raw_notifier_head *nh,
298                 struct notifier_block *n)
299 {
300         return notifier_chain_register(&nh->head, n);
301 }
302 EXPORT_SYMBOL_GPL(raw_notifier_chain_register);
303
304 /**
305  *      raw_notifier_chain_unregister - Remove notifier from a raw notifier chain
306  *      @nh: Pointer to head of the raw notifier chain
307  *      @n: Entry to remove from notifier chain
308  *
309  *      Removes a notifier from a raw notifier chain.
310  *      All locking must be provided by the caller.
311  *
312  *      Returns zero on success or %-ENOENT on failure.
313  */
314 int raw_notifier_chain_unregister(struct raw_notifier_head *nh,
315                 struct notifier_block *n)
316 {
317         return notifier_chain_unregister(&nh->head, n);
318 }
319 EXPORT_SYMBOL_GPL(raw_notifier_chain_unregister);
320
321 /**
322  *      __raw_notifier_call_chain - Call functions in a raw notifier chain
323  *      @nh: Pointer to head of the raw notifier chain
324  *      @val: Value passed unmodified to notifier function
325  *      @v: Pointer passed unmodified to notifier function
326  *      @nr_to_call: See comment for notifier_call_chain.
327  *      @nr_calls: See comment for notifier_call_chain
328  *
329  *      Calls each function in a notifier chain in turn.  The functions
330  *      run in an undefined context.
331  *      All locking must be provided by the caller.
332  *
333  *      If the return value of the notifier can be and'ed
334  *      with %NOTIFY_STOP_MASK then raw_notifier_call_chain()
335  *      will return immediately, with the return value of
336  *      the notifier function which halted execution.
337  *      Otherwise the return value is the return value
338  *      of the last notifier function called.
339  */
340 int __raw_notifier_call_chain(struct raw_notifier_head *nh,
341                               unsigned long val, void *v,
342                               int nr_to_call, int *nr_calls)
343 {
344         return notifier_call_chain(&nh->head, val, v, nr_to_call, nr_calls);
345 }
346 EXPORT_SYMBOL_GPL(__raw_notifier_call_chain);
347
348 int raw_notifier_call_chain(struct raw_notifier_head *nh,
349                 unsigned long val, void *v)
350 {
351         return __raw_notifier_call_chain(nh, val, v, -1, NULL);
352 }
353 EXPORT_SYMBOL_GPL(raw_notifier_call_chain);
354
355 /*
356  *      SRCU notifier chain routines.    Registration and unregistration
357  *      use a mutex, and call_chain is synchronized by SRCU (no locks).
358  */
359
360 /**
361  *      srcu_notifier_chain_register - Add notifier to an SRCU notifier chain
362  *      @nh: Pointer to head of the SRCU notifier chain
363  *      @n: New entry in notifier chain
364  *
365  *      Adds a notifier to an SRCU notifier chain.
366  *      Must be called in process context.
367  *
368  *      Currently always returns zero.
369  */
370 int srcu_notifier_chain_register(struct srcu_notifier_head *nh,
371                 struct notifier_block *n)
372 {
373         int ret;
374
375         /*
376          * This code gets used during boot-up, when task switching is
377          * not yet working and interrupts must remain disabled.  At
378          * such times we must not call mutex_lock().
379          */
380         if (unlikely(system_state == SYSTEM_BOOTING))
381                 return notifier_chain_register(&nh->head, n);
382
383         mutex_lock(&nh->mutex);
384         ret = notifier_chain_register(&nh->head, n);
385         mutex_unlock(&nh->mutex);
386         return ret;
387 }
388 EXPORT_SYMBOL_GPL(srcu_notifier_chain_register);
389
390 /**
391  *      srcu_notifier_chain_unregister - Remove notifier from an SRCU notifier chain
392  *      @nh: Pointer to head of the SRCU notifier chain
393  *      @n: Entry to remove from notifier chain
394  *
395  *      Removes a notifier from an SRCU notifier chain.
396  *      Must be called from process context.
397  *
398  *      Returns zero on success or %-ENOENT on failure.
399  */
400 int srcu_notifier_chain_unregister(struct srcu_notifier_head *nh,
401                 struct notifier_block *n)
402 {
403         int ret;
404
405         /*
406          * This code gets used during boot-up, when task switching is
407          * not yet working and interrupts must remain disabled.  At
408          * such times we must not call mutex_lock().
409          */
410         if (unlikely(system_state == SYSTEM_BOOTING))
411                 return notifier_chain_unregister(&nh->head, n);
412
413         mutex_lock(&nh->mutex);
414         ret = notifier_chain_unregister(&nh->head, n);
415         mutex_unlock(&nh->mutex);
416         synchronize_srcu(&nh->srcu);
417         return ret;
418 }
419 EXPORT_SYMBOL_GPL(srcu_notifier_chain_unregister);
420
421 /**
422  *      __srcu_notifier_call_chain - Call functions in an SRCU notifier chain
423  *      @nh: Pointer to head of the SRCU notifier chain
424  *      @val: Value passed unmodified to notifier function
425  *      @v: Pointer passed unmodified to notifier function
426  *      @nr_to_call: See comment for notifier_call_chain.
427  *      @nr_calls: See comment for notifier_call_chain
428  *
429  *      Calls each function in a notifier chain in turn.  The functions
430  *      run in a process context, so they are allowed to block.
431  *
432  *      If the return value of the notifier can be and'ed
433  *      with %NOTIFY_STOP_MASK then srcu_notifier_call_chain()
434  *      will return immediately, with the return value of
435  *      the notifier function which halted execution.
436  *      Otherwise the return value is the return value
437  *      of the last notifier function called.
438  */
439 int __srcu_notifier_call_chain(struct srcu_notifier_head *nh,
440                                unsigned long val, void *v,
441                                int nr_to_call, int *nr_calls)
442 {
443         int ret;
444         int idx;
445
446         idx = srcu_read_lock(&nh->srcu);
447         ret = notifier_call_chain(&nh->head, val, v, nr_to_call, nr_calls);
448         srcu_read_unlock(&nh->srcu, idx);
449         return ret;
450 }
451 EXPORT_SYMBOL_GPL(__srcu_notifier_call_chain);
452
453 int srcu_notifier_call_chain(struct srcu_notifier_head *nh,
454                 unsigned long val, void *v)
455 {
456         return __srcu_notifier_call_chain(nh, val, v, -1, NULL);
457 }
458 EXPORT_SYMBOL_GPL(srcu_notifier_call_chain);
459
460 /**
461  *      srcu_init_notifier_head - Initialize an SRCU notifier head
462  *      @nh: Pointer to head of the srcu notifier chain
463  *
464  *      Unlike other sorts of notifier heads, SRCU notifier heads require
465  *      dynamic initialization.  Be sure to call this routine before
466  *      calling any of the other SRCU notifier routines for this head.
467  *
468  *      If an SRCU notifier head is deallocated, it must first be cleaned
469  *      up by calling srcu_cleanup_notifier_head().  Otherwise the head's
470  *      per-cpu data (used by the SRCU mechanism) will leak.
471  */
472 void srcu_init_notifier_head(struct srcu_notifier_head *nh)
473 {
474         mutex_init(&nh->mutex);
475         if (init_srcu_struct(&nh->srcu) < 0)
476                 BUG();
477         nh->head = NULL;
478 }
479 EXPORT_SYMBOL_GPL(srcu_init_notifier_head);
480
481 /**
482  *      register_reboot_notifier - Register function to be called at reboot time
483  *      @nb: Info about notifier function to be called
484  *
485  *      Registers a function with the list of functions
486  *      to be called at reboot time.
487  *
488  *      Currently always returns zero, as blocking_notifier_chain_register()
489  *      always returns zero.
490  */
491 int register_reboot_notifier(struct notifier_block *nb)
492 {
493         return blocking_notifier_chain_register(&reboot_notifier_list, nb);
494 }
495 EXPORT_SYMBOL(register_reboot_notifier);
496
497 /**
498  *      unregister_reboot_notifier - Unregister previously registered reboot notifier
499  *      @nb: Hook to be unregistered
500  *
501  *      Unregisters a previously registered reboot
502  *      notifier function.
503  *
504  *      Returns zero on success, or %-ENOENT on failure.
505  */
506 int unregister_reboot_notifier(struct notifier_block *nb)
507 {
508         return blocking_notifier_chain_unregister(&reboot_notifier_list, nb);
509 }
510 EXPORT_SYMBOL(unregister_reboot_notifier);
511
512 static ATOMIC_NOTIFIER_HEAD(die_chain);
513
514 int notify_die(enum die_val val, const char *str,
515                struct pt_regs *regs, long err, int trap, int sig)
516 {
517         struct die_args args = {
518                 .regs   = regs,
519                 .str    = str,
520                 .err    = err,
521                 .trapnr = trap,
522                 .signr  = sig,
523
524         };
525         return atomic_notifier_call_chain(&die_chain, val, &args);
526 }
527
528 int register_die_notifier(struct notifier_block *nb)
529 {
530         vmalloc_sync_all();
531         return atomic_notifier_chain_register(&die_chain, nb);
532 }
533 EXPORT_SYMBOL_GPL(register_die_notifier);
534
535 int unregister_die_notifier(struct notifier_block *nb)
536 {
537         return atomic_notifier_chain_unregister(&die_chain, nb);
538 }
539 EXPORT_SYMBOL_GPL(unregister_die_notifier);