forcedeth: fix rx error policy
[linux-2.6] / drivers / s390 / cio / cmf.c
1 /*
2  * linux/drivers/s390/cio/cmf.c
3  *
4  * Linux on zSeries Channel Measurement Facility support
5  *
6  * Copyright 2000,2006 IBM Corporation
7  *
8  * Authors: Arnd Bergmann <arndb@de.ibm.com>
9  *          Cornelia Huck <cornelia.huck@de.ibm.com>
10  *
11  * original idea from Natarajan Krishnaswami <nkrishna@us.ibm.com>
12  *
13  * This program is free software; you can redistribute it and/or modify
14  * it under the terms of the GNU General Public License as published by
15  * the Free Software Foundation; either version 2, or (at your option)
16  * any later version.
17  *
18  * This program is distributed in the hope that it will be useful,
19  * but WITHOUT ANY WARRANTY; without even the implied warranty of
20  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
21  * GNU General Public License for more details.
22  *
23  * You should have received a copy of the GNU General Public License
24  * along with this program; if not, write to the Free Software
25  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
26  */
27
28 #include <linux/bootmem.h>
29 #include <linux/device.h>
30 #include <linux/init.h>
31 #include <linux/list.h>
32 #include <linux/module.h>
33 #include <linux/moduleparam.h>
34 #include <linux/slab.h>
35 #include <linux/timex.h>        /* get_clock() */
36
37 #include <asm/ccwdev.h>
38 #include <asm/cio.h>
39 #include <asm/cmb.h>
40 #include <asm/div64.h>
41
42 #include "cio.h"
43 #include "css.h"
44 #include "device.h"
45 #include "ioasm.h"
46 #include "chsc.h"
47
48 /*
49  * parameter to enable cmf during boot, possible uses are:
50  *  "s390cmf" -- enable cmf and allocate 2 MB of ram so measuring can be
51  *               used on any subchannel
52  *  "s390cmf=<num>" -- enable cmf and allocate enough memory to measure
53  *                     <num> subchannel, where <num> is an integer
54  *                     between 1 and 65535, default is 1024
55  */
56 #define ARGSTRING "s390cmf"
57
58 /* indices for READCMB */
59 enum cmb_index {
60  /* basic and exended format: */
61         cmb_ssch_rsch_count,
62         cmb_sample_count,
63         cmb_device_connect_time,
64         cmb_function_pending_time,
65         cmb_device_disconnect_time,
66         cmb_control_unit_queuing_time,
67         cmb_device_active_only_time,
68  /* extended format only: */
69         cmb_device_busy_time,
70         cmb_initial_command_response_time,
71 };
72
73 /**
74  * enum cmb_format - types of supported measurement block formats
75  *
76  * @CMF_BASIC:      traditional channel measurement blocks supported
77  *                  by all machines that we run on
78  * @CMF_EXTENDED:   improved format that was introduced with the z990
79  *                  machine
80  * @CMF_AUTODETECT: default: use extended format when running on a machine
81  *                  supporting extended format, otherwise fall back to
82  *                  basic format
83  */
84 enum cmb_format {
85         CMF_BASIC,
86         CMF_EXTENDED,
87         CMF_AUTODETECT = -1,
88 };
89
90 /*
91  * format - actual format for all measurement blocks
92  *
93  * The format module parameter can be set to a value of 0 (zero)
94  * or 1, indicating basic or extended format as described for
95  * enum cmb_format.
96  */
97 static int format = CMF_AUTODETECT;
98 module_param(format, bool, 0444);
99
100 /**
101  * struct cmb_operations - functions to use depending on cmb_format
102  *
103  * Most of these functions operate on a struct ccw_device. There is only
104  * one instance of struct cmb_operations because the format of the measurement
105  * data is guaranteed to be the same for every ccw_device.
106  *
107  * @alloc:      allocate memory for a channel measurement block,
108  *              either with the help of a special pool or with kmalloc
109  * @free:       free memory allocated with @alloc
110  * @set:        enable or disable measurement
111  * @read:       read a measurement entry at an index
112  * @readall:    read a measurement block in a common format
113  * @reset:      clear the data in the associated measurement block and
114  *              reset its time stamp
115  * @align:      align an allocated block so that the hardware can use it
116  */
117 struct cmb_operations {
118         int  (*alloc)  (struct ccw_device *);
119         void (*free)   (struct ccw_device *);
120         int  (*set)    (struct ccw_device *, u32);
121         u64  (*read)   (struct ccw_device *, int);
122         int  (*readall)(struct ccw_device *, struct cmbdata *);
123         void (*reset)  (struct ccw_device *);
124         void *(*align) (void *);
125 /* private: */
126         struct attribute_group *attr_group;
127 };
128 static struct cmb_operations *cmbops;
129
130 struct cmb_data {
131         void *hw_block;   /* Pointer to block updated by hardware */
132         void *last_block; /* Last changed block copied from hardware block */
133         int size;         /* Size of hw_block and last_block */
134         unsigned long long last_update;  /* when last_block was updated */
135 };
136
137 /*
138  * Our user interface is designed in terms of nanoseconds,
139  * while the hardware measures total times in its own
140  * unit.
141  */
142 static inline u64 time_to_nsec(u32 value)
143 {
144         return ((u64)value) * 128000ull;
145 }
146
147 /*
148  * Users are usually interested in average times,
149  * not accumulated time.
150  * This also helps us with atomicity problems
151  * when reading sinlge values.
152  */
153 static inline u64 time_to_avg_nsec(u32 value, u32 count)
154 {
155         u64 ret;
156
157         /* no samples yet, avoid division by 0 */
158         if (count == 0)
159                 return 0;
160
161         /* value comes in units of 128 µsec */
162         ret = time_to_nsec(value);
163         do_div(ret, count);
164
165         return ret;
166 }
167
168 /*
169  * Activate or deactivate the channel monitor. When area is NULL,
170  * the monitor is deactivated. The channel monitor needs to
171  * be active in order to measure subchannels, which also need
172  * to be enabled.
173  */
174 static inline void cmf_activate(void *area, unsigned int onoff)
175 {
176         register void * __gpr2 asm("2");
177         register long __gpr1 asm("1");
178
179         __gpr2 = area;
180         __gpr1 = onoff ? 2 : 0;
181         /* activate channel measurement */
182         asm("schm" : : "d" (__gpr2), "d" (__gpr1) );
183 }
184
185 static int set_schib(struct ccw_device *cdev, u32 mme, int mbfc,
186                      unsigned long address)
187 {
188         int ret;
189         int retry;
190         struct subchannel *sch;
191         struct schib *schib;
192
193         sch = to_subchannel(cdev->dev.parent);
194         schib = &sch->schib;
195         /* msch can silently fail, so do it again if necessary */
196         for (retry = 0; retry < 3; retry++) {
197                 /* prepare schib */
198                 stsch(sch->schid, schib);
199                 schib->pmcw.mme  = mme;
200                 schib->pmcw.mbfc = mbfc;
201                 /* address can be either a block address or a block index */
202                 if (mbfc)
203                         schib->mba = address;
204                 else
205                         schib->pmcw.mbi = address;
206
207                 /* try to submit it */
208                 switch(ret = msch_err(sch->schid, schib)) {
209                         case 0:
210                                 break;
211                         case 1:
212                         case 2: /* in I/O or status pending */
213                                 ret = -EBUSY;
214                                 break;
215                         case 3: /* subchannel is no longer valid */
216                                 ret = -ENODEV;
217                                 break;
218                         default: /* msch caught an exception */
219                                 ret = -EINVAL;
220                                 break;
221                 }
222                 stsch(sch->schid, schib); /* restore the schib */
223
224                 if (ret)
225                         break;
226
227                 /* check if it worked */
228                 if (schib->pmcw.mme  == mme &&
229                     schib->pmcw.mbfc == mbfc &&
230                     (mbfc ? (schib->mba == address)
231                           : (schib->pmcw.mbi == address)))
232                         return 0;
233
234                 ret = -EINVAL;
235         }
236
237         return ret;
238 }
239
240 struct set_schib_struct {
241         u32 mme;
242         int mbfc;
243         unsigned long address;
244         wait_queue_head_t wait;
245         int ret;
246         struct kref kref;
247 };
248
249 static void cmf_set_schib_release(struct kref *kref)
250 {
251         struct set_schib_struct *set_data;
252
253         set_data = container_of(kref, struct set_schib_struct, kref);
254         kfree(set_data);
255 }
256
257 #define CMF_PENDING 1
258
259 static int set_schib_wait(struct ccw_device *cdev, u32 mme,
260                                 int mbfc, unsigned long address)
261 {
262         struct set_schib_struct *set_data;
263         int ret;
264
265         spin_lock_irq(cdev->ccwlock);
266         if (!cdev->private->cmb) {
267                 ret = -ENODEV;
268                 goto out;
269         }
270         set_data = kzalloc(sizeof(struct set_schib_struct), GFP_ATOMIC);
271         if (!set_data) {
272                 ret = -ENOMEM;
273                 goto out;
274         }
275         init_waitqueue_head(&set_data->wait);
276         kref_init(&set_data->kref);
277         set_data->mme = mme;
278         set_data->mbfc = mbfc;
279         set_data->address = address;
280
281         ret = set_schib(cdev, mme, mbfc, address);
282         if (ret != -EBUSY)
283                 goto out_put;
284
285         if (cdev->private->state != DEV_STATE_ONLINE) {
286                 /* if the device is not online, don't even try again */
287                 ret = -EBUSY;
288                 goto out_put;
289         }
290
291         cdev->private->state = DEV_STATE_CMFCHANGE;
292         set_data->ret = CMF_PENDING;
293         cdev->private->cmb_wait = set_data;
294
295         spin_unlock_irq(cdev->ccwlock);
296         if (wait_event_interruptible(set_data->wait,
297                                      set_data->ret != CMF_PENDING)) {
298                 spin_lock_irq(cdev->ccwlock);
299                 if (set_data->ret == CMF_PENDING) {
300                         set_data->ret = -ERESTARTSYS;
301                         if (cdev->private->state == DEV_STATE_CMFCHANGE)
302                                 cdev->private->state = DEV_STATE_ONLINE;
303                 }
304                 spin_unlock_irq(cdev->ccwlock);
305         }
306         spin_lock_irq(cdev->ccwlock);
307         cdev->private->cmb_wait = NULL;
308         ret = set_data->ret;
309 out_put:
310         kref_put(&set_data->kref, cmf_set_schib_release);
311 out:
312         spin_unlock_irq(cdev->ccwlock);
313         return ret;
314 }
315
316 void retry_set_schib(struct ccw_device *cdev)
317 {
318         struct set_schib_struct *set_data;
319
320         set_data = cdev->private->cmb_wait;
321         if (!set_data) {
322                 WARN_ON(1);
323                 return;
324         }
325         kref_get(&set_data->kref);
326         set_data->ret = set_schib(cdev, set_data->mme, set_data->mbfc,
327                                   set_data->address);
328         wake_up(&set_data->wait);
329         kref_put(&set_data->kref, cmf_set_schib_release);
330 }
331
332 static int cmf_copy_block(struct ccw_device *cdev)
333 {
334         struct subchannel *sch;
335         void *reference_buf;
336         void *hw_block;
337         struct cmb_data *cmb_data;
338
339         sch = to_subchannel(cdev->dev.parent);
340
341         if (stsch(sch->schid, &sch->schib))
342                 return -ENODEV;
343
344         if (scsw_fctl(&sch->schib.scsw) & SCSW_FCTL_START_FUNC) {
345                 /* Don't copy if a start function is in progress. */
346                 if ((!(scsw_actl(&sch->schib.scsw) & SCSW_ACTL_SUSPENDED)) &&
347                     (scsw_actl(&sch->schib.scsw) &
348                      (SCSW_ACTL_DEVACT | SCSW_ACTL_SCHACT)) &&
349                     (!(scsw_stctl(&sch->schib.scsw) & SCSW_STCTL_SEC_STATUS)))
350                         return -EBUSY;
351         }
352         cmb_data = cdev->private->cmb;
353         hw_block = cmbops->align(cmb_data->hw_block);
354         if (!memcmp(cmb_data->last_block, hw_block, cmb_data->size))
355                 /* No need to copy. */
356                 return 0;
357         reference_buf = kzalloc(cmb_data->size, GFP_ATOMIC);
358         if (!reference_buf)
359                 return -ENOMEM;
360         /* Ensure consistency of block copied from hardware. */
361         do {
362                 memcpy(cmb_data->last_block, hw_block, cmb_data->size);
363                 memcpy(reference_buf, hw_block, cmb_data->size);
364         } while (memcmp(cmb_data->last_block, reference_buf, cmb_data->size));
365         cmb_data->last_update = get_clock();
366         kfree(reference_buf);
367         return 0;
368 }
369
370 struct copy_block_struct {
371         wait_queue_head_t wait;
372         int ret;
373         struct kref kref;
374 };
375
376 static void cmf_copy_block_release(struct kref *kref)
377 {
378         struct copy_block_struct *copy_block;
379
380         copy_block = container_of(kref, struct copy_block_struct, kref);
381         kfree(copy_block);
382 }
383
384 static int cmf_cmb_copy_wait(struct ccw_device *cdev)
385 {
386         struct copy_block_struct *copy_block;
387         int ret;
388         unsigned long flags;
389
390         spin_lock_irqsave(cdev->ccwlock, flags);
391         if (!cdev->private->cmb) {
392                 ret = -ENODEV;
393                 goto out;
394         }
395         copy_block = kzalloc(sizeof(struct copy_block_struct), GFP_ATOMIC);
396         if (!copy_block) {
397                 ret = -ENOMEM;
398                 goto out;
399         }
400         init_waitqueue_head(&copy_block->wait);
401         kref_init(&copy_block->kref);
402
403         ret = cmf_copy_block(cdev);
404         if (ret != -EBUSY)
405                 goto out_put;
406
407         if (cdev->private->state != DEV_STATE_ONLINE) {
408                 ret = -EBUSY;
409                 goto out_put;
410         }
411
412         cdev->private->state = DEV_STATE_CMFUPDATE;
413         copy_block->ret = CMF_PENDING;
414         cdev->private->cmb_wait = copy_block;
415
416         spin_unlock_irqrestore(cdev->ccwlock, flags);
417         if (wait_event_interruptible(copy_block->wait,
418                                      copy_block->ret != CMF_PENDING)) {
419                 spin_lock_irqsave(cdev->ccwlock, flags);
420                 if (copy_block->ret == CMF_PENDING) {
421                         copy_block->ret = -ERESTARTSYS;
422                         if (cdev->private->state == DEV_STATE_CMFUPDATE)
423                                 cdev->private->state = DEV_STATE_ONLINE;
424                 }
425                 spin_unlock_irqrestore(cdev->ccwlock, flags);
426         }
427         spin_lock_irqsave(cdev->ccwlock, flags);
428         cdev->private->cmb_wait = NULL;
429         ret = copy_block->ret;
430 out_put:
431         kref_put(&copy_block->kref, cmf_copy_block_release);
432 out:
433         spin_unlock_irqrestore(cdev->ccwlock, flags);
434         return ret;
435 }
436
437 void cmf_retry_copy_block(struct ccw_device *cdev)
438 {
439         struct copy_block_struct *copy_block;
440
441         copy_block = cdev->private->cmb_wait;
442         if (!copy_block) {
443                 WARN_ON(1);
444                 return;
445         }
446         kref_get(&copy_block->kref);
447         copy_block->ret = cmf_copy_block(cdev);
448         wake_up(&copy_block->wait);
449         kref_put(&copy_block->kref, cmf_copy_block_release);
450 }
451
452 static void cmf_generic_reset(struct ccw_device *cdev)
453 {
454         struct cmb_data *cmb_data;
455
456         spin_lock_irq(cdev->ccwlock);
457         cmb_data = cdev->private->cmb;
458         if (cmb_data) {
459                 memset(cmb_data->last_block, 0, cmb_data->size);
460                 /*
461                  * Need to reset hw block as well to make the hardware start
462                  * from 0 again.
463                  */
464                 memset(cmbops->align(cmb_data->hw_block), 0, cmb_data->size);
465                 cmb_data->last_update = 0;
466         }
467         cdev->private->cmb_start_time = get_clock();
468         spin_unlock_irq(cdev->ccwlock);
469 }
470
471 /**
472  * struct cmb_area - container for global cmb data
473  *
474  * @mem:        pointer to CMBs (only in basic measurement mode)
475  * @list:       contains a linked list of all subchannels
476  * @num_channels: number of channels to be measured
477  * @lock:       protect concurrent access to @mem and @list
478  */
479 struct cmb_area {
480         struct cmb *mem;
481         struct list_head list;
482         int num_channels;
483         spinlock_t lock;
484 };
485
486 static struct cmb_area cmb_area = {
487         .lock = __SPIN_LOCK_UNLOCKED(cmb_area.lock),
488         .list = LIST_HEAD_INIT(cmb_area.list),
489         .num_channels  = 1024,
490 };
491
492 /* ****** old style CMB handling ********/
493
494 /*
495  * Basic channel measurement blocks are allocated in one contiguous
496  * block of memory, which can not be moved as long as any channel
497  * is active. Therefore, a maximum number of subchannels needs to
498  * be defined somewhere. This is a module parameter, defaulting to
499  * a resonable value of 1024, or 32 kb of memory.
500  * Current kernels don't allow kmalloc with more than 128kb, so the
501  * maximum is 4096.
502  */
503
504 module_param_named(maxchannels, cmb_area.num_channels, uint, 0444);
505
506 /**
507  * struct cmb - basic channel measurement block
508  * @ssch_rsch_count: number of ssch and rsch
509  * @sample_count: number of samples
510  * @device_connect_time: time of device connect
511  * @function_pending_time: time of function pending
512  * @device_disconnect_time: time of device disconnect
513  * @control_unit_queuing_time: time of control unit queuing
514  * @device_active_only_time: time of device active only
515  * @reserved: unused in basic measurement mode
516  *
517  * The measurement block as used by the hardware. The fields are described
518  * further in z/Architecture Principles of Operation, chapter 17.
519  *
520  * The cmb area made up from these blocks must be a contiguous array and may
521  * not be reallocated or freed.
522  * Only one cmb area can be present in the system.
523  */
524 struct cmb {
525         u16 ssch_rsch_count;
526         u16 sample_count;
527         u32 device_connect_time;
528         u32 function_pending_time;
529         u32 device_disconnect_time;
530         u32 control_unit_queuing_time;
531         u32 device_active_only_time;
532         u32 reserved[2];
533 };
534
535 /*
536  * Insert a single device into the cmb_area list.
537  * Called with cmb_area.lock held from alloc_cmb.
538  */
539 static int alloc_cmb_single(struct ccw_device *cdev,
540                             struct cmb_data *cmb_data)
541 {
542         struct cmb *cmb;
543         struct ccw_device_private *node;
544         int ret;
545
546         spin_lock_irq(cdev->ccwlock);
547         if (!list_empty(&cdev->private->cmb_list)) {
548                 ret = -EBUSY;
549                 goto out;
550         }
551
552         /*
553          * Find first unused cmb in cmb_area.mem.
554          * This is a little tricky: cmb_area.list
555          * remains sorted by ->cmb->hw_data pointers.
556          */
557         cmb = cmb_area.mem;
558         list_for_each_entry(node, &cmb_area.list, cmb_list) {
559                 struct cmb_data *data;
560                 data = node->cmb;
561                 if ((struct cmb*)data->hw_block > cmb)
562                         break;
563                 cmb++;
564         }
565         if (cmb - cmb_area.mem >= cmb_area.num_channels) {
566                 ret = -ENOMEM;
567                 goto out;
568         }
569
570         /* insert new cmb */
571         list_add_tail(&cdev->private->cmb_list, &node->cmb_list);
572         cmb_data->hw_block = cmb;
573         cdev->private->cmb = cmb_data;
574         ret = 0;
575 out:
576         spin_unlock_irq(cdev->ccwlock);
577         return ret;
578 }
579
580 static int alloc_cmb(struct ccw_device *cdev)
581 {
582         int ret;
583         struct cmb *mem;
584         ssize_t size;
585         struct cmb_data *cmb_data;
586
587         /* Allocate private cmb_data. */
588         cmb_data = kzalloc(sizeof(struct cmb_data), GFP_KERNEL);
589         if (!cmb_data)
590                 return -ENOMEM;
591
592         cmb_data->last_block = kzalloc(sizeof(struct cmb), GFP_KERNEL);
593         if (!cmb_data->last_block) {
594                 kfree(cmb_data);
595                 return -ENOMEM;
596         }
597         cmb_data->size = sizeof(struct cmb);
598         spin_lock(&cmb_area.lock);
599
600         if (!cmb_area.mem) {
601                 /* there is no user yet, so we need a new area */
602                 size = sizeof(struct cmb) * cmb_area.num_channels;
603                 WARN_ON(!list_empty(&cmb_area.list));
604
605                 spin_unlock(&cmb_area.lock);
606                 mem = (void*)__get_free_pages(GFP_KERNEL | GFP_DMA,
607                                  get_order(size));
608                 spin_lock(&cmb_area.lock);
609
610                 if (cmb_area.mem) {
611                         /* ok, another thread was faster */
612                         free_pages((unsigned long)mem, get_order(size));
613                 } else if (!mem) {
614                         /* no luck */
615                         ret = -ENOMEM;
616                         goto out;
617                 } else {
618                         /* everything ok */
619                         memset(mem, 0, size);
620                         cmb_area.mem = mem;
621                         cmf_activate(cmb_area.mem, 1);
622                 }
623         }
624
625         /* do the actual allocation */
626         ret = alloc_cmb_single(cdev, cmb_data);
627 out:
628         spin_unlock(&cmb_area.lock);
629         if (ret) {
630                 kfree(cmb_data->last_block);
631                 kfree(cmb_data);
632         }
633         return ret;
634 }
635
636 static void free_cmb(struct ccw_device *cdev)
637 {
638         struct ccw_device_private *priv;
639         struct cmb_data *cmb_data;
640
641         spin_lock(&cmb_area.lock);
642         spin_lock_irq(cdev->ccwlock);
643
644         priv = cdev->private;
645
646         if (list_empty(&priv->cmb_list)) {
647                 /* already freed */
648                 goto out;
649         }
650
651         cmb_data = priv->cmb;
652         priv->cmb = NULL;
653         if (cmb_data)
654                 kfree(cmb_data->last_block);
655         kfree(cmb_data);
656         list_del_init(&priv->cmb_list);
657
658         if (list_empty(&cmb_area.list)) {
659                 ssize_t size;
660                 size = sizeof(struct cmb) * cmb_area.num_channels;
661                 cmf_activate(NULL, 0);
662                 free_pages((unsigned long)cmb_area.mem, get_order(size));
663                 cmb_area.mem = NULL;
664         }
665 out:
666         spin_unlock_irq(cdev->ccwlock);
667         spin_unlock(&cmb_area.lock);
668 }
669
670 static int set_cmb(struct ccw_device *cdev, u32 mme)
671 {
672         u16 offset;
673         struct cmb_data *cmb_data;
674         unsigned long flags;
675
676         spin_lock_irqsave(cdev->ccwlock, flags);
677         if (!cdev->private->cmb) {
678                 spin_unlock_irqrestore(cdev->ccwlock, flags);
679                 return -EINVAL;
680         }
681         cmb_data = cdev->private->cmb;
682         offset = mme ? (struct cmb *)cmb_data->hw_block - cmb_area.mem : 0;
683         spin_unlock_irqrestore(cdev->ccwlock, flags);
684
685         return set_schib_wait(cdev, mme, 0, offset);
686 }
687
688 static u64 read_cmb(struct ccw_device *cdev, int index)
689 {
690         struct cmb *cmb;
691         u32 val;
692         int ret;
693         unsigned long flags;
694
695         ret = cmf_cmb_copy_wait(cdev);
696         if (ret < 0)
697                 return 0;
698
699         spin_lock_irqsave(cdev->ccwlock, flags);
700         if (!cdev->private->cmb) {
701                 ret = 0;
702                 goto out;
703         }
704         cmb = ((struct cmb_data *)cdev->private->cmb)->last_block;
705
706         switch (index) {
707         case cmb_ssch_rsch_count:
708                 ret = cmb->ssch_rsch_count;
709                 goto out;
710         case cmb_sample_count:
711                 ret = cmb->sample_count;
712                 goto out;
713         case cmb_device_connect_time:
714                 val = cmb->device_connect_time;
715                 break;
716         case cmb_function_pending_time:
717                 val = cmb->function_pending_time;
718                 break;
719         case cmb_device_disconnect_time:
720                 val = cmb->device_disconnect_time;
721                 break;
722         case cmb_control_unit_queuing_time:
723                 val = cmb->control_unit_queuing_time;
724                 break;
725         case cmb_device_active_only_time:
726                 val = cmb->device_active_only_time;
727                 break;
728         default:
729                 ret = 0;
730                 goto out;
731         }
732         ret = time_to_avg_nsec(val, cmb->sample_count);
733 out:
734         spin_unlock_irqrestore(cdev->ccwlock, flags);
735         return ret;
736 }
737
738 static int readall_cmb(struct ccw_device *cdev, struct cmbdata *data)
739 {
740         struct cmb *cmb;
741         struct cmb_data *cmb_data;
742         u64 time;
743         unsigned long flags;
744         int ret;
745
746         ret = cmf_cmb_copy_wait(cdev);
747         if (ret < 0)
748                 return ret;
749         spin_lock_irqsave(cdev->ccwlock, flags);
750         cmb_data = cdev->private->cmb;
751         if (!cmb_data) {
752                 ret = -ENODEV;
753                 goto out;
754         }
755         if (cmb_data->last_update == 0) {
756                 ret = -EAGAIN;
757                 goto out;
758         }
759         cmb = cmb_data->last_block;
760         time = cmb_data->last_update - cdev->private->cmb_start_time;
761
762         memset(data, 0, sizeof(struct cmbdata));
763
764         /* we only know values before device_busy_time */
765         data->size = offsetof(struct cmbdata, device_busy_time);
766
767         /* convert to nanoseconds */
768         data->elapsed_time = (time * 1000) >> 12;
769
770         /* copy data to new structure */
771         data->ssch_rsch_count = cmb->ssch_rsch_count;
772         data->sample_count = cmb->sample_count;
773
774         /* time fields are converted to nanoseconds while copying */
775         data->device_connect_time = time_to_nsec(cmb->device_connect_time);
776         data->function_pending_time = time_to_nsec(cmb->function_pending_time);
777         data->device_disconnect_time =
778                 time_to_nsec(cmb->device_disconnect_time);
779         data->control_unit_queuing_time
780                 = time_to_nsec(cmb->control_unit_queuing_time);
781         data->device_active_only_time
782                 = time_to_nsec(cmb->device_active_only_time);
783         ret = 0;
784 out:
785         spin_unlock_irqrestore(cdev->ccwlock, flags);
786         return ret;
787 }
788
789 static void reset_cmb(struct ccw_device *cdev)
790 {
791         cmf_generic_reset(cdev);
792 }
793
794 static void * align_cmb(void *area)
795 {
796         return area;
797 }
798
799 static struct attribute_group cmf_attr_group;
800
801 static struct cmb_operations cmbops_basic = {
802         .alloc  = alloc_cmb,
803         .free   = free_cmb,
804         .set    = set_cmb,
805         .read   = read_cmb,
806         .readall    = readall_cmb,
807         .reset      = reset_cmb,
808         .align      = align_cmb,
809         .attr_group = &cmf_attr_group,
810 };
811
812 /* ******** extended cmb handling ********/
813
814 /**
815  * struct cmbe - extended channel measurement block
816  * @ssch_rsch_count: number of ssch and rsch
817  * @sample_count: number of samples
818  * @device_connect_time: time of device connect
819  * @function_pending_time: time of function pending
820  * @device_disconnect_time: time of device disconnect
821  * @control_unit_queuing_time: time of control unit queuing
822  * @device_active_only_time: time of device active only
823  * @device_busy_time: time of device busy
824  * @initial_command_response_time: initial command response time
825  * @reserved: unused
826  *
827  * The measurement block as used by the hardware. May be in any 64 bit physical
828  * location.
829  * The fields are described further in z/Architecture Principles of Operation,
830  * third edition, chapter 17.
831  */
832 struct cmbe {
833         u32 ssch_rsch_count;
834         u32 sample_count;
835         u32 device_connect_time;
836         u32 function_pending_time;
837         u32 device_disconnect_time;
838         u32 control_unit_queuing_time;
839         u32 device_active_only_time;
840         u32 device_busy_time;
841         u32 initial_command_response_time;
842         u32 reserved[7];
843 };
844
845 /*
846  * kmalloc only guarantees 8 byte alignment, but we need cmbe
847  * pointers to be naturally aligned. Make sure to allocate
848  * enough space for two cmbes.
849  */
850 static inline struct cmbe *cmbe_align(struct cmbe *c)
851 {
852         unsigned long addr;
853         addr = ((unsigned long)c + sizeof (struct cmbe) - sizeof(long)) &
854                                  ~(sizeof (struct cmbe) - sizeof(long));
855         return (struct cmbe*)addr;
856 }
857
858 static int alloc_cmbe(struct ccw_device *cdev)
859 {
860         struct cmbe *cmbe;
861         struct cmb_data *cmb_data;
862         int ret;
863
864         cmbe = kzalloc (sizeof (*cmbe) * 2, GFP_KERNEL);
865         if (!cmbe)
866                 return -ENOMEM;
867         cmb_data = kzalloc(sizeof(struct cmb_data), GFP_KERNEL);
868         if (!cmb_data) {
869                 ret = -ENOMEM;
870                 goto out_free;
871         }
872         cmb_data->last_block = kzalloc(sizeof(struct cmbe), GFP_KERNEL);
873         if (!cmb_data->last_block) {
874                 ret = -ENOMEM;
875                 goto out_free;
876         }
877         cmb_data->size = sizeof(struct cmbe);
878         spin_lock_irq(cdev->ccwlock);
879         if (cdev->private->cmb) {
880                 spin_unlock_irq(cdev->ccwlock);
881                 ret = -EBUSY;
882                 goto out_free;
883         }
884         cmb_data->hw_block = cmbe;
885         cdev->private->cmb = cmb_data;
886         spin_unlock_irq(cdev->ccwlock);
887
888         /* activate global measurement if this is the first channel */
889         spin_lock(&cmb_area.lock);
890         if (list_empty(&cmb_area.list))
891                 cmf_activate(NULL, 1);
892         list_add_tail(&cdev->private->cmb_list, &cmb_area.list);
893         spin_unlock(&cmb_area.lock);
894
895         return 0;
896 out_free:
897         if (cmb_data)
898                 kfree(cmb_data->last_block);
899         kfree(cmb_data);
900         kfree(cmbe);
901         return ret;
902 }
903
904 static void free_cmbe(struct ccw_device *cdev)
905 {
906         struct cmb_data *cmb_data;
907
908         spin_lock_irq(cdev->ccwlock);
909         cmb_data = cdev->private->cmb;
910         cdev->private->cmb = NULL;
911         if (cmb_data)
912                 kfree(cmb_data->last_block);
913         kfree(cmb_data);
914         spin_unlock_irq(cdev->ccwlock);
915
916         /* deactivate global measurement if this is the last channel */
917         spin_lock(&cmb_area.lock);
918         list_del_init(&cdev->private->cmb_list);
919         if (list_empty(&cmb_area.list))
920                 cmf_activate(NULL, 0);
921         spin_unlock(&cmb_area.lock);
922 }
923
924 static int set_cmbe(struct ccw_device *cdev, u32 mme)
925 {
926         unsigned long mba;
927         struct cmb_data *cmb_data;
928         unsigned long flags;
929
930         spin_lock_irqsave(cdev->ccwlock, flags);
931         if (!cdev->private->cmb) {
932                 spin_unlock_irqrestore(cdev->ccwlock, flags);
933                 return -EINVAL;
934         }
935         cmb_data = cdev->private->cmb;
936         mba = mme ? (unsigned long) cmbe_align(cmb_data->hw_block) : 0;
937         spin_unlock_irqrestore(cdev->ccwlock, flags);
938
939         return set_schib_wait(cdev, mme, 1, mba);
940 }
941
942
943 static u64 read_cmbe(struct ccw_device *cdev, int index)
944 {
945         struct cmbe *cmb;
946         struct cmb_data *cmb_data;
947         u32 val;
948         int ret;
949         unsigned long flags;
950
951         ret = cmf_cmb_copy_wait(cdev);
952         if (ret < 0)
953                 return 0;
954
955         spin_lock_irqsave(cdev->ccwlock, flags);
956         cmb_data = cdev->private->cmb;
957         if (!cmb_data) {
958                 ret = 0;
959                 goto out;
960         }
961         cmb = cmb_data->last_block;
962
963         switch (index) {
964         case cmb_ssch_rsch_count:
965                 ret = cmb->ssch_rsch_count;
966                 goto out;
967         case cmb_sample_count:
968                 ret = cmb->sample_count;
969                 goto out;
970         case cmb_device_connect_time:
971                 val = cmb->device_connect_time;
972                 break;
973         case cmb_function_pending_time:
974                 val = cmb->function_pending_time;
975                 break;
976         case cmb_device_disconnect_time:
977                 val = cmb->device_disconnect_time;
978                 break;
979         case cmb_control_unit_queuing_time:
980                 val = cmb->control_unit_queuing_time;
981                 break;
982         case cmb_device_active_only_time:
983                 val = cmb->device_active_only_time;
984                 break;
985         case cmb_device_busy_time:
986                 val = cmb->device_busy_time;
987                 break;
988         case cmb_initial_command_response_time:
989                 val = cmb->initial_command_response_time;
990                 break;
991         default:
992                 ret = 0;
993                 goto out;
994         }
995         ret = time_to_avg_nsec(val, cmb->sample_count);
996 out:
997         spin_unlock_irqrestore(cdev->ccwlock, flags);
998         return ret;
999 }
1000
1001 static int readall_cmbe(struct ccw_device *cdev, struct cmbdata *data)
1002 {
1003         struct cmbe *cmb;
1004         struct cmb_data *cmb_data;
1005         u64 time;
1006         unsigned long flags;
1007         int ret;
1008
1009         ret = cmf_cmb_copy_wait(cdev);
1010         if (ret < 0)
1011                 return ret;
1012         spin_lock_irqsave(cdev->ccwlock, flags);
1013         cmb_data = cdev->private->cmb;
1014         if (!cmb_data) {
1015                 ret = -ENODEV;
1016                 goto out;
1017         }
1018         if (cmb_data->last_update == 0) {
1019                 ret = -EAGAIN;
1020                 goto out;
1021         }
1022         time = cmb_data->last_update - cdev->private->cmb_start_time;
1023
1024         memset (data, 0, sizeof(struct cmbdata));
1025
1026         /* we only know values before device_busy_time */
1027         data->size = offsetof(struct cmbdata, device_busy_time);
1028
1029         /* conver to nanoseconds */
1030         data->elapsed_time = (time * 1000) >> 12;
1031
1032         cmb = cmb_data->last_block;
1033         /* copy data to new structure */
1034         data->ssch_rsch_count = cmb->ssch_rsch_count;
1035         data->sample_count = cmb->sample_count;
1036
1037         /* time fields are converted to nanoseconds while copying */
1038         data->device_connect_time = time_to_nsec(cmb->device_connect_time);
1039         data->function_pending_time = time_to_nsec(cmb->function_pending_time);
1040         data->device_disconnect_time =
1041                 time_to_nsec(cmb->device_disconnect_time);
1042         data->control_unit_queuing_time
1043                 = time_to_nsec(cmb->control_unit_queuing_time);
1044         data->device_active_only_time
1045                 = time_to_nsec(cmb->device_active_only_time);
1046         data->device_busy_time = time_to_nsec(cmb->device_busy_time);
1047         data->initial_command_response_time
1048                 = time_to_nsec(cmb->initial_command_response_time);
1049
1050         ret = 0;
1051 out:
1052         spin_unlock_irqrestore(cdev->ccwlock, flags);
1053         return ret;
1054 }
1055
1056 static void reset_cmbe(struct ccw_device *cdev)
1057 {
1058         cmf_generic_reset(cdev);
1059 }
1060
1061 static void * align_cmbe(void *area)
1062 {
1063         return cmbe_align(area);
1064 }
1065
1066 static struct attribute_group cmf_attr_group_ext;
1067
1068 static struct cmb_operations cmbops_extended = {
1069         .alloc      = alloc_cmbe,
1070         .free       = free_cmbe,
1071         .set        = set_cmbe,
1072         .read       = read_cmbe,
1073         .readall    = readall_cmbe,
1074         .reset      = reset_cmbe,
1075         .align      = align_cmbe,
1076         .attr_group = &cmf_attr_group_ext,
1077 };
1078
1079 static ssize_t cmb_show_attr(struct device *dev, char *buf, enum cmb_index idx)
1080 {
1081         return sprintf(buf, "%lld\n",
1082                 (unsigned long long) cmf_read(to_ccwdev(dev), idx));
1083 }
1084
1085 static ssize_t cmb_show_avg_sample_interval(struct device *dev,
1086                                             struct device_attribute *attr,
1087                                             char *buf)
1088 {
1089         struct ccw_device *cdev;
1090         long interval;
1091         unsigned long count;
1092         struct cmb_data *cmb_data;
1093
1094         cdev = to_ccwdev(dev);
1095         count = cmf_read(cdev, cmb_sample_count);
1096         spin_lock_irq(cdev->ccwlock);
1097         cmb_data = cdev->private->cmb;
1098         if (count) {
1099                 interval = cmb_data->last_update -
1100                         cdev->private->cmb_start_time;
1101                 interval = (interval * 1000) >> 12;
1102                 interval /= count;
1103         } else
1104                 interval = -1;
1105         spin_unlock_irq(cdev->ccwlock);
1106         return sprintf(buf, "%ld\n", interval);
1107 }
1108
1109 static ssize_t cmb_show_avg_utilization(struct device *dev,
1110                                         struct device_attribute *attr,
1111                                         char *buf)
1112 {
1113         struct cmbdata data;
1114         u64 utilization;
1115         unsigned long t, u;
1116         int ret;
1117
1118         ret = cmf_readall(to_ccwdev(dev), &data);
1119         if (ret == -EAGAIN || ret == -ENODEV)
1120                 /* No data (yet/currently) available to use for calculation. */
1121                 return sprintf(buf, "n/a\n");
1122         else if (ret)
1123                 return ret;
1124
1125         utilization = data.device_connect_time +
1126                       data.function_pending_time +
1127                       data.device_disconnect_time;
1128
1129         /* shift to avoid long long division */
1130         while (-1ul < (data.elapsed_time | utilization)) {
1131                 utilization >>= 8;
1132                 data.elapsed_time >>= 8;
1133         }
1134
1135         /* calculate value in 0.1 percent units */
1136         t = (unsigned long) data.elapsed_time / 1000;
1137         u = (unsigned long) utilization / t;
1138
1139         return sprintf(buf, "%02ld.%01ld%%\n", u/ 10, u - (u/ 10) * 10);
1140 }
1141
1142 #define cmf_attr(name) \
1143 static ssize_t show_##name(struct device *dev, \
1144                            struct device_attribute *attr, char *buf)    \
1145 { return cmb_show_attr((dev), buf, cmb_##name); } \
1146 static DEVICE_ATTR(name, 0444, show_##name, NULL);
1147
1148 #define cmf_attr_avg(name) \
1149 static ssize_t show_avg_##name(struct device *dev, \
1150                                struct device_attribute *attr, char *buf) \
1151 { return cmb_show_attr((dev), buf, cmb_##name); } \
1152 static DEVICE_ATTR(avg_##name, 0444, show_avg_##name, NULL);
1153
1154 cmf_attr(ssch_rsch_count);
1155 cmf_attr(sample_count);
1156 cmf_attr_avg(device_connect_time);
1157 cmf_attr_avg(function_pending_time);
1158 cmf_attr_avg(device_disconnect_time);
1159 cmf_attr_avg(control_unit_queuing_time);
1160 cmf_attr_avg(device_active_only_time);
1161 cmf_attr_avg(device_busy_time);
1162 cmf_attr_avg(initial_command_response_time);
1163
1164 static DEVICE_ATTR(avg_sample_interval, 0444, cmb_show_avg_sample_interval,
1165                    NULL);
1166 static DEVICE_ATTR(avg_utilization, 0444, cmb_show_avg_utilization, NULL);
1167
1168 static struct attribute *cmf_attributes[] = {
1169         &dev_attr_avg_sample_interval.attr,
1170         &dev_attr_avg_utilization.attr,
1171         &dev_attr_ssch_rsch_count.attr,
1172         &dev_attr_sample_count.attr,
1173         &dev_attr_avg_device_connect_time.attr,
1174         &dev_attr_avg_function_pending_time.attr,
1175         &dev_attr_avg_device_disconnect_time.attr,
1176         &dev_attr_avg_control_unit_queuing_time.attr,
1177         &dev_attr_avg_device_active_only_time.attr,
1178         NULL,
1179 };
1180
1181 static struct attribute_group cmf_attr_group = {
1182         .name  = "cmf",
1183         .attrs = cmf_attributes,
1184 };
1185
1186 static struct attribute *cmf_attributes_ext[] = {
1187         &dev_attr_avg_sample_interval.attr,
1188         &dev_attr_avg_utilization.attr,
1189         &dev_attr_ssch_rsch_count.attr,
1190         &dev_attr_sample_count.attr,
1191         &dev_attr_avg_device_connect_time.attr,
1192         &dev_attr_avg_function_pending_time.attr,
1193         &dev_attr_avg_device_disconnect_time.attr,
1194         &dev_attr_avg_control_unit_queuing_time.attr,
1195         &dev_attr_avg_device_active_only_time.attr,
1196         &dev_attr_avg_device_busy_time.attr,
1197         &dev_attr_avg_initial_command_response_time.attr,
1198         NULL,
1199 };
1200
1201 static struct attribute_group cmf_attr_group_ext = {
1202         .name  = "cmf",
1203         .attrs = cmf_attributes_ext,
1204 };
1205
1206 static ssize_t cmb_enable_show(struct device *dev,
1207                                struct device_attribute *attr,
1208                                char *buf)
1209 {
1210         return sprintf(buf, "%d\n", to_ccwdev(dev)->private->cmb ? 1 : 0);
1211 }
1212
1213 static ssize_t cmb_enable_store(struct device *dev,
1214                                 struct device_attribute *attr, const char *buf,
1215                                 size_t c)
1216 {
1217         struct ccw_device *cdev;
1218         int ret;
1219         unsigned long val;
1220
1221         ret = strict_strtoul(buf, 16, &val);
1222         if (ret)
1223                 return ret;
1224
1225         cdev = to_ccwdev(dev);
1226
1227         switch (val) {
1228         case 0:
1229                 ret = disable_cmf(cdev);
1230                 break;
1231         case 1:
1232                 ret = enable_cmf(cdev);
1233                 break;
1234         }
1235
1236         return c;
1237 }
1238
1239 DEVICE_ATTR(cmb_enable, 0644, cmb_enable_show, cmb_enable_store);
1240
1241 /**
1242  * enable_cmf() - switch on the channel measurement for a specific device
1243  *  @cdev:      The ccw device to be enabled
1244  *
1245  *  Returns %0 for success or a negative error value.
1246  *
1247  *  Context:
1248  *    non-atomic
1249  */
1250 int enable_cmf(struct ccw_device *cdev)
1251 {
1252         int ret;
1253
1254         ret = cmbops->alloc(cdev);
1255         cmbops->reset(cdev);
1256         if (ret)
1257                 return ret;
1258         ret = cmbops->set(cdev, 2);
1259         if (ret) {
1260                 cmbops->free(cdev);
1261                 return ret;
1262         }
1263         ret = sysfs_create_group(&cdev->dev.kobj, cmbops->attr_group);
1264         if (!ret)
1265                 return 0;
1266         cmbops->set(cdev, 0);  //FIXME: this can fail
1267         cmbops->free(cdev);
1268         return ret;
1269 }
1270
1271 /**
1272  * disable_cmf() - switch off the channel measurement for a specific device
1273  *  @cdev:      The ccw device to be disabled
1274  *
1275  *  Returns %0 for success or a negative error value.
1276  *
1277  *  Context:
1278  *    non-atomic
1279  */
1280 int disable_cmf(struct ccw_device *cdev)
1281 {
1282         int ret;
1283
1284         ret = cmbops->set(cdev, 0);
1285         if (ret)
1286                 return ret;
1287         cmbops->free(cdev);
1288         sysfs_remove_group(&cdev->dev.kobj, cmbops->attr_group);
1289         return ret;
1290 }
1291
1292 /**
1293  * cmf_read() - read one value from the current channel measurement block
1294  * @cdev:       the channel to be read
1295  * @index:      the index of the value to be read
1296  *
1297  * Returns the value read or %0 if the value cannot be read.
1298  *
1299  *  Context:
1300  *    any
1301  */
1302 u64 cmf_read(struct ccw_device *cdev, int index)
1303 {
1304         return cmbops->read(cdev, index);
1305 }
1306
1307 /**
1308  * cmf_readall() - read the current channel measurement block
1309  * @cdev:       the channel to be read
1310  * @data:       a pointer to a data block that will be filled
1311  *
1312  * Returns %0 on success, a negative error value otherwise.
1313  *
1314  *  Context:
1315  *    any
1316  */
1317 int cmf_readall(struct ccw_device *cdev, struct cmbdata *data)
1318 {
1319         return cmbops->readall(cdev, data);
1320 }
1321
1322 /* Reenable cmf when a disconnected device becomes available again. */
1323 int cmf_reenable(struct ccw_device *cdev)
1324 {
1325         cmbops->reset(cdev);
1326         return cmbops->set(cdev, 2);
1327 }
1328
1329 static int __init init_cmf(void)
1330 {
1331         char *format_string;
1332         char *detect_string = "parameter";
1333
1334         /*
1335          * If the user did not give a parameter, see if we are running on a
1336          * machine supporting extended measurement blocks, otherwise fall back
1337          * to basic mode.
1338          */
1339         if (format == CMF_AUTODETECT) {
1340                 if (!css_general_characteristics.ext_mb) {
1341                         format = CMF_BASIC;
1342                 } else {
1343                         format = CMF_EXTENDED;
1344                 }
1345                 detect_string = "autodetected";
1346         } else {
1347                 detect_string = "parameter";
1348         }
1349
1350         switch (format) {
1351         case CMF_BASIC:
1352                 format_string = "basic";
1353                 cmbops = &cmbops_basic;
1354                 break;
1355         case CMF_EXTENDED:
1356                 format_string = "extended";
1357                 cmbops = &cmbops_extended;
1358                 break;
1359         default:
1360                 return 1;
1361         }
1362
1363         printk(KERN_INFO "cio: Channel measurement facility using %s "
1364                "format (%s)\n", format_string, detect_string);
1365         return 0;
1366 }
1367
1368 module_init(init_cmf);
1369
1370
1371 MODULE_AUTHOR("Arnd Bergmann <arndb@de.ibm.com>");
1372 MODULE_LICENSE("GPL");
1373 MODULE_DESCRIPTION("channel measurement facility base driver\n"
1374                    "Copyright 2003 IBM Corporation\n");
1375
1376 EXPORT_SYMBOL_GPL(enable_cmf);
1377 EXPORT_SYMBOL_GPL(disable_cmf);
1378 EXPORT_SYMBOL_GPL(cmf_read);
1379 EXPORT_SYMBOL_GPL(cmf_readall);