Merge of rsync://rsync.kernel.org/pub/scm/linux/kernel/git/davem/net-2.6.git
[linux-2.6] / include / asm-ia64 / io.h
1 #ifndef _ASM_IA64_IO_H
2 #define _ASM_IA64_IO_H
3
4 /*
5  * This file contains the definitions for the emulated IO instructions
6  * inb/inw/inl/outb/outw/outl and the "string versions" of the same
7  * (insb/insw/insl/outsb/outsw/outsl). You can also use "pausing"
8  * versions of the single-IO instructions (inb_p/inw_p/..).
9  *
10  * This file is not meant to be obfuscating: it's just complicated to
11  * (a) handle it all in a way that makes gcc able to optimize it as
12  * well as possible and (b) trying to avoid writing the same thing
13  * over and over again with slight variations and possibly making a
14  * mistake somewhere.
15  *
16  * Copyright (C) 1998-2003 Hewlett-Packard Co
17  *      David Mosberger-Tang <davidm@hpl.hp.com>
18  * Copyright (C) 1999 Asit Mallick <asit.k.mallick@intel.com>
19  * Copyright (C) 1999 Don Dugger <don.dugger@intel.com>
20  */
21
22 /* We don't use IO slowdowns on the ia64, but.. */
23 #define __SLOW_DOWN_IO  do { } while (0)
24 #define SLOW_DOWN_IO    do { } while (0)
25
26 #define __IA64_UNCACHED_OFFSET  0xc000000000000000UL    /* region 6 */
27
28 /*
29  * The legacy I/O space defined by the ia64 architecture supports only 65536 ports, but
30  * large machines may have multiple other I/O spaces so we can't place any a priori limit
31  * on IO_SPACE_LIMIT.  These additional spaces are described in ACPI.
32  */
33 #define IO_SPACE_LIMIT          0xffffffffffffffffUL
34
35 #define MAX_IO_SPACES_BITS              4
36 #define MAX_IO_SPACES                   (1UL << MAX_IO_SPACES_BITS)
37 #define IO_SPACE_BITS                   24
38 #define IO_SPACE_SIZE                   (1UL << IO_SPACE_BITS)
39
40 #define IO_SPACE_NR(port)               ((port) >> IO_SPACE_BITS)
41 #define IO_SPACE_BASE(space)            ((space) << IO_SPACE_BITS)
42 #define IO_SPACE_PORT(port)             ((port) & (IO_SPACE_SIZE - 1))
43
44 #define IO_SPACE_SPARSE_ENCODING(p)     ((((p) >> 2) << 12) | (p & 0xfff))
45
46 struct io_space {
47         unsigned long mmio_base;        /* base in MMIO space */
48         int sparse;
49 };
50
51 extern struct io_space io_space[];
52 extern unsigned int num_io_spaces;
53
54 # ifdef __KERNEL__
55
56 /*
57  * All MMIO iomem cookies are in region 6; anything less is a PIO cookie:
58  *      0xCxxxxxxxxxxxxxxx      MMIO cookie (return from ioremap)
59  *      0x000000001SPPPPPP      PIO cookie (S=space number, P..P=port)
60  *
61  * ioread/writeX() uses the leading 1 in PIO cookies (PIO_OFFSET) to catch
62  * code that uses bare port numbers without the prerequisite pci_iomap().
63  */
64 #define PIO_OFFSET              (1UL << (MAX_IO_SPACES_BITS + IO_SPACE_BITS))
65 #define PIO_MASK                (PIO_OFFSET - 1)
66 #define PIO_RESERVED            __IA64_UNCACHED_OFFSET
67 #define HAVE_ARCH_PIO_SIZE
68
69 #include <asm/intrinsics.h>
70 #include <asm/machvec.h>
71 #include <asm/page.h>
72 #include <asm/system.h>
73 #include <asm-generic/iomap.h>
74
75 /*
76  * Change virtual addresses to physical addresses and vv.
77  */
78 static inline unsigned long
79 virt_to_phys (volatile void *address)
80 {
81         return (unsigned long) address - PAGE_OFFSET;
82 }
83
84 static inline void*
85 phys_to_virt (unsigned long address)
86 {
87         return (void *) (address + PAGE_OFFSET);
88 }
89
90 #define ARCH_HAS_VALID_PHYS_ADDR_RANGE
91 extern int valid_phys_addr_range (unsigned long addr, size_t *count); /* efi.c */
92
93 /*
94  * The following two macros are deprecated and scheduled for removal.
95  * Please use the PCI-DMA interface defined in <asm/pci.h> instead.
96  */
97 #define bus_to_virt     phys_to_virt
98 #define virt_to_bus     virt_to_phys
99 #define page_to_bus     page_to_phys
100
101 # endif /* KERNEL */
102
103 /*
104  * Memory fence w/accept.  This should never be used in code that is
105  * not IA-64 specific.
106  */
107 #define __ia64_mf_a()   ia64_mfa()
108
109 /**
110  * ___ia64_mmiowb - I/O write barrier
111  *
112  * Ensure ordering of I/O space writes.  This will make sure that writes
113  * following the barrier will arrive after all previous writes.  For most
114  * ia64 platforms, this is a simple 'mf.a' instruction.
115  *
116  * See Documentation/DocBook/deviceiobook.tmpl for more information.
117  */
118 static inline void ___ia64_mmiowb(void)
119 {
120         ia64_mfa();
121 }
122
123 static inline const unsigned long
124 __ia64_get_io_port_base (void)
125 {
126         extern unsigned long ia64_iobase;
127
128         return ia64_iobase;
129 }
130
131 static inline void*
132 __ia64_mk_io_addr (unsigned long port)
133 {
134         struct io_space *space;
135         unsigned long offset;
136
137         space = &io_space[IO_SPACE_NR(port)];
138         port = IO_SPACE_PORT(port);
139         if (space->sparse)
140                 offset = IO_SPACE_SPARSE_ENCODING(port);
141         else
142                 offset = port;
143
144         return (void *) (space->mmio_base | offset);
145 }
146
147 #define __ia64_inb      ___ia64_inb
148 #define __ia64_inw      ___ia64_inw
149 #define __ia64_inl      ___ia64_inl
150 #define __ia64_outb     ___ia64_outb
151 #define __ia64_outw     ___ia64_outw
152 #define __ia64_outl     ___ia64_outl
153 #define __ia64_readb    ___ia64_readb
154 #define __ia64_readw    ___ia64_readw
155 #define __ia64_readl    ___ia64_readl
156 #define __ia64_readq    ___ia64_readq
157 #define __ia64_readb_relaxed    ___ia64_readb
158 #define __ia64_readw_relaxed    ___ia64_readw
159 #define __ia64_readl_relaxed    ___ia64_readl
160 #define __ia64_readq_relaxed    ___ia64_readq
161 #define __ia64_writeb   ___ia64_writeb
162 #define __ia64_writew   ___ia64_writew
163 #define __ia64_writel   ___ia64_writel
164 #define __ia64_writeq   ___ia64_writeq
165 #define __ia64_mmiowb   ___ia64_mmiowb
166
167 /*
168  * For the in/out routines, we need to do "mf.a" _after_ doing the I/O access to ensure
169  * that the access has completed before executing other I/O accesses.  Since we're doing
170  * the accesses through an uncachable (UC) translation, the CPU will execute them in
171  * program order.  However, we still need to tell the compiler not to shuffle them around
172  * during optimization, which is why we use "volatile" pointers.
173  */
174
175 static inline unsigned int
176 ___ia64_inb (unsigned long port)
177 {
178         volatile unsigned char *addr = __ia64_mk_io_addr(port);
179         unsigned char ret;
180
181         ret = *addr;
182         __ia64_mf_a();
183         return ret;
184 }
185
186 static inline unsigned int
187 ___ia64_inw (unsigned long port)
188 {
189         volatile unsigned short *addr = __ia64_mk_io_addr(port);
190         unsigned short ret;
191
192         ret = *addr;
193         __ia64_mf_a();
194         return ret;
195 }
196
197 static inline unsigned int
198 ___ia64_inl (unsigned long port)
199 {
200         volatile unsigned int *addr = __ia64_mk_io_addr(port);
201         unsigned int ret;
202
203         ret = *addr;
204         __ia64_mf_a();
205         return ret;
206 }
207
208 static inline void
209 ___ia64_outb (unsigned char val, unsigned long port)
210 {
211         volatile unsigned char *addr = __ia64_mk_io_addr(port);
212
213         *addr = val;
214         __ia64_mf_a();
215 }
216
217 static inline void
218 ___ia64_outw (unsigned short val, unsigned long port)
219 {
220         volatile unsigned short *addr = __ia64_mk_io_addr(port);
221
222         *addr = val;
223         __ia64_mf_a();
224 }
225
226 static inline void
227 ___ia64_outl (unsigned int val, unsigned long port)
228 {
229         volatile unsigned int *addr = __ia64_mk_io_addr(port);
230
231         *addr = val;
232         __ia64_mf_a();
233 }
234
235 static inline void
236 __insb (unsigned long port, void *dst, unsigned long count)
237 {
238         unsigned char *dp = dst;
239
240         while (count--)
241                 *dp++ = platform_inb(port);
242 }
243
244 static inline void
245 __insw (unsigned long port, void *dst, unsigned long count)
246 {
247         unsigned short *dp = dst;
248
249         while (count--)
250                 *dp++ = platform_inw(port);
251 }
252
253 static inline void
254 __insl (unsigned long port, void *dst, unsigned long count)
255 {
256         unsigned int *dp = dst;
257
258         while (count--)
259                 *dp++ = platform_inl(port);
260 }
261
262 static inline void
263 __outsb (unsigned long port, const void *src, unsigned long count)
264 {
265         const unsigned char *sp = src;
266
267         while (count--)
268                 platform_outb(*sp++, port);
269 }
270
271 static inline void
272 __outsw (unsigned long port, const void *src, unsigned long count)
273 {
274         const unsigned short *sp = src;
275
276         while (count--)
277                 platform_outw(*sp++, port);
278 }
279
280 static inline void
281 __outsl (unsigned long port, const void *src, unsigned long count)
282 {
283         const unsigned int *sp = src;
284
285         while (count--)
286                 platform_outl(*sp++, port);
287 }
288
289 /*
290  * Unfortunately, some platforms are broken and do not follow the IA-64 architecture
291  * specification regarding legacy I/O support.  Thus, we have to make these operations
292  * platform dependent...
293  */
294 #define __inb           platform_inb
295 #define __inw           platform_inw
296 #define __inl           platform_inl
297 #define __outb          platform_outb
298 #define __outw          platform_outw
299 #define __outl          platform_outl
300 #define __mmiowb        platform_mmiowb
301
302 #define inb(p)          __inb(p)
303 #define inw(p)          __inw(p)
304 #define inl(p)          __inl(p)
305 #define insb(p,d,c)     __insb(p,d,c)
306 #define insw(p,d,c)     __insw(p,d,c)
307 #define insl(p,d,c)     __insl(p,d,c)
308 #define outb(v,p)       __outb(v,p)
309 #define outw(v,p)       __outw(v,p)
310 #define outl(v,p)       __outl(v,p)
311 #define outsb(p,s,c)    __outsb(p,s,c)
312 #define outsw(p,s,c)    __outsw(p,s,c)
313 #define outsl(p,s,c)    __outsl(p,s,c)
314 #define mmiowb()        __mmiowb()
315
316 /*
317  * The address passed to these functions are ioremap()ped already.
318  *
319  * We need these to be machine vectors since some platforms don't provide
320  * DMA coherence via PIO reads (PCI drivers and the spec imply that this is
321  * a good idea).  Writes are ok though for all existing ia64 platforms (and
322  * hopefully it'll stay that way).
323  */
324 static inline unsigned char
325 ___ia64_readb (const volatile void __iomem *addr)
326 {
327         return *(volatile unsigned char __force *)addr;
328 }
329
330 static inline unsigned short
331 ___ia64_readw (const volatile void __iomem *addr)
332 {
333         return *(volatile unsigned short __force *)addr;
334 }
335
336 static inline unsigned int
337 ___ia64_readl (const volatile void __iomem *addr)
338 {
339         return *(volatile unsigned int __force *) addr;
340 }
341
342 static inline unsigned long
343 ___ia64_readq (const volatile void __iomem *addr)
344 {
345         return *(volatile unsigned long __force *) addr;
346 }
347
348 static inline void
349 __writeb (unsigned char val, volatile void __iomem *addr)
350 {
351         *(volatile unsigned char __force *) addr = val;
352 }
353
354 static inline void
355 __writew (unsigned short val, volatile void __iomem *addr)
356 {
357         *(volatile unsigned short __force *) addr = val;
358 }
359
360 static inline void
361 __writel (unsigned int val, volatile void __iomem *addr)
362 {
363         *(volatile unsigned int __force *) addr = val;
364 }
365
366 static inline void
367 __writeq (unsigned long val, volatile void __iomem *addr)
368 {
369         *(volatile unsigned long __force *) addr = val;
370 }
371
372 #define __readb         platform_readb
373 #define __readw         platform_readw
374 #define __readl         platform_readl
375 #define __readq         platform_readq
376 #define __readb_relaxed platform_readb_relaxed
377 #define __readw_relaxed platform_readw_relaxed
378 #define __readl_relaxed platform_readl_relaxed
379 #define __readq_relaxed platform_readq_relaxed
380
381 #define readb(a)        __readb((a))
382 #define readw(a)        __readw((a))
383 #define readl(a)        __readl((a))
384 #define readq(a)        __readq((a))
385 #define readb_relaxed(a)        __readb_relaxed((a))
386 #define readw_relaxed(a)        __readw_relaxed((a))
387 #define readl_relaxed(a)        __readl_relaxed((a))
388 #define readq_relaxed(a)        __readq_relaxed((a))
389 #define __raw_readb     readb
390 #define __raw_readw     readw
391 #define __raw_readl     readl
392 #define __raw_readq     readq
393 #define __raw_readb_relaxed     readb_relaxed
394 #define __raw_readw_relaxed     readw_relaxed
395 #define __raw_readl_relaxed     readl_relaxed
396 #define __raw_readq_relaxed     readq_relaxed
397 #define writeb(v,a)     __writeb((v), (a))
398 #define writew(v,a)     __writew((v), (a))
399 #define writel(v,a)     __writel((v), (a))
400 #define writeq(v,a)     __writeq((v), (a))
401 #define __raw_writeb    writeb
402 #define __raw_writew    writew
403 #define __raw_writel    writel
404 #define __raw_writeq    writeq
405
406 #ifndef inb_p
407 # define inb_p          inb
408 #endif
409 #ifndef inw_p
410 # define inw_p          inw
411 #endif
412 #ifndef inl_p
413 # define inl_p          inl
414 #endif
415
416 #ifndef outb_p
417 # define outb_p         outb
418 #endif
419 #ifndef outw_p
420 # define outw_p         outw
421 #endif
422 #ifndef outl_p
423 # define outl_p         outl
424 #endif
425
426 /*
427  * An "address" in IO memory space is not clearly either an integer or a pointer. We will
428  * accept both, thus the casts.
429  *
430  * On ia-64, we access the physical I/O memory space through the uncached kernel region.
431  */
432 static inline void __iomem *
433 ioremap (unsigned long offset, unsigned long size)
434 {
435         return (void __iomem *) (__IA64_UNCACHED_OFFSET | (offset));
436 }
437
438 static inline void
439 iounmap (volatile void __iomem *addr)
440 {
441 }
442
443 #define ioremap_nocache(o,s)    ioremap(o,s)
444
445 # ifdef __KERNEL__
446
447 /*
448  * String version of IO memory access ops:
449  */
450 extern void memcpy_fromio(void *dst, const volatile void __iomem *src, long n);
451 extern void memcpy_toio(volatile void __iomem *dst, const void *src, long n);
452 extern void memset_io(volatile void __iomem *s, int c, long n);
453
454 #define dma_cache_inv(_start,_size)             do { } while (0)
455 #define dma_cache_wback(_start,_size)           do { } while (0)
456 #define dma_cache_wback_inv(_start,_size)       do { } while (0)
457
458 # endif /* __KERNEL__ */
459
460 /*
461  * Enabling BIO_VMERGE_BOUNDARY forces us to turn off I/O MMU bypassing.  It is said that
462  * BIO-level virtual merging can give up to 4% performance boost (not verified for ia64).
463  * On the other hand, we know that I/O MMU bypassing gives ~8% performance improvement on
464  * SPECweb-like workloads on zx1-based machines.  Thus, for now we favor I/O MMU bypassing
465  * over BIO-level virtual merging.
466  */
467 extern unsigned long ia64_max_iommu_merge_mask;
468 #if 1
469 #define BIO_VMERGE_BOUNDARY     0
470 #else
471 /*
472  * It makes no sense at all to have this BIO_VMERGE_BOUNDARY macro here.  Should be
473  * replaced by dma_merge_mask() or something of that sort.  Note: the only way
474  * BIO_VMERGE_BOUNDARY is used is to mask off bits.  Effectively, our definition gets
475  * expanded into:
476  *
477  *      addr & ((ia64_max_iommu_merge_mask + 1) - 1) == (addr & ia64_max_iommu_vmerge_mask)
478  *
479  * which is precisely what we want.
480  */
481 #define BIO_VMERGE_BOUNDARY     (ia64_max_iommu_merge_mask + 1)
482 #endif
483
484 #endif /* _ASM_IA64_IO_H */