powerpc: Merge arch/ppc64/mm to arch/powerpc/mm
[linux-2.6] / arch / powerpc / mm / pgtable_64.c
1 /*
2  *  This file contains ioremap and related functions for 64-bit machines.
3  *
4  *  Derived from arch/ppc64/mm/init.c
5  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
6  *
7  *  Modifications by Paul Mackerras (PowerMac) (paulus@samba.org)
8  *  and Cort Dougan (PReP) (cort@cs.nmt.edu)
9  *    Copyright (C) 1996 Paul Mackerras
10  *  Amiga/APUS changes by Jesper Skov (jskov@cygnus.co.uk).
11  *
12  *  Derived from "arch/i386/mm/init.c"
13  *    Copyright (C) 1991, 1992, 1993, 1994  Linus Torvalds
14  *
15  *  Dave Engebretsen <engebret@us.ibm.com>
16  *      Rework for PPC64 port.
17  *
18  *  This program is free software; you can redistribute it and/or
19  *  modify it under the terms of the GNU General Public License
20  *  as published by the Free Software Foundation; either version
21  *  2 of the License, or (at your option) any later version.
22  *
23  */
24
25 #include <linux/config.h>
26 #include <linux/signal.h>
27 #include <linux/sched.h>
28 #include <linux/kernel.h>
29 #include <linux/errno.h>
30 #include <linux/string.h>
31 #include <linux/types.h>
32 #include <linux/mman.h>
33 #include <linux/mm.h>
34 #include <linux/swap.h>
35 #include <linux/stddef.h>
36 #include <linux/vmalloc.h>
37 #include <linux/init.h>
38 #include <linux/delay.h>
39 #include <linux/bootmem.h>
40 #include <linux/highmem.h>
41 #include <linux/idr.h>
42 #include <linux/nodemask.h>
43 #include <linux/module.h>
44
45 #include <asm/pgalloc.h>
46 #include <asm/page.h>
47 #include <asm/prom.h>
48 #include <asm/lmb.h>
49 #include <asm/rtas.h>
50 #include <asm/io.h>
51 #include <asm/mmu_context.h>
52 #include <asm/pgtable.h>
53 #include <asm/mmu.h>
54 #include <asm/uaccess.h>
55 #include <asm/smp.h>
56 #include <asm/machdep.h>
57 #include <asm/tlb.h>
58 #include <asm/eeh.h>
59 #include <asm/processor.h>
60 #include <asm/mmzone.h>
61 #include <asm/cputable.h>
62 #include <asm/ppcdebug.h>
63 #include <asm/sections.h>
64 #include <asm/system.h>
65 #include <asm/iommu.h>
66 #include <asm/abs_addr.h>
67 #include <asm/vdso.h>
68 #include <asm/imalloc.h>
69
70 unsigned long ioremap_bot = IMALLOC_BASE;
71 static unsigned long phbs_io_bot = PHBS_IO_BASE;
72
73 #ifdef CONFIG_PPC_ISERIES
74
75 void __iomem *ioremap(unsigned long addr, unsigned long size)
76 {
77         return (void __iomem *)addr;
78 }
79
80 extern void __iomem *__ioremap(unsigned long addr, unsigned long size,
81                        unsigned long flags)
82 {
83         return (void __iomem *)addr;
84 }
85
86 void iounmap(volatile void __iomem *addr)
87 {
88         return;
89 }
90
91 #else
92
93 /*
94  * map_io_page currently only called by __ioremap
95  * map_io_page adds an entry to the ioremap page table
96  * and adds an entry to the HPT, possibly bolting it
97  */
98 static int map_io_page(unsigned long ea, unsigned long pa, int flags)
99 {
100         pgd_t *pgdp;
101         pud_t *pudp;
102         pmd_t *pmdp;
103         pte_t *ptep;
104         unsigned long vsid;
105
106         if (mem_init_done) {
107                 spin_lock(&init_mm.page_table_lock);
108                 pgdp = pgd_offset_k(ea);
109                 pudp = pud_alloc(&init_mm, pgdp, ea);
110                 if (!pudp)
111                         return -ENOMEM;
112                 pmdp = pmd_alloc(&init_mm, pudp, ea);
113                 if (!pmdp)
114                         return -ENOMEM;
115                 ptep = pte_alloc_kernel(&init_mm, pmdp, ea);
116                 if (!ptep)
117                         return -ENOMEM;
118                 set_pte_at(&init_mm, ea, ptep, pfn_pte(pa >> PAGE_SHIFT,
119                                                           __pgprot(flags)));
120                 spin_unlock(&init_mm.page_table_lock);
121         } else {
122                 unsigned long va, vpn, hash, hpteg;
123
124                 /*
125                  * If the mm subsystem is not fully up, we cannot create a
126                  * linux page table entry for this mapping.  Simply bolt an
127                  * entry in the hardware page table.
128                  */
129                 vsid = get_kernel_vsid(ea);
130                 va = (vsid << 28) | (ea & 0xFFFFFFF);
131                 vpn = va >> PAGE_SHIFT;
132
133                 hash = hpt_hash(vpn, 0);
134
135                 hpteg = ((hash & htab_hash_mask) * HPTES_PER_GROUP);
136
137                 /* Panic if a pte grpup is full */
138                 if (ppc_md.hpte_insert(hpteg, va, pa >> PAGE_SHIFT,
139                                        HPTE_V_BOLTED,
140                                        _PAGE_NO_CACHE|_PAGE_GUARDED|PP_RWXX)
141                     == -1) {
142                         panic("map_io_page: could not insert mapping");
143                 }
144         }
145         return 0;
146 }
147
148
149 static void __iomem * __ioremap_com(unsigned long addr, unsigned long pa,
150                             unsigned long ea, unsigned long size,
151                             unsigned long flags)
152 {
153         unsigned long i;
154
155         if ((flags & _PAGE_PRESENT) == 0)
156                 flags |= pgprot_val(PAGE_KERNEL);
157
158         for (i = 0; i < size; i += PAGE_SIZE)
159                 if (map_io_page(ea+i, pa+i, flags))
160                         return NULL;
161
162         return (void __iomem *) (ea + (addr & ~PAGE_MASK));
163 }
164
165
166 void __iomem *
167 ioremap(unsigned long addr, unsigned long size)
168 {
169         return __ioremap(addr, size, _PAGE_NO_CACHE | _PAGE_GUARDED);
170 }
171
172 void __iomem * __ioremap(unsigned long addr, unsigned long size,
173                          unsigned long flags)
174 {
175         unsigned long pa, ea;
176         void __iomem *ret;
177
178         /*
179          * Choose an address to map it to.
180          * Once the imalloc system is running, we use it.
181          * Before that, we map using addresses going
182          * up from ioremap_bot.  imalloc will use
183          * the addresses from ioremap_bot through
184          * IMALLOC_END
185          * 
186          */
187         pa = addr & PAGE_MASK;
188         size = PAGE_ALIGN(addr + size) - pa;
189
190         if (size == 0)
191                 return NULL;
192
193         if (mem_init_done) {
194                 struct vm_struct *area;
195                 area = im_get_free_area(size);
196                 if (area == NULL)
197                         return NULL;
198                 ea = (unsigned long)(area->addr);
199                 ret = __ioremap_com(addr, pa, ea, size, flags);
200                 if (!ret)
201                         im_free(area->addr);
202         } else {
203                 ea = ioremap_bot;
204                 ret = __ioremap_com(addr, pa, ea, size, flags);
205                 if (ret)
206                         ioremap_bot += size;
207         }
208         return ret;
209 }
210
211 #define IS_PAGE_ALIGNED(_val) ((_val) == ((_val) & PAGE_MASK))
212
213 int __ioremap_explicit(unsigned long pa, unsigned long ea,
214                        unsigned long size, unsigned long flags)
215 {
216         struct vm_struct *area;
217         void __iomem *ret;
218         
219         /* For now, require page-aligned values for pa, ea, and size */
220         if (!IS_PAGE_ALIGNED(pa) || !IS_PAGE_ALIGNED(ea) ||
221             !IS_PAGE_ALIGNED(size)) {
222                 printk(KERN_ERR "unaligned value in %s\n", __FUNCTION__);
223                 return 1;
224         }
225         
226         if (!mem_init_done) {
227                 /* Two things to consider in this case:
228                  * 1) No records will be kept (imalloc, etc) that the region
229                  *    has been remapped
230                  * 2) It won't be easy to iounmap() the region later (because
231                  *    of 1)
232                  */
233                 ;
234         } else {
235                 area = im_get_area(ea, size,
236                         IM_REGION_UNUSED|IM_REGION_SUBSET|IM_REGION_EXISTS);
237                 if (area == NULL) {
238                         /* Expected when PHB-dlpar is in play */
239                         return 1;
240                 }
241                 if (ea != (unsigned long) area->addr) {
242                         printk(KERN_ERR "unexpected addr return from "
243                                "im_get_area\n");
244                         return 1;
245                 }
246         }
247         
248         ret = __ioremap_com(pa, pa, ea, size, flags);
249         if (ret == NULL) {
250                 printk(KERN_ERR "ioremap_explicit() allocation failure !\n");
251                 return 1;
252         }
253         if (ret != (void *) ea) {
254                 printk(KERN_ERR "__ioremap_com() returned unexpected addr\n");
255                 return 1;
256         }
257
258         return 0;
259 }
260
261 /*  
262  * Unmap an IO region and remove it from imalloc'd list.
263  * Access to IO memory should be serialized by driver.
264  * This code is modeled after vmalloc code - unmap_vm_area()
265  *
266  * XXX  what about calls before mem_init_done (ie python_countermeasures())
267  */
268 void iounmap(volatile void __iomem *token)
269 {
270         void *addr;
271
272         if (!mem_init_done)
273                 return;
274         
275         addr = (void *) ((unsigned long __force) token & PAGE_MASK);
276
277         im_free(addr);
278 }
279
280 static int iounmap_subset_regions(unsigned long addr, unsigned long size)
281 {
282         struct vm_struct *area;
283
284         /* Check whether subsets of this region exist */
285         area = im_get_area(addr, size, IM_REGION_SUPERSET);
286         if (area == NULL)
287                 return 1;
288
289         while (area) {
290                 iounmap((void __iomem *) area->addr);
291                 area = im_get_area(addr, size,
292                                 IM_REGION_SUPERSET);
293         }
294
295         return 0;
296 }
297
298 int iounmap_explicit(volatile void __iomem *start, unsigned long size)
299 {
300         struct vm_struct *area;
301         unsigned long addr;
302         int rc;
303         
304         addr = (unsigned long __force) start & PAGE_MASK;
305
306         /* Verify that the region either exists or is a subset of an existing
307          * region.  In the latter case, split the parent region to create 
308          * the exact region 
309          */
310         area = im_get_area(addr, size, 
311                             IM_REGION_EXISTS | IM_REGION_SUBSET);
312         if (area == NULL) {
313                 /* Determine whether subset regions exist.  If so, unmap */
314                 rc = iounmap_subset_regions(addr, size);
315                 if (rc) {
316                         printk(KERN_ERR
317                                "%s() cannot unmap nonexistent range 0x%lx\n",
318                                 __FUNCTION__, addr);
319                         return 1;
320                 }
321         } else {
322                 iounmap((void __iomem *) area->addr);
323         }
324         /*
325          * FIXME! This can't be right:
326         iounmap(area->addr);
327          * Maybe it should be "iounmap(area);"
328          */
329         return 0;
330 }
331
332 #endif
333
334 EXPORT_SYMBOL(ioremap);
335 EXPORT_SYMBOL(__ioremap);
336 EXPORT_SYMBOL(iounmap);
337
338 void __iomem * reserve_phb_iospace(unsigned long size)
339 {
340         void __iomem *virt_addr;
341                 
342         if (phbs_io_bot >= IMALLOC_BASE) 
343                 panic("reserve_phb_iospace(): phb io space overflow\n");
344                         
345         virt_addr = (void __iomem *) phbs_io_bot;
346         phbs_io_bot += size;
347
348         return virt_addr;
349 }