Merge with /pub/scm/linux/kernel/git/torvalds/linux-2.6.git
[linux-2.6] / arch / alpha / mm / init.c
1 /*
2  *  linux/arch/alpha/mm/init.c
3  *
4  *  Copyright (C) 1995  Linus Torvalds
5  */
6
7 /* 2.3.x zone allocator, 1999 Andrea Arcangeli <andrea@suse.de> */
8
9 #include <linux/config.h>
10 #include <linux/pagemap.h>
11 #include <linux/signal.h>
12 #include <linux/sched.h>
13 #include <linux/kernel.h>
14 #include <linux/errno.h>
15 #include <linux/string.h>
16 #include <linux/types.h>
17 #include <linux/ptrace.h>
18 #include <linux/mman.h>
19 #include <linux/mm.h>
20 #include <linux/swap.h>
21 #include <linux/init.h>
22 #include <linux/bootmem.h> /* max_low_pfn */
23 #include <linux/vmalloc.h>
24
25 #include <asm/system.h>
26 #include <asm/uaccess.h>
27 #include <asm/pgtable.h>
28 #include <asm/pgalloc.h>
29 #include <asm/hwrpb.h>
30 #include <asm/dma.h>
31 #include <asm/mmu_context.h>
32 #include <asm/console.h>
33 #include <asm/tlb.h>
34
35 DEFINE_PER_CPU(struct mmu_gather, mmu_gathers);
36
37 extern void die_if_kernel(char *,struct pt_regs *,long);
38
39 static struct pcb_struct original_pcb;
40
41 pgd_t *
42 pgd_alloc(struct mm_struct *mm)
43 {
44         pgd_t *ret, *init;
45
46         ret = (pgd_t *)__get_free_page(GFP_KERNEL | __GFP_ZERO);
47         init = pgd_offset(&init_mm, 0UL);
48         if (ret) {
49 #ifdef CONFIG_ALPHA_LARGE_VMALLOC
50                 memcpy (ret + USER_PTRS_PER_PGD, init + USER_PTRS_PER_PGD,
51                         (PTRS_PER_PGD - USER_PTRS_PER_PGD - 1)*sizeof(pgd_t));
52 #else
53                 pgd_val(ret[PTRS_PER_PGD-2]) = pgd_val(init[PTRS_PER_PGD-2]);
54 #endif
55
56                 /* The last PGD entry is the VPTB self-map.  */
57                 pgd_val(ret[PTRS_PER_PGD-1])
58                   = pte_val(mk_pte(virt_to_page(ret), PAGE_KERNEL));
59         }
60         return ret;
61 }
62
63 pte_t *
64 pte_alloc_one_kernel(struct mm_struct *mm, unsigned long address)
65 {
66         pte_t *pte = (pte_t *)__get_free_page(GFP_KERNEL|__GFP_REPEAT|__GFP_ZERO);
67         return pte;
68 }
69
70
71 /*
72  * BAD_PAGE is the page that is used for page faults when linux
73  * is out-of-memory. Older versions of linux just did a
74  * do_exit(), but using this instead means there is less risk
75  * for a process dying in kernel mode, possibly leaving an inode
76  * unused etc..
77  *
78  * BAD_PAGETABLE is the accompanying page-table: it is initialized
79  * to point to BAD_PAGE entries.
80  *
81  * ZERO_PAGE is a special page that is used for zero-initialized
82  * data and COW.
83  */
84 pmd_t *
85 __bad_pagetable(void)
86 {
87         memset((void *) EMPTY_PGT, 0, PAGE_SIZE);
88         return (pmd_t *) EMPTY_PGT;
89 }
90
91 pte_t
92 __bad_page(void)
93 {
94         memset((void *) EMPTY_PGE, 0, PAGE_SIZE);
95         return pte_mkdirty(mk_pte(virt_to_page(EMPTY_PGE), PAGE_SHARED));
96 }
97
98 #ifndef CONFIG_DISCONTIGMEM
99 void
100 show_mem(void)
101 {
102         long i,free = 0,total = 0,reserved = 0;
103         long shared = 0, cached = 0;
104
105         printk("\nMem-info:\n");
106         show_free_areas();
107         printk("Free swap:       %6ldkB\n", nr_swap_pages<<(PAGE_SHIFT-10));
108         i = max_mapnr;
109         while (i-- > 0) {
110                 total++;
111                 if (PageReserved(mem_map+i))
112                         reserved++;
113                 else if (PageSwapCache(mem_map+i))
114                         cached++;
115                 else if (!page_count(mem_map+i))
116                         free++;
117                 else
118                         shared += page_count(mem_map + i) - 1;
119         }
120         printk("%ld pages of RAM\n",total);
121         printk("%ld free pages\n",free);
122         printk("%ld reserved pages\n",reserved);
123         printk("%ld pages shared\n",shared);
124         printk("%ld pages swap cached\n",cached);
125 }
126 #endif
127
128 static inline unsigned long
129 load_PCB(struct pcb_struct *pcb)
130 {
131         register unsigned long sp __asm__("$30");
132         pcb->ksp = sp;
133         return __reload_thread(pcb);
134 }
135
136 /* Set up initial PCB, VPTB, and other such nicities.  */
137
138 static inline void
139 switch_to_system_map(void)
140 {
141         unsigned long newptbr;
142         unsigned long original_pcb_ptr;
143
144         /* Initialize the kernel's page tables.  Linux puts the vptb in
145            the last slot of the L1 page table.  */
146         memset(swapper_pg_dir, 0, PAGE_SIZE);
147         newptbr = ((unsigned long) swapper_pg_dir - PAGE_OFFSET) >> PAGE_SHIFT;
148         pgd_val(swapper_pg_dir[1023]) =
149                 (newptbr << 32) | pgprot_val(PAGE_KERNEL);
150
151         /* Set the vptb.  This is often done by the bootloader, but 
152            shouldn't be required.  */
153         if (hwrpb->vptb != 0xfffffffe00000000UL) {
154                 wrvptptr(0xfffffffe00000000UL);
155                 hwrpb->vptb = 0xfffffffe00000000UL;
156                 hwrpb_update_checksum(hwrpb);
157         }
158
159         /* Also set up the real kernel PCB while we're at it.  */
160         init_thread_info.pcb.ptbr = newptbr;
161         init_thread_info.pcb.flags = 1; /* set FEN, clear everything else */
162         original_pcb_ptr = load_PCB(&init_thread_info.pcb);
163         tbia();
164
165         /* Save off the contents of the original PCB so that we can
166            restore the original console's page tables for a clean reboot.
167
168            Note that the PCB is supposed to be a physical address, but
169            since KSEG values also happen to work, folks get confused.
170            Check this here.  */
171
172         if (original_pcb_ptr < PAGE_OFFSET) {
173                 original_pcb_ptr = (unsigned long)
174                         phys_to_virt(original_pcb_ptr);
175         }
176         original_pcb = *(struct pcb_struct *) original_pcb_ptr;
177 }
178
179 int callback_init_done;
180
181 void * __init
182 callback_init(void * kernel_end)
183 {
184         struct crb_struct * crb;
185         pgd_t *pgd;
186         pmd_t *pmd;
187         void *two_pages;
188
189         /* Starting at the HWRPB, locate the CRB. */
190         crb = (struct crb_struct *)((char *)hwrpb + hwrpb->crb_offset);
191
192         if (alpha_using_srm) {
193                 /* Tell the console whither it is to be remapped. */
194                 if (srm_fixup(VMALLOC_START, (unsigned long)hwrpb))
195                         __halt();               /* "We're boned."  --Bender */
196
197                 /* Edit the procedure descriptors for DISPATCH and FIXUP. */
198                 crb->dispatch_va = (struct procdesc_struct *)
199                         (VMALLOC_START + (unsigned long)crb->dispatch_va
200                          - crb->map[0].va);
201                 crb->fixup_va = (struct procdesc_struct *)
202                         (VMALLOC_START + (unsigned long)crb->fixup_va
203                          - crb->map[0].va);
204         }
205
206         switch_to_system_map();
207
208         /* Allocate one PGD and one PMD.  In the case of SRM, we'll need
209            these to actually remap the console.  There is an assumption
210            here that only one of each is needed, and this allows for 8MB.
211            On systems with larger consoles, additional pages will be
212            allocated as needed during the mapping process.
213
214            In the case of not SRM, but not CONFIG_ALPHA_LARGE_VMALLOC,
215            we need to allocate the PGD we use for vmalloc before we start
216            forking other tasks.  */
217
218         two_pages = (void *)
219           (((unsigned long)kernel_end + ~PAGE_MASK) & PAGE_MASK);
220         kernel_end = two_pages + 2*PAGE_SIZE;
221         memset(two_pages, 0, 2*PAGE_SIZE);
222
223         pgd = pgd_offset_k(VMALLOC_START);
224         pgd_set(pgd, (pmd_t *)two_pages);
225         pmd = pmd_offset(pgd, VMALLOC_START);
226         pmd_set(pmd, (pte_t *)(two_pages + PAGE_SIZE));
227
228         if (alpha_using_srm) {
229                 static struct vm_struct console_remap_vm;
230                 unsigned long vaddr = VMALLOC_START;
231                 unsigned long i, j;
232
233                 /* Set up the third level PTEs and update the virtual
234                    addresses of the CRB entries.  */
235                 for (i = 0; i < crb->map_entries; ++i) {
236                         unsigned long pfn = crb->map[i].pa >> PAGE_SHIFT;
237                         crb->map[i].va = vaddr;
238                         for (j = 0; j < crb->map[i].count; ++j) {
239                                 /* Newer console's (especially on larger
240                                    systems) may require more pages of
241                                    PTEs. Grab additional pages as needed. */
242                                 if (pmd != pmd_offset(pgd, vaddr)) {
243                                         memset(kernel_end, 0, PAGE_SIZE);
244                                         pmd = pmd_offset(pgd, vaddr);
245                                         pmd_set(pmd, (pte_t *)kernel_end);
246                                         kernel_end += PAGE_SIZE;
247                                 }
248                                 set_pte(pte_offset_kernel(pmd, vaddr),
249                                         pfn_pte(pfn, PAGE_KERNEL));
250                                 pfn++;
251                                 vaddr += PAGE_SIZE;
252                         }
253                 }
254
255                 /* Let vmalloc know that we've allocated some space.  */
256                 console_remap_vm.flags = VM_ALLOC;
257                 console_remap_vm.addr = (void *) VMALLOC_START;
258                 console_remap_vm.size = vaddr - VMALLOC_START;
259                 vmlist = &console_remap_vm;
260         }
261
262         callback_init_done = 1;
263         return kernel_end;
264 }
265
266
267 #ifndef CONFIG_DISCONTIGMEM
268 /*
269  * paging_init() sets up the memory map.
270  */
271 void
272 paging_init(void)
273 {
274         unsigned long zones_size[MAX_NR_ZONES] = {0, 0, 0};
275         unsigned long dma_pfn, high_pfn;
276
277         dma_pfn = virt_to_phys((char *)MAX_DMA_ADDRESS) >> PAGE_SHIFT;
278         high_pfn = max_pfn = max_low_pfn;
279
280         if (dma_pfn >= high_pfn)
281                 zones_size[ZONE_DMA] = high_pfn;
282         else {
283                 zones_size[ZONE_DMA] = dma_pfn;
284                 zones_size[ZONE_NORMAL] = high_pfn - dma_pfn;
285         }
286
287         /* Initialize mem_map[].  */
288         free_area_init(zones_size);
289
290         /* Initialize the kernel's ZERO_PGE. */
291         memset((void *)ZERO_PGE, 0, PAGE_SIZE);
292 }
293 #endif /* CONFIG_DISCONTIGMEM */
294
295 #if defined(CONFIG_ALPHA_GENERIC) || defined(CONFIG_ALPHA_SRM)
296 void
297 srm_paging_stop (void)
298 {
299         /* Move the vptb back to where the SRM console expects it.  */
300         swapper_pg_dir[1] = swapper_pg_dir[1023];
301         tbia();
302         wrvptptr(0x200000000UL);
303         hwrpb->vptb = 0x200000000UL;
304         hwrpb_update_checksum(hwrpb);
305
306         /* Reload the page tables that the console had in use.  */
307         load_PCB(&original_pcb);
308         tbia();
309 }
310 #endif
311
312 #ifndef CONFIG_DISCONTIGMEM
313 static void __init
314 printk_memory_info(void)
315 {
316         unsigned long codesize, reservedpages, datasize, initsize, tmp;
317         extern int page_is_ram(unsigned long) __init;
318         extern char _text, _etext, _data, _edata;
319         extern char __init_begin, __init_end;
320
321         /* printk all informations */
322         reservedpages = 0;
323         for (tmp = 0; tmp < max_low_pfn; tmp++)
324                 /*
325                  * Only count reserved RAM pages
326                  */
327                 if (page_is_ram(tmp) && PageReserved(mem_map+tmp))
328                         reservedpages++;
329
330         codesize =  (unsigned long) &_etext - (unsigned long) &_text;
331         datasize =  (unsigned long) &_edata - (unsigned long) &_data;
332         initsize =  (unsigned long) &__init_end - (unsigned long) &__init_begin;
333
334         printk("Memory: %luk/%luk available (%luk kernel code, %luk reserved, %luk data, %luk init)\n",
335                (unsigned long) nr_free_pages() << (PAGE_SHIFT-10),
336                max_mapnr << (PAGE_SHIFT-10),
337                codesize >> 10,
338                reservedpages << (PAGE_SHIFT-10),
339                datasize >> 10,
340                initsize >> 10);
341 }
342
343 void __init
344 mem_init(void)
345 {
346         max_mapnr = num_physpages = max_low_pfn;
347         totalram_pages += free_all_bootmem();
348         high_memory = (void *) __va(max_low_pfn * PAGE_SIZE);
349
350         printk_memory_info();
351 }
352 #endif /* CONFIG_DISCONTIGMEM */
353
354 void
355 free_reserved_mem(void *start, void *end)
356 {
357         void *__start = start;
358         for (; __start < end; __start += PAGE_SIZE) {
359                 ClearPageReserved(virt_to_page(__start));
360                 set_page_count(virt_to_page(__start), 1);
361                 free_page((long)__start);
362                 totalram_pages++;
363         }
364 }
365
366 void
367 free_initmem(void)
368 {
369         extern char __init_begin, __init_end;
370
371         free_reserved_mem(&__init_begin, &__init_end);
372         printk ("Freeing unused kernel memory: %ldk freed\n",
373                 (&__init_end - &__init_begin) >> 10);
374 }
375
376 #ifdef CONFIG_BLK_DEV_INITRD
377 void
378 free_initrd_mem(unsigned long start, unsigned long end)
379 {
380         free_reserved_mem((void *)start, (void *)end);
381         printk ("Freeing initrd memory: %ldk freed\n", (end - start) >> 10);
382 }
383 #endif