Merge branch 'master'
[linux-2.6] / arch / x86_64 / kernel / acpi / wakeup.S
1 .text
2 #include <linux/linkage.h>
3 #include <asm/segment.h>
4 #include <asm/page.h>
5 #include <asm/msr.h>
6
7 # Copyright 2003 Pavel Machek <pavel@suse.cz>, distribute under GPLv2
8 #
9 # wakeup_code runs in real mode, and at unknown address (determined at run-time).
10 # Therefore it must only use relative jumps/calls. 
11 #
12 # Do we need to deal with A20? It is okay: ACPI specs says A20 must be enabled
13 #
14 # If physical address of wakeup_code is 0x12345, BIOS should call us with
15 # cs = 0x1234, eip = 0x05
16 #
17
18
19 ALIGN
20         .align  16
21 ENTRY(wakeup_start)
22 wakeup_code:
23         wakeup_code_start = .
24         .code16
25
26 # Running in *copy* of this code, somewhere in low 1MB.
27
28         movb    $0xa1, %al      ;  outb %al, $0x80
29         cli
30         cld
31         # setup data segment
32         movw    %cs, %ax
33         movw    %ax, %ds                                        # Make ds:0 point to wakeup_start
34         movw    %ax, %ss
35         mov     $(wakeup_stack - wakeup_code), %sp              # Private stack is needed for ASUS board
36
37         pushl   $0                                              # Kill any dangerous flags
38         popfl
39
40         movl    real_magic - wakeup_code, %eax
41         cmpl    $0x12345678, %eax
42         jne     bogus_real_magic
43
44         testl   $1, video_flags - wakeup_code
45         jz      1f
46         lcall   $0xc000,$3
47         movw    %cs, %ax
48         movw    %ax, %ds                                        # Bios might have played with that
49         movw    %ax, %ss
50 1:
51
52         testl   $2, video_flags - wakeup_code
53         jz      1f
54         mov     video_mode - wakeup_code, %ax
55         call    mode_seta
56 1:
57
58         movw    $0xb800, %ax
59         movw    %ax,%fs
60         movw    $0x0e00 + 'L', %fs:(0x10)
61
62         movb    $0xa2, %al      ;  outb %al, $0x80
63         
64         lidt    %ds:idt_48a - wakeup_code
65         xorl    %eax, %eax
66         movw    %ds, %ax                        # (Convert %ds:gdt to a linear ptr)
67         shll    $4, %eax
68         addl    $(gdta - wakeup_code), %eax
69         movl    %eax, gdt_48a +2 - wakeup_code
70         lgdtl   %ds:gdt_48a - wakeup_code       # load gdt with whatever is
71                                                 # appropriate
72
73         movl    $1, %eax                        # protected mode (PE) bit
74         lmsw    %ax                             # This is it!
75         jmp     1f
76 1:
77
78         .byte 0x66, 0xea                        # prefix + jmpi-opcode
79         .long   wakeup_32 - __START_KERNEL_map
80         .word   __KERNEL_CS
81
82         .code32
83 wakeup_32:
84 # Running in this code, but at low address; paging is not yet turned on.
85         movb    $0xa5, %al      ;  outb %al, $0x80
86
87         /* Check if extended functions are implemented */               
88         movl    $0x80000000, %eax
89         cpuid
90         cmpl    $0x80000000, %eax
91         jbe     bogus_cpu
92         wbinvd
93         mov     $0x80000001, %eax
94         cpuid
95         btl     $29, %edx
96         jnc     bogus_cpu
97         movl    %edx,%edi
98         
99         movw    $__KERNEL_DS, %ax
100         movw    %ax, %ds
101         movw    %ax, %es
102         movw    %ax, %fs
103         movw    %ax, %gs
104
105         movw    $__KERNEL_DS, %ax       
106         movw    %ax, %ss
107
108         mov     $(wakeup_stack - __START_KERNEL_map), %esp
109         movl    saved_magic - __START_KERNEL_map, %eax
110         cmpl    $0x9abcdef0, %eax
111         jne     bogus_32_magic
112
113         /*
114          * Prepare for entering 64bits mode
115          */
116
117         /* Enable PAE mode and PGE */
118         xorl    %eax, %eax
119         btsl    $5, %eax
120         btsl    $7, %eax
121         movl    %eax, %cr4
122
123         /* Setup early boot stage 4 level pagetables */
124         movl    $(wakeup_level4_pgt - __START_KERNEL_map), %eax
125         movl    %eax, %cr3
126
127         /* Setup EFER (Extended Feature Enable Register) */
128         movl    $MSR_EFER, %ecx
129         rdmsr
130         /* Fool rdmsr and reset %eax to avoid dependences */
131         xorl    %eax, %eax
132         /* Enable Long Mode */
133         btsl    $_EFER_LME, %eax
134         /* Enable System Call */
135         btsl    $_EFER_SCE, %eax
136
137         /* No Execute supported? */     
138         btl     $20,%edi
139         jnc     1f
140         btsl    $_EFER_NX, %eax
141 1:      
142                                 
143         /* Make changes effective */
144         wrmsr
145         wbinvd
146
147         xorl    %eax, %eax
148         btsl    $31, %eax                       /* Enable paging and in turn activate Long Mode */
149         btsl    $0, %eax                        /* Enable protected mode */
150         btsl    $1, %eax                        /* Enable MP */
151         btsl    $4, %eax                        /* Enable ET */
152         btsl    $5, %eax                        /* Enable NE */
153         btsl    $16, %eax                       /* Enable WP */
154         btsl    $18, %eax                       /* Enable AM */
155
156         /* Make changes effective */
157         movl    %eax, %cr0
158         /* At this point:
159                 CR4.PAE must be 1
160                 CS.L must be 0
161                 CR3 must point to PML4
162                 Next instruction must be a branch
163                 This must be on identity-mapped page
164         */
165         jmp     reach_compatibility_mode
166 reach_compatibility_mode:
167         movw    $0x0e00 + 'i', %ds:(0xb8012)
168         movb    $0xa8, %al      ;  outb %al, $0x80;     
169                 
170         /*
171          * At this point we're in long mode but in 32bit compatibility mode
172          * with EFER.LME = 1, CS.L = 0, CS.D = 1 (and in turn
173          * EFER.LMA = 1). Now we want to jump in 64bit mode, to do that we load
174          * the new gdt/idt that has __KERNEL_CS with CS.L = 1.
175          */
176
177         movw    $0x0e00 + 'n', %ds:(0xb8014)
178         movb    $0xa9, %al      ;  outb %al, $0x80
179         
180         /* Load new GDT with the 64bit segment using 32bit descriptor */
181         movl    $(pGDT32 - __START_KERNEL_map), %eax
182         lgdt    (%eax)
183
184         movl    $(wakeup_jumpvector - __START_KERNEL_map), %eax
185         /* Finally jump in 64bit mode */
186         ljmp    *(%eax)
187
188 wakeup_jumpvector:
189         .long   wakeup_long64 - __START_KERNEL_map
190         .word   __KERNEL_CS
191
192 .code64
193
194         /*      Hooray, we are in Long 64-bit mode (but still running in low memory) */
195 wakeup_long64:
196         /*
197          * We must switch to a new descriptor in kernel space for the GDT
198          * because soon the kernel won't have access anymore to the userspace
199          * addresses where we're currently running on. We have to do that here
200          * because in 32bit we couldn't load a 64bit linear address.
201          */
202         lgdt    cpu_gdt_descr - __START_KERNEL_map
203
204         movw    $0x0e00 + 'u', %ds:(0xb8016)
205         
206         nop
207         nop
208         movw    $__KERNEL_DS, %ax
209         movw    %ax, %ss        
210         movw    %ax, %ds
211         movw    %ax, %es
212         movw    %ax, %fs
213         movw    %ax, %gs
214         movq    saved_esp, %rsp
215
216         movw    $0x0e00 + 'x', %ds:(0xb8018)
217         movq    saved_ebx, %rbx
218         movq    saved_edi, %rdi
219         movq    saved_esi, %rsi
220         movq    saved_ebp, %rbp
221
222         movw    $0x0e00 + '!', %ds:(0xb801a)
223         movq    saved_eip, %rax
224         jmp     *%rax
225
226 .code32
227
228         .align  64      
229 gdta:
230         .word   0, 0, 0, 0                      # dummy
231
232         .word   0, 0, 0, 0                      # unused
233
234         .word   0xFFFF                          # 4Gb - (0x100000*0x1000 = 4Gb)
235         .word   0                               # base address = 0
236         .word   0x9B00                          # code read/exec. ??? Why I need 0x9B00 (as opposed to 0x9A00 in order for this to work?)
237         .word   0x00CF                          # granularity = 4096, 386
238                                                 #  (+5th nibble of limit)
239
240         .word   0xFFFF                          # 4Gb - (0x100000*0x1000 = 4Gb)
241         .word   0                               # base address = 0
242         .word   0x9200                          # data read/write
243         .word   0x00CF                          # granularity = 4096, 386
244                                                 #  (+5th nibble of limit)
245 # this is 64bit descriptor for code
246         .word   0xFFFF
247         .word   0
248         .word   0x9A00                          # code read/exec
249         .word   0x00AF                          # as above, but it is long mode and with D=0
250
251 idt_48a:
252         .word   0                               # idt limit = 0
253         .word   0, 0                            # idt base = 0L
254
255 gdt_48a:
256         .word   0x8000                          # gdt limit=2048,
257                                                 #  256 GDT entries
258         .word   0, 0                            # gdt base (filled in later)
259         
260         
261 real_save_gdt:  .word 0
262                 .quad 0
263 real_magic:     .quad 0
264 video_mode:     .quad 0
265 video_flags:    .quad 0
266
267 bogus_real_magic:
268         movb    $0xba,%al       ;  outb %al,$0x80               
269         jmp bogus_real_magic
270
271 bogus_32_magic:
272         movb    $0xb3,%al       ;  outb %al,$0x80
273         jmp bogus_32_magic
274
275 bogus_31_magic:
276         movb    $0xb1,%al       ;  outb %al,$0x80
277         jmp bogus_31_magic
278
279 bogus_cpu:
280         movb    $0xbc,%al       ;  outb %al,$0x80
281         jmp bogus_cpu
282
283         
284 /* This code uses an extended set of video mode numbers. These include:
285  * Aliases for standard modes
286  *      NORMAL_VGA (-1)
287  *      EXTENDED_VGA (-2)
288  *      ASK_VGA (-3)
289  * Video modes numbered by menu position -- NOT RECOMMENDED because of lack
290  * of compatibility when extending the table. These are between 0x00 and 0xff.
291  */
292 #define VIDEO_FIRST_MENU 0x0000
293
294 /* Standard BIOS video modes (BIOS number + 0x0100) */
295 #define VIDEO_FIRST_BIOS 0x0100
296
297 /* VESA BIOS video modes (VESA number + 0x0200) */
298 #define VIDEO_FIRST_VESA 0x0200
299
300 /* Video7 special modes (BIOS number + 0x0900) */
301 #define VIDEO_FIRST_V7 0x0900
302
303 # Setting of user mode (AX=mode ID) => CF=success
304 mode_seta:
305         movw    %ax, %bx
306 #if 0
307         cmpb    $0xff, %ah
308         jz      setalias
309
310         testb   $VIDEO_RECALC>>8, %ah
311         jnz     _setrec
312
313         cmpb    $VIDEO_FIRST_RESOLUTION>>8, %ah
314         jnc     setres
315         
316         cmpb    $VIDEO_FIRST_SPECIAL>>8, %ah
317         jz      setspc
318
319         cmpb    $VIDEO_FIRST_V7>>8, %ah
320         jz      setv7
321 #endif
322         
323         cmpb    $VIDEO_FIRST_VESA>>8, %ah
324         jnc     check_vesaa
325 #if 0   
326         orb     %ah, %ah
327         jz      setmenu
328 #endif
329         
330         decb    %ah
331 #       jz      setbios                           Add bios modes later
332
333 setbada:        clc
334         ret
335
336 check_vesaa:
337         subb    $VIDEO_FIRST_VESA>>8, %bh
338         orw     $0x4000, %bx                    # Use linear frame buffer
339         movw    $0x4f02, %ax                    # VESA BIOS mode set call
340         int     $0x10
341         cmpw    $0x004f, %ax                    # AL=4f if implemented
342         jnz     _setbada                                # AH=0 if OK
343
344         stc
345         ret
346
347 _setbada: jmp setbada
348
349         .code64
350 bogus_magic:
351         movw    $0x0e00 + 'B', %ds:(0xb8018)
352         jmp bogus_magic
353
354 bogus_magic2:
355         movw    $0x0e00 + '2', %ds:(0xb8018)
356         jmp bogus_magic2
357         
358
359 wakeup_stack_begin:     # Stack grows down
360
361 .org    0xff0
362 wakeup_stack:           # Just below end of page
363
364 ENTRY(wakeup_end)
365         
366 ##
367 # acpi_copy_wakeup_routine
368 #
369 # Copy the above routine to low memory.
370 #
371 # Parameters:
372 # %rdi: place to copy wakeup routine to
373 #
374 # Returned address is location of code in low memory (past data and stack)
375 #
376 ENTRY(acpi_copy_wakeup_routine)
377         pushq   %rax
378         pushq   %rcx
379         pushq   %rdx
380
381         sgdt    saved_gdt
382         sidt    saved_idt
383         sldt    saved_ldt
384         str     saved_tss
385
386         movq    %cr3, %rdx
387         movq    %rdx, saved_cr3
388         movq    %cr4, %rdx
389         movq    %rdx, saved_cr4
390         movq    %cr0, %rdx
391         movq    %rdx, saved_cr0
392         sgdt    real_save_gdt - wakeup_start (,%rdi)
393         movl    $MSR_EFER, %ecx
394         rdmsr
395         movl    %eax, saved_efer
396         movl    %edx, saved_efer2
397
398         movl    saved_video_mode, %edx
399         movl    %edx, video_mode - wakeup_start (,%rdi)
400         movl    acpi_video_flags, %edx
401         movl    %edx, video_flags - wakeup_start (,%rdi)
402         movq    $0x12345678, real_magic - wakeup_start (,%rdi)
403         movq    $0x123456789abcdef0, %rdx
404         movq    %rdx, saved_magic
405
406         movl    saved_magic - __START_KERNEL_map, %eax
407         cmpl    $0x9abcdef0, %eax
408         jne     bogus_32_magic
409
410         # make sure %cr4 is set correctly (features, etc)
411         movl    saved_cr4 - __START_KERNEL_map, %eax
412         movq    %rax, %cr4
413
414         movl    saved_cr0 - __START_KERNEL_map, %eax
415         movq    %rax, %cr0
416         jmp     1f              # Flush pipelines
417 1:
418         # restore the regs we used
419         popq    %rdx
420         popq    %rcx
421         popq    %rax
422 ENTRY(do_suspend_lowlevel_s4bios)
423         ret
424
425         .align 2
426         .p2align 4,,15
427 .globl do_suspend_lowlevel
428         .type   do_suspend_lowlevel,@function
429 do_suspend_lowlevel:
430 .LFB5:
431         subq    $8, %rsp
432         xorl    %eax, %eax
433         call    save_processor_state
434
435         movq %rsp, saved_context_esp(%rip)
436         movq %rax, saved_context_eax(%rip)
437         movq %rbx, saved_context_ebx(%rip)
438         movq %rcx, saved_context_ecx(%rip)
439         movq %rdx, saved_context_edx(%rip)
440         movq %rbp, saved_context_ebp(%rip)
441         movq %rsi, saved_context_esi(%rip)
442         movq %rdi, saved_context_edi(%rip)
443         movq %r8,  saved_context_r08(%rip)
444         movq %r9,  saved_context_r09(%rip)
445         movq %r10, saved_context_r10(%rip)
446         movq %r11, saved_context_r11(%rip)
447         movq %r12, saved_context_r12(%rip)
448         movq %r13, saved_context_r13(%rip)
449         movq %r14, saved_context_r14(%rip)
450         movq %r15, saved_context_r15(%rip)
451         pushfq ; popq saved_context_eflags(%rip)
452
453         movq    $.L97, saved_eip(%rip)
454
455         movq %rsp,saved_esp
456         movq %rbp,saved_ebp
457         movq %rbx,saved_ebx
458         movq %rdi,saved_edi
459         movq %rsi,saved_esi
460
461         addq    $8, %rsp
462         movl    $3, %edi
463         xorl    %eax, %eax
464         jmp     acpi_enter_sleep_state
465 .L97:
466         .p2align 4,,7
467 .L99:
468         .align 4
469         movl    $24, %eax
470         movw %ax, %ds
471         movq    saved_context+58(%rip), %rax
472         movq %rax, %cr4
473         movq    saved_context+50(%rip), %rax
474         movq %rax, %cr3
475         movq    saved_context+42(%rip), %rax
476         movq %rax, %cr2
477         movq    saved_context+34(%rip), %rax
478         movq %rax, %cr0
479         pushq saved_context_eflags(%rip) ; popfq
480         movq saved_context_esp(%rip), %rsp
481         movq saved_context_ebp(%rip), %rbp
482         movq saved_context_eax(%rip), %rax
483         movq saved_context_ebx(%rip), %rbx
484         movq saved_context_ecx(%rip), %rcx
485         movq saved_context_edx(%rip), %rdx
486         movq saved_context_esi(%rip), %rsi
487         movq saved_context_edi(%rip), %rdi
488         movq saved_context_r08(%rip), %r8
489         movq saved_context_r09(%rip), %r9
490         movq saved_context_r10(%rip), %r10
491         movq saved_context_r11(%rip), %r11
492         movq saved_context_r12(%rip), %r12
493         movq saved_context_r13(%rip), %r13
494         movq saved_context_r14(%rip), %r14
495         movq saved_context_r15(%rip), %r15
496
497         xorl    %eax, %eax
498         addq    $8, %rsp
499         jmp     restore_processor_state
500 .LFE5:
501 .Lfe5:
502         .size   do_suspend_lowlevel,.Lfe5-do_suspend_lowlevel
503         
504 .data
505 ALIGN
506 ENTRY(saved_ebp)        .quad   0
507 ENTRY(saved_esi)        .quad   0
508 ENTRY(saved_edi)        .quad   0
509 ENTRY(saved_ebx)        .quad   0
510
511 ENTRY(saved_eip)        .quad   0
512 ENTRY(saved_esp)        .quad   0
513
514 ENTRY(saved_magic)      .quad   0
515
516 ALIGN
517 # saved registers
518 saved_gdt:      .quad   0,0
519 saved_idt:      .quad   0,0
520 saved_ldt:      .quad   0
521 saved_tss:      .quad   0
522
523 saved_cr0:      .quad 0
524 saved_cr3:      .quad 0
525 saved_cr4:      .quad 0
526 saved_efer:     .quad 0
527 saved_efer2:    .quad 0