kernel32: Moved _DebugOutput to kernel16.c.
[wine] / dlls / kernel32 / tests / debugger.c
1 /*
2  * Unit tests for the debugger facility
3  *
4  * Copyright (c) 2007 Francois Gouget for CodeWeavers
5  *
6  * This library is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * This library is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with this library; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
19  */
20
21 #include <stdio.h>
22 #include <assert.h>
23
24 #include <windows.h>
25 #include <winreg.h>
26 #include "wine/test.h"
27
28 #ifndef STATUS_DEBUGGER_INACTIVE
29 #define STATUS_DEBUGGER_INACTIVE         ((NTSTATUS) 0xC0000354)
30 #endif
31
32 static int    myARGC;
33 static char** myARGV;
34
35 static BOOL (WINAPI *pDebugActiveProcessStop)(DWORD);
36 static BOOL (WINAPI *pDebugSetProcessKillOnExit)(BOOL);
37
38 /* Copied from the process test */
39 static void get_file_name(char* buf)
40 {
41     char path[MAX_PATH];
42
43     buf[0] = '\0';
44     GetTempPathA(sizeof(path), path);
45     GetTempFileNameA(path, "wt", 0, buf);
46 }
47
48 static void get_events(const char* name, HANDLE *start_event, HANDLE *done_event)
49 {
50     const char* basename;
51     char* event_name;
52
53     basename=strrchr(name, '\\');
54     basename=(basename ? basename+1 : name);
55     event_name=HeapAlloc(GetProcessHeap(), 0, 6+strlen(basename)+1);
56
57     sprintf(event_name, "start_%s", basename);
58     *start_event=CreateEvent(NULL, 0,0, event_name);
59     sprintf(event_name, "done_%s", basename);
60     *done_event=CreateEvent(NULL, 0,0, event_name);
61     HeapFree(GetProcessHeap(), 0, event_name);
62 }
63
64 static void save_blackbox(const char* logfile, void* blackbox, int size)
65 {
66     HANDLE hFile;
67     DWORD written;
68
69     hFile=CreateFileA(logfile, GENERIC_WRITE, 0, NULL, CREATE_ALWAYS, 0, 0);
70     if (hFile == INVALID_HANDLE_VALUE)
71         return;
72     WriteFile(hFile, blackbox, size, &written, NULL);
73     CloseHandle(hFile);
74 }
75
76 static int load_blackbox(const char* logfile, void* blackbox, int size)
77 {
78     HANDLE hFile;
79     DWORD read;
80     BOOL ret;
81
82     hFile=CreateFileA(logfile, GENERIC_READ, 0, NULL, OPEN_EXISTING, 0, 0);
83     if (hFile == INVALID_HANDLE_VALUE)
84     {
85         ok(0, "unable to open '%s'\n", logfile);
86         return 0;
87     }
88     ret=ReadFile(hFile, blackbox, size, &read, NULL);
89     ok(read == size, "wrong size for '%s': read=%d\n", logfile, read);
90     CloseHandle(hFile);
91     return 1;
92 }
93
94 typedef struct
95 {
96     DWORD pid;
97 } crash_blackbox_t;
98
99 static void doCrash(int argc,  char** argv)
100 {
101     char* p;
102
103     if (argc >= 4)
104     {
105         crash_blackbox_t blackbox;
106         blackbox.pid=GetCurrentProcessId();
107         save_blackbox(argv[3], &blackbox, sizeof(blackbox));
108     }
109
110     /* Just crash */
111     trace("child: crashing...\n");
112     p=NULL;
113     *p=0;
114 }
115
116 typedef struct
117 {
118     int argc;
119     DWORD pid;
120     BOOL debug_rc;
121     DWORD debug_err;
122     BOOL attach_rc;
123     DWORD attach_err;
124     BOOL nokill_rc;
125     DWORD nokill_err;
126     BOOL detach_rc;
127     DWORD detach_err;
128 } debugger_blackbox_t;
129
130 static void doDebugger(int argc, char** argv)
131 {
132     const char* logfile;
133     debugger_blackbox_t blackbox;
134     HANDLE start_event, done_event, debug_event;
135
136     blackbox.argc=argc;
137     logfile=(argc >= 4 ? argv[3] : NULL);
138     blackbox.pid=(argc >= 5 ? atol(argv[4]) : 0);
139
140     blackbox.attach_err=0;
141     if (strstr(myARGV[2], "attach"))
142     {
143         blackbox.attach_rc=DebugActiveProcess(blackbox.pid);
144         if (!blackbox.attach_rc)
145             blackbox.attach_err=GetLastError();
146     }
147     else
148         blackbox.attach_rc=TRUE;
149
150     debug_event=(argc >= 6 ? (HANDLE)(INT_PTR)atol(argv[5]) : NULL);
151     blackbox.debug_err=0;
152     if (debug_event && strstr(myARGV[2], "event"))
153     {
154         blackbox.debug_rc=SetEvent(debug_event);
155         if (!blackbox.debug_rc)
156             blackbox.debug_err=GetLastError();
157     }
158     else
159         blackbox.debug_rc=TRUE;
160
161     if (logfile)
162     {
163         get_events(logfile, &start_event, &done_event);
164     }
165
166     if (strstr(myARGV[2], "order"))
167     {
168         trace("debugger: waiting for the start signal...\n");
169         WaitForSingleObject(start_event, INFINITE);
170     }
171
172     blackbox.nokill_err=0;
173     if (strstr(myARGV[2], "nokill"))
174     {
175         blackbox.nokill_rc=pDebugSetProcessKillOnExit(FALSE);
176         if (!blackbox.nokill_rc)
177             blackbox.nokill_err=GetLastError();
178     }
179     else
180         blackbox.nokill_rc=TRUE;
181
182     blackbox.detach_err=0;
183     if (strstr(myARGV[2], "detach"))
184     {
185         blackbox.detach_rc=pDebugActiveProcessStop(blackbox.pid);
186         if (!blackbox.detach_rc)
187             blackbox.detach_err=GetLastError();
188     }
189     else
190         blackbox.detach_rc=TRUE;
191
192     if (logfile)
193     {
194         save_blackbox(logfile, &blackbox, sizeof(blackbox));
195     }
196     trace("debugger: done debugging...\n");
197     SetEvent(done_event);
198
199     /* Just exit with a known value */
200     ExitProcess(0xdeadbeef);
201 }
202
203 static void crash_and_debug(HKEY hkey, const char* argv0, const char* dbgtasks)
204 {
205     DWORD ret;
206     HANDLE start_event, done_event;
207     char* cmd;
208     char dbglog[MAX_PATH];
209     char childlog[MAX_PATH];
210     PROCESS_INFORMATION info;
211     STARTUPINFOA startup;
212     DWORD exit_code;
213     crash_blackbox_t crash_blackbox;
214     debugger_blackbox_t dbg_blackbox;
215
216     ret=RegSetValueExA(hkey, "auto", 0, REG_SZ, (BYTE*)"1", 2);
217     ok(ret == ERROR_SUCCESS, "unable to set AeDebug/auto: ret=%d\n", ret);
218
219     get_file_name(dbglog);
220     get_events(dbglog, &start_event, &done_event);
221     cmd=HeapAlloc(GetProcessHeap(), 0, strlen(argv0)+10+strlen(dbgtasks)+1+strlen(dbglog)+34+1);
222     sprintf(cmd, "%s debugger %s %s %%ld %%ld", argv0, dbgtasks, dbglog);
223     ret=RegSetValueExA(hkey, "debugger", 0, REG_SZ, (BYTE*)cmd, strlen(cmd)+1);
224     ok(ret == ERROR_SUCCESS, "unable to set AeDebug/debugger: ret=%d\n", ret);
225     HeapFree(GetProcessHeap(), 0, cmd);
226
227     get_file_name(childlog);
228     cmd=HeapAlloc(GetProcessHeap(), 0, strlen(argv0)+16+strlen(dbglog)+1);
229     sprintf(cmd, "%s debugger crash %s", argv0, childlog);
230
231     memset(&startup, 0, sizeof(startup));
232     startup.cb = sizeof(startup);
233     startup.dwFlags = STARTF_USESHOWWINDOW;
234     startup.wShowWindow = SW_SHOWNORMAL;
235     ret=CreateProcessA(NULL, cmd, NULL, NULL, FALSE, 0, NULL, NULL, &startup, &info);
236     ok(ret, "CreateProcess: err=%d\n", GetLastError());
237     HeapFree(GetProcessHeap(), 0, cmd);
238     CloseHandle(info.hThread);
239
240     /* The process exits... */
241     trace("waiting for child exit...\n");
242     ok(WaitForSingleObject(info.hProcess, 60000) == WAIT_OBJECT_0, "Timed out waiting for the child to crash\n");
243     ok(GetExitCodeProcess(info.hProcess, &exit_code), "GetExitCodeProcess failed: err=%d\n", GetLastError());
244     if (strstr(dbgtasks, "code2"))
245     {
246         /* If, after attaching to the debuggee, the debugger exits without
247          * detaching, then the debuggee gets a special exit code.
248          */
249         ok(exit_code == 0xffffffff || /* Win 9x */
250            exit_code == 0x80 || /* NT4 */
251            exit_code == STATUS_DEBUGGER_INACTIVE, /* Win >= XP */
252            "wrong exit code : %08x\n", exit_code);
253     }
254     else
255          ok(exit_code == STATUS_ACCESS_VIOLATION ||
256             exit_code == WAIT_ABANDONED, /* win2k3 */
257             "exit code = %08x instead of STATUS_ACCESS_VIOLATION or WAIT_ABANDONED\n", exit_code);
258     CloseHandle(info.hProcess);
259
260     /* ...before the debugger */
261     if (strstr(dbgtasks, "order"))
262         ok(SetEvent(start_event), "SetEvent(start_event) failed\n");
263
264     trace("waiting for the debugger...\n");
265     ok(WaitForSingleObject(done_event, 60000) == WAIT_OBJECT_0, "Timed out waiting for the debugger\n");
266
267     assert(load_blackbox(childlog, &crash_blackbox, sizeof(crash_blackbox)));
268     assert(load_blackbox(dbglog, &dbg_blackbox, sizeof(dbg_blackbox)));
269
270     ok(dbg_blackbox.argc == 6, "wrong debugger argument count: %d\n", dbg_blackbox.argc);
271     ok(dbg_blackbox.pid == crash_blackbox.pid, "the child and debugged pids don't match: %d != %d\n", crash_blackbox.pid, dbg_blackbox.pid);
272     ok(dbg_blackbox.debug_rc, "debugger: SetEvent(debug_event) failed err=%d\n", dbg_blackbox.debug_err);
273     ok(dbg_blackbox.attach_rc, "DebugActiveProcess(%d) failed err=%d\n", dbg_blackbox.pid, dbg_blackbox.attach_err);
274     ok(dbg_blackbox.nokill_rc, "DebugSetProcessKillOnExit(FALSE) failed err=%d\n", dbg_blackbox.nokill_err);
275     ok(dbg_blackbox.detach_rc, "DebugActiveProcessStop(%d) failed err=%d\n", dbg_blackbox.pid, dbg_blackbox.detach_err);
276
277     assert(DeleteFileA(dbglog) != 0);
278     assert(DeleteFileA(childlog) != 0);
279 }
280
281 static void crash_and_winedbg(HKEY hkey, const char* argv0)
282 {
283     DWORD ret;
284     char* cmd;
285     PROCESS_INFORMATION info;
286     STARTUPINFOA startup;
287     DWORD exit_code;
288
289     ret=RegSetValueExA(hkey, "auto", 0, REG_SZ, (BYTE*)"1", 2);
290     ok(ret == ERROR_SUCCESS, "unable to set AeDebug/auto: ret=%d\n", ret);
291
292     cmd=HeapAlloc(GetProcessHeap(), 0, strlen(argv0)+15+1);
293     sprintf(cmd, "%s debugger crash", argv0);
294
295     memset(&startup, 0, sizeof(startup));
296     startup.cb = sizeof(startup);
297     startup.dwFlags = STARTF_USESHOWWINDOW;
298     startup.wShowWindow = SW_SHOWNORMAL;
299     ret=CreateProcessA(NULL, cmd, NULL, NULL, FALSE, 0, NULL, NULL, &startup, &info);
300     ok(ret, "CreateProcess: err=%d\n", GetLastError());
301     HeapFree(GetProcessHeap(), 0, cmd);
302     CloseHandle(info.hThread);
303
304     trace("waiting for child exit...\n");
305     ok(WaitForSingleObject(info.hProcess, 60000) == WAIT_OBJECT_0, "Timed out waiting for the child to crash\n");
306     ok(GetExitCodeProcess(info.hProcess, &exit_code), "GetExitCodeProcess failed: err=%d\n", GetLastError());
307     ok(exit_code == STATUS_ACCESS_VIOLATION, "exit code = %08x\n", exit_code);
308     CloseHandle(info.hProcess);
309 }
310
311 static void test_ExitCode(void)
312 {
313     static const char* AeDebug="Software\\Microsoft\\Windows NT\\CurrentVersion\\AeDebug";
314     char test_exe[MAX_PATH];
315     DWORD ret;
316     HKEY hkey;
317     DWORD disposition;
318     LPBYTE auto_val=NULL;
319     DWORD auto_size, auto_type;
320     LPBYTE debugger_val=NULL;
321     DWORD debugger_size, debugger_type;
322
323     GetModuleFileNameA(GetModuleHandle(NULL), test_exe, sizeof(test_exe));
324     if (GetFileAttributes(test_exe) == INVALID_FILE_ATTRIBUTES)
325         strcat(test_exe, ".so");
326     if (GetFileAttributesA(test_exe) == INVALID_FILE_ATTRIBUTES)
327     {
328         ok(0, "could not find the test executable '%s'\n", test_exe);
329         return;
330     }
331
332     ret=RegCreateKeyExA(HKEY_LOCAL_MACHINE, AeDebug, 0, NULL, REG_OPTION_NON_VOLATILE, KEY_ALL_ACCESS, NULL, &hkey, &disposition);
333     if (ret == ERROR_SUCCESS)
334     {
335         auto_size=0;
336         ret=RegQueryValueExA(hkey, "auto", NULL, &auto_type, NULL, &auto_size);
337         if (ret == ERROR_SUCCESS)
338         {
339             auto_val=HeapAlloc(GetProcessHeap(), 0, auto_size);
340             RegQueryValueExA(hkey, "auto", NULL, &auto_type, auto_val, &auto_size);
341         }
342
343         debugger_size=0;
344         ret=RegQueryValueExA(hkey, "debugger", NULL, &debugger_type, NULL, &debugger_size);
345         if (ret == ERROR_SUCCESS)
346         {
347             debugger_val=HeapAlloc(GetProcessHeap(), 0, debugger_size);
348             RegQueryValueExA(hkey, "debugger", NULL, &debugger_type, debugger_val, &debugger_size);
349             trace("HKLM\\%s\\debugger is set to '%s'\n", AeDebug, debugger_val);
350         }
351     }
352     else if (ret == ERROR_ACCESS_DENIED)
353     {
354         skip("not enough privileges to change the debugger\n");
355         return;
356     }
357     else if (ret != ERROR_FILE_NOT_FOUND)
358     {
359         ok(0, "could not open the AeDebug key: %d\n", ret);
360         return;
361     }
362
363     if (debugger_val && debugger_type == REG_SZ &&
364         strstr((char*)debugger_val, "winedbg --auto"))
365         crash_and_winedbg(hkey, test_exe);
366
367     crash_and_debug(hkey, test_exe, "dbg,none");
368     crash_and_debug(hkey, test_exe, "dbg,event,order");
369     crash_and_debug(hkey, test_exe, "dbg,attach,event,code2");
370     if (pDebugSetProcessKillOnExit)
371         crash_and_debug(hkey, test_exe, "dbg,attach,event,nokill");
372     if (pDebugActiveProcessStop)
373         crash_and_debug(hkey, test_exe, "dbg,attach,event,detach");
374
375     if (disposition == REG_CREATED_NEW_KEY)
376     {
377         RegCloseKey(hkey);
378         RegDeleteKeyA(HKEY_LOCAL_MACHINE, AeDebug);
379     }
380     else
381     {
382         if (auto_val)
383         {
384             RegSetValueExA(hkey, "auto", 0, auto_type, auto_val, auto_size);
385             HeapFree(GetProcessHeap(), 0, auto_val);
386         }
387         else
388             RegDeleteValueA(hkey, "auto");
389         if (debugger_val)
390         {
391             RegSetValueExA(hkey, "debugger", 0, debugger_type, debugger_val, debugger_size);
392             HeapFree(GetProcessHeap(), 0, debugger_val);
393         }
394         else
395             RegDeleteValueA(hkey, "debugger");
396         RegCloseKey(hkey);
397     }
398 }
399
400 START_TEST(debugger)
401 {
402     HMODULE hdll;
403
404     hdll=GetModuleHandle("kernel32.dll");
405     pDebugActiveProcessStop=(void*)GetProcAddress(hdll, "DebugActiveProcessStop");
406     pDebugSetProcessKillOnExit=(void*)GetProcAddress(hdll, "DebugSetProcessKillOnExit");
407
408     myARGC=winetest_get_mainargs(&myARGV);
409     if (myARGC >= 3 && strcmp(myARGV[2], "crash") == 0)
410     {
411         doCrash(myARGC, myARGV);
412     }
413     else if (myARGC >= 3 && strncmp(myARGV[2], "dbg,", 4) == 0)
414     {
415         doDebugger(myARGC, myARGV);
416     }
417     else
418     {
419         test_ExitCode();
420     }
421 }