Explain why conformance tests are useful for ports too.
[wine] / documentation / winsock
1 ----- Information in this file is obsolete. -----
2
3 Winsock
4
5 Platform 1.
6 Windows NT 3.51, build 1057, Service Pack 2
7
8 Platform 2.
9 Windows 3.1 with Trumpet Sockets (2.1f)
10
11 Testing
12 -------
13   Testing was done using the Windows Sockets API Tester (WSAT), available
14 from rhino.microsoft.com/wsat/wsat594.exe. I found a number of tests that
15 would not run under Wine, some that failed under Trumpet, and others under
16 NT. So, I decided to use tests that at least succeeded IN FULL on all the
17 test platforms.
18
19 These are only the local tests.
20
21 Any program which makes use of the WSAAsync* calls, pretty much won't
22 work. Other program which work correctly will work ... mostly. Programs
23 which are incorrect, will probably crash and burn fairly quickly.
24
25 I have tried to make WINESockets as close as possible to Trumpet's.
26
27 The numbers in brackets next to each platform indicate how many tests failed,
28 the numbers listed on the variations line are the test that failed.
29
30 Investigated
31 ============
32
33 BINDT.TST       NT (00)    Trumpet (10)    Wine (10)
34 BINDU.TST       NT (00)    Trumpet (10)    Wine (10)
35 HOST.TST        NT (01)    Trumpet (06)    Wine (38)*3
36 HOSTHOST.TST    NT (01)*1  Trumpet (01)*1  Wine (00) 
37 HOSTNAME.TST    NT (01)    Trumpet (00)    Wine (00)*2
38 INET.TST        NT (01)    Trumpet (24)*1  Wine (01)
39 IOCTLT.TST      NT (00)    Trumpet (00)    Wine (06)
40 IOCTLU.TST      NT (00)    Trumpet (00)    Wine (04)
41 PROTO.TST       NT (00)    Trumpet (00)    Wine (41)*3
42 SERV.TST        NT (00)    Trumpet (00)    Wine (50)*3
43 SOCKETT.TST     NT (01)    Trumpet (00)    Wine (00)
44 SOCKETU.TST     NT (03)    Trumpet (00)    Wine (00)
45 START.TST       NT (00)    Trumpet (00)    Wine (08)*3
46 STARTL.TST      NT (00)*4  Trumpet (00)    Wine (00)
47
48 STARTH.TST      Wine crashed with two messages (from the program, methinks)
49                 indicating "FREE - HEAPBADNODE - bad node in head."
50
51 Unchecked
52 =========
53 ENOBUFST.TST    ENOBUFSU.TST
54 GETOPTT.TST     GETOPTU.TST
55 SETOPTT.TST     SETOPTU.TST
56 All the client/server tests
57
58 *1 errors in the NT and/or Trumpet were caused
59    by a mistake I made while configuring this test.
60
61 *2 Wine passes these tests, because they aren't done
62    correctly not because it does everything correctly.
63
64 *3 Wine crashed part way through the testing process,
65    hence the large value of tests failed.
66
67 *4 NT actually supports Winsock 1.0 as well.