cmd: Add support for NUL in copy.
[wine] / tools / make_makefiles
1 #!/usr/bin/perl -w
2 #
3 # Build the auto-generated parts of the Wine makefiles.
4 #
5 # Copyright 2006 Alexandre Julliard
6 #
7 # This library is free software; you can redistribute it and/or
8 # modify it under the terms of the GNU Lesser General Public
9 # License as published by the Free Software Foundation; either
10 # version 2.1 of the License, or (at your option) any later version.
11 #
12 # This library is distributed in the hope that it will be useful,
13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15 # Lesser General Public License for more details.
16 #
17 # You should have received a copy of the GNU Lesser General Public
18 # License along with this library; if not, write to the Free Software
19 # Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
20 #
21
22 use strict;
23
24 # Make rules files
25 my %makerules =
26 (
27  "MAKE_RULES" => "Make.rules",
28  "MAKE_DLL_RULES" => "dlls/Makedll.rules",
29  "MAKE_IMPLIB_RULES" => "dlls/Makeimplib.rules",
30  "MAKE_TEST_RULES" => "Maketest.rules",
31  "MAKE_PROG_RULES" => "programs/Makeprog.rules",
32 );
33
34 # Programs that we want to install in the bin directory too
35 my %bin_install =
36 (
37   "msiexec" => 1,
38   "notepad" => 1,
39   "regedit" => 1,
40   "regsvr32" => 1,
41   "wineboot" => 1,
42   "winecfg" => 1,
43   "wineconsole" => 1,
44   "winedbg" => 1,
45   "winefile" => 1,
46   "winemine" => 1,
47   "winepath" => 1,
48 );
49
50 # Programs that we don't want to install at all
51 my %dont_install =
52 (
53   "winetest" => 1,
54 );
55
56 # Dlls and programs that are 16-bit specific
57 my %modules16 =
58 (
59   "ifsmgr.vxd" => 1,
60   "mmdevldr.vxd" => 1,
61   "monodebg.vxd" => 1,
62   "vdhcp.vxd" => 1,
63   "vmm.vxd" => 1,
64   "vnbt.vxd" => 1,
65   "vnetbios.vxd" => 1,
66   "vtdapi.vxd" => 1,
67   "vwin32.vxd" => 1,
68   "w32skrnl.dll" => 1,
69   "winevdm.exe" => 1,
70   "wow32.dll" => 1,
71 );
72
73 # Default patterns for top-level .gitignore
74 my @ignores = (
75     "*.[oa]",
76     "*.exe",
77     "*.fake",
78     "*.man",
79     "*.ok",
80     "*.res",
81     "*.so",
82     "/autom4te.cache",
83     "/config.cache",
84     "/config.log",
85     "/config.status",
86     "/configure.lineno",
87     "/TAGS",
88     "/tags",
89     "/wine",
90     "/wine64",
91     "Makefile",
92     "dlldata.c",
93     "dlls/*/*.def",
94     "dlls/shell32/AUTHORS",
95     "*/*/tests/testlist.c",
96     "include/config.h",
97     "include/stamp-h",
98     "msg.pot",
99     "po/*.mo",
100     "programs/winetest/build.nfo",
101     "programs/winetest/build.rc",
102     "rsrc.pot",
103     "tools/makedep",
104 );
105
106 # Source files and their resulting target to ignore
107 my @ignore_srcs = (
108     [ 'BISON_SRCS',   '\.y',   '.tab.c' ],
109     [ 'BISON_SRCS',   '\.y',   '.tab.h' ],
110     [ 'LEX_SRCS',     '\.l',   '.yy.c' ],
111     [ 'IDL_TLB_SRCS', '\.idl', '.tlb' ],
112     [ 'IDL_H_SRCS',   '\.idl', '.h' ],
113     [ 'IDL_C_SRCS',   '\.idl', '.h' ],
114     [ 'IDL_I_SRCS',   '\.idl', '.h' ],
115     [ 'IDL_P_SRCS',   '\.idl', '.h' ],
116     [ 'IDL_S_SRCS',   '\.idl', '.h' ],
117     [ 'IDL_C_SRCS',   '\.idl', '_c.c' ],
118     [ 'IDL_I_SRCS',   '\.idl', '_i.c' ],
119     [ 'IDL_P_SRCS',   '\.idl', '_p.c' ],
120     [ 'IDL_S_SRCS',   '\.idl', '_s.c' ],
121     [ 'PUBLIC_IDL_H_SRCS',  '\.idl', '.h' ],
122     [ 'PRIVATE_IDL_H_SRCS', '\.idl', '.h' ],
123     [ 'XTEMPLATE_SRCS',     '\.x',   '.h' ],
124 );
125
126 my %exported_wine_headers = (
127     "wine/debug.h" => 1,
128     "wine/exception.h" => 1,
129     "wine/library.h" => 1,
130     "wine/unicode.h" => 1,
131     "wine/itss.idl" => 1,
132     "wine/svcctl.idl" => 1,
133 );
134
135 my %private_idl_headers = (
136     "access.idl" => 1,
137     "asynot.idl" => 1,
138     "asysta.idl" => 1,
139     "axcore.idl" => 1,
140     "axextend.idl" => 1,
141     "binres.idl" => 1,
142     "cmdbas.idl" => 1,
143     "cmdtxt.idl" => 1,
144     "crtrow.idl" => 1,
145     "dbccmd.idl" => 1,
146     "dbcses.idl" => 1,
147     "dbdsad.idl" => 1,
148     "dbinit.idl" => 1,
149     "dbprop.idl" => 1,
150     "dbs.idl" => 1,
151     "devenum.idl" => 1,
152     "dyngraph.idl" => 1,
153     "opnrst.idl" => 1,
154     "row.idl" => 1,
155     "rowchg.idl" => 1,
156     "rstbas.idl" => 1,
157     "rstinf.idl" => 1,
158     "rstloc.idl" => 1,
159     "sesprp.idl" => 1,
160     "vmrender.idl" => 1,
161     "xmldom.idl" => 1,
162     "xmldso.idl" => 1,
163     "wine/winedxgi.idl" => 1,
164 );
165
166 my %ignored_source_files = (
167     "dlls/wineps.drv/afm2c.c" => 1,
168     "dlls/wineps.drv/mkagl.c" => 1,
169     "programs/winetest/dist.rc" => 1,
170 );
171
172 my (@linguas, @makefiles, %makefiles);
173
174 sub dirname($)
175 {
176     my $ret = shift;
177     return "" unless $ret =~ /\//;
178     $ret =~ s!/[^/]*$!!;
179     return $ret;
180 }
181
182 # update a file if changed
183 sub update_file($)
184 {
185     my $file = shift;
186     my $ret = !(-f $file) || system "cmp $file $file.new >/dev/null";
187     if (!$ret)
188     {
189         unlink "$file.new";
190     }
191     else
192     {
193         rename "$file.new", "$file";
194         print "$file updated\n";
195         if ($file eq "configure.ac")
196         {
197             system "autoconf";
198             print "configure updated\n";
199         }
200     }
201     return $ret;
202 }
203
204 # replace some lines in a file between two markers
205 sub replace_in_file($$$@)
206 {
207     my $file = shift;
208     my $start = shift;
209     my $end = shift;
210
211     open NEW_FILE, ">$file.new" or die "cannot create $file.new";
212
213     if (defined($start))
214     {
215         open OLD_FILE, "$file" or die "cannot open $file";
216         while (<OLD_FILE>)
217         {
218             last if /$start/;
219             print NEW_FILE $_;
220         }
221     }
222
223     print NEW_FILE @_;
224
225     if (defined($end))
226     {
227         my $skip=1;
228         while (<OLD_FILE>)
229         {
230             print NEW_FILE $_ unless $skip;
231             $skip = 0 if /$end/;
232         }
233     }
234
235     close OLD_FILE if defined($start);
236     close NEW_FILE;
237     return update_file($file);
238 }
239
240 # replace a variable in a makefile
241 sub replace_makefile_variable($$)
242 {
243     my ($file, $var) = @_;
244     my $make = $makefiles{$file};
245     my $replaced = 0;
246
247     return unless defined ${$make}{"=$var"};
248
249     my @values = @{${$make}{"=$var"}};
250     ${$make}{$var} = \@values;
251
252     open NEW_FILE, ">$file.in.new" or die "cannot create $file.in.new";
253
254     open OLD_FILE, "$file.in" or die "cannot open $file.in";
255     while (<OLD_FILE>)
256     {
257         if (/^\s*($var\s*)=/)
258         {
259             # try to preserve formatting
260             my $prefix = $1;
261             my $multiline = /\\$/ || (@values > 1);
262             while (/\\$/)
263             {
264                 $_ = <OLD_FILE>;
265                 last unless $_;
266             }
267             if ($multiline)
268             {
269                 print NEW_FILE "$var = \\\n\t" . join(" \\\n\t", sort @values) . "\n";
270             }
271             else
272             {
273                 print NEW_FILE "$prefix= @values\n";
274             }
275             $replaced = 1;
276             next;
277         }
278         if (/^\@MAKE/ && !$replaced)
279         {
280             print NEW_FILE "$var = \\\n\t" . join(" \\\n\t", sort @values) . "\n";
281         }
282         print NEW_FILE $_;
283     }
284     close OLD_FILE;
285     close NEW_FILE;
286     return update_file("$file.in");
287 }
288
289 # parse the specified makefile and load the variables
290 sub parse_makefile($)
291 {
292     my $file = shift;
293     my %make;
294
295     ($make{"=dir"} = $file) =~ s/[^\/]+$//;
296
297     open MAKE, "$file.in" or die "cannot open $file.in\n";
298
299     while (<MAKE>)
300     {
301         chomp;
302         next if (/^\s*#/);
303         while (/\\$/) { chop; $_ .= <MAKE>; chomp; }  # merge continued lines
304         next if (/^\s*$/);
305
306         if (/^\@(MAKE.*RULES)\@/)
307         {
308             my $var = $1;
309             $make{"=rules"} = $makerules{$var};
310             next;
311         }
312         if (/^\s*(MODULE|IMPORTLIB|TESTDLL|MANPAGE)\s*=\s*(.*)/)
313         {
314             my $var = $1;
315             $make{$var} = $2;
316             push @{$make{"=flags"}}, "implib" if $var eq "IMPORTLIB";
317             push @{$make{"=flags"}}, "manpage" if $var eq "MANPAGE";
318             next;
319         }
320         if (/^\s*(BISON_SRCS|LEX_SRCS|IDL_[CHIPRS]_SRCS|IDL_TLB_SRCS|IMPLIB_SRCS|C_SRCS|MC_SRCS|RC_SRCS|PO_SRCS|SVG_SRCS|PROGRAMS)\s*=\s*(.*)/)
321         {
322             my $var = $1;
323             my @list = split(/\s+/, $2);
324             $make{$var} = \@list;
325             push @{$make{"=flags"}}, "mc" if $var eq "MC_SRCS";
326             push @{$make{"=flags"}}, "po" if $var eq "PO_SRCS";
327             push @{$make{"=flags"}}, "staticimplib" if $var eq "IMPLIB_SRCS";
328             next;
329         }
330         if (/(install-lib|install-dev)\s*:/)
331         {
332             push @{$make{"=flags"}}, $1;
333             next;
334         }
335         if (/^\s*(TOPSRCDIR|TOPOBJDIR|SRCDIR|VPATH)\s*=\s*(.*)/)
336         {
337             die "Variable $1 in $file.in is obsolete";
338         }
339     }
340
341     if ($file =~ /^programs\/([^\/]+)\/Makefile/)
342     {
343         push @{$make{"=flags"}}, "install" unless $dont_install{$1};
344         push @{$make{"=flags"}}, "installbin" if $bin_install{$1};
345     }
346
347     return %make;
348 }
349
350 # assign source files to their respective makefile
351 sub assign_sources_to_makefiles(@)
352 {
353     my %subdirs;
354
355     foreach my $file (@_)
356     {
357         next if defined $ignored_source_files{$file};
358         my $dir = dirname( $file );
359         my $subdir = $dir;
360
361         while ($dir && !defined $makefiles{"$dir/Makefile"}) { $dir = dirname( $dir ); }
362         $subdir =~ s/^$dir\/?//;
363         $subdirs{"$dir/ $subdir"} = 1 if $subdir;
364         next unless $dir;
365
366         die "no makefile found for $file\n" unless defined $makefiles{"$dir/Makefile"};
367
368         my $make = $makefiles{"$dir/Makefile"};
369         my $name = substr( $file, length($dir) + 1 );
370
371         if ($dir eq "include")
372         {
373             next if ($name =~ /\.in$/);
374             if ($name =~ /^wine\// && !$exported_wine_headers{$name})
375             {
376                 if ($private_idl_headers{$name}) { push @{${$make}{"=PRIVATE_IDL_H_SRCS"}}, $name; }
377                 next;
378             }
379             if ($name =~ /stdole2\.idl$/) { push @{${$make}{"=IDL_TLB_SRCS"}}, $name; }
380             elsif ($private_idl_headers{$name}) { push @{${$make}{"=SRCDIR_INCLUDES"}}, $name; }
381             elsif ($name =~ /\.h$/) { push @{${$make}{"=SRCDIR_INCLUDES"}}, $name; }
382             elsif ($name =~ /\.x$/) { push @{${$make}{"=XTEMPLATE_SRCS"}}, $name; }
383             elsif ($name =~ /\.rh$/) { push @{${$make}{"=SRCDIR_INCLUDES"}}, $name; }
384             elsif ($name =~ /\.inl$/) { push @{${$make}{"=SRCDIR_INCLUDES"}}, $name; }
385             elsif ($name =~ /\.idl$/) { push @{${$make}{"=PUBLIC_IDL_H_SRCS"}}, $name; }
386             else { die "unknown file $name in include dir"; }
387         }
388         else
389         {
390             if ($name =~ /\.c$/) { push @{${$make}{"=C_SRCS"}}, $name; }
391             elsif ($name =~ /\.l$/) { push @{${$make}{"=LEX_SRCS"}}, $name; }
392             elsif ($name =~ /\.y$/) { push @{${$make}{"=BISON_SRCS"}}, $name; }
393             elsif ($name =~ /\.rc$/) { push @{${$make}{"=RC_SRCS"}}, $name; }
394             elsif ($name =~ /\.mc$/) { push @{${$make}{"=MC_SRCS"}}, $name; }
395             elsif ($name =~ /\.svg$/) { push @{${$make}{"=SVG_SRCS"}}, $name; }
396         }
397     }
398     foreach my $key (keys %subdirs)
399     {
400         my ($dir, $subdir) = split " ", $key;
401         if ($dir eq "/") { $dir = ""; }
402         push @{${$makefiles{"${dir}Makefile"}}{"=EXTRASUBDIRS"}}, $subdir;
403     }
404
405     # add extra variables to include source list
406     my $make = $makefiles{"include/Makefile"};
407     unshift @{${$make}{"=SRCDIR_INCLUDES"}}, "\$(XTEMPLATE_SRCS)";
408     unshift @{${$make}{"=SRCDIR_INCLUDES"}}, "\$(PUBLIC_IDL_H_SRCS)";
409     unshift @{${$make}{"=SRCDIR_INCLUDES"}}, "\$(IDL_TLB_SRCS)";
410 }
411
412 ################################################################
413 # update the makefile list in configure.ac
414
415 sub update_makefiles(@)
416 {
417     my (@lines);
418
419     foreach my $var (sort { $makerules{$a} cmp $makerules{$b}; } keys %makerules)
420     {
421         my $file = $makerules{$var};
422         my %make = %{$makefiles{$file}};
423         my $rules = $make{"=rules"} ? ",[$make{\"=rules\"}]" : "";
424         push @lines, "WINE_CONFIG_MAKERULES([$file],[$var]$rules)\n";
425     }
426     push @lines, "\n";
427
428     foreach my $file (sort @_)
429     {
430         my %make = %{$makefiles{$file}};
431         my $rules = $make{"=rules"};
432         my $args = "";
433         my $is_win16 = $make{"MODULE"} && ($make{"MODULE"} =~ /16$/ || $modules16{$make{"MODULE"}});
434         my $flag_args = defined $make{"=flags"} ? ",[" . join(",",sort @{$make{"=flags"}}) ."]" : "";
435         if ($rules eq $makerules{"MAKE_DLL_RULES"})
436         {
437             (my $name = $file) =~ s/^dlls\/(.*)\/Makefile/$1/;
438             if ($name =~ /\./)
439             {
440                 die "Invalid MODULE in $file" unless $make{"MODULE"} eq $name;
441             }
442             else
443             {
444                 die "Invalid MODULE in $file" unless $make{"MODULE"} eq "$name.dll";
445             }
446             my $implib = $make{"IMPORTLIB"} || "";
447             $args .= "," if $is_win16 || defined $make{"=flags"};
448             $args .= "enable_win16" if $is_win16;
449             $args .= $flag_args;
450             $args .= ",[$implib]" if $implib && $implib ne $name;
451             push @lines, "WINE_CONFIG_DLL($name$args)\n";
452         }
453         elsif ($rules eq $makerules{"MAKE_PROG_RULES"})
454         {
455             (my $name = $file) =~ s/^programs\/(.*)\/Makefile/$1/;
456             if ($name =~ /\./)
457             {
458                 die "Invalid MODULE in $file" unless $make{"MODULE"} eq $name;
459             }
460             else
461             {
462                 die "Invalid MODULE in $file" unless $make{"MODULE"} eq "$name.exe";
463             }
464             $args .= "," if $is_win16 || defined $make{"=flags"};
465             $args .= "enable_win16" if $is_win16;
466             push @lines, "WINE_CONFIG_PROGRAM($name$args$flag_args)\n";
467         }
468         elsif ($rules eq $makerules{"MAKE_TEST_RULES"})
469         {
470             (my $dir = $file) =~ s/^(.*)\/Makefile/$1/;
471             push @lines, "WINE_CONFIG_TEST($dir$flag_args)\n";
472         }
473         elsif ($rules eq $makerules{"MAKE_IMPLIB_RULES"})
474         {
475             (my $name = $file) =~ s/^dlls\/(.*)\/Makefile/$1/;
476             push @lines, "WINE_CONFIG_LIB($name$flag_args)\n";
477         }
478         elsif ($file =~ /^tools.*\/Makefile$/)
479         {
480             (my $name = $file) =~ s/^(.*)\/Makefile/$1/;
481             push @lines, "WINE_CONFIG_TOOL($name$flag_args)\n";
482         }
483         elsif ($file =~ /\/Makefile$/)
484         {
485             (my $name = $file) =~ s/^(.*)\/Makefile/$1/;
486             $args = "[$name]";
487             $args .= "," if defined $make{"=flags"};
488             push @lines, "WINE_CONFIG_MAKEFILE($args$flag_args)\n";
489         }
490     }
491
492     push @lines, "\nAC_SUBST([LINGUAS],[\"\\\n", join( " \\\n", sort @linguas ), "\"])\n\n";
493
494     # update the source variables in all the makefiles
495
496     foreach my $file (sort @_)
497     {
498         replace_makefile_variable( $file, "LEX_SRCS" );
499         replace_makefile_variable( $file, "BISON_SRCS" );
500         replace_makefile_variable( $file, "MC_SRCS" );
501         replace_makefile_variable( $file, "SVG_SRCS" );
502         replace_makefile_variable( $file, "C_SRCS" );
503         replace_makefile_variable( $file, "RC_SRCS" );
504         replace_makefile_variable( $file, "PRIVATE_IDL_H_SRCS" );
505         replace_makefile_variable( $file, "PUBLIC_IDL_H_SRCS" );
506         replace_makefile_variable( $file, "IDL_TLB_SRCS" );
507         replace_makefile_variable( $file, "XTEMPLATE_SRCS" );
508         replace_makefile_variable( $file, "SRCDIR_INCLUDES" );
509         replace_makefile_variable( $file, "EXTRASUBDIRS" );
510     }
511
512     push @lines, "dnl End of auto-generated output commands\n";
513     replace_in_file( "configure.ac", '^WINE_CONFIG_MAKERULES', '^dnl End of auto-generated output commands\n$', @lines);
514 }
515
516
517 ################################################################
518 # process ignore targets for generic source files
519
520 sub update_ignores(@)
521 {
522     my @ignores;
523
524     foreach my $file (sort @_)
525     {
526         my %makefile = %{$makefiles{$file}};
527         my @list;
528
529         foreach my $src (@ignore_srcs)
530         {
531             my @pattern = @{$src};
532             next unless defined $makefile{$pattern[0]};
533             next if $pattern[0] eq "IDL_TLB_SRCS" && $makefile{"=rules"} eq "dlls/Makedll.rules";
534             push @list, map { (my $ret = $_) =~ s/$pattern[1]$/$pattern[2]/; $ret; } @{$makefile{$pattern[0]}};
535         }
536         foreach my $f (@list)
537         {
538             push @ignores, $makefile{"=dir"} . $f unless $f =~ /\$\(.*\)/;  # skip make variables
539         }
540
541         if (defined $makefile{"IMPORTLIB"})
542         {
543             if ($makefile{"IMPORTLIB"} =~ /^([a-zA-Z0-9_.]+)/)
544             {
545                 if ("dlls/$1/" ne $makefile{"=dir"}) { push @ignores, "dlls/lib$1.def"; }
546             }
547             else
548             {
549                 die "invalid importlib name $makefile{IMPORTLIB} in $file";
550             }
551         }
552     }
553     return @ignores;
554 }
555
556
557 ################################################################
558 # update the main .gitignore
559
560 sub update_gitignore(@)
561 {
562     my @ignores = values %makerules;
563
564     foreach my $make (@makefiles)
565     {
566         my %makefile = %{$makefiles{$make}};
567         my $dir = $makefile{"=dir"};
568         if (defined $makefile{"PROGRAMS"})
569         {
570             push @ignores, map { s/\$\(EXEEXT\)//; $dir . $_; } @{$makefile{"PROGRAMS"}};
571         }
572     }
573
574     # prepend a slash to paths that don't have one
575     @ignores = map { $_ =~ s/^([^\/]+)$/\/$1/; $_; } @ignores;
576
577     # get rid of duplicates
578     my %ignores = ();
579     foreach my $i (@ignores, @_) { $ignores{$i} = 1; }
580
581     replace_in_file( ".gitignore", undef, undef,
582                      "# Automatically generated by make_makefiles; DO NOT EDIT!!\n",
583                      join("\n", sort keys %ignores), "\n" );
584 }
585
586
587 ################################################################
588 # update the LINGUAS file
589
590 sub update_linguas(@)
591 {
592     replace_in_file( "po/LINGUAS", undef, undef, join("\n", sort @_), "\n" );
593 }
594
595
596 die "needs to be run from a git checkout" unless -d ".git";
597
598 my @all_files = split /\0/, `git ls-files -c -z`;
599 @linguas = map { (my $ret = $_) =~ s/^po\/(.*)\.po/$1/; $ret; } grep /^po\/.*\.po$/, @all_files;
600 @makefiles = map { (my $ret = $_) =~ s/\.in$//; $ret; } grep /Makefile.in$/, @all_files;
601
602 foreach my $file (sort values %makerules, @makefiles)
603 {
604     my %make = parse_makefile( $file );
605     $makefiles{$file} = \%make;
606 }
607
608 assign_sources_to_makefiles( @all_files );
609 update_linguas( @linguas );
610 update_makefiles( @makefiles );
611 push @ignores, update_ignores( @makefiles );
612 update_gitignore( @ignores );