wmc: Update PO message match algorithm.
[wine] / tools / make_makefiles
1 #!/usr/bin/perl -w
2 #
3 # Build the auto-generated parts of the Wine makefiles.
4 #
5 # Copyright 2006 Alexandre Julliard
6 #
7 # This library is free software; you can redistribute it and/or
8 # modify it under the terms of the GNU Lesser General Public
9 # License as published by the Free Software Foundation; either
10 # version 2.1 of the License, or (at your option) any later version.
11 #
12 # This library is distributed in the hope that it will be useful,
13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15 # Lesser General Public License for more details.
16 #
17 # You should have received a copy of the GNU Lesser General Public
18 # License along with this library; if not, write to the Free Software
19 # Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
20 #
21
22 use strict;
23
24 # Make rules files
25 my %makerules =
26 (
27  "MAKE_RULES" => "Make.rules",
28  "MAKE_DLL_RULES" => "dlls/Makedll.rules",
29  "MAKE_IMPLIB_RULES" => "dlls/Makeimplib.rules",
30  "MAKE_TEST_RULES" => "Maketest.rules",
31  "MAKE_PROG_RULES" => "programs/Makeprog.rules",
32 );
33
34 # Programs that we want to install in the bin directory too
35 my %bin_install =
36 (
37   "msiexec" => 1,
38   "notepad" => 1,
39   "regedit" => 1,
40   "regsvr32" => 1,
41   "wineboot" => 1,
42   "winecfg" => 1,
43   "wineconsole" => 1,
44   "winedbg" => 1,
45   "winefile" => 1,
46   "winemine" => 1,
47   "winepath" => 1,
48 );
49
50 # Programs that we don't want to install at all
51 my %dont_install =
52 (
53   "cmdlgtst" => 1,
54   "view" => 1,
55   "winetest" => 1,
56 );
57
58 # Dlls and programs that are 16-bit specific
59 my %modules16 =
60 (
61   "ifsmgr.vxd" => 1,
62   "mmdevldr.vxd" => 1,
63   "monodebg.vxd" => 1,
64   "vdhcp.vxd" => 1,
65   "vmm.vxd" => 1,
66   "vnbt.vxd" => 1,
67   "vnetbios.vxd" => 1,
68   "vtdapi.vxd" => 1,
69   "vwin32.vxd" => 1,
70   "w32skrnl.dll" => 1,
71   "winevdm.exe" => 1,
72   "wow32.dll" => 1,
73 );
74
75 # Default patterns for top-level .gitignore
76 my @ignores = (
77     "*.[oa]",
78     "*.fake",
79     "*.man",
80     "*.ok",
81     "*.res",
82     "*.so",
83     "/autom4te.cache",
84     "/config.cache",
85     "/config.log",
86     "/config.status",
87     "/configure.lineno",
88     "/TAGS",
89     "/tags",
90     "/wine",
91     "Makefile",
92     "dlldata.c",
93     "dlls/*/*.def",
94     "dlls/shell32/AUTHORS",
95     "*/*/tests/*crosstest.exe",
96     "*/*/tests/testlist.c",
97     "include/config.h",
98     "include/stamp-h",
99     "msg.pot",
100     "programs/winetest/*_test.exe",
101     "programs/winetest/*_test.rc",
102     "programs/winetest/build.nfo",
103     "programs/winetest/build.rc",
104     "rsrc.pot",
105     "tools/makedep",
106 );
107
108 # Source files and their resulting target to ignore
109 my @ignore_srcs = (
110     [ 'BISON_SRCS',   '\.y',   '.tab.c' ],
111     [ 'BISON_SRCS',   '\.y',   '.tab.h' ],
112     [ 'LEX_SRCS',     '\.l',   '.yy.c' ],
113     [ 'IDL_TLB_SRCS', '\.idl', '.tlb' ],
114     [ 'IDL_H_SRCS',   '\.idl', '.h' ],
115     [ 'IDL_C_SRCS',   '\.idl', '.h' ],
116     [ 'IDL_I_SRCS',   '\.idl', '.h' ],
117     [ 'IDL_P_SRCS',   '\.idl', '.h' ],
118     [ 'IDL_S_SRCS',   '\.idl', '.h' ],
119     [ 'IDL_C_SRCS',   '\.idl', '_c.c' ],
120     [ 'IDL_I_SRCS',   '\.idl', '_i.c' ],
121     [ 'IDL_P_SRCS',   '\.idl', '_p.c' ],
122     [ 'IDL_S_SRCS',   '\.idl', '_s.c' ],
123     [ 'PUBLIC_IDL_H_SRCS',  '\.idl', '.h' ],
124     [ 'PRIVATE_IDL_H_SRCS', '\.idl', '.h' ],
125 );
126
127 my %exported_wine_headers = (
128     "wine/debug.h" => 1,
129     "wine/exception.h" => 1,
130     "wine/library.h" => 1,
131     "wine/unicode.h" => 1,
132     "wine/itss.idl" => 1,
133     "wine/svcctl.idl" => 1,
134 );
135
136 my %private_idl_headers = (
137     "access.idl" => 1,
138     "asynot.idl" => 1,
139     "asysta.idl" => 1,
140     "axcore.idl" => 1,
141     "axextend.idl" => 1,
142     "binres.idl" => 1,
143     "cmdbas.idl" => 1,
144     "cmdtxt.idl" => 1,
145     "crtrow.idl" => 1,
146     "dbccmd.idl" => 1,
147     "dbcses.idl" => 1,
148     "dbdsad.idl" => 1,
149     "dbinit.idl" => 1,
150     "dbprop.idl" => 1,
151     "dbs.idl" => 1,
152     "devenum.idl" => 1,
153     "dyngraph.idl" => 1,
154     "opnrst.idl" => 1,
155     "row.idl" => 1,
156     "rowchg.idl" => 1,
157     "rstbas.idl" => 1,
158     "rstinf.idl" => 1,
159     "rstloc.idl" => 1,
160     "sesprp.idl" => 1,
161     "vmrender.idl" => 1,
162     "xmldom.idl" => 1,
163     "xmldso.idl" => 1,
164     "wine/wined3d.idl" => 1,
165     "wine/winedxgi.idl" => 1,
166 );
167
168 my %ignored_source_files = (
169     "dlls/wineps.drv/afm2c.c" => 1,
170     "dlls/wineps.drv/mkagl.c" => 1,
171     "programs/winetest/dist.rc" => 1,
172 );
173
174 my (@linguas, @makefiles, %makefiles);
175
176 sub dirname($)
177 {
178     my $ret = shift;
179     return "" unless $ret =~ /\//;
180     $ret =~ s!/[^/]*$!!;
181     return $ret;
182 }
183
184 # update a file if changed
185 sub update_file($)
186 {
187     my $file = shift;
188     my $ret = !(-f $file) || system "cmp $file $file.new >/dev/null";
189     if (!$ret)
190     {
191         unlink "$file.new";
192     }
193     else
194     {
195         rename "$file.new", "$file";
196         print "$file updated\n";
197         if ($file eq "configure.ac")
198         {
199             system "autoconf";
200             print "configure updated\n";
201         }
202     }
203     return $ret;
204 }
205
206 # replace some lines in a file between two markers
207 sub replace_in_file($$$@)
208 {
209     my $file = shift;
210     my $start = shift;
211     my $end = shift;
212
213     open NEW_FILE, ">$file.new" or die "cannot create $file.new";
214
215     if (defined($start))
216     {
217         open OLD_FILE, "$file" or die "cannot open $file";
218         while (<OLD_FILE>)
219         {
220             last if /$start/;
221             print NEW_FILE $_;
222         }
223     }
224
225     print NEW_FILE @_;
226
227     if (defined($end))
228     {
229         my $skip=1;
230         while (<OLD_FILE>)
231         {
232             print NEW_FILE $_ unless $skip;
233             $skip = 0 if /$end/;
234         }
235     }
236
237     close OLD_FILE if defined($start);
238     close NEW_FILE;
239     return update_file($file);
240 }
241
242 # replace a variable in a makefile
243 sub replace_makefile_variable($$)
244 {
245     my ($file, $var) = @_;
246     my $make = $makefiles{$file};
247     my $replaced = 0;
248
249     return unless defined ${$make}{"=$var"};
250
251     my @values = @{${$make}{"=$var"}};
252     ${$make}{$var} = \@values;
253
254     open NEW_FILE, ">$file.in.new" or die "cannot create $file.in.new";
255
256     open OLD_FILE, "$file.in" or die "cannot open $file.in";
257     while (<OLD_FILE>)
258     {
259         if (/^\s*($var\s*)=/)
260         {
261             # try to preserve formatting
262             my $prefix = $1;
263             my $multiline = /\\$/ || (@values > 1);
264             while (/\\$/)
265             {
266                 $_ = <OLD_FILE>;
267                 last unless $_;
268             }
269             if ($multiline)
270             {
271                 print NEW_FILE "$var = \\\n\t" . join(" \\\n\t", sort @values) . "\n";
272             }
273             else
274             {
275                 print NEW_FILE "$prefix= @values\n";
276             }
277             $replaced = 1;
278             next;
279         }
280         if (/^\@MAKE/ && !$replaced)
281         {
282             print NEW_FILE "$var = \\\n\t" . join(" \\\n\t", sort @values) . "\n";
283         }
284         print NEW_FILE $_;
285     }
286     close OLD_FILE;
287     close NEW_FILE;
288     return update_file("$file.in");
289 }
290
291 # parse the specified makefile and load the variables
292 sub parse_makefile($)
293 {
294     my $file = shift;
295     my %make;
296
297     ($make{"=dir"} = $file) =~ s/[^\/]+$//;
298
299     open MAKE, "$file.in" or die "cannot open $file.in\n";
300
301     while (<MAKE>)
302     {
303         chomp;
304         next if (/^\s*#/);
305         while (/\\$/) { chop; $_ .= <MAKE>; chomp; }  # merge continued lines
306         next if (/^\s*$/);
307
308         if (/^\@(MAKE.*RULES)\@/)
309         {
310             my $var = $1;
311             $make{"=rules"} = $makerules{$var};
312             next;
313         }
314         if (/^\s*(MODULE|IMPORTLIB|TESTDLL)\s*=\s*(.*)/)
315         {
316             $make{$1} = $2;
317             next;
318         }
319         if (/^\s*(BISON_SRCS|LEX_SRCS|IDL_[CHIPRS]_SRCS|IDL_TLB_SRCS|IMPLIB_SRCS|C_SRCS|MC_SRCS|RC_SRCS|PO_SRCS|SVG_SRCS|PROGRAMS)\s*=\s*(.*)/)
320         {
321             my @list = split(/\s+/, $2);
322             $make{$1} = \@list;
323             next;
324         }
325         if (/^\s*(TOPSRCDIR|TOPOBJDIR|SRCDIR|VPATH)\s*=\s*(.*)/)
326         {
327             die "Variable $1 in $file.in is obsolete";
328         }
329     }
330     return %make;
331 }
332
333 # assign source files to their respective makefile
334 sub assign_sources_to_makefiles(@)
335 {
336     my %subdirs;
337
338     foreach my $file (@_)
339     {
340         next if defined $ignored_source_files{$file};
341         my $dir = dirname( $file );
342         my $subdir = $dir;
343
344         while ($dir && !defined $makefiles{"$dir/Makefile"}) { $dir = dirname( $dir ); }
345         $subdir =~ s/^$dir\/?//;
346         $subdirs{"$dir/ $subdir"} = 1 if $subdir;
347         next unless $dir;
348
349         die "no makefile found for $file\n" unless defined $makefiles{"$dir/Makefile"};
350
351         my $make = $makefiles{"$dir/Makefile"};
352         my $name = substr( $file, length($dir) + 1 );
353
354         if ($dir eq "include")
355         {
356             next if ($name =~ /\.in$/);
357             if ($name =~ /^wine\// && !$exported_wine_headers{$name})
358             {
359                 if ($private_idl_headers{$name}) { push @{${$make}{"=PRIVATE_IDL_H_SRCS"}}, $name; }
360                 next;
361             }
362             if ($name =~ /stdole2\.idl$/) { push @{${$make}{"=IDL_TLB_SRCS"}}, $name; }
363             elsif ($private_idl_headers{$name}) { push @{${$make}{"=SRCDIR_INCLUDES"}}, $name; }
364             elsif ($name =~ /\.h$/) { push @{${$make}{"=SRCDIR_INCLUDES"}}, $name; }
365             elsif ($name =~ /\.rh$/) { push @{${$make}{"=SRCDIR_INCLUDES"}}, $name; }
366             elsif ($name =~ /\.inl$/) { push @{${$make}{"=SRCDIR_INCLUDES"}}, $name; }
367             elsif ($name =~ /\.idl$/) { push @{${$make}{"=PUBLIC_IDL_H_SRCS"}}, $name; }
368             else { die "unknown file $name in include dir"; }
369         }
370         else
371         {
372             if ($name =~ /\.c$/) { push @{${$make}{"=C_SRCS"}}, $name; }
373             elsif ($name =~ /\.l$/) { push @{${$make}{"=LEX_SRCS"}}, $name; }
374             elsif ($name =~ /\.y$/) { push @{${$make}{"=BISON_SRCS"}}, $name; }
375             elsif ($name =~ /\.rc$/) { push @{${$make}{"=RC_SRCS"}}, $name; }
376             elsif ($name =~ /\.mc$/) { push @{${$make}{"=MC_SRCS"}}, $name; }
377             elsif ($name =~ /\.svg$/) { push @{${$make}{"=SVG_SRCS"}}, $name; }
378         }
379     }
380     foreach my $key (keys %subdirs)
381     {
382         my ($dir, $subdir) = split " ", $key;
383         if ($dir eq "/") { $dir = ""; }
384         push @{${$makefiles{"${dir}Makefile"}}{"=EXTRASUBDIRS"}}, $subdir;
385     }
386
387     # add extra variables to include source list
388     my $make = $makefiles{"include/Makefile"};
389     unshift @{${$make}{"=SRCDIR_INCLUDES"}}, "\$(PUBLIC_IDL_H_SRCS)";
390     unshift @{${$make}{"=SRCDIR_INCLUDES"}}, "\$(IDL_TLB_SRCS)";
391 }
392
393 ################################################################
394 # update the makefile list in configure.ac
395
396 sub update_makefiles(@)
397 {
398     my (@lines);
399
400     foreach my $var (sort { $makerules{$a} cmp $makerules{$b}; } keys %makerules)
401     {
402         my $file = $makerules{$var};
403         my %make = %{$makefiles{$file}};
404         my $rules = $make{"=rules"} ? ",[$make{\"=rules\"}]" : "";
405         push @lines, "WINE_CONFIG_MAKERULES([$file],[$var]$rules)\n";
406     }
407     push @lines, "\n";
408
409     foreach my $file (sort @_)
410     {
411         my %make = %{$makefiles{$file}};
412         my $rules = $make{"=rules"};
413         my $args = "";
414         my @flags;
415         my $is_win16 = $make{"MODULE"} && ($make{"MODULE"} =~ /16$/ || $modules16{$make{"MODULE"}});
416         if ($rules eq $makerules{"MAKE_DLL_RULES"})
417         {
418             (my $name = $file) =~ s/^dlls\/(.*)\/Makefile/$1/;
419             if ($name =~ /\./)
420             {
421                 die "Invalid MODULE in $file" unless $make{"MODULE"} eq $name;
422             }
423             else
424             {
425                 die "Invalid MODULE in $file" unless $make{"MODULE"} eq "$name.dll";
426             }
427             my $implib = $make{"IMPORTLIB"} || "";
428             push @flags, "mc" if defined $make{"MC_SRCS"};
429             push @flags, "po" if defined $make{"PO_SRCS"};
430             push @flags, "implib" if $implib;
431             push @flags, "staticimplib" if defined($make{"IMPLIB_SRCS"});
432             $args .= "," if $is_win16 || @flags;
433             $args .= "enable_win16" if $is_win16;
434             $args .= ",[" . join(",",@flags) ."]" if @flags;
435             $args .= ",[$implib]" if $implib && $implib ne $name;
436             push @lines, "WINE_CONFIG_DLL($name$args)\n";
437         }
438         elsif ($rules eq $makerules{"MAKE_PROG_RULES"})
439         {
440             (my $name = $file) =~ s/^programs\/(.*)\/Makefile/$1/;
441             if ($name =~ /\./)
442             {
443                 die "Invalid MODULE in $file" unless $make{"MODULE"} eq $name;
444             }
445             else
446             {
447                 die "Invalid MODULE in $file" unless $make{"MODULE"} eq "$name.exe";
448             }
449             push @flags, "mc" if defined $make{"MC_SRCS"};
450             push @flags, "po" if defined $make{"PO_SRCS"};
451             push @flags, "install" unless $dont_install{$name};
452             push @flags, "installbin" if $bin_install{$name};
453             $args .= "," if $is_win16 || @flags;
454             $args .= "enable_win16" if $is_win16;
455             $args .= ",[" . join(",",@flags) ."]" if @flags;
456             push @lines, "WINE_CONFIG_PROGRAM($name$args)\n";
457         }
458         elsif ($rules eq $makerules{"MAKE_TEST_RULES"})
459         {
460             (my $dir = $file) =~ s/^(.*)\/Makefile/$1/;
461             push @lines, "WINE_CONFIG_TEST($dir)\n";
462         }
463         elsif ($rules eq $makerules{"MAKE_IMPLIB_RULES"})
464         {
465             (my $name = $file) =~ s/^dlls\/(.*)\/Makefile/$1/;
466             push @lines, "WINE_CONFIG_LIB($name)\n";
467         }
468         elsif ($file =~ /^tools.*\/Makefile$/)
469         {
470             (my $name = $file) =~ s/^(.*)\/Makefile/$1/;
471             push @lines, "WINE_CONFIG_TOOL($name)\n";
472         }
473         elsif ($file =~ /\/Makefile$/)
474         {
475             (my $name = $file) =~ s/^(.*)\/Makefile/$1/;
476             push @lines, "WINE_CONFIG_MAKEFILE([$name])\n";
477         }
478     }
479
480     push @lines, "\nAC_SUBST([LINGUAS],[\"\\\n", join( " \\\n", sort @linguas ), "\"])\n\n";
481
482     # update the source variables in all the makefiles
483
484     foreach my $file (sort @_)
485     {
486         replace_makefile_variable( $file, "LEX_SRCS" );
487         replace_makefile_variable( $file, "BISON_SRCS" );
488         replace_makefile_variable( $file, "MC_SRCS" );
489         replace_makefile_variable( $file, "SVG_SRCS" );
490         replace_makefile_variable( $file, "C_SRCS" );
491         replace_makefile_variable( $file, "RC_SRCS" );
492         replace_makefile_variable( $file, "PRIVATE_IDL_H_SRCS" );
493         replace_makefile_variable( $file, "PUBLIC_IDL_H_SRCS" );
494         replace_makefile_variable( $file, "IDL_TLB_SRCS" );
495         replace_makefile_variable( $file, "SRCDIR_INCLUDES" );
496         replace_makefile_variable( $file, "EXTRASUBDIRS" );
497     }
498
499     push @lines, "dnl End of auto-generated output commands\n";
500     replace_in_file( "configure.ac", '^WINE_CONFIG_MAKERULES', '^dnl End of auto-generated output commands\n$', @lines);
501 }
502
503
504 ################################################################
505 # process ignore targets for generic source files
506
507 sub update_ignores(@)
508 {
509     my @ignores;
510
511     foreach my $file (sort @_)
512     {
513         my %makefile = %{$makefiles{$file}};
514         my @list;
515
516         foreach my $src (@ignore_srcs)
517         {
518             my @pattern = @{$src};
519             next unless defined $makefile{$pattern[0]};
520             push @list, map { (my $ret = $_) =~ s/$pattern[1]$/$pattern[2]/; $ret; } @{$makefile{$pattern[0]}};
521         }
522         foreach my $f (@list)
523         {
524             push @ignores, $makefile{"=dir"} . $f unless $f =~ /\$\(.*\)/;  # skip make variables
525         }
526
527         if (defined $makefile{"IMPORTLIB"})
528         {
529             if ($makefile{"IMPORTLIB"} =~ /^([a-zA-Z0-9_.]+)/)
530             {
531                 if ("dlls/$1/" ne $makefile{"=dir"}) { push @ignores, "dlls/lib$1.def"; }
532             }
533             else
534             {
535                 die "invalid importlib name $makefile{IMPORTLIB} in $file";
536             }
537         }
538     }
539     return @ignores;
540 }
541
542
543 ################################################################
544 # update the main .gitignore
545
546 sub update_gitignore(@)
547 {
548     my @ignores = values %makerules;
549
550     foreach my $make (@makefiles)
551     {
552         my %makefile = %{$makefiles{$make}};
553         my $dir = $makefile{"=dir"};
554         if (defined $makefile{"PROGRAMS"})
555         {
556             push @ignores, map { s/\$\(EXEEXT\)//; $dir . $_; } @{$makefile{"PROGRAMS"}};
557         }
558     }
559
560     # prepend a slash to paths that don't have one
561     @ignores = map { $_ =~ s/^([^\/]+)$/\/$1/; $_; } @ignores;
562
563     # get rid of duplicates
564     my %ignores = ();
565     foreach my $i (@ignores, @_) { $ignores{$i} = 1; }
566
567     replace_in_file( ".gitignore", undef, undef,
568                      "# Automatically generated by make_makefiles; DO NOT EDIT!!\n",
569                      join("\n", sort keys %ignores), "\n" );
570 }
571
572
573 ################################################################
574 # update the LINGUAS file
575
576 sub update_linguas(@)
577 {
578     replace_in_file( "po/LINGUAS", undef, undef, join("\n", sort @_), "\n" );
579 }
580
581
582 die "needs to be run from a git checkout" unless -d ".git";
583
584 my @all_files = split /\0/, `git ls-files -c -z`;
585 @linguas = map { (my $ret = $_) =~ s/^po\/(.*)\.po/$1/; $ret; } grep /^po\/.*\.po$/, @all_files;
586 @makefiles = map { (my $ret = $_) =~ s/\.in$//; $ret; } grep /Makefile.in$/, @all_files;
587
588 foreach my $file (sort values %makerules, @makefiles)
589 {
590     my %make = parse_makefile( $file );
591     $makefiles{$file} = \%make;
592 }
593
594 assign_sources_to_makefiles( @all_files );
595 update_linguas( @linguas );
596 update_makefiles( @makefiles );
597 push @ignores, update_ignores( @makefiles );
598 update_gitignore( @ignores );