html validation fixes:
[ikiwiki] / ikiwiki
1 #!/usr/bin/perl -T
2 $ENV{PATH}="/usr/local/bin:/usr/bin:/bin";
3
4 package IkiWiki;
5 use warnings;
6 use strict;
7 use File::Spec;
8 use HTML::Template;
9 use lib '.'; # For use without installation, removed by Makefile.
10
11 use vars qw{%config %links %oldlinks %oldpagemtime %pagectime
12             %renderedfiles %pagesources %inlinepages};
13
14 sub usage () { #{{{
15         die "usage: ikiwiki [options] source dest\n";
16 } #}}}
17
18 sub getconfig () { #{{{
19         if (! exists $ENV{WRAPPED_OPTIONS}) {
20                 %config=(
21                         wiki_file_prune_regexp => qr{((^|/).svn/|\.\.|^\.|\/\.|\.html?$)},
22                         wiki_link_regexp => qr/\[\[(?:([^\s\]\|]+)\|)?([^\s\]]+)\]\]/,
23                         wiki_processor_regexp => qr/\[\[(\w+)\s+([^\]]+)\]\]/,
24                         wiki_file_regexp => qr/(^[-A-Za-z0-9_.:\/+]+$)/,
25                         verbose => 0,
26                         wikiname => "wiki",
27                         default_pageext => ".mdwn",
28                         cgi => 0,
29                         svn => 1,
30                         url => '',
31                         cgiurl => '',
32                         historyurl => '',
33                         diffurl => '',
34                         anonok => 0,
35                         rss => 0,
36                         rebuild => 0,
37                         refresh => 0,
38                         getctime => 0,
39                         wrapper => undef,
40                         wrappermode => undef,
41                         srcdir => undef,
42                         destdir => undef,
43                         templatedir => "/usr/share/ikiwiki/templates",
44                         setup => undef,
45                         adminuser => undef,
46                 );
47
48                 eval q{use Getopt::Long};
49                 GetOptions(
50                         "setup|s=s" => \$config{setup},
51                         "wikiname=s" => \$config{wikiname},
52                         "verbose|v!" => \$config{verbose},
53                         "rebuild!" => \$config{rebuild},
54                         "refresh!" => \$config{refresh},
55                         "getctime" => \$config{getctime},
56                         "wrappermode=i" => \$config{wrappermode},
57                         "svn!" => \$config{svn},
58                         "anonok!" => \$config{anonok},
59                         "rss!" => \$config{rss},
60                         "cgi!" => \$config{cgi},
61                         "url=s" => \$config{url},
62                         "cgiurl=s" => \$config{cgiurl},
63                         "historyurl=s" => \$config{historyurl},
64                         "diffurl=s" => \$config{diffurl},
65                         "exclude=s@" => sub {
66                                 $config{wiki_file_prune_regexp}=qr/$config{wiki_file_prune_regexp}|$_[1]/;
67                         },
68                         "adminuser=s@" => sub {
69                                 push @{$config{adminuser}}, $_[1]
70                         },
71                         "templatedir=s" => sub {
72                                 $config{templatedir}=possibly_foolish_untaint($_[1])
73                         },
74                         "wrapper:s" => sub {
75                                 $config{wrapper}=$_[1] ? $_[1] : "ikiwiki-wrap"
76                         },
77                 ) || usage();
78
79                 if (! $config{setup}) {
80                         usage() unless @ARGV == 2;
81                         $config{srcdir} = possibly_foolish_untaint(shift @ARGV);
82                         $config{destdir} = possibly_foolish_untaint(shift @ARGV);
83                         checkconfig();
84                 }
85         }
86         else {
87                 # wrapper passes a full config structure in the environment
88                 # variable
89                 eval possibly_foolish_untaint($ENV{WRAPPED_OPTIONS});
90                 checkconfig();
91         }
92 } #}}}
93
94 sub checkconfig () { #{{{
95         if ($config{cgi} && ! length $config{url}) {
96                 error("Must specify url to wiki with --url when using --cgi\n");
97         }
98         if ($config{rss} && ! length $config{url}) {
99                 error("Must specify url to wiki with --url when using --rss\n");
100         }
101         
102         $config{wikistatedir}="$config{srcdir}/.ikiwiki"
103                 unless exists $config{wikistatedir};
104         
105         if ($config{svn}) {
106                 require IkiWiki::Rcs::SVN;
107                 $config{rcs}=1;
108         }
109         else {
110                 require IkiWiki::Rcs::Stub;
111                 $config{rcs}=0;
112         }
113 } #}}}
114
115 sub error ($) { #{{{
116         if ($config{cgi}) {
117                 print "Content-type: text/html\n\n";
118                 print misctemplate("Error", "<p>Error: @_</p>");
119         }
120         die @_;
121 } #}}}
122
123 sub possibly_foolish_untaint ($) { #{{{
124         my $tainted=shift;
125         my ($untainted)=$tainted=~/(.*)/;
126         return $untainted;
127 } #}}}
128
129 sub debug ($) { #{{{
130         return unless $config{verbose};
131         if (! $config{cgi}) {
132                 print "@_\n";
133         }
134         else {
135                 print STDERR "@_\n";
136         }
137 } #}}}
138
139 sub basename ($) { #{{{
140         my $file=shift;
141
142         $file=~s!.*/!!;
143         return $file;
144 } #}}}
145
146 sub dirname ($) { #{{{
147         my $file=shift;
148
149         $file=~s!/?[^/]+$!!;
150         return $file;
151 } #}}}
152
153 sub pagetype ($) { #{{{
154         my $page=shift;
155         
156         if ($page =~ /\.mdwn$/) {
157                 return ".mdwn";
158         }
159         else {
160                 return "unknown";
161         }
162 } #}}}
163
164 sub pagename ($) { #{{{
165         my $file=shift;
166
167         my $type=pagetype($file);
168         my $page=$file;
169         $page=~s/\Q$type\E*$// unless $type eq 'unknown';
170         return $page;
171 } #}}}
172
173 sub htmlpage ($) { #{{{
174         my $page=shift;
175
176         return $page.".html";
177 } #}}}
178
179 sub readfile ($) { #{{{
180         my $file=shift;
181
182         if (-l $file) {
183                 error("cannot read a symlink ($file)");
184         }
185         
186         local $/=undef;
187         open (IN, "$file") || error("failed to read $file: $!");
188         my $ret=<IN>;
189         close IN;
190         return $ret;
191 } #}}}
192
193 sub writefile ($$) { #{{{
194         my $file=shift;
195         my $content=shift;
196         
197         if (-l $file) {
198                 error("cannot write to a symlink ($file)");
199         }
200
201         my $dir=dirname($file);
202         if (! -d $dir) {
203                 my $d="";
204                 foreach my $s (split(m!/+!, $dir)) {
205                         $d.="$s/";
206                         if (! -d $d) {
207                                 mkdir($d) || error("failed to create directory $d: $!");
208                         }
209                 }
210         }
211         
212         open (OUT, ">$file") || error("failed to write $file: $!");
213         print OUT $content;
214         close OUT;
215 } #}}}
216
217 sub bestlink ($$) { #{{{
218         # Given a page and the text of a link on the page, determine which
219         # existing page that link best points to. Prefers pages under a
220         # subdirectory with the same name as the source page, failing that
221         # goes down the directory tree to the base looking for matching
222         # pages.
223         my $page=shift;
224         my $link=lc(shift);
225         
226         my $cwd=$page;
227         do {
228                 my $l=$cwd;
229                 $l.="/" if length $l;
230                 $l.=$link;
231
232                 if (exists $links{$l}) {
233                         #debug("for $page, \"$link\", use $l");
234                         return $l;
235                 }
236         } while $cwd=~s!/?[^/]+$!!;
237
238         #print STDERR "warning: page $page, broken link: $link\n";
239         return "";
240 } #}}}
241
242 sub isinlinableimage ($) { #{{{
243         my $file=shift;
244         
245         $file=~/\.(png|gif|jpg|jpeg)$/i;
246 } #}}}
247
248 sub pagetitle ($) { #{{{
249         my $page=shift;
250         $page=~s/__(\d+)__/&#$1;/g;
251         $page=~y/_/ /;
252         return $page;
253 } #}}}
254
255 sub titlepage ($) { #{{{
256         my $title=shift;
257         $title=~y/ /_/;
258         $title=~s/([^-A-Za-z0-9_:+\/])/"__".ord($1)."__"/eg;
259         return $title;
260 } #}}}
261
262 sub cgiurl (@) { #{{{
263         my %params=@_;
264
265         return $config{cgiurl}."?".join("&amp;", map "$_=$params{$_}", keys %params);
266 } #}}}
267
268 sub htmllink ($$;$$$) { #{{{
269         my $page=shift;
270         my $link=shift;
271         my $noimageinline=shift; # don't turn links into inline html images
272         my $forcesubpage=shift; # force a link to a subpage
273         my $linktext=shift; # set to force the link text to something
274
275         my $bestlink;
276         if (! $forcesubpage) {
277                 $bestlink=bestlink($page, $link);
278         }
279         else {
280                 $bestlink="$page/".lc($link);
281         }
282
283         $linktext=pagetitle(basename($link)) unless defined $linktext;
284         
285         return $linktext if length $bestlink && $page eq $bestlink;
286         
287         # TODO BUG: %renderedfiles may not have it, if the linked to page
288         # was also added and isn't yet rendered! Note that this bug is
289         # masked by the bug mentioned below that makes all new files
290         # be rendered twice.
291         if (! grep { $_ eq $bestlink } values %renderedfiles) {
292                 $bestlink=htmlpage($bestlink);
293         }
294         if (! grep { $_ eq $bestlink } values %renderedfiles) {
295                 return "<span><a href=\"".
296                         cgiurl(do => "create", page => $link, from =>$page).
297                         "\">?</a>$linktext</span>"
298         }
299         
300         $bestlink=File::Spec->abs2rel($bestlink, dirname($page));
301         
302         if (! $noimageinline && isinlinableimage($bestlink)) {
303                 return "<img src=\"$bestlink\" alt=\"$linktext\">";
304         }
305         return "<a href=\"$bestlink\">$linktext</a>";
306 } #}}}
307
308 sub indexlink () { #{{{
309         return "<a href=\"$config{url}\">$config{wikiname}</a>";
310 } #}}}
311
312 sub lockwiki () { #{{{
313         # Take an exclusive lock on the wiki to prevent multiple concurrent
314         # run issues. The lock will be dropped on program exit.
315         if (! -d $config{wikistatedir}) {
316                 mkdir($config{wikistatedir});
317         }
318         open(WIKILOCK, ">$config{wikistatedir}/lockfile") ||
319                 error ("cannot write to $config{wikistatedir}/lockfile: $!");
320         if (! flock(WIKILOCK, 2 | 4)) {
321                 debug("wiki seems to be locked, waiting for lock");
322                 my $wait=600; # arbitrary, but don't hang forever to 
323                               # prevent process pileup
324                 for (1..600) {
325                         return if flock(WIKILOCK, 2 | 4);
326                         sleep 1;
327                 }
328                 error("wiki is locked; waited $wait seconds without lock being freed (possible stuck process or stale lock?)");
329         }
330 } #}}}
331
332 sub unlockwiki () { #{{{
333         close WIKILOCK;
334 } #}}}
335
336 sub loadindex () { #{{{
337         open (IN, "$config{wikistatedir}/index") || return;
338         while (<IN>) {
339                 $_=possibly_foolish_untaint($_);
340                 chomp;
341                 my %items;
342                 $items{link}=[];
343                 foreach my $i (split(/ /, $_)) {
344                         my ($item, $val)=split(/=/, $i, 2);
345                         push @{$items{$item}}, $val;
346                 }
347
348                 next unless exists $items{src}; # skip bad lines for now
349
350                 my $page=pagename($items{src}[0]);
351                 if (! $config{rebuild}) {
352                         $pagesources{$page}=$items{src}[0];
353                         $oldpagemtime{$page}=$items{mtime}[0];
354                         $oldlinks{$page}=[@{$items{link}}];
355                         $links{$page}=[@{$items{link}}];
356                         $inlinepages{$page}=join(" ", @{$items{inlinepage}})
357                                 if exists $items{inlinepage};
358                         $renderedfiles{$page}=$items{dest}[0];
359                 }
360                 $pagectime{$page}=$items{ctime}[0];
361         }
362         close IN;
363 } #}}}
364
365 sub saveindex () { #{{{
366         if (! -d $config{wikistatedir}) {
367                 mkdir($config{wikistatedir});
368         }
369         open (OUT, ">$config{wikistatedir}/index") || 
370                 error("cannot write to $config{wikistatedir}/index: $!");
371         foreach my $page (keys %oldpagemtime) {
372                 next unless $oldpagemtime{$page};
373                 my $line="mtime=$oldpagemtime{$page} ".
374                         "ctime=$pagectime{$page} ".
375                         "src=$pagesources{$page} ".
376                         "dest=$renderedfiles{$page}";
377                 $line.=" link=$_" foreach @{$links{$page}};
378                 if (exists $inlinepages{$page}) {
379                         $line.=" inlinepage=$_" foreach split " ", $inlinepages{$page};
380                 }
381                 print OUT $line."\n";
382         }
383         close OUT;
384 } #}}}
385
386 sub misctemplate ($$) { #{{{
387         my $title=shift;
388         my $pagebody=shift;
389         
390         my $template=HTML::Template->new(
391                 filename => "$config{templatedir}/misc.tmpl"
392         );
393         $template->param(
394                 title => $title,
395                 indexlink => indexlink(),
396                 wikiname => $config{wikiname},
397                 pagebody => $pagebody,
398         );
399         return $template->output;
400 }#}}}
401
402 sub userinfo_get ($$) { #{{{
403         my $user=shift;
404         my $field=shift;
405
406         eval q{use Storable};
407         my $userdata=eval{ Storable::lock_retrieve("$config{wikistatedir}/userdb") };
408         if (! defined $userdata || ! ref $userdata || 
409             ! exists $userdata->{$user} || ! ref $userdata->{$user} ||
410             ! exists $userdata->{$user}->{$field}) {
411                 return "";
412         }
413         return $userdata->{$user}->{$field};
414 } #}}}
415
416 sub userinfo_set ($$$) { #{{{
417         my $user=shift;
418         my $field=shift;
419         my $value=shift;
420         
421         eval q{use Storable};
422         my $userdata=eval{ Storable::lock_retrieve("$config{wikistatedir}/userdb") };
423         if (! defined $userdata || ! ref $userdata || 
424             ! exists $userdata->{$user} || ! ref $userdata->{$user}) {
425                 return "";
426         }
427         
428         $userdata->{$user}->{$field}=$value;
429         my $oldmask=umask(077);
430         my $ret=Storable::lock_store($userdata, "$config{wikistatedir}/userdb");
431         umask($oldmask);
432         return $ret;
433 } #}}}
434
435 sub userinfo_setall ($$) { #{{{
436         my $user=shift;
437         my $info=shift;
438         
439         eval q{use Storable};
440         my $userdata=eval{ Storable::lock_retrieve("$config{wikistatedir}/userdb") };
441         if (! defined $userdata || ! ref $userdata) {
442                 $userdata={};
443         }
444         $userdata->{$user}=$info;
445         my $oldmask=umask(077);
446         my $ret=Storable::lock_store($userdata, "$config{wikistatedir}/userdb");
447         umask($oldmask);
448         return $ret;
449 } #}}}
450
451 sub is_admin ($) { #{{{
452         my $user_name=shift;
453
454         return grep { $_ eq $user_name } @{$config{adminuser}};
455 } #}}}
456
457 sub glob_match ($$) { #{{{
458         my $page=shift;
459         my $glob=shift;
460
461         # turn glob into safe regexp
462         $glob=quotemeta($glob);
463         $glob=~s/\\\*/.*/g;
464         $glob=~s/\\\?/./g;
465         $glob=~s!\\/!/!g;
466         
467         $page=~/^$glob$/i;
468 } #}}}
469
470 sub globlist_match ($$) { #{{{
471         my $page=shift;
472         my @globlist=split(" ", shift);
473
474         # check any negated globs first
475         foreach my $glob (@globlist) {
476                 return 0 if $glob=~/^!(.*)/ && glob_match($page, $1);
477         }
478
479         foreach my $glob (@globlist) {
480                 return 1 if glob_match($page, $glob);
481         }
482         
483         return 0;
484 } #}}}
485
486 sub main () { #{{{
487         getconfig();
488         
489         if ($config{cgi}) {
490                 lockwiki();
491                 loadindex();
492                 require IkiWiki::CGI;
493                 cgi();
494         }
495         elsif ($config{setup}) {
496                 require IkiWiki::Setup;
497                 setup();
498         }
499         elsif ($config{wrapper}) {
500                 lockwiki();
501                 require IkiWiki::Wrapper;
502                 gen_wrapper();
503         }
504         else {
505                 lockwiki();
506                 loadindex();
507                 require IkiWiki::Render;
508                 rcs_update();
509                 rcs_getctime() if $config{getctime};
510                 refresh();
511                 saveindex();
512         }
513 } #}}}
514
515 main;