add --refresh and make it with with --setup
[ikiwiki] / ikiwiki
1 #!/usr/bin/perl -T
2 $ENV{PATH}="/usr/local/bin:/usr/bin:/bin";
3
4 package IkiWiki;
5 use warnings;
6 use strict;
7 use File::Spec;
8 use HTML::Template;
9 use lib '.'; # For use without installation, removed by Makefile.
10
11 use vars qw{%config %links %oldlinks %oldpagemtime %pagectime
12             %renderedfiles %pagesources %inlinepages};
13
14 sub usage () { #{{{
15         die "usage: ikiwiki [options] source dest\n";
16 } #}}}
17
18 sub getconfig () { #{{{
19         if (! exists $ENV{WRAPPED_OPTIONS}) {
20                 %config=(
21                         wiki_file_prune_regexp => qr{((^|/).svn/|\.\.|^\.|\/\.|\.html?$)},
22                         wiki_link_regexp => qr/\[\[([^\s\]]+)\]\]/,
23                         wiki_processor_regexp => qr/\[\[(\w+)\s+([^\]]+)\]\]/,
24                         wiki_file_regexp => qr/(^[-A-Za-z0-9_.:\/+]+$)/,
25                         verbose => 0,
26                         wikiname => "wiki",
27                         default_pageext => ".mdwn",
28                         cgi => 0,
29                         svn => 1,
30                         url => '',
31                         cgiurl => '',
32                         historyurl => '',
33                         diffurl => '',
34                         anonok => 0,
35                         rss => 0,
36                         rebuild => 0,
37                         refresh => 0,
38                         getctime => 0,
39                         wrapper => undef,
40                         wrappermode => undef,
41                         srcdir => undef,
42                         destdir => undef,
43                         templatedir => "/usr/share/ikiwiki/templates",
44                         setup => undef,
45                         adminuser => undef,
46                 );
47
48                 eval q{use Getopt::Long};
49                 GetOptions(
50                         "setup|s=s" => \$config{setup},
51                         "wikiname=s" => \$config{wikiname},
52                         "verbose|v!" => \$config{verbose},
53                         "rebuild!" => \$config{rebuild},
54                         "refresh!" => \$config{refresh},
55                         "getctime" => \$config{getctime},
56                         "wrappermode=i" => \$config{wrappermode},
57                         "svn!" => \$config{svn},
58                         "anonok!" => \$config{anonok},
59                         "rss!" => \$config{rss},
60                         "cgi!" => \$config{cgi},
61                         "url=s" => \$config{url},
62                         "cgiurl=s" => \$config{cgiurl},
63                         "historyurl=s" => \$config{historyurl},
64                         "diffurl=s" => \$config{diffurl},
65                         "exclude=s@" => sub {
66                                 $config{wiki_file_prune_regexp}=qr/$config{wiki_file_prune_regexp}|$_[1]/;
67                         },
68                         "adminuser=s@" => sub {
69                                 push @{$config{adminuser}}, $_[1]
70                         },
71                         "templatedir=s" => sub {
72                                 $config{templatedir}=possibly_foolish_untaint($_[1])
73                         },
74                         "wrapper:s" => sub {
75                                 $config{wrapper}=$_[1] ? $_[1] : "ikiwiki-wrap"
76                         },
77                 ) || usage();
78
79                 if (! $config{setup}) {
80                         usage() unless @ARGV == 2;
81                         $config{srcdir} = possibly_foolish_untaint(shift @ARGV);
82                         $config{destdir} = possibly_foolish_untaint(shift @ARGV);
83                         checkconfig();
84                 }
85         }
86         else {
87                 # wrapper passes a full config structure in the environment
88                 # variable
89                 eval possibly_foolish_untaint($ENV{WRAPPED_OPTIONS});
90                 checkconfig();
91         }
92 } #}}}
93
94 sub checkconfig () { #{{{
95         if ($config{cgi} && ! length $config{url}) {
96                 error("Must specify url to wiki with --url when using --cgi\n");
97         }
98         if ($config{rss} && ! length $config{url}) {
99                 error("Must specify url to wiki with --url when using --rss\n");
100         }
101         
102         $config{wikistatedir}="$config{srcdir}/.ikiwiki"
103                 unless exists $config{wikistatedir};
104         
105         if ($config{svn}) {
106                 require IkiWiki::Rcs::SVN;
107                 $config{rcs}=1;
108         }
109         else {
110                 require IkiWiki::Rcs::Stub;
111                 $config{rcs}=0;
112         }
113 } #}}}
114
115 sub error ($) { #{{{
116         if ($config{cgi}) {
117                 print "Content-type: text/html\n\n";
118                 print misctemplate("Error", "<p>Error: @_</p>");
119         }
120         die @_;
121 } #}}}
122
123 sub possibly_foolish_untaint ($) { #{{{
124         my $tainted=shift;
125         my ($untainted)=$tainted=~/(.*)/;
126         return $untainted;
127 } #}}}
128
129 sub debug ($) { #{{{
130         return unless $config{verbose};
131         if (! $config{cgi}) {
132                 print "@_\n";
133         }
134         else {
135                 print STDERR "@_\n";
136         }
137 } #}}}
138
139 sub basename ($) { #{{{
140         my $file=shift;
141
142         $file=~s!.*/!!;
143         return $file;
144 } #}}}
145
146 sub dirname ($) { #{{{
147         my $file=shift;
148
149         $file=~s!/?[^/]+$!!;
150         return $file;
151 } #}}}
152
153 sub pagetype ($) { #{{{
154         my $page=shift;
155         
156         if ($page =~ /\.mdwn$/) {
157                 return ".mdwn";
158         }
159         else {
160                 return "unknown";
161         }
162 } #}}}
163
164 sub pagename ($) { #{{{
165         my $file=shift;
166
167         my $type=pagetype($file);
168         my $page=$file;
169         $page=~s/\Q$type\E*$// unless $type eq 'unknown';
170         return $page;
171 } #}}}
172
173 sub htmlpage ($) { #{{{
174         my $page=shift;
175
176         return $page.".html";
177 } #}}}
178
179 sub readfile ($) { #{{{
180         my $file=shift;
181
182         if (-l $file) {
183                 error("cannot read a symlink ($file)");
184         }
185         
186         local $/=undef;
187         open (IN, "$file") || error("failed to read $file: $!");
188         my $ret=<IN>;
189         close IN;
190         return $ret;
191 } #}}}
192
193 sub writefile ($$) { #{{{
194         my $file=shift;
195         my $content=shift;
196         
197         if (-l $file) {
198                 error("cannot write to a symlink ($file)");
199         }
200
201         my $dir=dirname($file);
202         if (! -d $dir) {
203                 my $d="";
204                 foreach my $s (split(m!/+!, $dir)) {
205                         $d.="$s/";
206                         if (! -d $d) {
207                                 mkdir($d) || error("failed to create directory $d: $!");
208                         }
209                 }
210         }
211         
212         open (OUT, ">$file") || error("failed to write $file: $!");
213         print OUT $content;
214         close OUT;
215 } #}}}
216
217 sub bestlink ($$) { #{{{
218         # Given a page and the text of a link on the page, determine which
219         # existing page that link best points to. Prefers pages under a
220         # subdirectory with the same name as the source page, failing that
221         # goes down the directory tree to the base looking for matching
222         # pages.
223         my $page=shift;
224         my $link=lc(shift);
225         
226         my $cwd=$page;
227         do {
228                 my $l=$cwd;
229                 $l.="/" if length $l;
230                 $l.=$link;
231
232                 if (exists $links{$l}) {
233                         #debug("for $page, \"$link\", use $l");
234                         return $l;
235                 }
236         } while $cwd=~s!/?[^/]+$!!;
237
238         #print STDERR "warning: page $page, broken link: $link\n";
239         return "";
240 } #}}}
241
242 sub isinlinableimage ($) { #{{{
243         my $file=shift;
244         
245         $file=~/\.(png|gif|jpg|jpeg)$/;
246 } #}}}
247
248 sub pagetitle ($) { #{{{
249         my $page=shift;
250         $page=~s/__(\d+)__/&#$1;/g;
251         $page=~y/_/ /;
252         return $page;
253 } #}}}
254
255 sub htmllink ($$;$$) { #{{{
256         my $page=shift;
257         my $link=shift;
258         my $noimageinline=shift; # don't turn links into inline html images
259         my $forcesubpage=shift; # force a link to a subpage
260
261         my $bestlink;
262         if (! $forcesubpage) {
263                 $bestlink=bestlink($page, $link);
264         }
265         else {
266                 $bestlink="$page/".lc($link);
267         }
268
269         my $linktext=pagetitle(basename($link));
270         
271         return $linktext if length $bestlink && $page eq $bestlink;
272         
273         # TODO BUG: %renderedfiles may not have it, if the linked to page
274         # was also added and isn't yet rendered! Note that this bug is
275         # masked by the bug mentioned below that makes all new files
276         # be rendered twice.
277         if (! grep { $_ eq $bestlink } values %renderedfiles) {
278                 $bestlink=htmlpage($bestlink);
279         }
280         if (! grep { $_ eq $bestlink } values %renderedfiles) {
281                 return "<span><a href=\"$config{cgiurl}?do=create&page=$link&from=$page\">?</a>$linktext</span>"
282         }
283         
284         $bestlink=File::Spec->abs2rel($bestlink, dirname($page));
285         
286         if (! $noimageinline && isinlinableimage($bestlink)) {
287                 return "<img src=\"$bestlink\">";
288         }
289         return "<a href=\"$bestlink\">$linktext</a>";
290 } #}}}
291
292 sub indexlink () { #{{{
293         return "<a href=\"$config{url}\">$config{wikiname}</a>";
294 } #}}}
295
296 sub lockwiki () { #{{{
297         # Take an exclusive lock on the wiki to prevent multiple concurrent
298         # run issues. The lock will be dropped on program exit.
299         if (! -d $config{wikistatedir}) {
300                 mkdir($config{wikistatedir});
301         }
302         open(WIKILOCK, ">$config{wikistatedir}/lockfile") ||
303                 error ("cannot write to $config{wikistatedir}/lockfile: $!");
304         if (! flock(WIKILOCK, 2 | 4)) {
305                 debug("wiki seems to be locked, waiting for lock");
306                 my $wait=600; # arbitrary, but don't hang forever to 
307                               # prevent process pileup
308                 for (1..600) {
309                         return if flock(WIKILOCK, 2 | 4);
310                         sleep 1;
311                 }
312                 error("wiki is locked; waited $wait seconds without lock being freed (possible stuck process or stale lock?)");
313         }
314 } #}}}
315
316 sub unlockwiki () { #{{{
317         close WIKILOCK;
318 } #}}}
319
320 sub loadindex () { #{{{
321         open (IN, "$config{wikistatedir}/index") || return;
322         while (<IN>) {
323                 $_=possibly_foolish_untaint($_);
324                 chomp;
325                 my %items;
326                 $items{link}=[];
327                 foreach my $i (split(/ /, $_)) {
328                         my ($item, $val)=split(/=/, $i, 2);
329                         push @{$items{$item}}, $val;
330                 }
331
332                 next unless exists $items{src}; # skip bad lines for now
333
334                 my $page=pagename($items{src}[0]);
335                 if (! $config{rebuild}) {
336                         $pagesources{$page}=$items{src}[0];
337                         $oldpagemtime{$page}=$items{mtime}[0];
338                         $oldlinks{$page}=[@{$items{link}}];
339                         $links{$page}=[@{$items{link}}];
340                         $inlinepages{$page}=join(" ", @{$items{inlinepage}})
341                                 if exists $items{inlinepage};
342                         $renderedfiles{$page}=$items{dest}[0];
343                 }
344                 $pagectime{$page}=$items{ctime}[0];
345         }
346         close IN;
347 } #}}}
348
349 sub saveindex () { #{{{
350         if (! -d $config{wikistatedir}) {
351                 mkdir($config{wikistatedir});
352         }
353         open (OUT, ">$config{wikistatedir}/index") || 
354                 error("cannot write to $config{wikistatedir}/index: $!");
355         foreach my $page (keys %oldpagemtime) {
356                 next unless $oldpagemtime{$page};
357                 my $line="mtime=$oldpagemtime{$page} ".
358                         "ctime=$pagectime{$page} ".
359                         "src=$pagesources{$page} ".
360                         "dest=$renderedfiles{$page}";
361                 $line.=" link=$_" foreach @{$links{$page}};
362                 if (exists $inlinepages{$page}) {
363                         $line.=" inlinepage=$_" foreach split " ", $inlinepages{$page};
364                 }
365                 print OUT $line."\n";
366         }
367         close OUT;
368 } #}}}
369
370 sub misctemplate ($$) { #{{{
371         my $title=shift;
372         my $pagebody=shift;
373         
374         my $template=HTML::Template->new(
375                 filename => "$config{templatedir}/misc.tmpl"
376         );
377         $template->param(
378                 title => $title,
379                 indexlink => indexlink(),
380                 wikiname => $config{wikiname},
381                 pagebody => $pagebody,
382         );
383         return $template->output;
384 }#}}}
385
386 sub userinfo_get ($$) { #{{{
387         my $user=shift;
388         my $field=shift;
389
390         eval q{use Storable};
391         my $userdata=eval{ Storable::lock_retrieve("$config{wikistatedir}/userdb") };
392         if (! defined $userdata || ! ref $userdata || 
393             ! exists $userdata->{$user} || ! ref $userdata->{$user} ||
394             ! exists $userdata->{$user}->{$field}) {
395                 return "";
396         }
397         return $userdata->{$user}->{$field};
398 } #}}}
399
400 sub userinfo_set ($$$) { #{{{
401         my $user=shift;
402         my $field=shift;
403         my $value=shift;
404         
405         eval q{use Storable};
406         my $userdata=eval{ Storable::lock_retrieve("$config{wikistatedir}/userdb") };
407         if (! defined $userdata || ! ref $userdata || 
408             ! exists $userdata->{$user} || ! ref $userdata->{$user}) {
409                 return "";
410         }
411         
412         $userdata->{$user}->{$field}=$value;
413         my $oldmask=umask(077);
414         my $ret=Storable::lock_store($userdata, "$config{wikistatedir}/userdb");
415         umask($oldmask);
416         return $ret;
417 } #}}}
418
419 sub userinfo_setall ($$) { #{{{
420         my $user=shift;
421         my $info=shift;
422         
423         eval q{use Storable};
424         my $userdata=eval{ Storable::lock_retrieve("$config{wikistatedir}/userdb") };
425         if (! defined $userdata || ! ref $userdata) {
426                 $userdata={};
427         }
428         $userdata->{$user}=$info;
429         my $oldmask=umask(077);
430         my $ret=Storable::lock_store($userdata, "$config{wikistatedir}/userdb");
431         umask($oldmask);
432         return $ret;
433 } #}}}
434
435 sub is_admin ($) { #{{{
436         my $user_name=shift;
437
438         return grep { $_ eq $user_name } @{$config{adminuser}};
439 } #}}}
440
441 sub glob_match ($$) { #{{{
442         my $page=shift;
443         my $glob=shift;
444
445         # turn glob into safe regexp
446         $glob=quotemeta($glob);
447         $glob=~s/\\\*/.*/g;
448         $glob=~s/\\\?/./g;
449         $glob=~s!\\/!/!g;
450         
451         $page=~/^$glob$/i;
452 } #}}}
453
454 sub globlist_match ($$) { #{{{
455         my $page=shift;
456         my @globlist=split(" ", shift);
457
458         # check any negated globs first
459         foreach my $glob (@globlist) {
460                 return 0 if $glob=~/^!(.*)/ && glob_match($page, $1);
461         }
462
463         foreach my $glob (@globlist) {
464                 return 1 if glob_match($page, $glob);
465         }
466         
467         return 0;
468 } #}}}
469
470 sub main () { #{{{
471         getconfig();
472         
473         if ($config{cgi}) {
474                 lockwiki();
475                 loadindex();
476                 require IkiWiki::CGI;
477                 cgi();
478         }
479         elsif ($config{setup}) {
480                 require IkiWiki::Setup;
481                 setup();
482         }
483         elsif ($config{wrapper}) {
484                 lockwiki();
485                 require IkiWiki::Wrapper;
486                 gen_wrapper();
487         }
488         else {
489                 lockwiki();
490                 loadindex();
491                 require IkiWiki::Render;
492                 rcs_update();
493                 rcs_getctime() if $config{getctime};
494                 refresh();
495                 saveindex();
496         }
497 } #}}}
498
499 main;