git.oblomov.eu Git - ikiwiki/blob - t/po.t

   1 #!/usr/bin/perl
   2 # -*- cperl-indent-level: 8; -*-
   3 use warnings;
   4 use strict;
   5 use File::Temp qw{tempdir};
   6 use utf8;
   7
   8 BEGIN {
   9         unless (eval { require Locale::Po4a::Chooser }) {
  10                 eval q{
  11                         use Test::More skip_all => "Locale::Po4a::Chooser::new is not available"
  12                 }
  13         }
  14         unless (eval { require Locale::Po4a::Po }) {
  15                 eval q{
  16                         use Test::More skip_all => "Locale::Po4a::Po::new is not available"
  17                 }
  18         }
  19 }
  20
  21 use Test::More;
  22
  23 BEGIN { use_ok("IkiWiki"); }
  24
  25 my $msgprefix;
  26
  27 my $dir = tempdir("ikiwiki-test-po.XXXXXXXXXX",
  28                   DIR => File::Spec->tmpdir,
  29                   CLEANUP => 1);
  30
  31 ### Init
  32 %config=IkiWiki::defaultconfig();
  33 $config{srcdir} = "$dir/src";
  34 $config{destdir} = "$dir/dst";
  35 $config{destdir} = "$dir/dst";
  36 $config{underlaydirbase} = "/dev/null";
  37 $config{underlaydir} = "/dev/null";
  38 $config{url} = "http://example.com";
  39 $config{cgiurl} = "http://example.com/ikiwiki.cgi";
  40 $config{discussion} = 0;
  41 $config{po_master_language} = { code => 'en',
  42                                 name => 'English'
  43                               };
  44 $config{po_slave_languages} = {
  45                                es => 'Castellano',
  46                                fr => "Français"
  47                               };
  48 $config{po_translatable_pages}='index or test1 or test2 or translatable or debian*';
  49 $config{po_link_to}='negotiated';
  50 IkiWiki::loadplugins();
  51 ok(IkiWiki::loadplugin('meta'), "meta plugin loaded");
  52 ok(IkiWiki::loadplugin('po'), "po plugin loaded");
  53 IkiWiki::checkconfig();
  54
  55 ### seed %pagesources and %pagecase
  56 $pagesources{'index'}='index.mdwn';
  57 $pagesources{'index.fr'}='index.fr.po';
  58 $pagesources{'index.es'}='index.es.po';
  59 $pagesources{'test1'}='test1.mdwn';
  60 $pagesources{'test1.es'}='test1.es.po';
  61 $pagesources{'test1.fr'}='test1.fr.po';
  62 $pagesources{'test2'}='test2.mdwn';
  63 $pagesources{'test2.es'}='test2.es.po';
  64 $pagesources{'test2.fr'}='test2.fr.po';
  65 $pagesources{'test3'}='test3.mdwn';
  66 $pagesources{'test3.es'}='test3.es.mdwn';
  67 $pagesources{'translatable'}='translatable.mdwn';
  68 $pagesources{'translatable.fr'}='translatable.fr.po';
  69 $pagesources{'translatable.es'}='translatable.es.po';
  70 $pagesources{'nontranslatable'}='nontranslatable.mdwn';
  71 $pagesources{'debian911356'}='debian911356.mdwn';
  72 $pagesources{'debian911356.fr'}='debian911356.fr.po';
  73 $pagesources{'debian911356-inlined'}='debian911356-inlined.mdwn';
  74 $pagesources{'debian911356-inlined.fr'}='debian911356-inlined.fr.po';
  75 my $now=time;
  76 foreach my $page (keys %pagesources) {
  77         $IkiWiki::pagecase{lc $page}=$page;
  78         $IkiWiki::pagectime{$page}=$now;
  79         $IkiWiki::pagemtime{$page}=$now;
  80 }
  81
  82 ### populate srcdir
  83 writefile('index.mdwn', $config{srcdir},
  84           "[[!meta title=\"index title\"]]\n[[translatable]] [[nontranslatable]]");
  85 writefile('test1.mdwn', $config{srcdir},
  86           "[[!meta title=\"test1 title\"]]\ntest1 content");
  87 writefile('test2.mdwn', $config{srcdir}, 'test2 content');
  88 writefile('test3.mdwn', $config{srcdir}, 'test3 content');
  89 writefile('translatable.mdwn', $config{srcdir}, '[[nontranslatable]]');
  90 writefile('nontranslatable.mdwn', $config{srcdir}, '[[/]] [[translatable]]');
  91 writefile('debian911356.mdwn', $config{srcdir}, <<EOF);
  92 Before first inline
  93
  94 [[!inline pages="debian911356-inlined" raw="yes"]]
  95
  96 Between inlines
  97
  98 [[!inline pages="debian911356-inlined" raw="yes"]]
  99
 100 After inlines
 101 EOF
 102 writefile('debian911356-inlined.mdwn', $config{srcdir}, <<EOF);
 103 English content
 104 EOF
 105 writefile('debian911356.fr.po', $config{srcdir}, <<EOF);
 106 msgid "" msgstr ""
 107 "MIME-Version: 1.0\\n"
 108 "Content-Type: text/plain; charset=UTF-8\\n"
 109 "Content-Transfer-Encoding: 8bit\\n"
 110
 111 msgid "Before first inline"
 112 msgstr "Avant la première inline"
 113
 114 msgid "[[!inline pages=\\"debian911356-inlined\\" raw=\\"yes\\"]]\\n"
 115 msgstr "[[!inline pages=\\"debian911356-inlined.fr\\" raw=\\"yes\\"]]\\n"
 116
 117 msgid "Between inlines"
 118 msgstr "Entre les inlines"
 119
 120 msgid "After inlines"
 121 msgstr "Après les inlines"
 122 EOF
 123 writefile('debian911356-inlined.fr.po', $config{srcdir}, <<EOF);
 124 msgid "English content"
 125 msgstr "Contenu français"
 126 EOF
 127
 128 ### istranslatable/istranslation
 129 # we run these tests twice because memoization attempts made them
 130 # succeed once every two tries...
 131 foreach (1, 2) {
 132 ok(IkiWiki::Plugin::po::istranslatable('index'), "index is translatable");
 133 ok(IkiWiki::Plugin::po::istranslatable('/index'), "/index is translatable");
 134 ok(! IkiWiki::Plugin::po::istranslatable('index.fr'), "index.fr is not translatable");
 135 ok(! IkiWiki::Plugin::po::istranslatable('index.es'), "index.es is not translatable");
 136 ok(! IkiWiki::Plugin::po::istranslatable('/index.fr'), "/index.fr is not translatable");
 137 ok(! IkiWiki::Plugin::po::istranslation('index'), "index is not a translation");
 138 ok(IkiWiki::Plugin::po::istranslation('index.fr'), "index.fr is a translation");
 139 ok(IkiWiki::Plugin::po::istranslation('index.es'), "index.es is a translation");
 140 ok(IkiWiki::Plugin::po::istranslation('/index.fr'), "/index.fr is a translation");
 141 ok(IkiWiki::Plugin::po::istranslatable('test1'), "test1 is translatable");
 142 ok(IkiWiki::Plugin::po::istranslation('test1.es'), "test1.es is a translation");
 143 ok(IkiWiki::Plugin::po::istranslation('test1.fr'), "test1.fr is a translation");
 144 ok(IkiWiki::Plugin::po::istranslatable('test2'), "test2 is translatable");
 145 ok(! IkiWiki::Plugin::po::istranslation('test2'), "test2 is not a translation");
 146 ok(! IkiWiki::Plugin::po::istranslatable('test3'), "test3 is not translatable");
 147 ok(! IkiWiki::Plugin::po::istranslation('test3'), "test3 is not a translation");
 148 }
 149
 150 ### pofiles
 151
 152 my @pofiles = IkiWiki::Plugin::po::pofiles(srcfile("index.mdwn"));
 153 ok( @pofiles, "pofiles is defined");
 154 ok( @pofiles == 2, "pofiles has correct size");
 155 is_deeply(\@pofiles, ["$config{srcdir}/index.es.po", "$config{srcdir}/index.fr.po"], "pofiles content is correct");
 156
 157 ### links
 158 require IkiWiki::Render;
 159
 160 sub refresh_n_scan(@) {
 161         my @masterfiles_rel=@_;
 162         foreach my $masterfile_rel (@masterfiles_rel) {
 163                 my $masterfile=srcfile($masterfile_rel);
 164                 IkiWiki::scan($masterfile_rel);
 165                 next unless IkiWiki::Plugin::po::istranslatable(pagename($masterfile_rel));
 166                 my @pofiles=IkiWiki::Plugin::po::pofiles($masterfile);
 167                 IkiWiki::Plugin::po::refreshpot($masterfile);
 168                 IkiWiki::Plugin::po::refreshpofiles($masterfile, @pofiles);
 169                 map IkiWiki::scan(IkiWiki::abs2rel($_, $config{srcdir})), @pofiles;
 170         }
 171 }
 172
 173 $config{po_link_to}='negotiated';
 174 $msgprefix="links (po_link_to=negotiated)";
 175 refresh_n_scan('index.mdwn', 'translatable.mdwn', 'nontranslatable.mdwn');
 176 is_deeply(\@{$links{'index'}}, ['translatable', 'nontranslatable'], "$msgprefix index");
 177 is_deeply(\@{$links{'index.es'}}, ['translatable.es', 'nontranslatable'], "$msgprefix index.es");
 178 is_deeply(\@{$links{'index.fr'}}, ['translatable.fr', 'nontranslatable'], "$msgprefix index.fr");
 179 is_deeply(\@{$links{'translatable'}}, ['nontranslatable'], "$msgprefix translatable");
 180 is_deeply(\@{$links{'translatable.es'}}, ['nontranslatable'], "$msgprefix translatable.es");
 181 is_deeply(\@{$links{'translatable.fr'}}, ['nontranslatable'], "$msgprefix translatable.fr");
 182 is_deeply([sort @{$links{'nontranslatable'}}], [sort('/', 'translatable', 'translatable.fr', 'translatable.es')], "$msgprefix nontranslatable");
 183
 184 $config{po_link_to}='current';
 185 $msgprefix="links (po_link_to=current)";
 186 refresh_n_scan('index.mdwn', 'translatable.mdwn', 'nontranslatable.mdwn');
 187 is_deeply(\@{$links{'index'}}, ['translatable', 'nontranslatable'], "$msgprefix index");
 188 is_deeply(\@{$links{'index.es'}}, [ (map bestlink('index.es', $_), ('translatable.es', 'nontranslatable'))], "$msgprefix index.es");
 189 is_deeply(\@{$links{'index.fr'}}, [ (map bestlink('index.fr', $_), ('translatable.fr', 'nontranslatable'))], "$msgprefix index.fr");
 190 is_deeply(\@{$links{'translatable'}}, [bestlink('translatable', 'nontranslatable')], "$msgprefix translatable");
 191 is_deeply(\@{$links{'translatable.es'}}, ['nontranslatable'], "$msgprefix translatable.es");
 192 is_deeply(\@{$links{'translatable.fr'}}, ['nontranslatable'], "$msgprefix translatable.fr");
 193 is_deeply([sort @{$links{'nontranslatable'}}], [sort('/', 'translatable', 'translatable.fr', 'translatable.es')], "$msgprefix nontranslatable");
 194
 195 ### targetpage
 196 $config{usedirs}=0;
 197 $msgprefix="targetpage (usedirs=0)";
 198 is(targetpage('test1', 'html'), 'test1.en.html', "$msgprefix test1");
 199 is(targetpage('test1.fr', 'html'), 'test1.fr.html', "$msgprefix test1.fr");
 200 $config{usedirs}=1;
 201 $msgprefix="targetpage (usedirs=1)";
 202 is(targetpage('index', 'html'), 'index.en.html', "$msgprefix index");
 203 is(targetpage('index.fr', 'html'), 'index.fr.html', "$msgprefix index.fr");
 204 is(targetpage('test1', 'html'), 'test1/index.en.html', "$msgprefix test1");
 205 is(targetpage('test1.fr', 'html'), 'test1/index.fr.html', "$msgprefix test1.fr");
 206 is(targetpage('test3', 'html'), 'test3/index.html', "$msgprefix test3 (non-translatable page)");
 207 is(targetpage('test3.es', 'html'), 'test3.es/index.html', "$msgprefix test3.es (non-translatable page)");
 208
 209 ### urlto -> index
 210 $config{po_link_to}='current';
 211 $msgprefix="urlto (po_link_to=current)";
 212 is(urlto('', 'index'), './index.en.html', "$msgprefix index -> ''");
 213 is(urlto('', 'nontranslatable'), '../index.en.html', "$msgprefix nontranslatable -> ''");
 214 is(urlto('', 'translatable.fr'), '../index.fr.html', "$msgprefix translatable.fr -> ''");
 215 # when asking for a semi-absolute or absolute URL, we can't know what the
 216 # current language is, so for translatable pages we use the master language
 217 is(urlto('nontranslatable'), '/nontranslatable/', "$msgprefix 1-arg -> nontranslatable");
 218 is(urlto('translatable'), '/translatable/index.en.html', "$msgprefix 1-arg -> translatable");
 219 is(urlto('nontranslatable', undef, 1), 'http://example.com/nontranslatable/', "$msgprefix 1-arg -> nontranslatable");
 220 is(urlto('index', undef, 1), 'http://example.com/index.en.html', "$msgprefix 1-arg -> index");
 221 is(urlto('', undef, 1), 'http://example.com/index.en.html', "$msgprefix 1-arg -> ''");
 222 # FIXME: should these three produce the negotiatable URL instead of the master
 223 # language?
 224 is(urlto(''), '/index.en.html', "$msgprefix 1-arg -> ''");
 225 is(urlto('index'), '/index.en.html', "$msgprefix 1-arg -> index");
 226 is(urlto('translatable', undef, 1), 'http://example.com/translatable/index.en.html', "$msgprefix 1-arg -> translatable");
 227
 228 $config{po_link_to}='negotiated';
 229 $msgprefix="urlto (po_link_to=negotiated)";
 230 is(urlto('', 'index'), './', "$msgprefix index -> ''");
 231 is(urlto('', 'nontranslatable'), '../', "$msgprefix nontranslatable -> ''");
 232 is(urlto('', 'translatable.fr'), '../', "$msgprefix translatable.fr -> ''");
 233 is(urlto('nontranslatable'), '/nontranslatable/', "$msgprefix 1-arg -> nontranslatable");
 234 is(urlto('translatable'), '/translatable/', "$msgprefix 1-arg -> translatable");
 235 is(urlto(''), '/', "$msgprefix 1-arg -> ''");
 236 is(urlto('index'), '/', "$msgprefix 1-arg -> index");
 237 is(urlto('nontranslatable', undef, 1), 'http://example.com/nontranslatable/', "$msgprefix 1-arg -> nontranslatable");
 238 is(urlto('translatable', undef, 1), 'http://example.com/translatable/', "$msgprefix 1-arg -> translatable");
 239 is(urlto('index', undef, 1), 'http://example.com/', "$msgprefix 1-arg -> index");
 240 is(urlto('', undef, 1), 'http://example.com/', "$msgprefix 1-arg -> ''");
 241
 242 ### bestlink
 243 $config{po_link_to}='current';
 244 $msgprefix="bestlink (po_link_to=current)";
 245 is(bestlink('test1.fr', 'test2'), 'test2.fr', "$msgprefix test1.fr -> test2");
 246 is(bestlink('test1.fr', 'test2.es'), 'test2.es', "$msgprefix test1.fr -> test2.es");
 247 $config{po_link_to}='negotiated';
 248 $msgprefix="bestlink (po_link_to=negotiated)";
 249 is(bestlink('test1.fr', 'test2'), 'test2.fr', "$msgprefix test1.fr -> test2");
 250 is(bestlink('test1.fr', 'test2.es'), 'test2.es', "$msgprefix test1.fr -> test2.es");
 251
 252 ### beautify_urlpath
 253 $config{po_link_to}='default';
 254 $msgprefix="beautify_urlpath (po_link_to=default)";
 255 is(IkiWiki::beautify_urlpath('test1/index.en.html'), './test1/index.en.html', "$msgprefix test1/index.en.html");
 256 is(IkiWiki::beautify_urlpath('test1/index.fr.html'), './test1/index.fr.html', "$msgprefix test1/index.fr.html");
 257 $config{po_link_to}='negotiated';
 258 $msgprefix="beautify_urlpath (po_link_to=negotiated)";
 259 is(IkiWiki::beautify_urlpath('test1/index.html'), './test1/', "$msgprefix test1/index.html");
 260 is(IkiWiki::beautify_urlpath('test1/index.en.html'), './test1/', "$msgprefix test1/index.en.html");
 261 is(IkiWiki::beautify_urlpath('test1/index.fr.html'), './test1/', "$msgprefix test1/index.fr.html");
 262 $config{po_link_to}='current';
 263 $msgprefix="beautify_urlpath (po_link_to=current)";
 264 is(IkiWiki::beautify_urlpath('test1/index.en.html'), './test1/index.en.html', "$msgprefix test1/index.en.html");
 265 is(IkiWiki::beautify_urlpath('test1/index.fr.html'), './test1/index.fr.html', "$msgprefix test1/index.fr.html");
 266
 267 ### re-scan
 268 refresh_n_scan('index.mdwn');
 269 is($pagestate{'index'}{meta}{title}, 'index title');
 270 is($pagestate{'index.es'}{meta}{title}, 'index title');
 271 is($pagestate{'index.fr'}{meta}{title}, 'index title');
 272 refresh_n_scan('test1.mdwn');
 273 is($pagestate{'test1'}{meta}{title}, 'test1 title');
 274 is($pagestate{'test1.es'}{meta}{title}, 'test1 title');
 275 is($pagestate{'test1.fr'}{meta}{title}, 'test1 title');
 276
 277 ### istranslatedto
 278 ok(IkiWiki::Plugin::po::istranslatedto('index', 'es'));
 279 ok(IkiWiki::Plugin::po::istranslatedto('index', 'fr'));
 280 ok(! IkiWiki::Plugin::po::istranslatedto('index', 'cz'));
 281 ok(IkiWiki::Plugin::po::istranslatedto('test1', 'es'));
 282 ok(IkiWiki::Plugin::po::istranslatedto('test1', 'fr'));
 283 ok(! IkiWiki::Plugin::po::istranslatedto('test1', 'cz'));
 284 ok(! IkiWiki::Plugin::po::istranslatedto('nontranslatable', 'es'));
 285 ok(! IkiWiki::Plugin::po::istranslatedto('nontranslatable', 'cz'));
 286 ok(! IkiWiki::Plugin::po::istranslatedto('test1.es', 'fr'));
 287 ok(! IkiWiki::Plugin::po::istranslatedto('test1.fr', 'es'));
 288
 289 ### islanguagecode
 290 ok(IkiWiki::Plugin::po::islanguagecode('en'));
 291 ok(IkiWiki::Plugin::po::islanguagecode('es'));
 292 ok(IkiWiki::Plugin::po::islanguagecode('arn'));
 293 ok(! IkiWiki::Plugin::po::islanguagecode('es_'));
 294 ok(! IkiWiki::Plugin::po::islanguagecode('_en'));
 295
 296 # Actually render translated pages
 297 use IkiWiki::Render;
 298
 299 my %output;
 300 foreach my $page (keys %pagesources) {
 301         my $source = "$config{srcdir}/$pagesources{$page}";
 302         if (-e $source) {
 303                 IkiWiki::scan($pagesources{$page});
 304                 my $content = readfile($source);
 305                 print STDERR "-------------------------------------\n";
 306                 #print STDERR "SOURCE: $page: $content\n";
 307                 $content = IkiWiki::filter($page, $page, $content);
 308                 #print STDERR "FILTERED: $page: $content\n";
 309                 $content = IkiWiki::preprocess($page, $page, $content);
 310                 #print STDERR "PREPROCESSED: $page: $content\n";
 311                 $content = IkiWiki::linkify($page, $page, $content);
 312                 #print STDERR "LINKIFIED: $page: $content\n";
 313                 $content = IkiWiki::htmlize($page, $page, IkiWiki::pagetype($pagesources{$page}), $content);
 314                 print STDERR "HTMLIZED: $page: $content\n";
 315                 $output{$page} = $content;
 316                 ok(utf8::is_utf8($content), "htmlized content should be utf8");
 317         }
 318 }
 319
 320 like($output{debian911356}, qr{
 321         <p>Before\sfirst\sinline</p>
 322         \s*
 323         <p>English\scontent</p>
 324         \s*
 325         <p>Between\sinlines</p>
 326         \s*
 327         <p>English\scontent</p>
 328         \s*
 329         <p>After\sinlines</p>
 330 }sx);
 331
 332 like($output{'debian911356.fr'}, qr{
 333         <p>Avant\sla\spremière\sinline</p>
 334         \s*
 335         <p>Contenu\sfrançais</p>
 336         \s*
 337         <p>Entre\sles\sinlines</p>
 338         \s*
 339         .*      # TODO: This paragraph gets mangled (Debian #911356)
 340         \s*
 341         <p>Après\sles\sinlines</p>
 342 }sx);
 343
 344 TODO: {
 345 local $TODO = "Debian bug #911356";
 346 like($output{'debian911356.fr'}, qr{
 347         <p>Avant\sla\spremière\sinline</p>
 348         \s*
 349         <p>Contenu\sfrançais</p>
 350         \s*
 351         <p>Entre\sles\sinlines</p>
 352         \s*
 353         <p>Contenu\sfrançais</p>
 354         \s*
 355         <p>Après\sles\sinlines</p>
 356 }sx);
 357 };
 358
 359 done_testing;