git.oblomov.eu Git - ikiwiki/blob - doc/plugins/po.mdwn

   1 [[!template id=plugin name=po core=0 author="[[intrigeri]]"]]
   2 [[!tag type/format]]
   3
   4 This plugin adds support for multi-lingual wikis, translated with
   5 gettext, using [po4a](http://po4a.alioth.debian.org/).
   6
   7 It depends on the Perl `Locale::Po4a::Po` library (`apt-get install po4a`).
   8 As detailed bellow in the security section, `po4a` is subject to
   9 denial-of-service attacks before version 0.35.
  10
  11 [[!toc levels=2]]
  12
  13 Introduction
  14 ============
  15
  16 A language is chosen as the "master" one, and any other supported
  17 language is a "slave" one.
  18
  19 A page written in the "master" language is a "master" page. It can be
  20 of any page type supported by ikiwiki, except `po`. It does not have to be
  21 named a special way: migration to this plugin does not imply any page
  22 renaming work.
  23
  24 Example: `bla/page.mdwn` is a "master" Markdown page written in
  25 English; if `usedirs` is enabled, it is rendered as
  26 `bla/page/index.en.html`, else as `bla/page.en.html`.
  27
  28 Any translation of a "master" page into a "slave" language is called
  29 a "slave" page; it is written in the gettext PO format. `po` is now
  30 a page type supported by ikiwiki.
  31
  32 Example: `bla/page.fr.po` is the PO "message catalog" used to
  33 translate `bla/page.mdwn` into French; if `usedirs` is enabled, it is
  34 rendered as `bla/page/index.fr.html`, else as `bla/page.fr.html`
  35
  36 (In)Compatibility
  37 =================
  38
  39 This plugin does not support the `indexpages` mode. If you don't know
  40 what it is, you probably don't care.
  41
  42
  43 Configuration
  44 =============
  45
  46 Supported languages
  47 -------------------
  48
  49 `po_master_language` is used to set the "master" language in
  50 `ikiwiki.setup`, such as:
  51
  52         po_master_language => { 'code' => 'en', 'name' => 'English' }
  53
  54 `po_slave_languages` is used to set the list of supported "slave"
  55 languages, such as:
  56
  57         po_slave_languages => { 'fr' => 'Français',
  58                                 'es' => 'Español',
  59                                 'de' => 'Deutsch',
  60         }
  61
  62 Decide which pages are translatable
  63 -----------------------------------
  64
  65 The `po_translatable_pages` setting configures what pages are
  66 translatable. It is a [[ikiwiki/PageSpec]], so you have lots of
  67 control over what kind of pages are translatable.
  68
  69 The `.po` files are not considered as being translatable, so you don't need to
  70 worry about excluding them explicitly from this [[ikiwiki/PageSpec]].
  71
  72 Internal links
  73 --------------
  74
  75 ### Links targets
  76
  77 The `po_link_to` option in `ikiwiki.setup` is used to decide how
  78 internal links should be generated, depending on web server features
  79 and site-specific preferences.
  80
  81 #### Default linking behavior
  82
  83 If `po_link_to` is unset, or set to `default`, ikiwiki's default
  84 linking behavior is preserved: `\[[destpage]]` links to the master
  85 language's page.
  86
  87 #### Link to current language
  88
  89 If `po_link_to` is set to `current`, `\[[destpage]]` links to the
  90 `destpage`'s version written in the current page's language, if
  91 available, *i.e.*:
  92
  93 * `foo/destpage/index.LL.html` if `usedirs` is enabled
  94 * `foo/destpage.LL.html` if `usedirs` is disabled
  95
  96 #### Link to negotiated language
  97
  98 If `po_link_to` is set to `negotiated`, `\[[page]]` links to the
  99 negotiated preferred language, *i.e.* `foo/page/`.
 100
 101 (In)compatibility notes:
 102
 103 * if `usedirs` is disabled, it does not make sense to set `po_link_to`
 104   to `negotiated`; this option combination is neither implemented
 105   nor allowed.
 106 * if the web server does not support Content Negotiation, setting
 107   `po_link_to` to `negotiated` will produce a unusable website.
 108
 109 Server support
 110 ==============
 111
 112 Apache
 113 ------
 114
 115 Using Apache `mod_negotiation` makes it really easy to have Apache
 116 serve any page in the client's preferred language, if available.
 117 This is the default Debian Apache configuration.
 118
 119 When `usedirs` is enabled, one has to set `DirectoryIndex index` for
 120 the wiki context.
 121
 122 Setting `DefaultLanguage LL` (replace `LL` with your default MIME
 123 language code) for the wiki context can help to ensure
 124 `bla/page/index.en.html` is served as `Content-Language: LL`.
 125
 126 lighttpd
 127 --------
 128
 129 lighttpd unfortunately does not support content negotiation.
 130
 131 **FIXME**: does `mod_magnet` provide the functionality needed to
 132  emulate this?
 133
 134
 135 Usage
 136 =====
 137
 138 Templates
 139 ---------
 140
 141 When `po_link_to` is not set to `negotiated`, one should replace some
 142 occurrences of `BASEURL` with `HOMEPAGEURL` to get correct links to
 143 the wiki homepage.
 144
 145 The `ISTRANSLATION` and `ISTRANSLATABLE` variables can be used to
 146 display things only on translatable or translation pages.
 147
 148 ### Display page's versions in other languages
 149
 150 The `OTHERLANGUAGES` loop provides ways to display other languages'
 151 versions of the same page, and the translations' status.
 152
 153 An example of its use can be found in the default
 154 `templates/page.tmpl`. In case you want to customize it, the following
 155 variables are available inside the loop (for every page in):
 156
 157 * `URL` - url to the page
 158 * `CODE` - two-letters language code
 159 * `LANGUAGE` - language name (as defined in `po_slave_languages`)
 160 * `MASTER` - is true (1) if, and only if the page is a "master" page
 161 * `PERCENT` - for "slave" pages, is set to the translation completeness, in percents
 162
 163 ### Display the current translation status
 164
 165 The `PERCENTTRANSLATED` variable is set to the translation
 166 completeness, expressed in percent, on "slave" pages. It is used by
 167 the default `templates/page.tmpl`.
 168
 169 Additional PageSpec tests
 170 -------------------------
 171
 172 This plugin enhances the regular [[ikiwiki/PageSpec]] syntax with some
 173 additional tests that are documented [[here|ikiwiki/pagespec/po]].
 174
 175 Automatic PO file update
 176 ------------------------
 177
 178 Committing changes to a "master" page:
 179
 180 1. updates the POT file and the PO files for the "slave" languages;
 181    the updated PO files are then put under version control;
 182 2. triggers a refresh of the corresponding HTML slave pages.
 183
 184 Also, when the plugin has just been enabled, or when a page has just
 185 been declared as being translatable, the needed POT and PO files are
 186 created, and the PO files are checked into version control.
 187
 188 Discussion pages and other sub-pages
 189 ------------------------------------
 190
 191 Discussion should happen in the language in which the pages are
 192 written for real, *i.e.* the "master" one. If discussion pages are
 193 enabled, "slave" pages therefore link to the "master" page's
 194 discussion page.
 195
 196 Likewise, "slave" pages are not supposed to have sub-pages;
 197 [[WikiLinks|wikilink]] that appear on a "slave" page therefore link to
 198 the master page's sub-pages.
 199
 200 Translating
 201 -----------
 202
 203 One can edit the PO files using ikiwiki's CGI (a message-by-message
 204 interface could also be implemented at some point).
 205
 206 If [[tips/untrusted_git_push]] is setup, one can edit the PO files in one's
 207 preferred `$EDITOR`, without needing to be online.
 208
 209 Markup languages support
 210 ------------------------
 211
 212 [[Markdown|mdwn]] is well supported. Some other markup languages supported
 213 by ikiwiki mostly work, but some pieces of syntax are not rendered
 214 correctly on the slave pages:
 215
 216 * [[reStructuredText|rst]]: anonymous hyperlinks and internal
 217   cross-references
 218 * [[wikitext]]: conversion of newlines to paragraphs
 219 * [[creole]]: verbatim text is wrapped, tables are broken
 220 * [[html]] and LaTeX: not supported yet; the dedicated po4a modules
 221   could be used to support them, but they would need a security audit
 222 * other markup languages have not been tested.
 223
 224 Security
 225 ========
 226
 227 [[po/discussion]] contains a detailed security analysis of this plugin
 228 and its dependencies.
 229
 230 When using po4a older than 0.35, it is recommended to uninstall
 231 `Text::WrapI18N` (Debian package `libtext-wrapi18n-perl`), in order to
 232 avoid a potential denial of service.
 233
 234 TODO
 235 ====
 236
 237 Better links
 238 ------------
 239
 240 Once the fix to
 241 [[bugs/pagetitle_function_does_not_respect_meta_titles]] from
 242 [[intrigeri]]'s `meta` branch is merged into ikiwiki upstream, the
 243 generated links' text will be optionally based on the page titles set
 244 with the [[meta|plugins/meta]] plugin, and will thus be translatable.
 245 It will also allow displaying the translation status in links to slave
 246 pages. Both were implemented, and reverted in commit
 247 ea753782b222bf4ba2fb4683b6363afdd9055b64, which should be reverted
 248 once [[intrigeri]]'s `meta` branch is merged.
 249
 250 An integration branch, called `meta-po`, merges [[intrigeri]]'s `po`
 251 and `meta` branches, and thus has thise additional features.
 252
 253
 254 Language display order
 255 ----------------------
 256
 257 Jonas pointed out that one might want to control the order that links to
 258 other languages are listed, for various reasons. Currently, there is no
 259 order, as `po_slave_languages` is a hash. It would need to be converted
 260 to an array to support this. (If twere done, twere best done quickly.)
 261 --[[Joey]]
 262
 263 po files in underlay
 264 --------------------
 265
 266 I think this plugin doesn't yet allow po files to be present in an
 267 underlay to translate files also from the underlay.
 268
 269 In `istranslatablefile`, it specifically checks that
 270 the file is present in srcdir.
 271
 272 Problem with this is that it precludes using po to translate
 273 the basewiki (work which is well under way for Danish BTW),
 274 since the translated po files cannot really be used.
 275
 276 A further problem comes if one wants to use a non-English language as the
 277 `po_master_language`. It would be good to get a translated
 278 basewiki, taking po files from the underlay and using them as the primary
 279 page sources, but this plugin doesn't yet support that.
 280
 281 And, maybe it shouldn't? A user would not expect to see a po file when
 282 editing the index page of their wiki, just because they're using a
 283 different language. Instead, we might want to build localized .mdwn files
 284 for the basewiki, and then ikiwiki would just use that translated underlay.
 285 The when the user edits index, they get a nice mdwn file to start from.
 286
 287 So, we seem to have two cases, in one po files from the underlay should be
 288 used, in the other not. Hmm. Support both?
 289
 290 > Update -- I've written po2wiki, which can spit out translated underlays
 291 > in markdown format, and made the po plugin enable use of such underlays
 292 > when the master language is not `en`.
 293 --[[Joey]]
 294
 295 Duplicate %links ?
 296 ------------------
 297
 298 I notice code in the scan hook that seems to assume
 299 that %links will accumulate duplicate links for a page.
 300 That used to be so, but the bug was fixed. Does this mean
 301 that po might be replacing the only link on a page, in error?
 302 --[[Joey]]
 303
 304 Documentation
 305 -------------
 306
 307 Maybe write separate documentation depending on the people it targets:
 308 translators, wiki administrators, hackers. This plugin may be complex
 309 enough to deserve this.