response
[ikiwiki] / doc / todo / allow_plugins_to_add_sorting_methods.mdwn
1 [[!tag patch]]
2
3 The available [[ikiwiki/pagespec/sorting]] methods are currently hard-coded in
4 IkiWiki.pm, making it difficult to add any extra sorting mechanisms. I've
5 prepared a branch which adds 'sort' as a hook type and uses it to implement a
6 new `meta_title` sort type.
7
8 Someone could use this hook to make `\[[!inline sort=title]]` prefer the meta
9 title over the page name, but for compatibility, I'm not going to (I do wonder
10 whether it would be worth making sort=name an alias for the current sort=title,
11 and changing the meaning of sort=title in 4.0, though).
12
13 *[sort-hooks branch now withdrawn in favour of sort-package --s]*
14
15 I briefly tried to turn *all* the current sort types into hook functions, and
16 have some of them pre-registered, but decided that probably wasn't a good idea.
17 That earlier version of the branch is also available for comparison:
18
19 *[also withdrawn in favour of sort-package --s]*
20
21 >> I wonder if IkiWiki would benefit from the concept of a "sortspec", like a [[ikiwiki/PageSpec]] but dedicated to sorting lists of pages rather than defining lists of pages?  Rather than defining a sort-hook, define a SortSpec class, and enable people to add their own sort methods as functions defined inside that class, similarly to the way they can add their own pagespec definitions. --[[KathrynAndersen]]
22
23 >>> [[!template id=gitbranch branch=smcv/sort-package author="[[Simon_McVittie|smcv]]"]]
24 >>> I'd be inclined to think that's overkill, but it wasn't very hard to
25 >>> implement, and in a way is more elegant. I set it up so sort mechanisms
26 >>> share the `IkiWiki::PageSpec` package, but with a `cmp_` prefix. Gitweb:
27 >>> <http://git.pseudorandom.co.uk/smcv/ikiwiki.git?a=shortlog;h=refs/heads/sort-package>
28
29 >>>> I agree it seems more elegant, so I have focused on it.
30 >>>>
31 >>>> I don't know about reusing `IkiWiki::PageSpec` for this.
32 >>>> --[[Joey]]
33
34 >>>>> Fair enough, `IkiWiki::SortSpec::cmp_foo` would be just
35 >>>>> as easy, or `IkiWiki::Sorting::cmp_foo` if you don't like
36 >>>>> introducing "sort spec" in the API. I took a cue from
37 >>>>> [[ikiwiki/pagespec/sorting]] being a subpage of
38 >>>>> [[ikiwiki/pagespec]], and decided that yes, sorting is
39 >>>>> a bit like a pagespec :-) Which name would you prefer? --s
40
41 >>>>>> `SortSpec` --[[Joey]] 
42
43 >>>> I would be inclined to drop the `check_` stuff. --[[Joey]] 
44
45 >>>>> It basically exists to support `title_natural`, to avoid
46 >>>>> firing up the whole import mechanism on every `cmp`
47 >>>>> (although I suppose that could just be a call to a
48 >>>>> memoized helper function). It also lets sort specs that
49 >>>>> *must* have a parameter, like
50 >>>>> [[field|plugins/contrib/field/discussion]], fail early
51 >>>>> (again, not so valuable).
52 >>>>>
53 >>>>>> AFAIK, `use foo` has very low overhead when the module is already
54 >>>>>> loaded. There could be some evalation overhead in `eval q{use foo}`,
55 >>>>>> if so it would be worth addressing across the whole codebase.
56 >>>>>> --[[Joey]] 
57 >>>>>
58 >>>>> The former function could be achieved at a small
59 >>>>> compatibility cost by putting `title_natural` in a new
60 >>>>> `sortnatural` plugin (that fails to load if you don't
61 >>>>> have `title_natural`), if you'd prefer - that's what would
62 >>>>> have happened if `title_natural` was written after this
63 >>>>> code had been merged, I suspect. Would you prefer this? --s
64
65 >>>>>> Yes! (Assuming it does not make sense to support
66 >>>>>> natural order sort of other keys than the title, at least..)
67 >>>>>>  --[[Joey]]
68
69 >>>> Wouldn't it make sense to have `meta(title)` instead
70 >>>> of `meta_title`? --[[Joey]]
71
72 >>>>> Yes, you're right. I added parameters to support `field`,
73 >>>>> and didn't think about making `meta` use them too.
74 >>>>> However, `title` does need a special case to make it
75 >>>>> default to the basename instead of the empty string.
76 >>>>>
77 >>>>> Another special case for `title` is to use `titlesort`
78 >>>>> first (the name `titlesort` is derived from Ogg/FLAC
79 >>>>> tags, which can have `titlesort` and `artistsort`).
80 >>>>> I could easily extend that to other metas, though;
81 >>>>> in fact, for e.g. book lists it would be nice for
82 >>>>> `field(bookauthor)` to behave similarly, so you can
83 >>>>> display "Douglas Adams" but sort by "Adams, Douglas".
84 >>>>>
85 >>>>> `meta_title` is also meant to be a prototype of how
86 >>>>> `sort=title` could behave in 4.0 or something - sorting
87 >>>>> by page name (which usually sorts in approximately the
88 >>>>> same place as the meta-title, but occasionally not), while
89 >>>>> displaying meta-titles, does look quite odd. --s
90
91 >>>>>> Agreed. --[[Joey]]
92
93 >>>> As I read the regexp in `cmpspec_translate`, the "command"
94 >>>> is required to have params. They should be optional, 
95 >>>> to match the documentation and because most sort methods
96 >>>> do not need parameters. --[[Joey]]
97
98 >>>>> No, `$2` is either `\w+\([^\)]*\)` or `[^\s]+` (with the
99 >>>>> latter causing an error later if it doesn't also match `\w+`).
100 >>>>> This branch doesn't add any parameterized sort methods,
101 >>>>> in fact, although I did provide one on
102 >>>>> [[field's_discussion_page|plugins/contrib/report/discussion]]. --s
103
104 >>>> I wonder if it would make sense to add some combining keywords, so
105 >>>> a sortspec reads like `sort="age then ascending title"`
106 >>>> In a way, this reduces the amount of syntax that needs to be learned.
107 >>>> I like the "then" (and it could allow other operations than
108 >>>> simple combination, if any others make sense). Not so sure about the
109 >>>> "ascending", which could be "reverse" instead, but "descending age" and
110 >>>> "ascending age" both seem useful to be able to explicitly specify.
111 >>>> --[[Joey]]
112
113 >>>>> Perhaps. I do like the simplicity of [[KathrynAndersen]]'s syntax
114 >>>>> from [[plugins/contrib/report]] (which I copied verbatim, except for
115 >>>>> turning sort-by-`field` into a parameterized spec).
116 >>>>>
117 >>>>> If we're getting into English-like (or at least SQL-like) queries,
118 >>>>> it might make sense to change the signature of the hook function
119 >>>>> so it's a function to return a key, e.g.
120 >>>>> `sub key_age { return -%pagemtime{$_[0]) }`. Then we could sort like
121 >>>>> this:
122 >>>>>
123 >>>>>     field(artistsort) or field(artist) or constant(Various Artists) then meta(titlesort) or meta(title) or title
124 >>>>>
125 >>>>> with "or" binding more closely than "then". Does this seem valuable?
126 >>>>> I think the implementation would be somewhat more difficult. and
127 >>>>> it's probably getting too complicated to be worthwhile, though?
128 >>>>> (The keys that actually benefit from this could just
129 >>>>> have smarter cmp functions, I think.)
130 >>>>>
131 >>>>> If the hooks return keys rather than cmp results, then we could even
132 >>>>> have "lowercase" as an adjective used like "ascending"... maybe.
133 >>>>> However, there are two types of adjective here: "lowercase"
134 >>>>> really applies to the keys, whereas "ascending" applies to the "cmp"
135 >>>>> result. Again, I think this is getting too complex, and could just
136 >>>>> be solved with smarter cmp functions.
137 >>>>>
138 >>>>>> I agree. (Also, I think returning keys may make it harder to write
139 >>>>>> smarter cmp functions.) --[[Joey]] 
140 >>>>>
141 >>>>> Unfortunately, `sort="ascending mtime"` actually sorts by *descending*
142 >>>>> timestamp (but`sort=age` is fine, because `age` could be defined as
143 >>>>> now minus `ctime`). `sort=freshness` isn't right either, because
144 >>>>> "sort by freshness" seems as though it ought to mean freshest first,
145 >>>>> but "sort by ascending freshness" means put the least fresh first. If
146 >>>>> we have ascending and descending keywords which are optional, I don't
147 >>>>> think we really want different sort types to have different default
148 >>>>> directions - it seems clearer to have `ascending` always be a no-op,
149 >>>>> and `descending` always negate.
150 >>>>>
151 >>>>>> I think you've convinced me that ascending/descending impose too
152 >>>>>> much semantics on it, so "-" is better. --[[Joey]]
153 >>>>>
154 >>>>> Perhaps we could borrow from `meta updated` and use `update_age`?
155 >>>>> `updateage` would perhaps be a more normal IkiWiki style - but that
156 >>>>> makes me think that updateage is a quantity analagous to tonnage or
157 >>>>> voltage, with more or less recently updated pages being said to have
158 >>>>> more or less updateage. I don't know whether that's good or bad :-)
159 >>>>>
160 >>>>> I'm sure there's a much better word, but I can't see it. Do you have
161 >>>>> a better idea? --s
162
163 ## Documentation from sort-package branch
164
165 ### meta_title sort order (conditionally added to [[ikiwiki/pagespec/sorting]])
166
167 * `meta_title` - Order according to the `\[[!meta title="foo" sort="bar"]]`
168   or `\[[!meta title="foo"]]` [[ikiwiki/directive]], or the page name if no
169   full title was set.
170
171   > I feel it sould be clearer to call that "sortas", since "sort=" is used
172   > to specify a sort method in other directives. --[[Joey]]
173
174   >> Fair enough, that's easy to do. --[[smcv]]
175
176 ### Multiple sort orders (added to [[ikiwiki/pagespec/sorting]])
177
178 In addition, you can combine several sort orders and/or reverse the order of
179 sorting, with a string like `age -title` (which would sort by age, then by
180 title in reverse order if two pages have the same age).
181
182 ### meta title sort parameter (added to [[ikiwiki/directive/meta]])
183
184 An optional `sort` parameter will be used preferentially when
185 [[ikiwiki/pagespec/sorting]] by `meta_title`:
186
187        \[[!meta title="The Beatles" sort="Beatles, The"]]
188
189        \[[!meta title="David Bowie" sort="Bowie, David"]]
190
191 > I now realise that `author` should also have this, again for use
192 > with (Western) names. --s
193
194 ### Sorting plugins (added to [[plugins/write]])
195
196 Similarly, it's possible to write plugins that add new functions as
197 [[ikiwiki/pagespec/sorting]] methods. To achieve this, add a function to
198 the IkiWiki::PageSpec package named `cmp_foo`, which will be used when sorting
199 by `foo` or `foo(...)` is requested.
200
201 The function will be passed three or more parameters. The first two are
202 page names, and the third is `undef` if invoked as `foo`, or the parameter
203 `"bar"` if invoked as `foo(bar)`. It may also be passed additional, named
204 parameters.
205
206 It should return the same thing as Perl's `cmp` and `<=>` operators: negative
207 if the first argument is less than the second, positive if the first argument
208 is greater, or zero if they are considered equal. It may also raise an
209 error using `error`, for instance if it needs a parameter but one isn't
210 provided.
211
212 You can also define a function called `check_cmp_foo` in the same package.
213 If you do, it will be called while preparing to sort by `foo` or `foo(bar)`,
214 with argument `undef` or `"bar"` respectively; it may raise an error using
215 `error`, if sorting like that isn't going to work.