add_depends: optimise influence calculation

I made match_* functions whose influences can vary depending on the page
matched set a special "" influence to indicate this.

Then add_depends can try just one page, and if static influences are found,
stop there.

revert

rework influence calculation

Thought of a cleaner way to accumulate all influences in
pagespec_match_list, using the pagespec_match result object as an
accumulator.

(This also accumulates all influences from failed matches, rather than just
one failed match. I'm not sure if the old method was correct.)

move influence tests to pagespec_match_list.t

img: use presence dependency when linking to a page

brokenlinks: use pagespec_match_list

fix link

fix pagespec_match_list handling of list parameter

pagespec_match_list: change limit to filter

conditional: use pagespec_match_list

pagespec_match_list allow additional pagespec limit parameters again

indentation

conditional: use yesno

progress: switch to new pagespec_match_list

linkmap: Use new pagespec_match_list

fix test to use new calling convention

This test still fails several cases, since add_depends influence testing is
currently commented out.

add pagespec/sorting to underlay

don't link to inline, not available when directives underlay is not enabled

typo

rename use_pagespec to pagespec_match_list

To avoid breaking plugins, also support the old pagespec_match_list
calling convention, with a deprecation warning.

fix test broken by change to failing link() influence

calendar: rework so it can use use_pagespec

This was tricky because of the caching, and because use_pagespec always
adds a dependency. That would have made year calendars depend on the whole
pagespec, which is overly broad. So I removed the caching, format_month,
and in format_year just look at %pagesources to see if month pages are
available.

In format_month, I make it always call use_pagespec, so each month calendar
gets the right dependency and any influcences added. This means a bit more
work, but the added work is fairly minimal, and presence dependencies
remove a *lot* of work it used to do.

(100% untested!)

postsparkline: switch to use_pagespec

Also, fixed up the dependency type for time=mtime. That has
to remain a content dependency, sadly.

orphans: switch to use_pagespec

fix feedpages dependency

This dependency was missing before switching to use_pagespec.
It is correct to add it, but it needs to be combined with the regular
"pages" dependency to ensure that it does not match extra pages.

(Also fixed its dependency type.)

Merge branch 'master' into dependency-types

Conflicts:
IkiWiki.pm
IkiWiki/Render.pm
debian/changelog

pagestate: switch to use_pagespec

Optimize away most expensive file prune calls, when refreshing

Benchmarking refresh of a a wiki with 25 thousand pages showed
file_pruned() using most of the time. But, when refreshing, ikiwiki already
knows about nearly all the files. So we can skip calling file_pruned() for
those it knows about. While tricky to do, this sped up a refresh (that
otherwise does no work) by 10-50%.

use_pagespec: do not fail with error when unable to match, unless it fails
with an ErrorReason

pagecount: switched to use_pagespec

inline: switch to use_pagespec

Taking advantage of every single one of its features, of course.
Even had to add one more..

add sorting page

update

map: switch to use_pagespec

add use_pagespec and deptype functions

change how dependency types are specified to add_depends

Also, this fixes 2 bugs in dependency info.

found a way to get false positive influences

Merge branch 'master' of ssh://git.ikiwiki.info/srv/git/ikiwiki.info

update

fix handling of influences of pagespecs that fail to match

If a pagespec fails to match, I had been throwing the influences away, but
that is not right. Consider `backlink(foo)`, where foo does not exist.
It still needs to be added as an influence, because if it is created, it
will influence the pagespec to match.

But with that fix, `link(bar)` had as influences all pages, whether they
link to bar or not. Which is not necessary, because modifiying a page to
add a link to bar will directly cause the pagespec to match.

So, in match_link (and all the match_* functions for page metadata),
only return an influence if the match succeeds.

match_backlink had been implemented as the inverse of match_link, but that
is no longer completly true. While match_link does not return an influence
on failure, match_backlink does.

match_created_before/after also return the influence on failure, this way
if created_after(foo) currently fails because foo does not exist, it will
still update the page with the pagespec if foo is created.

add cpanrt

Tweaks

update

Questions...

bugfix

remove explicit addition of dependencies for displayed pages

that hack is not needed, thanks to pagespec influences calculation

add type info to influence information

Merge branch 'master' into dependency-types

update

convert add_depends to use influences

No more horrible special-case pagespec parsing.

OTOH, matching over all pages to determine influences is a lot of work.

influences calculation implemented

more influences tests

add influence info to match_*

Also update docs, test suite.

Merge branch 'master' into dependency-types

make success and failreason objects carry an influences hash

The hash will be used used to record a set of pages that influenced the
result of a pagespec match.

The influences are merged together when boolean and/or are encountered
in a pagespec. That means using a non-short-circuiting OR operator. And
so I use & and | when translating pagespecs, since those bitwise operators
can be overloaded. ("and" and "or" cannot, apparently).

mention that pagespec_match returns an overloaded value

Merge branch 'master' into dependency-types

a theory of pagespec influence lists, for Will's perusal

close

Merge branch 'master' of ssh://git.ikiwiki.info/srv/git/ikiwiki.info

problem with explicit, presence dependencies

remove test case for closed bug

fix backlink new change detection code

limit to discussion pages of blog posts, not whole wiki

Make it obvious for the reader of the rendered page that the debbug shortcut links to Debian bug reports.

Use %S instead of %s for the debbug shortcut, so that things like [[!debbug 522689#38]] work as expected.

Merge branch 'master' into dependency-types

thoughts

Merge branch 'master' into dependency-types

Comments (maybe not so helpful - sorry)

Merge branch 'master' into dependency-types

Conflicts:
doc/todo/dependency_types.mdwn

update

notes on removal problem

linkmap, pagestats: avoid using %links to get a list of pages

When a page is deleted, it is removed from %pagesources, but
not from %links. So use the former.

linkmap: does need presence deps

Otherwise, removal of a page with no links will not be noticed,
since no links will change.

add_depends should default to content dependencies if unknown type specified

oops!!

typo

support backlink() in pagespecs for links dependencies

update to test backlinks() pagespecs

presence dependencies not needed

Using just a link dependency is sufficient, since

pagespec for links dependencies

fix support of a single dependency that combines links and exists types

This is very common, and the code has to test each type differently, since
the list of candidates to test, as well as the test, will vary per type.
Much happier with this code now.

linkmap: Use a combination of presence and link dependencies.

This makes the map be regenerated much less frequently, so larger maps are
more practical to use now.

fix handling of links+content dependency

Such a dependency is unlikely, but can happen.

refactor 3

Only left one new global

refresh refactor 2

killed one global

split up refresh

I'd rather have the global variables than the 300 line function

new todo

update

new link change detection method and general code rework

This new method for determining when links on pages
have changed should be more efficient, since it avoids
double calculation of the bestlinks.

It also allows collecting data about the old links, before
the scan pass, so the data is accurate when pages move around
and bestlinks change.

Also got some code back to a saner indent level.

add among limit to pagestats

uh oh, this affects link deps

close

fixed a while ago

Merge branch 'master' into dependency-types

close