url plugin: only chop non-word characters on 404
authorGiuseppe Bilotta <giuseppe.bilotta@gmail.com>
Thu, 27 Aug 2009 19:35:06 +0000 (21:35 +0200)
committerGiuseppe Bilotta <giuseppe.bilotta@gmail.com>
Thu, 27 Aug 2009 19:37:50 +0000 (21:37 +0200)
commit5270da00bb7974629a1c0697c0296dbd7b7c992b
tree4cb994d0a45aa3a6bc44d110a988310d242c489b
parent0cad27296391911bd3e7a1e622e35f6495d452d3
url plugin: only chop non-word characters on 404

Chopping everything causes long delays for non-existing pages with
long paths. Since the purpose of the retry-with-chop is to get the
right URL when punctuation is added after it, the solution is to
only chop non-word characters. This has to be done on the
unescaped URL because otherwise non-word characters like " that
expand to %22 will not be chopped.
data/rbot/plugins/url.rb