Merge pull request #17 from robinluckey/master

Catching up with community contributions

Merge pull request #15 from arcriley/master

Add support for Genie and Vala .vapi files

Merge pull request #14 from sylvestre/master

The txx extension can be used for C++ templates

Merge pull request #13 from raphink/dev/mystrnlen_segfault

Prevent segfault on empty files

Added support for Genie and Vala .vapi files

The txx extension can be used for C++ templates

Return NULL when NULL is passed to disambiguate_pp

Prevent segfault on empty files

Merge pull request #12 from raphink/puppet

Improve Puppet/Pascal disambiguation

Puppet/Pascal: strncmp calls are really not helping, functionaly or timewise

Puppet/Pascal: try harder to find Puppet keywords

Puppet parser: improve regex matching for caret to work

Recognize Puppet node definitions

Avoid detecting Pascal code as Puppet

Puppet parser: detect classes and defines with colons

Merge branch 'master' of github.com:robinluckey/ohcount

Merge pull request #10 from raphink/master

Add support for the Augeas language (based on Ocaml)

Merge pull request #11 from raphink/tex

Add sty and cls for LANG_TEX, add dtx and LANG_TEX_DTX

Merge pull request #12 from blackducksw/libmagic

Libmagic

Add .cls to LANG_TEX

Make DTX a separate language derived from TeX.

Add dtx and sty for LANG_TEX

Add support for the Augeas language (based on Ocaml)

Fixes recursion bug in disambiguate_in().

The basic strategy of disambiguate_in() is to strip the trailing *.in
extension from the filepath, and then to disambiguate the file as if it
originally had that name. Thus, given file "foo.in", disambiguate_in()
will disambiguate "foo".

disambiguate_in() achieves this while re-using the exact same file on
disk. This is possible because a SourceFile struct has both a `filepath`
(the name we use for disambiguation purposes) and the `diskpath` (the
actual name on disk).

So disambiguate_in() instantiates a new SourceFile with a stripped
filepath, yet the same diskpath and same file contents.

The bug is that the code did this incorrectly: when assigning the
diskpath of the new SourceFile, it would mistakenly assign it the
previous SourceFile's *filepath* instead of the previous SourceFile's
diskpath.

If disambiguate_in() runs just once (when the file has just a single
*.in extension, the usual case), this mistake does not matter because
the filepath and diskpath are the same.

But if disambiguate_in() recurses on itself (when the file has multiple
*.in.in extensions), then during the second pass the filepath and
diskpath will not be equal -- they will differ by one missing *.in
extension. Thus the diskpath of the new SourceFile will refer to a
(probably) non-existent file.

The bug is hard to explain but was simple to correct.

In addition to correcting the diskpath assignment, I've fixed a memory
leak: it was possible to allocate a new SourceFile, and then immediately
return NULL, which fails to free the SourceFile. I've moved the
allocation *after* the NULL return check to avoid this.

Removes unused escape_path() function

Use libmagic instead of spawning a process to run `file`

Change README to use Github flavored Markdown

README updates and corrections

Merge pull request #11 from dcsobral/forth

Initial support for Forth

Merge pull request #9 from haraldkl/master

Fixing Bug in Fortran disambiguation

Initial support for Forth

This is based on the Scala parser, which is actually quite
incorrect -- assumes existence of single-quote strings (which
will cause problem on any file with symbols), doesn't know
multiline strings, doesn't handle nested comments: all of which
made it a pretty good starting point for Forth.

Parsing Forth is impossible, but this will recognize comments,
strings and blank lines on most projects. Tested against FreeBSD
source.

Merge pull request #10 from blackducksw/OTWO-1300

OTWO-1300 Improves *.pl disambiguation to ignore smileys :-)

OTWO-1300 Improves *.pl disambiguation to ignore smileys :-)

Smiley faces in Perl strings and comments look similar to Prolog
rule syntax. This patch makes two improvements:

 - Better detection of perl shebangs (#!%PERL% now recognized)
 - A prolog ':-' token must be followed by a space or a newline

Update Fortran extensions to cover the list, supported by gfortran
(.FPP, .F, .FOR, .FTN, .F90, .F95, .F03 or .F08), see
http://gcc.gnu.org/onlinedocs/gfortran/Preprocessing-Options.html

Changed the logic to disambiguate free and fixed formatted Fortran
Test the assumption of a fixed format code and indicate free
format, as soon as any line breaks this assumption.
(It is easier to check for fixed form constraints)
Rules for fixed format are taken from the standard, see
ftp://ftp.nag.co.uk/sc22wg5/N1801-N1850/N1830.pdf p. 47.

More typical Fortran free formatted test file.

Return free format in the Fortran disambiguation,
if the code is definetly not fixed.

Adds unit test for escape_path()

OTWO-1137 Escapes single quotes in file paths

Adds additional comment styles for MS-DOS batch files

In addition to 'REM', we now accept '@REM' and '::'.

Note that test/expected_dir/bat1.bat should be tab-delimited (not
space-delimited), so this patch also corrects that.

Merge branch 'master' of git://github.com/pfusik/ohcount

Corrections to Logtalk unit tests

Merge branch 'master' of git://github.com/pmoura/ohcount

Fixes crash in disambiguate_r() when source file is empty

Thanks to ehsan for discovering this bug.

Enable building on Mac, which lacks the strnlen function by using memchr instead of it

Merge pull request #6 from cmarcelo/qml

Add support for Qt's QML language

Merge pull request #5 from koraktor/ruby

Added more filenames and extensions for Ruby

Merge pull request #4 from koraktor/mustache

Treat Mustache templates as HTML

Add support for Qt's QML language

Reusing the JS parser, since QML is 'almost' JavaScript. The
approximation is good enough for the line counting purposes.

Check if *.def files are Modula-2.

Treat Mustache templates as HTML

Mustache introduces only a small amount of additional syntax, so treating
its templates as pure HTML shouldn't hurt.

Added more filenames and extensions for Ruby

Minor improvement for detecting Perl files.

Merge branch 'ecere'

Completes eC parser

 - Adds parse_ec() to the list of parsers
 - Adds a test to ensure that line counter works

Add file extensions "asx" and "as8" - 6502 assembler.

OTWO-922 Adds CoffeeScript parser

Merge https://github.com/bytbox/ohcount into jam

Merge branch 'adding_racket' of https://github.com/jbclements/ohcount into racket

Conflicts:
src/hash/languages.gperf
src/hash/parsers.gperf
src/languages.h
test/unit/parser_test.h

Merge branch 'master' of https://github.com/earl/ohcount

Merge branch 'rebol' of https://github.com/earl/ohcount into rebol

Merge https://github.com/ecere/ohcount into ecere

Added basic unit tests for Prolog parsing.

Added basic unit tests for Logtalk parsing.

Added basic support for Logtalk and Prolog (missing parsers in previous commit\!).

Added basic support for Logtalk and Prolog.

adding racket, re-using lisp parser, following clojure's lead

OTWO-803 Fixes disambiguate_pp() performance sink

disambiguate_pp() failed to execute in a reasonable time for extremely
large (1MB+) files.

The reason is that a regular expression is evaluated for each line of
the file, and this regular expression is scoped from the beginning of
the line to the end of the file. When the file is extremely large,
the regular expression evaluation runs away with the CPU.

By limiting the scope of the regular expression evaluation to no more
than 100 characters from its start point, we can avoid the runaway
performance sink. This is a reasonable change since the expression we
are looking to match should almost always fit within 100 chars anyway.

Fix filename in Go parser attribution line

Signed-off-by: Andreas Bolka <a@bolka.at>

Fix ragel include in parser example skeleton

Signed-off-by: Andreas Bolka <a@bolka.at>

Implement parsing of REBOL multi-line strings

Signed-off-by: Andreas Bolka <a@bolka.at>

Add REBOL detection and (basic) parsing

Also adds a simple .r disambiguation to discern REBOL and R sources. R
is the default, REBOL is used if "rebol" is found anywhere in the
contents.

The REBOL parser currently does not handle multi-line strings ({...}),
which could (in rare cases) lead to string parts being classified as
comments.

Signed-off-by: Andreas Bolka <a@bolka.at>

Added missing detector test files

Added support for the eC language (www.ecere.com)

add test cases for jam

Adding recognition and parser for perforce Jam (Jamfile/Jamrules), based on the parser for shell

Merge branch 'master' of https://github.com/bytbox/ohcount

Merge branch 'master' of https://github.com/chris-morgan/ohcount

OTWO-571 Fixed a bug where ohcount would follow symbolically linked directories, causing problems/security concerns

'build clean' should remove swig-generated file

Fixes uninitialized data in tmp filename

The filename string used for the detector's temporary file had an
uninitialized byte at its end. Usually this byte is 0, so it has no ill
effect. Occasionally it can be a garbage byte, which can cause the
temporary file write() to fail.

Because Ohcount had been failing to check write()'s return value, these
errors went unnoticed, and incorrect line counts were silently returned.

I have fixed the uninitialized byte, and the previous commit adds
the appropriate error checks.

All code counted prior to this fix should be recounted.

Fixes compiler warnings.

We were failing to check the return result on several system calls.

I've added the appropriate checks, with simple aborts in the case of
failure.

Added support for detecting certain bash scripts as shell scripts

Added a parser for NSIS files (.nsi, .nsh).

updated author information

Merge branch 'golang'

made README formatting consistent

added golang unit tests

added golang detection and parsing, based on C

added checks for gperf, erroring out if not found

added check for ragel

Added support for the Puppet DSL from Puppetlabs.

Recognize .cu files as CUDA code; C parser for cuda files used

Add support for ChaiScript - adding missing files from last commit

Add support for parsing/counting of ChaiScript. ChaiScript is based on closely on support for JavaScript, as the langauges are similar in structure. All ChaiScript unit tests pass, but 1 or 2 (appears to be random) of the ruby diff tests fail.

FIX - missing newline at end of languages.h

Merge branch 'wirth'

Implements Modula-2, Modula-3, Oberon

We recognize extensions m3, i3, mod, ob2, obn, def.

Ticket #30 requests that we also recognize extenions `m` and `d`.
That is not implemented here, because that requires disambiguation
from other languages, so ticket #30 remains open.

FIX: Buffer overrun in emacs mode header logic

If the emacs mode header is not well-formed (for example, if it is
missing a terminating "-*-"), then we run off the end of our buffer.

The emacs mode header parsing is a little complicated, and the
best answer is probably to clean up the parser. As an easier, quicker,
fix, I simply added a maximum string length check.

[FIX] Emacs mode "C" improperly detected as C++

detector.c uses the file extenstion map to convert emacs modes
to languages. Because the upper-case "C" file extension maps to
C++, this means that emacs mode "C" also mapped to C++, which was
incorrect.

I've added a special check in the code for this case. Emacs modes
"c" and "C" now correctly map to straight C code.