OTWO-1213 Works around lost encoding in Ruby/C binding layer

When a Ruby 1.9.2 string is passed to the C code, the associated
encoding metadata is lost. When this same string is then returned from C
back to Ruby, an arbitrary, mismatched encoding is applied to replace
the lost one.

This means that a string becomes garbled in the round trip. The bits
don't change, but the encoding is lost.

The correct fix would be to preserve the encoding metadata in the C
layer.

The easier fix is to replace the lost encoding with a more likely match,
which is what I've done in this patch. When the C code returns a string,
we apply the Ruby runtime's current default encoding, which is highly likely to
be the encoding originally discarded.

OTWO-1206 Updates SWIG bindings to Ruby 1.9.2

- Requires SWIG 2.0.4 (SWIG 1.3 is not compatible with Ruby 1.9.2)

This updates the SWIG bindings only. This code tree does not build:

- Build fails for me when using RVM Ruby 1.9.2 because 'ruby.h' and
  'config.h' headers cannot be found. I am currenty working around
  this by manually placing absolute paths in the build script.

- test/unit/ruby/source_file_test.rb is currently failing because the
  round trip from Ruby -> C -> Ruby causes the string encoding
  metadata to be lost. UTF-8 input strings are output with identical
  content bits, but are marked as ASCII-8BIT.

OTWO-1137 Escapes single quotes in file paths

Adds additional comment styles for MS-DOS batch files

In addition to 'REM', we now accept '@REM' and '::'.

Note that test/expected_dir/bat1.bat should be tab-delimited (not
space-delimited), so this patch also corrects that.

Merge branch 'master' of git://github.com/pfusik/ohcount

Corrections to Logtalk unit tests

Merge branch 'master' of git://github.com/pmoura/ohcount

Fixes crash in disambiguate_r() when source file is empty

Thanks to ehsan for discovering this bug.

Enable building on Mac, which lacks the strnlen function by using memchr instead of it

Merge pull request #6 from cmarcelo/qml

Add support for Qt's QML language

Merge pull request #5 from koraktor/ruby

Added more filenames and extensions for Ruby

Merge pull request #4 from koraktor/mustache

Treat Mustache templates as HTML

Add support for Qt's QML language

Reusing the JS parser, since QML is 'almost' JavaScript. The
approximation is good enough for the line counting purposes.

Check if *.def files are Modula-2.

Treat Mustache templates as HTML

Mustache introduces only a small amount of additional syntax, so treating
its templates as pure HTML shouldn't hurt.

Added more filenames and extensions for Ruby

Minor improvement for detecting Perl files.

Merge branch 'ecere'

Completes eC parser

 - Adds parse_ec() to the list of parsers
 - Adds a test to ensure that line counter works

Add file extensions "asx" and "as8" - 6502 assembler.

OTWO-922 Adds CoffeeScript parser

Merge https://github.com/bytbox/ohcount into jam

Merge branch 'adding_racket' of https://github.com/jbclements/ohcount into racket

Conflicts:
src/hash/languages.gperf
src/hash/parsers.gperf
src/languages.h
test/unit/parser_test.h

Merge branch 'master' of https://github.com/earl/ohcount

Merge branch 'rebol' of https://github.com/earl/ohcount into rebol

Merge https://github.com/ecere/ohcount into ecere

Added basic unit tests for Prolog parsing.

Added basic unit tests for Logtalk parsing.

Added basic support for Logtalk and Prolog (missing parsers in previous commit\!).

Added basic support for Logtalk and Prolog.

adding racket, re-using lisp parser, following clojure's lead

OTWO-803 Fixes disambiguate_pp() performance sink

disambiguate_pp() failed to execute in a reasonable time for extremely
large (1MB+) files.

The reason is that a regular expression is evaluated for each line of
the file, and this regular expression is scoped from the beginning of
the line to the end of the file. When the file is extremely large,
the regular expression evaluation runs away with the CPU.

By limiting the scope of the regular expression evaluation to no more
than 100 characters from its start point, we can avoid the runaway
performance sink. This is a reasonable change since the expression we
are looking to match should almost always fit within 100 chars anyway.

Fix filename in Go parser attribution line

Signed-off-by: Andreas Bolka <a@bolka.at>

Fix ragel include in parser example skeleton

Signed-off-by: Andreas Bolka <a@bolka.at>

Implement parsing of REBOL multi-line strings

Signed-off-by: Andreas Bolka <a@bolka.at>

Add REBOL detection and (basic) parsing

Also adds a simple .r disambiguation to discern REBOL and R sources. R
is the default, REBOL is used if "rebol" is found anywhere in the
contents.

The REBOL parser currently does not handle multi-line strings ({...}),
which could (in rare cases) lead to string parts being classified as
comments.

Signed-off-by: Andreas Bolka <a@bolka.at>

Added missing detector test files

Added support for the eC language (www.ecere.com)

add test cases for jam

Adding recognition and parser for perforce Jam (Jamfile/Jamrules), based on the parser for shell

Merge branch 'master' of https://github.com/bytbox/ohcount

Merge branch 'master' of https://github.com/chris-morgan/ohcount

OTWO-571 Fixed a bug where ohcount would follow symbolically linked directories, causing problems/security concerns

'build clean' should remove swig-generated file

Fixes uninitialized data in tmp filename

The filename string used for the detector's temporary file had an
uninitialized byte at its end. Usually this byte is 0, so it has no ill
effect. Occasionally it can be a garbage byte, which can cause the
temporary file write() to fail.

Because Ohcount had been failing to check write()'s return value, these
errors went unnoticed, and incorrect line counts were silently returned.

I have fixed the uninitialized byte, and the previous commit adds
the appropriate error checks.

All code counted prior to this fix should be recounted.

Fixes compiler warnings.

We were failing to check the return result on several system calls.

I've added the appropriate checks, with simple aborts in the case of
failure.

Added support for detecting certain bash scripts as shell scripts

Added a parser for NSIS files (.nsi, .nsh).

updated author information

Merge branch 'golang'

made README formatting consistent

added golang unit tests

added golang detection and parsing, based on C

added checks for gperf, erroring out if not found

added check for ragel

Added support for the Puppet DSL from Puppetlabs.

Recognize .cu files as CUDA code; C parser for cuda files used

Add support for ChaiScript - adding missing files from last commit

Add support for parsing/counting of ChaiScript. ChaiScript is based on closely on support for JavaScript, as the langauges are similar in structure. All ChaiScript unit tests pass, but 1 or 2 (appears to be random) of the ruby diff tests fail.

FIX - missing newline at end of languages.h

Merge branch 'wirth'

Implements Modula-2, Modula-3, Oberon

We recognize extensions m3, i3, mod, ob2, obn, def.

Ticket #30 requests that we also recognize extenions `m` and `d`.
That is not implemented here, because that requires disambiguation
from other languages, so ticket #30 remains open.

FIX: Buffer overrun in emacs mode header logic

If the emacs mode header is not well-formed (for example, if it is
missing a terminating "-*-"), then we run off the end of our buffer.

The emacs mode header parsing is a little complicated, and the
best answer is probably to clean up the parser. As an easier, quicker,
fix, I simply added a maximum string length check.

[FIX] Emacs mode "C" improperly detected as C++

detector.c uses the file extenstion map to convert emacs modes
to languages. Because the upper-case "C" file extension maps to
C++, this means that emacs mode "C" also mapped to C++, which was
incorrect.

I've added a special check in the code for this case. Emacs modes
"c" and "C" now correctly map to straight C code.

Ticket #60 - "build all" should build all

Ticket #59: Add unit test for *.m4 detection

src/hash/extensions.gperf: recognize *.m4 files as containing GNU Autoconf code

The detection could be made more sophisticated, because there are other
uses of m4 than Autoconf, but for the vast majority of real-world cases
using the suffix to guess the language is going to be good enough.

src/parser.c: declare ohcount_hash_parser_from_language() to fix build error with modern gcc versions

The function ohcount_hash_parser_from_language() was not declared,
resulting in the following compiler error with gcc 4.4.3:

  src/parser.c: In function ‘ohcount_parse’:
  src/parser.c:17: warning: implicit declaration of function ‘ohcount_hash_parser_from_language’
  src/parser.c:17: warning: initialization makes pointer from integer without a cast
  src/parser.c:22: error: dereferencing pointer to incomplete type

Merge branch 'clojure' of git://github.com/abscondment/ohcount

Merge branch 'master' of git://github.com/pshiryaev/ohcount

Conflicts:
test/unit/detector_test.h

Add support and tests for the Clojure language, a dialect of LISP.

[PATCH] Use pe pointer in disambiguate_st instead of p to
prevent ohcount from segfaulting when processing a .st file
that doesn't end in a new line.

Merge commit 'kraj/doxygen_cleanup'

build: remove workaround (preprocessor define) for bug on centos/SF servers

This is no longer needed due to commit a2903082b8e57657b37d636d18afb5ad8de296c7

Doxygen: document how to build the Doxygen docs

Doxygen: document dependency to Bash

Doxygen: Point to SourceForge

Merge commit 'billiob/master'

MOVE setup.py and mingw_setup.py to python/ dir

Change README to mention build process for ruby and python

Merge remote branch 'balena/python_only' into python

Bundle of modifications done to ohcount to support Python only (no dependencies made to CMake, the building are done using default Python building using setup.py file). MinGW/MSYS and Windows compiling and fixes were applied too.

[NEW] detect the WTF Public License

[NEW] brainfuck++ parser

[NEW] brainfuck parser

[NEW] add brainfuck and brainfuck++ detectors

[README] add gperf as dependency

MinGW/MSYS support (and probably for Cygwin too)

Use of stat instead of d_type from dirent struct.

[NEW] Add test that tmp files are found (mostly for centos)

FIX: Allow disambiguate_h to parse keywords at BOL

Changed ordering of tests:

- believe modeline
- use file-extension
- use file-name
- use UNIX 'file' command

The modeline parsing now allows for non-alphanumeric modes (e.g. C++)
and also queries the extension-table (e.g. C++ is not in the
name-table). It also tries find the lower-case mode name in both tables.

[Ticket 3] print full path with ohcount -i

[Ticket 54] Count files only; not directories

In the course of fixing this problem I discovered that
the gestalt FilenameRule was comparing only to the base
filename, not the entire filepath. This has also been
fixed.

[FIX] Ruby binding memory performance improvement

This patch corrects the terrible memory thrashing that occurs when
Ohcount is called through the Ruby binding layer.

Each call into Ohcount is accompanied by an array of filenames. This
list of filenames is used for hinting in detector.c.

For each call into Ohcount, The Ruby binding layer allocated and then
freed a clone of this array of filenames two times -- once in the SWIG
layer, and once in sourcefile.c.

This is OK for small arrays, but in some cases we have thousands of
filenames. This caused a massive amount of heap churn and, eventually,
resulted in kernel OOM panics.

Ohcount no longer clones the list of filenames. Instead, we just use
pointers into the original Ruby strings. Presto: no more heap churn; a
huge boost in speed; and no need to force a Ruby GC after every call
into the library.

[Ticket 51] Change license from GPL2 to GPL3

[Ticket 48] Rollback -- do not pclose() twice.

[Ticket 48] crash on some OSX 10.6 machines; need to close a popen

OH-81 Simplify ohcount.so loading path

[FIX] remove old file