Merge branch 'ab/pcre-jit-fixes'
[git] / t / test-lib-functions.sh
1 # Library of functions shared by all tests scripts, included by
2 # test-lib.sh.
3 #
4 # Copyright (c) 2005 Junio C Hamano
5 #
6 # This program is free software: you can redistribute it and/or modify
7 # it under the terms of the GNU General Public License as published by
8 # the Free Software Foundation, either version 2 of the License, or
9 # (at your option) any later version.
10 #
11 # This program is distributed in the hope that it will be useful,
12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14 # GNU General Public License for more details.
15 #
16 # You should have received a copy of the GNU General Public License
17 # along with this program.  If not, see http://www.gnu.org/licenses/ .
18
19 # The semantics of the editor variables are that of invoking
20 # sh -c "$EDITOR \"$@\"" files ...
21 #
22 # If our trash directory contains shell metacharacters, they will be
23 # interpreted if we just set $EDITOR directly, so do a little dance with
24 # environment variables to work around this.
25 #
26 # In particular, quoting isn't enough, as the path may contain the same quote
27 # that we're using.
28 test_set_editor () {
29         FAKE_EDITOR="$1"
30         export FAKE_EDITOR
31         EDITOR='"$FAKE_EDITOR"'
32         export EDITOR
33 }
34
35 test_set_index_version () {
36     GIT_INDEX_VERSION="$1"
37     export GIT_INDEX_VERSION
38 }
39
40 test_decode_color () {
41         awk '
42                 function name(n) {
43                         if (n == 0) return "RESET";
44                         if (n == 1) return "BOLD";
45                         if (n == 2) return "FAINT";
46                         if (n == 3) return "ITALIC";
47                         if (n == 7) return "REVERSE";
48                         if (n == 30) return "BLACK";
49                         if (n == 31) return "RED";
50                         if (n == 32) return "GREEN";
51                         if (n == 33) return "YELLOW";
52                         if (n == 34) return "BLUE";
53                         if (n == 35) return "MAGENTA";
54                         if (n == 36) return "CYAN";
55                         if (n == 37) return "WHITE";
56                         if (n == 40) return "BLACK";
57                         if (n == 41) return "BRED";
58                         if (n == 42) return "BGREEN";
59                         if (n == 43) return "BYELLOW";
60                         if (n == 44) return "BBLUE";
61                         if (n == 45) return "BMAGENTA";
62                         if (n == 46) return "BCYAN";
63                         if (n == 47) return "BWHITE";
64                 }
65                 {
66                         while (match($0, /\033\[[0-9;]*m/) != 0) {
67                                 printf "%s<", substr($0, 1, RSTART-1);
68                                 codes = substr($0, RSTART+2, RLENGTH-3);
69                                 if (length(codes) == 0)
70                                         printf "%s", name(0)
71                                 else {
72                                         n = split(codes, ary, ";");
73                                         sep = "";
74                                         for (i = 1; i <= n; i++) {
75                                                 printf "%s%s", sep, name(ary[i]);
76                                                 sep = ";"
77                                         }
78                                 }
79                                 printf ">";
80                                 $0 = substr($0, RSTART + RLENGTH, length($0) - RSTART - RLENGTH + 1);
81                         }
82                         print
83                 }
84         '
85 }
86
87 lf_to_nul () {
88         perl -pe 'y/\012/\000/'
89 }
90
91 nul_to_q () {
92         perl -pe 'y/\000/Q/'
93 }
94
95 q_to_nul () {
96         perl -pe 'y/Q/\000/'
97 }
98
99 q_to_cr () {
100         tr Q '\015'
101 }
102
103 q_to_tab () {
104         tr Q '\011'
105 }
106
107 qz_to_tab_space () {
108         tr QZ '\011\040'
109 }
110
111 append_cr () {
112         sed -e 's/$/Q/' | tr Q '\015'
113 }
114
115 remove_cr () {
116         tr '\015' Q | sed -e 's/Q$//'
117 }
118
119 # Generate an output of $1 bytes of all zeroes (NULs, not ASCII zeroes).
120 # If $1 is 'infinity', output forever or until the receiving pipe stops reading,
121 # whichever comes first.
122 generate_zero_bytes () {
123         test-tool genzeros "$@"
124 }
125
126 # In some bourne shell implementations, the "unset" builtin returns
127 # nonzero status when a variable to be unset was not set in the first
128 # place.
129 #
130 # Use sane_unset when that should not be considered an error.
131
132 sane_unset () {
133         unset "$@"
134         return 0
135 }
136
137 test_tick () {
138         if test -z "${test_tick+set}"
139         then
140                 test_tick=1112911993
141         else
142                 test_tick=$(($test_tick + 60))
143         fi
144         GIT_COMMITTER_DATE="$test_tick -0700"
145         GIT_AUTHOR_DATE="$test_tick -0700"
146         export GIT_COMMITTER_DATE GIT_AUTHOR_DATE
147 }
148
149 # Stop execution and start a shell. This is useful for debugging tests.
150 #
151 # Be sure to remove all invocations of this command before submitting.
152
153 test_pause () {
154         "$SHELL_PATH" <&6 >&5 2>&7
155 }
156
157 # Wrap git with a debugger. Adding this to a command can make it easier
158 # to understand what is going on in a failing test.
159 #
160 # Examples:
161 #     debug git checkout master
162 #     debug --debugger=nemiver git $ARGS
163 #     debug -d "valgrind --tool=memcheck --track-origins=yes" git $ARGS
164 debug () {
165         case "$1" in
166         -d)
167                 GIT_DEBUGGER="$2" &&
168                 shift 2
169                 ;;
170         --debugger=*)
171                 GIT_DEBUGGER="${1#*=}" &&
172                 shift 1
173                 ;;
174         *)
175                 GIT_DEBUGGER=1
176                 ;;
177         esac &&
178         GIT_DEBUGGER="${GIT_DEBUGGER}" "$@" <&6 >&5 2>&7
179 }
180
181 # Call test_commit with the arguments
182 # [-C <directory>] <message> [<file> [<contents> [<tag>]]]"
183 #
184 # This will commit a file with the given contents and the given commit
185 # message, and tag the resulting commit with the given tag name.
186 #
187 # <file>, <contents>, and <tag> all default to <message>.
188 #
189 # If the first argument is "-C", the second argument is used as a path for
190 # the git invocations.
191
192 test_commit () {
193         notick= &&
194         signoff= &&
195         indir= &&
196         while test $# != 0
197         do
198                 case "$1" in
199                 --notick)
200                         notick=yes
201                         ;;
202                 --signoff)
203                         signoff="$1"
204                         ;;
205                 -C)
206                         indir="$2"
207                         shift
208                         ;;
209                 *)
210                         break
211                         ;;
212                 esac
213                 shift
214         done &&
215         indir=${indir:+"$indir"/} &&
216         file=${2:-"$1.t"} &&
217         echo "${3-$1}" > "$indir$file" &&
218         git ${indir:+ -C "$indir"} add "$file" &&
219         if test -z "$notick"
220         then
221                 test_tick
222         fi &&
223         git ${indir:+ -C "$indir"} commit $signoff -m "$1" &&
224         git ${indir:+ -C "$indir"} tag "${4:-$1}"
225 }
226
227 # Call test_merge with the arguments "<message> <commit>", where <commit>
228 # can be a tag pointing to the commit-to-merge.
229
230 test_merge () {
231         test_tick &&
232         git merge -m "$1" "$2" &&
233         git tag "$1"
234 }
235
236 # Efficiently create <nr> commits, each with a unique number (from 1 to <nr>
237 # by default) in the commit message.
238 #
239 # Usage: test_commit_bulk [options] <nr>
240 #   -C <dir>:
241 #       Run all git commands in directory <dir>
242 #   --ref=<n>:
243 #       ref on which to create commits (default: HEAD)
244 #   --start=<n>:
245 #       number commit messages from <n> (default: 1)
246 #   --message=<msg>:
247 #       use <msg> as the commit mesasge (default: "commit %s")
248 #   --filename=<fn>:
249 #       modify <fn> in each commit (default: %s.t)
250 #   --contents=<string>:
251 #       place <string> in each file (default: "content %s")
252 #   --id=<string>:
253 #       shorthand to use <string> and %s in message, filename, and contents
254 #
255 # The message, filename, and contents strings are evaluated by printf, with the
256 # first "%s" replaced by the current commit number. So you can do:
257 #
258 #   test_commit_bulk --filename=file --contents="modification %s"
259 #
260 # to have every commit touch the same file, but with unique content.
261 #
262 test_commit_bulk () {
263         tmpfile=.bulk-commit.input
264         indir=.
265         ref=HEAD
266         n=1
267         message='commit %s'
268         filename='%s.t'
269         contents='content %s'
270         while test $# -gt 0
271         do
272                 case "$1" in
273                 -C)
274                         indir=$2
275                         shift
276                         ;;
277                 --ref=*)
278                         ref=${1#--*=}
279                         ;;
280                 --start=*)
281                         n=${1#--*=}
282                         ;;
283                 --message=*)
284                         message=${1#--*=}
285                         ;;
286                 --filename=*)
287                         filename=${1#--*=}
288                         ;;
289                 --contents=*)
290                         contents=${1#--*=}
291                         ;;
292                 --id=*)
293                         message="${1#--*=} %s"
294                         filename="${1#--*=}-%s.t"
295                         contents="${1#--*=} %s"
296                         ;;
297                 -*)
298                         BUG "invalid test_commit_bulk option: $1"
299                         ;;
300                 *)
301                         break
302                         ;;
303                 esac
304                 shift
305         done
306         total=$1
307
308         add_from=
309         if git -C "$indir" rev-parse --verify "$ref"
310         then
311                 add_from=t
312         fi
313
314         while test "$total" -gt 0
315         do
316                 test_tick &&
317                 echo "commit $ref"
318                 printf 'author %s <%s> %s\n' \
319                         "$GIT_AUTHOR_NAME" \
320                         "$GIT_AUTHOR_EMAIL" \
321                         "$GIT_AUTHOR_DATE"
322                 printf 'committer %s <%s> %s\n' \
323                         "$GIT_COMMITTER_NAME" \
324                         "$GIT_COMMITTER_EMAIL" \
325                         "$GIT_COMMITTER_DATE"
326                 echo "data <<EOF"
327                 printf "$message\n" $n
328                 echo "EOF"
329                 if test -n "$add_from"
330                 then
331                         echo "from $ref^0"
332                         add_from=
333                 fi
334                 printf "M 644 inline $filename\n" $n
335                 echo "data <<EOF"
336                 printf "$contents\n" $n
337                 echo "EOF"
338                 echo
339                 n=$((n + 1))
340                 total=$((total - 1))
341         done >"$tmpfile"
342
343         git -C "$indir" \
344             -c fastimport.unpacklimit=0 \
345             fast-import <"$tmpfile" || return 1
346
347         # This will be left in place on failure, which may aid debugging.
348         rm -f "$tmpfile"
349
350         # If we updated HEAD, then be nice and update the index and working
351         # tree, too.
352         if test "$ref" = "HEAD"
353         then
354                 git -C "$indir" checkout -f HEAD || return 1
355         fi
356
357 }
358
359 # This function helps systems where core.filemode=false is set.
360 # Use it instead of plain 'chmod +x' to set or unset the executable bit
361 # of a file in the working directory and add it to the index.
362
363 test_chmod () {
364         chmod "$@" &&
365         git update-index --add "--chmod=$@"
366 }
367
368 # Get the modebits from a file.
369 test_modebits () {
370         ls -l "$1" | sed -e 's|^\(..........\).*|\1|'
371 }
372
373 # Unset a configuration variable, but don't fail if it doesn't exist.
374 test_unconfig () {
375         config_dir=
376         if test "$1" = -C
377         then
378                 shift
379                 config_dir=$1
380                 shift
381         fi
382         git ${config_dir:+-C "$config_dir"} config --unset-all "$@"
383         config_status=$?
384         case "$config_status" in
385         5) # ok, nothing to unset
386                 config_status=0
387                 ;;
388         esac
389         return $config_status
390 }
391
392 # Set git config, automatically unsetting it after the test is over.
393 test_config () {
394         config_dir=
395         if test "$1" = -C
396         then
397                 shift
398                 config_dir=$1
399                 shift
400         fi
401         test_when_finished "test_unconfig ${config_dir:+-C '$config_dir'} '$1'" &&
402         git ${config_dir:+-C "$config_dir"} config "$@"
403 }
404
405 test_config_global () {
406         test_when_finished "test_unconfig --global '$1'" &&
407         git config --global "$@"
408 }
409
410 write_script () {
411         {
412                 echo "#!${2-"$SHELL_PATH"}" &&
413                 cat
414         } >"$1" &&
415         chmod +x "$1"
416 }
417
418 # Use test_set_prereq to tell that a particular prerequisite is available.
419 # The prerequisite can later be checked for in two ways:
420 #
421 # - Explicitly using test_have_prereq.
422 #
423 # - Implicitly by specifying the prerequisite tag in the calls to
424 #   test_expect_{success,failure,code}.
425 #
426 # The single parameter is the prerequisite tag (a simple word, in all
427 # capital letters by convention).
428
429 test_unset_prereq () {
430         ! test_have_prereq "$1" ||
431         satisfied_prereq="${satisfied_prereq% $1 *} ${satisfied_prereq#* $1 }"
432 }
433
434 test_set_prereq () {
435         if test -n "$GIT_TEST_FAIL_PREREQS_INTERNAL"
436         then
437                 case "$1" in
438                 # The "!" case is handled below with
439                 # test_unset_prereq()
440                 !*)
441                         ;;
442                 # (Temporary?) whitelist of things we can't easily
443                 # pretend not to support
444                 SYMLINKS)
445                         ;;
446                 # Inspecting whether GIT_TEST_FAIL_PREREQS is on
447                 # should be unaffected.
448                 FAIL_PREREQS)
449                         ;;
450                 *)
451                         return
452                 esac
453         fi
454
455         case "$1" in
456         !*)
457                 test_unset_prereq "${1#!}"
458                 ;;
459         *)
460                 satisfied_prereq="$satisfied_prereq$1 "
461                 ;;
462         esac
463 }
464 satisfied_prereq=" "
465 lazily_testable_prereq= lazily_tested_prereq=
466
467 # Usage: test_lazy_prereq PREREQ 'script'
468 test_lazy_prereq () {
469         lazily_testable_prereq="$lazily_testable_prereq$1 "
470         eval test_prereq_lazily_$1=\$2
471 }
472
473 test_run_lazy_prereq_ () {
474         script='
475 mkdir -p "$TRASH_DIRECTORY/prereq-test-dir" &&
476 (
477         cd "$TRASH_DIRECTORY/prereq-test-dir" &&'"$2"'
478 )'
479         say >&3 "checking prerequisite: $1"
480         say >&3 "$script"
481         test_eval_ "$script"
482         eval_ret=$?
483         rm -rf "$TRASH_DIRECTORY/prereq-test-dir"
484         if test "$eval_ret" = 0; then
485                 say >&3 "prerequisite $1 ok"
486         else
487                 say >&3 "prerequisite $1 not satisfied"
488         fi
489         return $eval_ret
490 }
491
492 test_have_prereq () {
493         # prerequisites can be concatenated with ','
494         save_IFS=$IFS
495         IFS=,
496         set -- $*
497         IFS=$save_IFS
498
499         total_prereq=0
500         ok_prereq=0
501         missing_prereq=
502
503         for prerequisite
504         do
505                 case "$prerequisite" in
506                 !*)
507                         negative_prereq=t
508                         prerequisite=${prerequisite#!}
509                         ;;
510                 *)
511                         negative_prereq=
512                 esac
513
514                 case " $lazily_tested_prereq " in
515                 *" $prerequisite "*)
516                         ;;
517                 *)
518                         case " $lazily_testable_prereq " in
519                         *" $prerequisite "*)
520                                 eval "script=\$test_prereq_lazily_$prerequisite" &&
521                                 if test_run_lazy_prereq_ "$prerequisite" "$script"
522                                 then
523                                         test_set_prereq $prerequisite
524                                 fi
525                                 lazily_tested_prereq="$lazily_tested_prereq$prerequisite "
526                         esac
527                         ;;
528                 esac
529
530                 total_prereq=$(($total_prereq + 1))
531                 case "$satisfied_prereq" in
532                 *" $prerequisite "*)
533                         satisfied_this_prereq=t
534                         ;;
535                 *)
536                         satisfied_this_prereq=
537                 esac
538
539                 case "$satisfied_this_prereq,$negative_prereq" in
540                 t,|,t)
541                         ok_prereq=$(($ok_prereq + 1))
542                         ;;
543                 *)
544                         # Keep a list of missing prerequisites; restore
545                         # the negative marker if necessary.
546                         prerequisite=${negative_prereq:+!}$prerequisite
547                         if test -z "$missing_prereq"
548                         then
549                                 missing_prereq=$prerequisite
550                         else
551                                 missing_prereq="$prerequisite,$missing_prereq"
552                         fi
553                 esac
554         done
555
556         test $total_prereq = $ok_prereq
557 }
558
559 test_declared_prereq () {
560         case ",$test_prereq," in
561         *,$1,*)
562                 return 0
563                 ;;
564         esac
565         return 1
566 }
567
568 test_verify_prereq () {
569         test -z "$test_prereq" ||
570         expr >/dev/null "$test_prereq" : '[A-Z0-9_,!]*$' ||
571         BUG "'$test_prereq' does not look like a prereq"
572 }
573
574 test_expect_failure () {
575         test_start_
576         test "$#" = 3 && { test_prereq=$1; shift; } || test_prereq=
577         test "$#" = 2 ||
578         BUG "not 2 or 3 parameters to test-expect-failure"
579         test_verify_prereq
580         export test_prereq
581         if ! test_skip "$@"
582         then
583                 say >&3 "checking known breakage of $TEST_NUMBER.$test_count '$1': $2"
584                 if test_run_ "$2" expecting_failure
585                 then
586                         test_known_broken_ok_ "$1"
587                 else
588                         test_known_broken_failure_ "$1"
589                 fi
590         fi
591         test_finish_
592 }
593
594 test_expect_success () {
595         test_start_
596         test "$#" = 3 && { test_prereq=$1; shift; } || test_prereq=
597         test "$#" = 2 ||
598         BUG "not 2 or 3 parameters to test-expect-success"
599         test_verify_prereq
600         export test_prereq
601         if ! test_skip "$@"
602         then
603                 say >&3 "expecting success of $TEST_NUMBER.$test_count '$1': $2"
604                 if test_run_ "$2"
605                 then
606                         test_ok_ "$1"
607                 else
608                         test_failure_ "$@"
609                 fi
610         fi
611         test_finish_
612 }
613
614 # test_external runs external test scripts that provide continuous
615 # test output about their progress, and succeeds/fails on
616 # zero/non-zero exit code.  It outputs the test output on stdout even
617 # in non-verbose mode, and announces the external script with "# run
618 # <n>: ..." before running it.  When providing relative paths, keep in
619 # mind that all scripts run in "trash directory".
620 # Usage: test_external description command arguments...
621 # Example: test_external 'Perl API' perl ../path/to/test.pl
622 test_external () {
623         test "$#" = 4 && { test_prereq=$1; shift; } || test_prereq=
624         test "$#" = 3 ||
625         BUG "not 3 or 4 parameters to test_external"
626         descr="$1"
627         shift
628         test_verify_prereq
629         export test_prereq
630         if ! test_skip "$descr" "$@"
631         then
632                 # Announce the script to reduce confusion about the
633                 # test output that follows.
634                 say_color "" "# run $test_count: $descr ($*)"
635                 # Export TEST_DIRECTORY, TRASH_DIRECTORY and GIT_TEST_LONG
636                 # to be able to use them in script
637                 export TEST_DIRECTORY TRASH_DIRECTORY GIT_TEST_LONG
638                 # Run command; redirect its stderr to &4 as in
639                 # test_run_, but keep its stdout on our stdout even in
640                 # non-verbose mode.
641                 "$@" 2>&4
642                 if test "$?" = 0
643                 then
644                         if test $test_external_has_tap -eq 0; then
645                                 test_ok_ "$descr"
646                         else
647                                 say_color "" "# test_external test $descr was ok"
648                                 test_success=$(($test_success + 1))
649                         fi
650                 else
651                         if test $test_external_has_tap -eq 0; then
652                                 test_failure_ "$descr" "$@"
653                         else
654                                 say_color error "# test_external test $descr failed: $@"
655                                 test_failure=$(($test_failure + 1))
656                         fi
657                 fi
658         fi
659 }
660
661 # Like test_external, but in addition tests that the command generated
662 # no output on stderr.
663 test_external_without_stderr () {
664         # The temporary file has no (and must have no) security
665         # implications.
666         tmp=${TMPDIR:-/tmp}
667         stderr="$tmp/git-external-stderr.$$.tmp"
668         test_external "$@" 4> "$stderr"
669         test -f "$stderr" || error "Internal error: $stderr disappeared."
670         descr="no stderr: $1"
671         shift
672         say >&3 "# expecting no stderr from previous command"
673         if test ! -s "$stderr"
674         then
675                 rm "$stderr"
676
677                 if test $test_external_has_tap -eq 0; then
678                         test_ok_ "$descr"
679                 else
680                         say_color "" "# test_external_without_stderr test $descr was ok"
681                         test_success=$(($test_success + 1))
682                 fi
683         else
684                 if test "$verbose" = t
685                 then
686                         output=$(echo; echo "# Stderr is:"; cat "$stderr")
687                 else
688                         output=
689                 fi
690                 # rm first in case test_failure exits.
691                 rm "$stderr"
692                 if test $test_external_has_tap -eq 0; then
693                         test_failure_ "$descr" "$@" "$output"
694                 else
695                         say_color error "# test_external_without_stderr test $descr failed: $@: $output"
696                         test_failure=$(($test_failure + 1))
697                 fi
698         fi
699 }
700
701 # debugging-friendly alternatives to "test [-f|-d|-e]"
702 # The commands test the existence or non-existence of $1. $2 can be
703 # given to provide a more precise diagnosis.
704 test_path_is_file () {
705         if ! test -f "$1"
706         then
707                 echo "File $1 doesn't exist. $2"
708                 false
709         fi
710 }
711
712 test_path_is_dir () {
713         if ! test -d "$1"
714         then
715                 echo "Directory $1 doesn't exist. $2"
716                 false
717         fi
718 }
719
720 test_path_exists () {
721         if ! test -e "$1"
722         then
723                 echo "Path $1 doesn't exist. $2"
724                 false
725         fi
726 }
727
728 # Check if the directory exists and is empty as expected, barf otherwise.
729 test_dir_is_empty () {
730         test_path_is_dir "$1" &&
731         if test -n "$(ls -a1 "$1" | egrep -v '^\.\.?$')"
732         then
733                 echo "Directory '$1' is not empty, it contains:"
734                 ls -la "$1"
735                 return 1
736         fi
737 }
738
739 # Check if the file exists and has a size greater than zero
740 test_file_not_empty () {
741         if ! test -s "$1"
742         then
743                 echo "'$1' is not a non-empty file."
744                 false
745         fi
746 }
747
748 test_path_is_missing () {
749         if test -e "$1"
750         then
751                 echo "Path exists:"
752                 ls -ld "$1"
753                 if test $# -ge 1
754                 then
755                         echo "$*"
756                 fi
757                 false
758         fi
759 }
760
761 # test_line_count checks that a file has the number of lines it
762 # ought to. For example:
763 #
764 #       test_expect_success 'produce exactly one line of output' '
765 #               do something >output &&
766 #               test_line_count = 1 output
767 #       '
768 #
769 # is like "test $(wc -l <output) = 1" except that it passes the
770 # output through when the number of lines is wrong.
771
772 test_line_count () {
773         if test $# != 3
774         then
775                 BUG "not 3 parameters to test_line_count"
776         elif ! test $(wc -l <"$3") "$1" "$2"
777         then
778                 echo "test_line_count: line count for $3 !$1 $2"
779                 cat "$3"
780                 return 1
781         fi
782 }
783
784 # Returns success if a comma separated string of keywords ($1) contains a
785 # given keyword ($2).
786 # Examples:
787 # `list_contains "foo,bar" bar` returns 0
788 # `list_contains "foo" bar` returns 1
789
790 list_contains () {
791         case ",$1," in
792         *,$2,*)
793                 return 0
794                 ;;
795         esac
796         return 1
797 }
798
799 # This is not among top-level (test_expect_success | test_expect_failure)
800 # but is a prefix that can be used in the test script, like:
801 #
802 #       test_expect_success 'complain and die' '
803 #           do something &&
804 #           do something else &&
805 #           test_must_fail git checkout ../outerspace
806 #       '
807 #
808 # Writing this as "! git checkout ../outerspace" is wrong, because
809 # the failure could be due to a segv.  We want a controlled failure.
810 #
811 # Accepts the following options:
812 #
813 #   ok=<signal-name>[,<...>]:
814 #     Don't treat an exit caused by the given signal as error.
815 #     Multiple signals can be specified as a comma separated list.
816 #     Currently recognized signal names are: sigpipe, success.
817 #     (Don't use 'success', use 'test_might_fail' instead.)
818
819 test_must_fail () {
820         case "$1" in
821         ok=*)
822                 _test_ok=${1#ok=}
823                 shift
824                 ;;
825         *)
826                 _test_ok=
827                 ;;
828         esac
829         "$@" 2>&7
830         exit_code=$?
831         if test $exit_code -eq 0 && ! list_contains "$_test_ok" success
832         then
833                 echo >&4 "test_must_fail: command succeeded: $*"
834                 return 1
835         elif test_match_signal 13 $exit_code && list_contains "$_test_ok" sigpipe
836         then
837                 return 0
838         elif test $exit_code -gt 129 && test $exit_code -le 192
839         then
840                 echo >&4 "test_must_fail: died by signal $(($exit_code - 128)): $*"
841                 return 1
842         elif test $exit_code -eq 127
843         then
844                 echo >&4 "test_must_fail: command not found: $*"
845                 return 1
846         elif test $exit_code -eq 126
847         then
848                 echo >&4 "test_must_fail: valgrind error: $*"
849                 return 1
850         fi
851         return 0
852 } 7>&2 2>&4
853
854 # Similar to test_must_fail, but tolerates success, too.  This is
855 # meant to be used in contexts like:
856 #
857 #       test_expect_success 'some command works without configuration' '
858 #               test_might_fail git config --unset all.configuration &&
859 #               do something
860 #       '
861 #
862 # Writing "git config --unset all.configuration || :" would be wrong,
863 # because we want to notice if it fails due to segv.
864 #
865 # Accepts the same options as test_must_fail.
866
867 test_might_fail () {
868         test_must_fail ok=success "$@" 2>&7
869 } 7>&2 2>&4
870
871 # Similar to test_must_fail and test_might_fail, but check that a
872 # given command exited with a given exit code. Meant to be used as:
873 #
874 #       test_expect_success 'Merge with d/f conflicts' '
875 #               test_expect_code 1 git merge "merge msg" B master
876 #       '
877
878 test_expect_code () {
879         want_code=$1
880         shift
881         "$@" 2>&7
882         exit_code=$?
883         if test $exit_code = $want_code
884         then
885                 return 0
886         fi
887
888         echo >&4 "test_expect_code: command exited with $exit_code, we wanted $want_code $*"
889         return 1
890 } 7>&2 2>&4
891
892 # test_cmp is a helper function to compare actual and expected output.
893 # You can use it like:
894 #
895 #       test_expect_success 'foo works' '
896 #               echo expected >expected &&
897 #               foo >actual &&
898 #               test_cmp expected actual
899 #       '
900 #
901 # This could be written as either "cmp" or "diff -u", but:
902 # - cmp's output is not nearly as easy to read as diff -u
903 # - not all diff versions understand "-u"
904
905 test_cmp() {
906         $GIT_TEST_CMP "$@"
907 }
908
909 # Check that the given config key has the expected value.
910 #
911 #    test_cmp_config [-C <dir>] <expected-value>
912 #                    [<git-config-options>...] <config-key>
913 #
914 # for example to check that the value of core.bar is foo
915 #
916 #    test_cmp_config foo core.bar
917 #
918 test_cmp_config() {
919         local GD &&
920         if test "$1" = "-C"
921         then
922                 shift &&
923                 GD="-C $1" &&
924                 shift
925         fi &&
926         printf "%s\n" "$1" >expect.config &&
927         shift &&
928         git $GD config "$@" >actual.config &&
929         test_cmp expect.config actual.config
930 }
931
932 # test_cmp_bin - helper to compare binary files
933
934 test_cmp_bin() {
935         cmp "$@"
936 }
937
938 # Use this instead of test_cmp to compare files that contain expected and
939 # actual output from git commands that can be translated.  When running
940 # under GIT_TEST_GETTEXT_POISON this pretends that the command produced expected
941 # results.
942 test_i18ncmp () {
943         ! test_have_prereq C_LOCALE_OUTPUT || test_cmp "$@"
944 }
945
946 # Use this instead of "grep expected-string actual" to see if the
947 # output from a git command that can be translated either contains an
948 # expected string, or does not contain an unwanted one.  When running
949 # under GIT_TEST_GETTEXT_POISON this pretends that the command produced expected
950 # results.
951 test_i18ngrep () {
952         eval "last_arg=\${$#}"
953
954         test -f "$last_arg" ||
955         BUG "test_i18ngrep requires a file to read as the last parameter"
956
957         if test $# -lt 2 ||
958            { test "x!" = "x$1" && test $# -lt 3 ; }
959         then
960                 BUG "too few parameters to test_i18ngrep"
961         fi
962
963         if test_have_prereq !C_LOCALE_OUTPUT
964         then
965                 # pretend success
966                 return 0
967         fi
968
969         if test "x!" = "x$1"
970         then
971                 shift
972                 ! grep "$@" && return 0
973
974                 echo >&4 "error: '! grep $@' did find a match in:"
975         else
976                 grep "$@" && return 0
977
978                 echo >&4 "error: 'grep $@' didn't find a match in:"
979         fi
980
981         if test -s "$last_arg"
982         then
983                 cat >&4 "$last_arg"
984         else
985                 echo >&4 "<File '$last_arg' is empty>"
986         fi
987
988         return 1
989 }
990
991 # Call any command "$@" but be more verbose about its
992 # failure. This is handy for commands like "test" which do
993 # not output anything when they fail.
994 verbose () {
995         "$@" && return 0
996         echo >&4 "command failed: $(git rev-parse --sq-quote "$@")"
997         return 1
998 }
999
1000 # Check if the file expected to be empty is indeed empty, and barfs
1001 # otherwise.
1002
1003 test_must_be_empty () {
1004         test_path_is_file "$1" &&
1005         if test -s "$1"
1006         then
1007                 echo "'$1' is not empty, it contains:"
1008                 cat "$1"
1009                 return 1
1010         fi
1011 }
1012
1013 # Tests that its two parameters refer to the same revision
1014 test_cmp_rev () {
1015         if test $# != 2
1016         then
1017                 error "bug in the test script: test_cmp_rev requires two revisions, but got $#"
1018         else
1019                 local r1 r2
1020                 r1=$(git rev-parse --verify "$1") &&
1021                 r2=$(git rev-parse --verify "$2") &&
1022                 if test "$r1" != "$r2"
1023                 then
1024                         cat >&4 <<-EOF
1025                         error: two revisions point to different objects:
1026                           '$1': $r1
1027                           '$2': $r2
1028                         EOF
1029                         return 1
1030                 fi
1031         fi
1032 }
1033
1034 # Compare paths respecting core.ignoreCase
1035 test_cmp_fspath () {
1036         if test "x$1" = "x$2"
1037         then
1038                 return 0
1039         fi
1040
1041         if test true != "$(git config --get --type=bool core.ignorecase)"
1042         then
1043                 return 1
1044         fi
1045
1046         test "x$(echo "$1" | tr A-Z a-z)" =  "x$(echo "$2" | tr A-Z a-z)"
1047 }
1048
1049 # Print a sequence of integers in increasing order, either with
1050 # two arguments (start and end):
1051 #
1052 #     test_seq 1 5 -- outputs 1 2 3 4 5 one line at a time
1053 #
1054 # or with one argument (end), in which case it starts counting
1055 # from 1.
1056
1057 test_seq () {
1058         case $# in
1059         1)      set 1 "$@" ;;
1060         2)      ;;
1061         *)      BUG "not 1 or 2 parameters to test_seq" ;;
1062         esac
1063         test_seq_counter__=$1
1064         while test "$test_seq_counter__" -le "$2"
1065         do
1066                 echo "$test_seq_counter__"
1067                 test_seq_counter__=$(( $test_seq_counter__ + 1 ))
1068         done
1069 }
1070
1071 # This function can be used to schedule some commands to be run
1072 # unconditionally at the end of the test to restore sanity:
1073 #
1074 #       test_expect_success 'test core.capslock' '
1075 #               git config core.capslock true &&
1076 #               test_when_finished "git config --unset core.capslock" &&
1077 #               hello world
1078 #       '
1079 #
1080 # That would be roughly equivalent to
1081 #
1082 #       test_expect_success 'test core.capslock' '
1083 #               git config core.capslock true &&
1084 #               hello world
1085 #               git config --unset core.capslock
1086 #       '
1087 #
1088 # except that the greeting and config --unset must both succeed for
1089 # the test to pass.
1090 #
1091 # Note that under --immediate mode, no clean-up is done to help diagnose
1092 # what went wrong.
1093
1094 test_when_finished () {
1095         # We cannot detect when we are in a subshell in general, but by
1096         # doing so on Bash is better than nothing (the test will
1097         # silently pass on other shells).
1098         test "${BASH_SUBSHELL-0}" = 0 ||
1099         BUG "test_when_finished does nothing in a subshell"
1100         test_cleanup="{ $*
1101                 } && (exit \"\$eval_ret\"); eval_ret=\$?; $test_cleanup"
1102 }
1103
1104 # This function can be used to schedule some commands to be run
1105 # unconditionally at the end of the test script, e.g. to stop a daemon:
1106 #
1107 #       test_expect_success 'test git daemon' '
1108 #               git daemon &
1109 #               daemon_pid=$! &&
1110 #               test_atexit 'kill $daemon_pid' &&
1111 #               hello world
1112 #       '
1113 #
1114 # The commands will be executed before the trash directory is removed,
1115 # i.e. the atexit commands will still be able to access any pidfiles or
1116 # socket files.
1117 #
1118 # Note that these commands will be run even when a test script run
1119 # with '--immediate' fails.  Be careful with your atexit commands to
1120 # minimize any changes to the failed state.
1121
1122 test_atexit () {
1123         # We cannot detect when we are in a subshell in general, but by
1124         # doing so on Bash is better than nothing (the test will
1125         # silently pass on other shells).
1126         test "${BASH_SUBSHELL-0}" = 0 ||
1127         error "bug in test script: test_atexit does nothing in a subshell"
1128         test_atexit_cleanup="{ $*
1129                 } && (exit \"\$eval_ret\"); eval_ret=\$?; $test_atexit_cleanup"
1130 }
1131
1132 # Most tests can use the created repository, but some may need to create more.
1133 # Usage: test_create_repo <directory>
1134 test_create_repo () {
1135         test "$#" = 1 ||
1136         BUG "not 1 parameter to test-create-repo"
1137         repo="$1"
1138         mkdir -p "$repo"
1139         (
1140                 cd "$repo" || error "Cannot setup test environment"
1141                 "${GIT_TEST_INSTALLED:-$GIT_EXEC_PATH}/git$X" init \
1142                         "--template=$GIT_BUILD_DIR/templates/blt/" >&3 2>&4 ||
1143                 error "cannot run git init -- have you built things yet?"
1144                 mv .git/hooks .git/hooks-disabled
1145         ) || exit
1146 }
1147
1148 # This function helps on symlink challenged file systems when it is not
1149 # important that the file system entry is a symbolic link.
1150 # Use test_ln_s_add instead of "ln -s x y && git add y" to add a
1151 # symbolic link entry y to the index.
1152
1153 test_ln_s_add () {
1154         if test_have_prereq SYMLINKS
1155         then
1156                 ln -s "$1" "$2" &&
1157                 git update-index --add "$2"
1158         else
1159                 printf '%s' "$1" >"$2" &&
1160                 ln_s_obj=$(git hash-object -w "$2") &&
1161                 git update-index --add --cacheinfo 120000 $ln_s_obj "$2" &&
1162                 # pick up stat info from the file
1163                 git update-index "$2"
1164         fi
1165 }
1166
1167 # This function writes out its parameters, one per line
1168 test_write_lines () {
1169         printf "%s\n" "$@"
1170 }
1171
1172 perl () {
1173         command "$PERL_PATH" "$@" 2>&7
1174 } 7>&2 2>&4
1175
1176 # Exit the test suite, either by skipping all remaining tests or by
1177 # exiting with an error. If our prerequisite variable $1 falls back
1178 # on a default assume we were opportunistically trying to set up some
1179 # tests and we skip. If it is explicitly "true", then we report a failure.
1180 #
1181 # The error/skip message should be given by $2.
1182 #
1183 test_skip_or_die () {
1184         if ! git env--helper --type=bool --default=false --exit-code $1
1185         then
1186                 skip_all=$2
1187                 test_done
1188         fi
1189         error "$2"
1190 }
1191
1192 # The following mingw_* functions obey POSIX shell syntax, but are actually
1193 # bash scripts, and are meant to be used only with bash on Windows.
1194
1195 # A test_cmp function that treats LF and CRLF equal and avoids to fork
1196 # diff when possible.
1197 mingw_test_cmp () {
1198         # Read text into shell variables and compare them. If the results
1199         # are different, use regular diff to report the difference.
1200         local test_cmp_a= test_cmp_b=
1201
1202         # When text came from stdin (one argument is '-') we must feed it
1203         # to diff.
1204         local stdin_for_diff=
1205
1206         # Since it is difficult to detect the difference between an
1207         # empty input file and a failure to read the files, we go straight
1208         # to diff if one of the inputs is empty.
1209         if test -s "$1" && test -s "$2"
1210         then
1211                 # regular case: both files non-empty
1212                 mingw_read_file_strip_cr_ test_cmp_a <"$1"
1213                 mingw_read_file_strip_cr_ test_cmp_b <"$2"
1214         elif test -s "$1" && test "$2" = -
1215         then
1216                 # read 2nd file from stdin
1217                 mingw_read_file_strip_cr_ test_cmp_a <"$1"
1218                 mingw_read_file_strip_cr_ test_cmp_b
1219                 stdin_for_diff='<<<"$test_cmp_b"'
1220         elif test "$1" = - && test -s "$2"
1221         then
1222                 # read 1st file from stdin
1223                 mingw_read_file_strip_cr_ test_cmp_a
1224                 mingw_read_file_strip_cr_ test_cmp_b <"$2"
1225                 stdin_for_diff='<<<"$test_cmp_a"'
1226         fi
1227         test -n "$test_cmp_a" &&
1228         test -n "$test_cmp_b" &&
1229         test "$test_cmp_a" = "$test_cmp_b" ||
1230         eval "diff -u \"\$@\" $stdin_for_diff"
1231 }
1232
1233 # $1 is the name of the shell variable to fill in
1234 mingw_read_file_strip_cr_ () {
1235         # Read line-wise using LF as the line separator
1236         # and use IFS to strip CR.
1237         local line
1238         while :
1239         do
1240                 if IFS=$'\r' read -r -d $'\n' line
1241                 then
1242                         # good
1243                         line=$line$'\n'
1244                 else
1245                         # we get here at EOF, but also if the last line
1246                         # was not terminated by LF; in the latter case,
1247                         # some text was read
1248                         if test -z "$line"
1249                         then
1250                                 # EOF, really
1251                                 break
1252                         fi
1253                 fi
1254                 eval "$1=\$$1\$line"
1255         done
1256 }
1257
1258 # Like "env FOO=BAR some-program", but run inside a subshell, which means
1259 # it also works for shell functions (though those functions cannot impact
1260 # the environment outside of the test_env invocation).
1261 test_env () {
1262         (
1263                 while test $# -gt 0
1264                 do
1265                         case "$1" in
1266                         *=*)
1267                                 eval "${1%%=*}=\${1#*=}"
1268                                 eval "export ${1%%=*}"
1269                                 shift
1270                                 ;;
1271                         *)
1272                                 "$@" 2>&7
1273                                 exit
1274                                 ;;
1275                         esac
1276                 done
1277         )
1278 } 7>&2 2>&4
1279
1280 # Returns true if the numeric exit code in "$2" represents the expected signal
1281 # in "$1". Signals should be given numerically.
1282 test_match_signal () {
1283         if test "$2" = "$((128 + $1))"
1284         then
1285                 # POSIX
1286                 return 0
1287         elif test "$2" = "$((256 + $1))"
1288         then
1289                 # ksh
1290                 return 0
1291         fi
1292         return 1
1293 }
1294
1295 # Read up to "$1" bytes (or to EOF) from stdin and write them to stdout.
1296 test_copy_bytes () {
1297         perl -e '
1298                 my $len = $ARGV[1];
1299                 while ($len > 0) {
1300                         my $s;
1301                         my $nread = sysread(STDIN, $s, $len);
1302                         die "cannot read: $!" unless defined($nread);
1303                         last unless $nread;
1304                         print $s;
1305                         $len -= $nread;
1306                 }
1307         ' - "$1"
1308 }
1309
1310 # run "$@" inside a non-git directory
1311 nongit () {
1312         test -d non-repo ||
1313         mkdir non-repo ||
1314         return 1
1315
1316         (
1317                 GIT_CEILING_DIRECTORIES=$(pwd) &&
1318                 export GIT_CEILING_DIRECTORIES &&
1319                 cd non-repo &&
1320                 "$@" 2>&7
1321         )
1322 } 7>&2 2>&4
1323
1324 # convert stdin to pktline representation; note that empty input becomes an
1325 # empty packet, not a flush packet (for that you can just print 0000 yourself).
1326 packetize() {
1327         cat >packetize.tmp &&
1328         len=$(wc -c <packetize.tmp) &&
1329         printf '%04x%s' "$(($len + 4))" &&
1330         cat packetize.tmp &&
1331         rm -f packetize.tmp
1332 }
1333
1334 # Parse the input as a series of pktlines, writing the result to stdout.
1335 # Sideband markers are removed automatically, and the output is routed to
1336 # stderr if appropriate.
1337 #
1338 # NUL bytes are converted to "\\0" for ease of parsing with text tools.
1339 depacketize () {
1340         perl -e '
1341                 while (read(STDIN, $len, 4) == 4) {
1342                         if ($len eq "0000") {
1343                                 print "FLUSH\n";
1344                         } else {
1345                                 read(STDIN, $buf, hex($len) - 4);
1346                                 $buf =~ s/\0/\\0/g;
1347                                 if ($buf =~ s/^[\x2\x3]//) {
1348                                         print STDERR $buf;
1349                                 } else {
1350                                         $buf =~ s/^\x1//;
1351                                         print $buf;
1352                                 }
1353                         }
1354                 }
1355         '
1356 }
1357
1358 # Converts base-16 data into base-8. The output is given as a sequence of
1359 # escaped octals, suitable for consumption by 'printf'.
1360 hex2oct () {
1361         perl -ne 'printf "\\%03o", hex for /../g'
1362 }
1363
1364 # Set the hash algorithm in use to $1.  Only useful when testing the testsuite.
1365 test_set_hash () {
1366         test_hash_algo="$1"
1367 }
1368
1369 # Detect the hash algorithm in use.
1370 test_detect_hash () {
1371         # Currently we only support SHA-1, but in the future this function will
1372         # actually detect the algorithm in use.
1373         test_hash_algo='sha1'
1374 }
1375
1376 # Load common hash metadata and common placeholder object IDs for use with
1377 # test_oid.
1378 test_oid_init () {
1379         test -n "$test_hash_algo" || test_detect_hash &&
1380         test_oid_cache <"$TEST_DIRECTORY/oid-info/hash-info" &&
1381         test_oid_cache <"$TEST_DIRECTORY/oid-info/oid"
1382 }
1383
1384 # Load key-value pairs from stdin suitable for use with test_oid.  Blank lines
1385 # and lines starting with "#" are ignored.  Keys must be shell identifier
1386 # characters.
1387 #
1388 # Examples:
1389 # rawsz sha1:20
1390 # rawsz sha256:32
1391 test_oid_cache () {
1392         local tag rest k v &&
1393
1394         { test -n "$test_hash_algo" || test_detect_hash; } &&
1395         while read tag rest
1396         do
1397                 case $tag in
1398                 \#*)
1399                         continue;;
1400                 ?*)
1401                         # non-empty
1402                         ;;
1403                 *)
1404                         # blank line
1405                         continue;;
1406                 esac &&
1407
1408                 k="${rest%:*}" &&
1409                 v="${rest#*:}" &&
1410
1411                 if ! expr "$k" : '[a-z0-9][a-z0-9]*$' >/dev/null
1412                 then
1413                         BUG 'bad hash algorithm'
1414                 fi &&
1415                 eval "test_oid_${k}_$tag=\"\$v\""
1416         done
1417 }
1418
1419 # Look up a per-hash value based on a key ($1).  The value must have been loaded
1420 # by test_oid_init or test_oid_cache.
1421 test_oid () {
1422         local var="test_oid_${test_hash_algo}_$1" &&
1423
1424         # If the variable is unset, we must be missing an entry for this
1425         # key-hash pair, so exit with an error.
1426         if eval "test -z \"\${$var+set}\""
1427         then
1428                 BUG "undefined key '$1'"
1429         fi &&
1430         eval "printf '%s' \"\${$var}\""
1431 }
1432
1433 # Insert a slash into an object ID so it can be used to reference a location
1434 # under ".git/objects".  For example, "deadbeef..." becomes "de/adbeef..".
1435 test_oid_to_path () {
1436         local basename=${1#??}
1437         echo "${1%$basename}/$basename"
1438 }
1439
1440 # Choose a port number based on the test script's number and store it in
1441 # the given variable name, unless that variable already contains a number.
1442 test_set_port () {
1443         local var=$1 port
1444
1445         if test $# -ne 1 || test -z "$var"
1446         then
1447                 BUG "test_set_port requires a variable name"
1448         fi
1449
1450         eval port=\$$var
1451         case "$port" in
1452         "")
1453                 # No port is set in the given env var, use the test
1454                 # number as port number instead.
1455                 # Remove not only the leading 't', but all leading zeros
1456                 # as well, so the arithmetic below won't (mis)interpret
1457                 # a test number like '0123' as an octal value.
1458                 port=${this_test#${this_test%%[1-9]*}}
1459                 if test "${port:-0}" -lt 1024
1460                 then
1461                         # root-only port, use a larger one instead.
1462                         port=$(($port + 10000))
1463                 fi
1464                 ;;
1465         *[!0-9]*|0*)
1466                 error >&7 "invalid port number: $port"
1467                 ;;
1468         *)
1469                 # The user has specified the port.
1470                 ;;
1471         esac
1472
1473         # Make sure that parallel '--stress' test jobs get different
1474         # ports.
1475         port=$(($port + ${GIT_TEST_STRESS_JOB_NR:-0}))
1476         eval $var=$port
1477 }