Merge branch 'jk/reopen-tempfile-truncate' into maint
[git] / t / t5302-pack-index.sh
1 #!/bin/sh
2 #
3 # Copyright (c) 2007 Nicolas Pitre
4 #
5
6 test_description='pack index with 64-bit offsets and object CRC'
7 . ./test-lib.sh
8
9 test_expect_success \
10     'setup' \
11     'rm -rf .git &&
12      git init &&
13      git config pack.threads 1 &&
14      i=1 &&
15      while test $i -le 100
16      do
17          iii=$(printf '%03i' $i)
18          test-tool genrandom "bar" 200 > wide_delta_$iii &&
19          test-tool genrandom "baz $iii" 50 >> wide_delta_$iii &&
20          test-tool genrandom "foo"$i 100 > deep_delta_$iii &&
21          test-tool genrandom "foo"$(expr $i + 1) 100 >> deep_delta_$iii &&
22          test-tool genrandom "foo"$(expr $i + 2) 100 >> deep_delta_$iii &&
23          echo $iii >file_$iii &&
24          test-tool genrandom "$iii" 8192 >>file_$iii &&
25          git update-index --add file_$iii deep_delta_$iii wide_delta_$iii &&
26          i=$(expr $i + 1) || return 1
27      done &&
28      { echo 101 && test-tool genrandom 100 8192; } >file_101 &&
29      git update-index --add file_101 &&
30      tree=$(git write-tree) &&
31      commit=$(git commit-tree $tree </dev/null) && {
32          echo $tree &&
33          git ls-tree $tree | sed -e "s/.* \\([0-9a-f]*\\)       .*/\\1/"
34      } >obj-list &&
35      git update-ref HEAD $commit'
36
37 test_expect_success \
38     'pack-objects with index version 1' \
39     'pack1=$(git pack-objects --index-version=1 test-1 <obj-list) &&
40      git verify-pack -v "test-1-${pack1}.pack"'
41
42 test_expect_success \
43     'pack-objects with index version 2' \
44     'pack2=$(git pack-objects --index-version=2 test-2 <obj-list) &&
45      git verify-pack -v "test-2-${pack2}.pack"'
46
47 test_expect_success \
48     'both packs should be identical' \
49     'cmp "test-1-${pack1}.pack" "test-2-${pack2}.pack"'
50
51 test_expect_success \
52     'index v1 and index v2 should be different' \
53     '! cmp "test-1-${pack1}.idx" "test-2-${pack2}.idx"'
54
55 test_expect_success \
56     'index-pack with index version 1' \
57     'git index-pack --index-version=1 -o 1.idx "test-1-${pack1}.pack"'
58
59 test_expect_success \
60     'index-pack with index version 2' \
61     'git index-pack --index-version=2 -o 2.idx "test-1-${pack1}.pack"'
62
63 test_expect_success \
64     'index-pack results should match pack-objects ones' \
65     'cmp "test-1-${pack1}.idx" "1.idx" &&
66      cmp "test-2-${pack2}.idx" "2.idx"'
67
68 test_expect_success 'index-pack --verify on index version 1' '
69         git index-pack --verify "test-1-${pack1}.pack"
70 '
71
72 test_expect_success 'index-pack --verify on index version 2' '
73         git index-pack --verify "test-2-${pack2}.pack"
74 '
75
76 test_expect_success \
77     'pack-objects --index-version=2, is not accepted' \
78     'test_must_fail git pack-objects --index-version=2, test-3 <obj-list'
79
80 test_expect_success \
81     'index v2: force some 64-bit offsets with pack-objects' \
82     'pack3=$(git pack-objects --index-version=2,0x40000 test-3 <obj-list)'
83
84 if msg=$(git verify-pack -v "test-3-${pack3}.pack" 2>&1) ||
85         ! (echo "$msg" | grep "pack too large .* off_t")
86 then
87         test_set_prereq OFF64_T
88 else
89         say "# skipping tests concerning 64-bit offsets"
90 fi
91
92 test_expect_success OFF64_T \
93     'index v2: verify a pack with some 64-bit offsets' \
94     'git verify-pack -v "test-3-${pack3}.pack"'
95
96 test_expect_success OFF64_T \
97     '64-bit offsets: should be different from previous index v2 results' \
98     '! cmp "test-2-${pack2}.idx" "test-3-${pack3}.idx"'
99
100 test_expect_success OFF64_T \
101     'index v2: force some 64-bit offsets with index-pack' \
102     'git index-pack --index-version=2,0x40000 -o 3.idx "test-1-${pack1}.pack"'
103
104 test_expect_success OFF64_T \
105     '64-bit offsets: index-pack result should match pack-objects one' \
106     'cmp "test-3-${pack3}.idx" "3.idx"'
107
108 test_expect_success OFF64_T 'index-pack --verify on 64-bit offset v2 (cheat)' '
109         # This cheats by knowing which lower offset should still be encoded
110         # in 64-bit representation.
111         git index-pack --verify --index-version=2,0x40000 "test-3-${pack3}.pack"
112 '
113
114 test_expect_success OFF64_T 'index-pack --verify on 64-bit offset v2' '
115         git index-pack --verify "test-3-${pack3}.pack"
116 '
117
118 # returns the object number for given object in given pack index
119 index_obj_nr()
120 {
121     idx_file=$1
122     object_sha1=$2
123     nr=0
124     git show-index < $idx_file |
125     while read offs sha1 extra
126     do
127       nr=$(($nr + 1))
128       test "$sha1" = "$object_sha1" || continue
129       echo "$(($nr - 1))"
130       break
131     done
132 }
133
134 # returns the pack offset for given object as found in given pack index
135 index_obj_offset()
136 {
137     idx_file=$1
138     object_sha1=$2
139     git show-index < $idx_file | grep $object_sha1 |
140     ( read offs extra && echo "$offs" )
141 }
142
143 test_expect_success \
144     '[index v1] 1) stream pack to repository' \
145     'git index-pack --index-version=1 --stdin < "test-1-${pack1}.pack" &&
146      git prune-packed &&
147      git count-objects | ( read nr rest && test "$nr" -eq 1 ) &&
148      cmp "test-1-${pack1}.pack" ".git/objects/pack/pack-${pack1}.pack" &&
149      cmp "test-1-${pack1}.idx"  ".git/objects/pack/pack-${pack1}.idx"'
150
151 test_expect_success \
152     '[index v1] 2) create a stealth corruption in a delta base reference' \
153     '# This test assumes file_101 is a delta smaller than 16 bytes.
154      # It should be against file_100 but we substitute its base for file_099
155      sha1_101=$(git hash-object file_101) &&
156      sha1_099=$(git hash-object file_099) &&
157      offs_101=$(index_obj_offset 1.idx $sha1_101) &&
158      nr_099=$(index_obj_nr 1.idx $sha1_099) &&
159      chmod +w ".git/objects/pack/pack-${pack1}.pack" &&
160      dd of=".git/objects/pack/pack-${pack1}.pack" seek=$(($offs_101 + 1)) \
161         if=".git/objects/pack/pack-${pack1}.idx" \
162         skip=$((4 + 256 * 4 + $nr_099 * 24)) \
163         bs=1 count=20 conv=notrunc &&
164      git cat-file blob $sha1_101 > file_101_foo1'
165
166 test_expect_success \
167     '[index v1] 3) corrupted delta happily returned wrong data' \
168     'test -f file_101_foo1 && ! cmp file_101 file_101_foo1'
169
170 test_expect_success \
171     '[index v1] 4) confirm that the pack is actually corrupted' \
172     'test_must_fail git fsck --full $commit'
173
174 test_expect_success \
175     '[index v1] 5) pack-objects happily reuses corrupted data' \
176     'pack4=$(git pack-objects test-4 <obj-list) &&
177      test -f "test-4-${pack4}.pack"'
178
179 test_expect_success \
180     '[index v1] 6) newly created pack is BAD !' \
181     'test_must_fail git verify-pack -v "test-4-${pack4}.pack"'
182
183 test_expect_success \
184     '[index v2] 1) stream pack to repository' \
185     'rm -f .git/objects/pack/* &&
186      git index-pack --index-version=2 --stdin < "test-1-${pack1}.pack" &&
187      git prune-packed &&
188      git count-objects | ( read nr rest && test "$nr" -eq 1 ) &&
189      cmp "test-1-${pack1}.pack" ".git/objects/pack/pack-${pack1}.pack" &&
190      cmp "test-2-${pack1}.idx"  ".git/objects/pack/pack-${pack1}.idx"'
191
192 test_expect_success \
193     '[index v2] 2) create a stealth corruption in a delta base reference' \
194     '# This test assumes file_101 is a delta smaller than 16 bytes.
195      # It should be against file_100 but we substitute its base for file_099
196      sha1_101=$(git hash-object file_101) &&
197      sha1_099=$(git hash-object file_099) &&
198      offs_101=$(index_obj_offset 1.idx $sha1_101) &&
199      nr_099=$(index_obj_nr 1.idx $sha1_099) &&
200      chmod +w ".git/objects/pack/pack-${pack1}.pack" &&
201      dd of=".git/objects/pack/pack-${pack1}.pack" seek=$(($offs_101 + 1)) \
202         if=".git/objects/pack/pack-${pack1}.idx" \
203         skip=$((8 + 256 * 4 + $nr_099 * 20)) \
204         bs=1 count=20 conv=notrunc &&
205      git cat-file blob $sha1_101 > file_101_foo2'
206
207 test_expect_success \
208     '[index v2] 3) corrupted delta happily returned wrong data' \
209     'test -f file_101_foo2 && ! cmp file_101 file_101_foo2'
210
211 test_expect_success \
212     '[index v2] 4) confirm that the pack is actually corrupted' \
213     'test_must_fail git fsck --full $commit'
214
215 test_expect_success \
216     '[index v2] 5) pack-objects refuses to reuse corrupted data' \
217     'test_must_fail git pack-objects test-5 <obj-list &&
218      test_must_fail git pack-objects --no-reuse-object test-6 <obj-list'
219
220 test_expect_success \
221     '[index v2] 6) verify-pack detects CRC mismatch' \
222     'rm -f .git/objects/pack/* &&
223      git index-pack --index-version=2 --stdin < "test-1-${pack1}.pack" &&
224      git verify-pack ".git/objects/pack/pack-${pack1}.pack" &&
225      obj=$(git hash-object file_001) &&
226      nr=$(index_obj_nr ".git/objects/pack/pack-${pack1}.idx" $obj) &&
227      chmod +w ".git/objects/pack/pack-${pack1}.idx" &&
228      printf xxxx | dd of=".git/objects/pack/pack-${pack1}.idx" conv=notrunc \
229         bs=1 count=4 seek=$((8 + 256 * 4 + $(wc -l <obj-list) * 20 + $nr * 4)) &&
230      ( while read obj
231        do git cat-file -p $obj >/dev/null || exit 1
232        done <obj-list ) &&
233      test_must_fail git verify-pack ".git/objects/pack/pack-${pack1}.pack"
234 '
235
236 test_expect_success 'running index-pack in the object store' '
237     rm -f .git/objects/pack/* &&
238     cp test-1-${pack1}.pack .git/objects/pack/pack-${pack1}.pack &&
239     (
240         cd .git/objects/pack &&
241         git index-pack pack-${pack1}.pack
242     ) &&
243     test -f .git/objects/pack/pack-${pack1}.idx
244 '
245
246 test_expect_success 'index-pack --strict warns upon missing tagger in tag' '
247     sha=$(git rev-parse HEAD) &&
248     cat >wrong-tag <<EOF &&
249 object $sha
250 type commit
251 tag guten tag
252
253 This is an invalid tag.
254 EOF
255
256     tag=$(git hash-object -t tag -w --stdin <wrong-tag) &&
257     pack1=$(echo $tag $sha | git pack-objects tag-test) &&
258     echo remove tag object &&
259     thirtyeight=${tag#??} &&
260     rm -f .git/objects/${tag%$thirtyeight}/$thirtyeight &&
261     git index-pack --strict tag-test-${pack1}.pack 2>err &&
262     grep "^warning:.* expected .tagger. line" err
263 '
264
265 test_expect_success 'index-pack --fsck-objects also warns upon missing tagger in tag' '
266     git index-pack --fsck-objects tag-test-${pack1}.pack 2>err &&
267     grep "^warning:.* expected .tagger. line" err
268 '
269
270 test_done