Merge branch 'jk/maint-ls-files-other' into maint
[git] / t / t5302-pack-index.sh
1 #!/bin/sh
2 #
3 # Copyright (c) 2007 Nicolas Pitre
4 #
5
6 test_description='pack index with 64-bit offsets and object CRC'
7 . ./test-lib.sh
8
9 test_expect_success \
10     'setup' \
11     'rm -rf .git
12      git init &&
13      i=1 &&
14          while test $i -le 100
15      do
16                  i=`printf '%03i' $i`
17          echo $i >file_$i &&
18          test-genrandom "$i" 8192 >>file_$i &&
19          git update-index --add file_$i &&
20                  i=`expr $i + 1` || return 1
21      done &&
22      { echo 101 && test-genrandom 100 8192; } >file_101 &&
23      git update-index --add file_101 &&
24      tree=`git write-tree` &&
25      commit=`git commit-tree $tree </dev/null` && {
26          echo $tree &&
27          git ls-tree $tree | sed -e "s/.* \\([0-9a-f]*\\)       .*/\\1/"
28      } >obj-list &&
29      git update-ref HEAD $commit'
30
31 test_expect_success \
32     'pack-objects with index version 1' \
33     'pack1=$(git pack-objects --index-version=1 test-1 <obj-list) &&
34      git verify-pack -v "test-1-${pack1}.pack"'
35
36 test_expect_success \
37     'pack-objects with index version 2' \
38     'pack2=$(git pack-objects --index-version=2 test-2 <obj-list) &&
39      git verify-pack -v "test-2-${pack2}.pack"'
40
41 test_expect_success \
42     'both packs should be identical' \
43     'cmp "test-1-${pack1}.pack" "test-2-${pack2}.pack"'
44
45 test_expect_success \
46     'index v1 and index v2 should be different' \
47     '! cmp "test-1-${pack1}.idx" "test-2-${pack2}.idx"'
48
49 test_expect_success \
50     'index-pack with index version 1' \
51     'git index-pack --index-version=1 -o 1.idx "test-1-${pack1}.pack"'
52
53 test_expect_success \
54     'index-pack with index version 2' \
55     'git index-pack --index-version=2 -o 2.idx "test-1-${pack1}.pack"'
56
57 test_expect_success \
58     'index-pack results should match pack-objects ones' \
59     'cmp "test-1-${pack1}.idx" "1.idx" &&
60      cmp "test-2-${pack2}.idx" "2.idx"'
61
62 test_expect_success \
63     'index v2: force some 64-bit offsets with pack-objects' \
64     'pack3=$(git pack-objects --index-version=2,0x40000 test-3 <obj-list)'
65
66 have_64bits=
67 if msg=$(git verify-pack -v "test-3-${pack3}.pack" 2>&1) ||
68         ! (echo "$msg" | grep "pack too large .* off_t")
69 then
70         have_64bits=t
71 else
72         say "skipping tests concerning 64-bit offsets"
73 fi
74
75 test "$have_64bits" &&
76 test_expect_success \
77     'index v2: verify a pack with some 64-bit offsets' \
78     'git verify-pack -v "test-3-${pack3}.pack"'
79
80 test "$have_64bits" &&
81 test_expect_success \
82     '64-bit offsets: should be different from previous index v2 results' \
83     '! cmp "test-2-${pack2}.idx" "test-3-${pack3}.idx"'
84
85 test "$have_64bits" &&
86 test_expect_success \
87     'index v2: force some 64-bit offsets with index-pack' \
88     'git index-pack --index-version=2,0x40000 -o 3.idx "test-1-${pack1}.pack"'
89
90 test "$have_64bits" &&
91 test_expect_success \
92     '64-bit offsets: index-pack result should match pack-objects one' \
93     'cmp "test-3-${pack3}.idx" "3.idx"'
94
95 test_expect_success \
96     '[index v1] 1) stream pack to repository' \
97     'git index-pack --index-version=1 --stdin < "test-1-${pack1}.pack" &&
98      git prune-packed &&
99      git count-objects | ( read nr rest && test "$nr" -eq 1 ) &&
100      cmp "test-1-${pack1}.pack" ".git/objects/pack/pack-${pack1}.pack" &&
101      cmp "test-1-${pack1}.idx"  ".git/objects/pack/pack-${pack1}.idx"'
102
103 test_expect_success \
104     '[index v1] 2) create a stealth corruption in a delta base reference' \
105     '# this test assumes a delta smaller than 16 bytes at the end of the pack
106      git show-index <1.idx | sort -n | sed -ne \$p | (
107        read delta_offs delta_sha1 &&
108        git cat-file blob "$delta_sha1" > blob_1 &&
109        chmod +w ".git/objects/pack/pack-${pack1}.pack" &&
110        dd of=".git/objects/pack/pack-${pack1}.pack" seek=$(($delta_offs + 1)) \
111           if=".git/objects/pack/pack-${pack1}.idx" skip=$((256 * 4 + 4)) \
112           bs=1 count=20 conv=notrunc &&
113        git cat-file blob "$delta_sha1" > blob_2 )'
114
115 test_expect_success \
116     '[index v1] 3) corrupted delta happily returned wrong data' \
117     '! cmp blob_1 blob_2'
118
119 test_expect_success \
120     '[index v1] 4) confirm that the pack is actually corrupted' \
121     'test_must_fail git fsck --full $commit'
122
123 test_expect_success \
124     '[index v1] 5) pack-objects happily reuses corrupted data' \
125     'pack4=$(git pack-objects test-4 <obj-list) &&
126      test -f "test-4-${pack1}.pack"'
127
128 test_expect_success \
129     '[index v1] 6) newly created pack is BAD !' \
130     'test_must_fail git verify-pack -v "test-4-${pack1}.pack"'
131
132 test_expect_success \
133     '[index v2] 1) stream pack to repository' \
134     'rm -f .git/objects/pack/* &&
135      git index-pack --index-version=2 --stdin < "test-1-${pack1}.pack" &&
136      git prune-packed &&
137      git count-objects | ( read nr rest && test "$nr" -eq 1 ) &&
138      cmp "test-1-${pack1}.pack" ".git/objects/pack/pack-${pack1}.pack" &&
139      cmp "test-2-${pack1}.idx"  ".git/objects/pack/pack-${pack1}.idx"'
140
141 test_expect_success \
142     '[index v2] 2) create a stealth corruption in a delta base reference' \
143     '# this test assumes a delta smaller than 16 bytes at the end of the pack
144      git show-index <1.idx | sort -n | sed -ne \$p | (
145        read delta_offs delta_sha1 delta_crc &&
146        git cat-file blob "$delta_sha1" > blob_3 &&
147        chmod +w ".git/objects/pack/pack-${pack1}.pack" &&
148        dd of=".git/objects/pack/pack-${pack1}.pack" seek=$(($delta_offs + 1)) \
149           if=".git/objects/pack/pack-${pack1}.idx" skip=$((8 + 256 * 4)) \
150           bs=1 count=20 conv=notrunc &&
151        git cat-file blob "$delta_sha1" > blob_4 )'
152
153 test_expect_success \
154     '[index v2] 3) corrupted delta happily returned wrong data' \
155     '! cmp blob_3 blob_4'
156
157 test_expect_success \
158     '[index v2] 4) confirm that the pack is actually corrupted' \
159     'test_must_fail git fsck --full $commit'
160
161 test_expect_success \
162     '[index v2] 5) pack-objects refuses to reuse corrupted data' \
163     'test_must_fail git pack-objects test-5 <obj-list'
164
165 test_expect_success \
166     '[index v2] 6) verify-pack detects CRC mismatch' \
167     'rm -f .git/objects/pack/* &&
168      git index-pack --index-version=2 --stdin < "test-1-${pack1}.pack" &&
169      git verify-pack ".git/objects/pack/pack-${pack1}.pack" &&
170      chmod +w ".git/objects/pack/pack-${pack1}.idx" &&
171      dd if=/dev/zero of=".git/objects/pack/pack-${pack1}.idx" conv=notrunc \
172         bs=1 count=4 seek=$((8 + 256 * 4 + `wc -l <obj-list` * 20 + 0)) &&
173      ( while read obj
174        do git cat-file -p $obj >/dev/null || exit 1
175        done <obj-list ) &&
176      err=$(test_must_fail git verify-pack \
177        ".git/objects/pack/pack-${pack1}.pack" 2>&1) &&
178      echo "$err" | grep "CRC mismatch"'
179
180 test_expect_success 'running index-pack in the object store' '
181     rm -f .git/objects/pack/* &&
182     cp test-1-${pack1}.pack .git/objects/pack/pack-${pack1}.pack &&
183     (
184         cd .git/objects/pack
185         git index-pack pack-${pack1}.pack
186     ) &&
187     test -f .git/objects/pack/pack-${pack1}.idx
188 '
189
190 test_done