Merge branch 'jc/transport-do-not-use-connect-twice-in-fetch'
[git] / t / t5500-fetch-pack.sh
1 #!/bin/sh
2 #
3 # Copyright (c) 2005 Johannes Schindelin
4 #
5
6 test_description='Testing multi_ack pack fetching'
7
8 . ./test-lib.sh
9
10 # Test fetch-pack/upload-pack pair.
11
12 # Some convenience functions
13
14 add () {
15         name=$1 &&
16         text="$@" &&
17         branch=`echo $name | sed -e 's/^\(.\).*$/\1/'` &&
18         parents="" &&
19
20         shift &&
21         while test $1; do
22                 parents="$parents -p $1" &&
23                 shift
24         done &&
25
26         echo "$text" > test.txt &&
27         git update-index --add test.txt &&
28         tree=$(git write-tree) &&
29         # make sure timestamps are in correct order
30         test_tick &&
31         commit=$(echo "$text" | git commit-tree $tree $parents) &&
32         eval "$name=$commit; export $name" &&
33         echo $commit > .git/refs/heads/$branch &&
34         eval ${branch}TIP=$commit
35 }
36
37 pull_to_client () {
38         number=$1 &&
39         heads=$2 &&
40         count=$3 &&
41         test_expect_success "$number pull" '
42                 (
43                         cd client &&
44                         git fetch-pack -k -v .. $heads &&
45
46                         case "$heads" in
47                             *A*)
48                                     echo $ATIP > .git/refs/heads/A;;
49                         esac &&
50                         case "$heads" in *B*)
51                             echo $BTIP > .git/refs/heads/B;;
52                         esac &&
53                         git symbolic-ref HEAD refs/heads/`echo $heads \
54                                 | sed -e "s/^\(.\).*$/\1/"` &&
55
56                         git fsck --full &&
57
58                         mv .git/objects/pack/pack-* . &&
59                         p=`ls -1 pack-*.pack` &&
60                         git unpack-objects <$p &&
61                         git fsck --full &&
62
63                         idx=`echo pack-*.idx` &&
64                         pack_count=`git show-index <$idx | wc -l` &&
65                         test $pack_count = $count &&
66                         rm -f pack-*
67                 )
68         '
69 }
70
71 # Here begins the actual testing
72
73 # A1 - ... - A20 - A21
74 #    \
75 #      B1  -   B2 - .. - B70
76
77 # client pulls A20, B1. Then tracks only B. Then pulls A.
78
79 test_expect_success 'setup' '
80         mkdir client &&
81         (
82                 cd client &&
83                 git init &&
84                 git config transfer.unpacklimit 0
85         ) &&
86         add A1 &&
87         prev=1 &&
88         cur=2 &&
89         while [ $cur -le 10 ]; do
90                 add A$cur $(eval echo \$A$prev) &&
91                 prev=$cur &&
92                 cur=$(($cur+1))
93         done &&
94         add B1 $A1 &&
95         echo $ATIP > .git/refs/heads/A &&
96         echo $BTIP > .git/refs/heads/B &&
97         git symbolic-ref HEAD refs/heads/B
98 '
99
100 pull_to_client 1st "refs/heads/B refs/heads/A" $((11*3))
101
102 test_expect_success 'post 1st pull setup' '
103         add A11 $A10 &&
104         prev=1 &&
105         cur=2 &&
106         while [ $cur -le 65 ]; do
107                 add B$cur $(eval echo \$B$prev) &&
108                 prev=$cur &&
109                 cur=$(($cur+1))
110         done
111 '
112
113 pull_to_client 2nd "refs/heads/B" $((64*3))
114
115 pull_to_client 3rd "refs/heads/A" $((1*3))
116
117 test_expect_success 'single branch clone' '
118         git clone --single-branch "file://$(pwd)/." singlebranch
119 '
120
121 test_expect_success 'single branch object count' '
122         GIT_DIR=singlebranch/.git git count-objects -v |
123                 grep "^in-pack:" > count.singlebranch &&
124         echo "in-pack: 198" >expected &&
125         test_cmp expected count.singlebranch
126 '
127
128 test_expect_success 'single given branch clone' '
129         git clone --single-branch --branch A "file://$(pwd)/." branch-a &&
130         test_must_fail git --git-dir=branch-a/.git rev-parse origin/B
131 '
132
133 test_expect_success 'clone shallow depth 1' '
134         git clone --no-single-branch --depth 1 "file://$(pwd)/." shallow0 &&
135         test "`git --git-dir=shallow0/.git rev-list --count HEAD`" = 1
136 '
137
138 test_expect_success 'clone shallow depth 1 with fsck' '
139         git config --global fetch.fsckobjects true &&
140         git clone --no-single-branch --depth 1 "file://$(pwd)/." shallow0fsck &&
141         test "`git --git-dir=shallow0fsck/.git rev-list --count HEAD`" = 1 &&
142         git config --global --unset fetch.fsckobjects
143 '
144
145 test_expect_success 'clone shallow' '
146         git clone --no-single-branch --depth 2 "file://$(pwd)/." shallow
147 '
148
149 test_expect_success 'clone shallow depth count' '
150         test "`git --git-dir=shallow/.git rev-list --count HEAD`" = 2
151 '
152
153 test_expect_success 'clone shallow object count' '
154         (
155                 cd shallow &&
156                 git count-objects -v
157         ) > count.shallow &&
158         grep "^in-pack: 12" count.shallow
159 '
160
161 test_expect_success 'clone shallow object count (part 2)' '
162         sed -e "/^in-pack:/d" -e "/^packs:/d" -e "/^size-pack:/d" \
163             -e "/: 0$/d" count.shallow > count_output &&
164         ! test -s count_output
165 '
166
167 test_expect_success 'fsck in shallow repo' '
168         (
169                 cd shallow &&
170                 git fsck --full
171         )
172 '
173
174 test_expect_success 'simple fetch in shallow repo' '
175         (
176                 cd shallow &&
177                 git fetch
178         )
179 '
180
181 test_expect_success 'no changes expected' '
182         (
183                 cd shallow &&
184                 git count-objects -v
185         ) > count.shallow.2 &&
186         cmp count.shallow count.shallow.2
187 '
188
189 test_expect_success 'fetch same depth in shallow repo' '
190         (
191                 cd shallow &&
192                 git fetch --depth=2
193         )
194 '
195
196 test_expect_success 'no changes expected' '
197         (
198                 cd shallow &&
199                 git count-objects -v
200         ) > count.shallow.3 &&
201         cmp count.shallow count.shallow.3
202 '
203
204 test_expect_success 'add two more' '
205         add B66 $B65 &&
206         add B67 $B66
207 '
208
209 test_expect_success 'pull in shallow repo' '
210         (
211                 cd shallow &&
212                 git pull .. B
213         )
214 '
215
216 test_expect_success 'clone shallow object count' '
217         (
218                 cd shallow &&
219                 git count-objects -v
220         ) > count.shallow &&
221         grep "^count: 6" count.shallow
222 '
223
224 test_expect_success 'add two more (part 2)' '
225         add B68 $B67 &&
226         add B69 $B68
227 '
228
229 test_expect_success 'deepening pull in shallow repo' '
230         (
231                 cd shallow &&
232                 git pull --depth 4 .. B
233         )
234 '
235
236 test_expect_success 'clone shallow object count' '
237         (
238                 cd shallow &&
239                 git count-objects -v
240         ) > count.shallow &&
241         grep "^count: 12" count.shallow
242 '
243
244 test_expect_success 'deepening fetch in shallow repo' '
245         (
246                 cd shallow &&
247                 git fetch --depth 4 .. A:A
248         )
249 '
250
251 test_expect_success 'clone shallow object count' '
252         (
253                 cd shallow &&
254                 git count-objects -v
255         ) > count.shallow &&
256         grep "^count: 18" count.shallow
257 '
258
259 test_expect_success 'pull in shallow repo with missing merge base' '
260         (
261                 cd shallow &&
262                 test_must_fail git pull --depth 4 .. A
263         )
264 '
265
266 test_expect_success 'additional simple shallow deepenings' '
267         (
268                 cd shallow &&
269                 git fetch --depth=8 &&
270                 git fetch --depth=10 &&
271                 git fetch --depth=11
272         )
273 '
274
275 test_expect_success 'clone shallow depth count' '
276         test "`git --git-dir=shallow/.git rev-list --count HEAD`" = 11
277 '
278
279 test_expect_success 'clone shallow object count' '
280         (
281                 cd shallow &&
282                 git count-objects -v
283         ) > count.shallow &&
284         grep "^count: 55" count.shallow
285 '
286
287 test_expect_success 'fetch --no-shallow on full repo' '
288         test_must_fail git fetch --noshallow
289 '
290
291 test_expect_success 'fetch --depth --no-shallow' '
292         (
293                 cd shallow &&
294                 test_must_fail git fetch --depth=1 --noshallow
295         )
296 '
297
298 test_expect_success 'turn shallow to complete repository' '
299         (
300                 cd shallow &&
301                 git fetch --unshallow &&
302                 ! test -f .git/shallow &&
303                 git fsck --full
304         )
305 '
306
307 test_expect_success 'clone shallow without --no-single-branch' '
308         git clone --depth 1 "file://$(pwd)/." shallow2
309 '
310
311 test_expect_success 'clone shallow object count' '
312         (
313                 cd shallow2 &&
314                 git count-objects -v
315         ) > count.shallow2 &&
316         grep "^in-pack: 3" count.shallow2
317 '
318
319 test_expect_success 'clone shallow with --branch' '
320         git clone --depth 1 --branch A "file://$(pwd)/." shallow3
321 '
322
323 test_expect_success 'clone shallow object count' '
324         echo "in-pack: 3" > count3.expected &&
325         GIT_DIR=shallow3/.git git count-objects -v |
326                 grep "^in-pack" > count3.actual &&
327         test_cmp count3.expected count3.actual
328 '
329
330 test_expect_success 'clone shallow with detached HEAD' '
331         git checkout HEAD^ &&
332         git clone --depth 1 "file://$(pwd)/." shallow5 &&
333         git checkout - &&
334         GIT_DIR=shallow5/.git git rev-parse HEAD >actual &&
335         git rev-parse HEAD^ >expected &&
336         test_cmp expected actual
337 '
338
339 test_expect_success 'shallow clone pulling tags' '
340         git tag -a -m A TAGA1 A &&
341         git tag -a -m B TAGB1 B &&
342         git tag TAGA2 A &&
343         git tag TAGB2 B &&
344         git clone --depth 1 "file://$(pwd)/." shallow6 &&
345
346         cat >taglist.expected <<\EOF &&
347 TAGB1
348 TAGB2
349 EOF
350         GIT_DIR=shallow6/.git git tag -l >taglist.actual &&
351         test_cmp taglist.expected taglist.actual &&
352
353         echo "in-pack: 4" > count6.expected &&
354         GIT_DIR=shallow6/.git git count-objects -v |
355                 grep "^in-pack" > count6.actual &&
356         test_cmp count6.expected count6.actual
357 '
358
359 test_expect_success 'shallow cloning single tag' '
360         git clone --depth 1 --branch=TAGB1 "file://$(pwd)/." shallow7 &&
361         cat >taglist.expected <<\EOF &&
362 TAGB1
363 TAGB2
364 EOF
365         GIT_DIR=shallow7/.git git tag -l >taglist.actual &&
366         test_cmp taglist.expected taglist.actual &&
367
368         echo "in-pack: 4" > count7.expected &&
369         GIT_DIR=shallow7/.git git count-objects -v |
370                 grep "^in-pack" > count7.actual &&
371         test_cmp count7.expected count7.actual
372 '
373
374 test_expect_success 'clone shallow with packed refs' '
375         git pack-refs --all &&
376         git clone --depth 1 --branch A "file://$(pwd)/." shallow8 &&
377         echo "in-pack: 4" > count8.expected &&
378         GIT_DIR=shallow8/.git git count-objects -v |
379                 grep "^in-pack" > count8.actual &&
380         test_cmp count8.expected count8.actual
381 '
382
383 test_expect_success 'fetch in shallow repo unreachable shallow objects' '
384         (
385                 git clone --bare --branch B --single-branch "file://$(pwd)/." no-reflog &&
386                 git clone --depth 1 "file://$(pwd)/no-reflog" shallow9 &&
387                 cd no-reflog &&
388                 git tag -d TAGB1 TAGB2 &&
389                 git update-ref refs/heads/B B~~ &&
390                 git gc --prune=now &&
391                 cd ../shallow9 &&
392                 git fetch origin &&
393                 git fsck --no-dangling
394         )
395 '
396
397 test_expect_success 'setup tests for the --stdin parameter' '
398         for head in C D E F
399         do
400                 add $head
401         done &&
402         for head in A B C D E F
403         do
404                 git tag $head $head
405         done &&
406         cat >input <<-\EOF
407         refs/heads/C
408         refs/heads/A
409         refs/heads/D
410         refs/tags/C
411         refs/heads/B
412         refs/tags/A
413         refs/heads/E
414         refs/tags/B
415         refs/tags/E
416         refs/tags/D
417         EOF
418         sort <input >expect &&
419         (
420                 echo refs/heads/E &&
421                 echo refs/tags/E &&
422                 cat input
423         ) >input.dup
424 '
425
426 test_expect_success 'fetch refs from cmdline' '
427         (
428                 cd client &&
429                 git fetch-pack --no-progress .. $(cat ../input)
430         ) >output &&
431         cut -d " " -f 2 <output | sort >actual &&
432         test_cmp expect actual
433 '
434
435 test_expect_success 'fetch refs from stdin' '
436         (
437                 cd client &&
438                 git fetch-pack --stdin --no-progress .. <../input
439         ) >output &&
440         cut -d " " -f 2 <output | sort >actual &&
441         test_cmp expect actual
442 '
443
444 test_expect_success 'fetch mixed refs from cmdline and stdin' '
445         (
446                 cd client &&
447                 tail -n +5 ../input |
448                 git fetch-pack --stdin --no-progress .. $(head -n 4 ../input)
449         ) >output &&
450         cut -d " " -f 2 <output | sort >actual &&
451         test_cmp expect actual
452 '
453
454 test_expect_success 'test duplicate refs from stdin' '
455         (
456         cd client &&
457         git fetch-pack --stdin --no-progress .. <../input.dup
458         ) >output &&
459         cut -d " " -f 2 <output | sort >actual &&
460         test_cmp expect actual
461 '
462
463 test_expect_success 'set up tests of missing reference' '
464         cat >expect-error <<-\EOF
465         error: no such remote ref refs/heads/xyzzy
466         EOF
467 '
468
469 test_expect_success 'test lonely missing ref' '
470         (
471                 cd client &&
472                 test_must_fail git fetch-pack --no-progress .. refs/heads/xyzzy
473         ) >/dev/null 2>error-m &&
474         test_cmp expect-error error-m
475 '
476
477 test_expect_success 'test missing ref after existing' '
478         (
479                 cd client &&
480                 test_must_fail git fetch-pack --no-progress .. refs/heads/A refs/heads/xyzzy
481         ) >/dev/null 2>error-em &&
482         test_cmp expect-error error-em
483 '
484
485 test_expect_success 'test missing ref before existing' '
486         (
487                 cd client &&
488                 test_must_fail git fetch-pack --no-progress .. refs/heads/xyzzy refs/heads/A
489         ) >/dev/null 2>error-me &&
490         test_cmp expect-error error-me
491 '
492
493 test_expect_success 'test --all, --depth, and explicit head' '
494         (
495                 cd client &&
496                 git fetch-pack --no-progress --all --depth=1 .. refs/heads/A
497         ) >out-adh 2>error-adh
498 '
499
500 test_expect_success 'test --all, --depth, and explicit tag' '
501         git tag OLDTAG refs/heads/B~5 &&
502         (
503                 cd client &&
504                 git fetch-pack --no-progress --all --depth=1 .. refs/tags/OLDTAG
505         ) >out-adt 2>error-adt
506 '
507
508 test_expect_success 'shallow fetch with tags does not break the repository' '
509         mkdir repo1 &&
510         (
511                 cd repo1 &&
512                 git init &&
513                 test_commit 1 &&
514                 test_commit 2 &&
515                 test_commit 3 &&
516                 mkdir repo2 &&
517                 cd repo2 &&
518                 git init &&
519                 git fetch --depth=2 ../.git master:branch &&
520                 git fsck
521         )
522 '
523
524 test_done