Merge branch 'sb/submodule-parallel-update' into maint
[git] / t / t5500-fetch-pack.sh
1 #!/bin/sh
2 #
3 # Copyright (c) 2005 Johannes Schindelin
4 #
5
6 test_description='Testing multi_ack pack fetching'
7
8 . ./test-lib.sh
9
10 # Test fetch-pack/upload-pack pair.
11
12 # Some convenience functions
13
14 add () {
15         name=$1 &&
16         text="$@" &&
17         branch=$(echo $name | sed -e 's/^\(.\).*$/\1/') &&
18         parents="" &&
19
20         shift &&
21         while test $1; do
22                 parents="$parents -p $1" &&
23                 shift
24         done &&
25
26         echo "$text" > test.txt &&
27         git update-index --add test.txt &&
28         tree=$(git write-tree) &&
29         # make sure timestamps are in correct order
30         test_tick &&
31         commit=$(echo "$text" | git commit-tree $tree $parents) &&
32         eval "$name=$commit; export $name" &&
33         echo $commit > .git/refs/heads/$branch &&
34         eval ${branch}TIP=$commit
35 }
36
37 pull_to_client () {
38         number=$1 &&
39         heads=$2 &&
40         count=$3 &&
41         test_expect_success "$number pull" '
42                 (
43                         cd client &&
44                         git fetch-pack -k -v .. $heads &&
45
46                         case "$heads" in
47                             *A*)
48                                     echo $ATIP > .git/refs/heads/A;;
49                         esac &&
50                         case "$heads" in *B*)
51                             echo $BTIP > .git/refs/heads/B;;
52                         esac &&
53                         git symbolic-ref HEAD refs/heads/$(echo $heads \
54                                 | sed -e "s/^\(.\).*$/\1/") &&
55
56                         git fsck --full &&
57
58                         mv .git/objects/pack/pack-* . &&
59                         p=$(ls -1 pack-*.pack) &&
60                         git unpack-objects <$p &&
61                         git fsck --full &&
62
63                         idx=$(echo pack-*.idx) &&
64                         pack_count=$(git show-index <$idx | wc -l) &&
65                         test $pack_count = $count &&
66                         rm -f pack-*
67                 )
68         '
69 }
70
71 # Here begins the actual testing
72
73 # A1 - ... - A20 - A21
74 #    \
75 #      B1  -   B2 - .. - B70
76
77 # client pulls A20, B1. Then tracks only B. Then pulls A.
78
79 test_expect_success 'setup' '
80         mkdir client &&
81         (
82                 cd client &&
83                 git init &&
84                 git config transfer.unpacklimit 0
85         ) &&
86         add A1 &&
87         prev=1 &&
88         cur=2 &&
89         while [ $cur -le 10 ]; do
90                 add A$cur $(eval echo \$A$prev) &&
91                 prev=$cur &&
92                 cur=$(($cur+1))
93         done &&
94         add B1 $A1 &&
95         echo $ATIP > .git/refs/heads/A &&
96         echo $BTIP > .git/refs/heads/B &&
97         git symbolic-ref HEAD refs/heads/B
98 '
99
100 pull_to_client 1st "refs/heads/B refs/heads/A" $((11*3))
101
102 test_expect_success 'post 1st pull setup' '
103         add A11 $A10 &&
104         prev=1 &&
105         cur=2 &&
106         while [ $cur -le 65 ]; do
107                 add B$cur $(eval echo \$B$prev) &&
108                 prev=$cur &&
109                 cur=$(($cur+1))
110         done
111 '
112
113 pull_to_client 2nd "refs/heads/B" $((64*3))
114
115 pull_to_client 3rd "refs/heads/A" $((1*3))
116
117 test_expect_success 'single branch clone' '
118         git clone --single-branch "file://$(pwd)/." singlebranch
119 '
120
121 test_expect_success 'single branch object count' '
122         GIT_DIR=singlebranch/.git git count-objects -v |
123                 grep "^in-pack:" > count.singlebranch &&
124         echo "in-pack: 198" >expected &&
125         test_cmp expected count.singlebranch
126 '
127
128 test_expect_success 'single given branch clone' '
129         git clone --single-branch --branch A "file://$(pwd)/." branch-a &&
130         test_must_fail git --git-dir=branch-a/.git rev-parse origin/B
131 '
132
133 test_expect_success 'clone shallow depth 1' '
134         git clone --no-single-branch --depth 1 "file://$(pwd)/." shallow0 &&
135         test "$(git --git-dir=shallow0/.git rev-list --count HEAD)" = 1
136 '
137
138 test_expect_success 'clone shallow depth 1 with fsck' '
139         git config --global fetch.fsckobjects true &&
140         git clone --no-single-branch --depth 1 "file://$(pwd)/." shallow0fsck &&
141         test "$(git --git-dir=shallow0fsck/.git rev-list --count HEAD)" = 1 &&
142         git config --global --unset fetch.fsckobjects
143 '
144
145 test_expect_success 'clone shallow' '
146         git clone --no-single-branch --depth 2 "file://$(pwd)/." shallow
147 '
148
149 test_expect_success 'clone shallow depth count' '
150         test "$(git --git-dir=shallow/.git rev-list --count HEAD)" = 2
151 '
152
153 test_expect_success 'clone shallow object count' '
154         (
155                 cd shallow &&
156                 git count-objects -v
157         ) > count.shallow &&
158         grep "^in-pack: 12" count.shallow
159 '
160
161 test_expect_success 'clone shallow object count (part 2)' '
162         sed -e "/^in-pack:/d" -e "/^packs:/d" -e "/^size-pack:/d" \
163             -e "/: 0$/d" count.shallow > count_output &&
164         ! test -s count_output
165 '
166
167 test_expect_success 'fsck in shallow repo' '
168         (
169                 cd shallow &&
170                 git fsck --full
171         )
172 '
173
174 test_expect_success 'simple fetch in shallow repo' '
175         (
176                 cd shallow &&
177                 git fetch
178         )
179 '
180
181 test_expect_success 'no changes expected' '
182         (
183                 cd shallow &&
184                 git count-objects -v
185         ) > count.shallow.2 &&
186         cmp count.shallow count.shallow.2
187 '
188
189 test_expect_success 'fetch same depth in shallow repo' '
190         (
191                 cd shallow &&
192                 git fetch --depth=2
193         )
194 '
195
196 test_expect_success 'no changes expected' '
197         (
198                 cd shallow &&
199                 git count-objects -v
200         ) > count.shallow.3 &&
201         cmp count.shallow count.shallow.3
202 '
203
204 test_expect_success 'add two more' '
205         add B66 $B65 &&
206         add B67 $B66
207 '
208
209 test_expect_success 'pull in shallow repo' '
210         (
211                 cd shallow &&
212                 git pull .. B
213         )
214 '
215
216 test_expect_success 'clone shallow object count' '
217         (
218                 cd shallow &&
219                 git count-objects -v
220         ) > count.shallow &&
221         grep "^count: 6" count.shallow
222 '
223
224 test_expect_success 'add two more (part 2)' '
225         add B68 $B67 &&
226         add B69 $B68
227 '
228
229 test_expect_success 'deepening pull in shallow repo' '
230         (
231                 cd shallow &&
232                 git pull --depth 4 .. B
233         )
234 '
235
236 test_expect_success 'clone shallow object count' '
237         (
238                 cd shallow &&
239                 git count-objects -v
240         ) > count.shallow &&
241         grep "^count: 12" count.shallow
242 '
243
244 test_expect_success 'deepening fetch in shallow repo' '
245         (
246                 cd shallow &&
247                 git fetch --depth 4 .. A:A
248         )
249 '
250
251 test_expect_success 'clone shallow object count' '
252         (
253                 cd shallow &&
254                 git count-objects -v
255         ) > count.shallow &&
256         grep "^count: 18" count.shallow
257 '
258
259 test_expect_success 'pull in shallow repo with missing merge base' '
260         (
261                 cd shallow &&
262                 git fetch --depth 4 .. A
263                 test_must_fail git merge --allow-unrelated-histories FETCH_HEAD
264         )
265 '
266
267 test_expect_success 'additional simple shallow deepenings' '
268         (
269                 cd shallow &&
270                 git fetch --depth=8 &&
271                 git fetch --depth=10 &&
272                 git fetch --depth=11
273         )
274 '
275
276 test_expect_success 'clone shallow depth count' '
277         test "$(git --git-dir=shallow/.git rev-list --count HEAD)" = 11
278 '
279
280 test_expect_success 'clone shallow object count' '
281         (
282                 cd shallow &&
283                 git prune &&
284                 git count-objects -v
285         ) > count.shallow &&
286         grep "^count: 54" count.shallow
287 '
288
289 test_expect_success 'fetch --no-shallow on full repo' '
290         test_must_fail git fetch --noshallow
291 '
292
293 test_expect_success 'fetch --depth --no-shallow' '
294         (
295                 cd shallow &&
296                 test_must_fail git fetch --depth=1 --noshallow
297         )
298 '
299
300 test_expect_success 'turn shallow to complete repository' '
301         (
302                 cd shallow &&
303                 git fetch --unshallow &&
304                 ! test -f .git/shallow &&
305                 git fsck --full
306         )
307 '
308
309 test_expect_success 'clone shallow without --no-single-branch' '
310         git clone --depth 1 "file://$(pwd)/." shallow2
311 '
312
313 test_expect_success 'clone shallow object count' '
314         (
315                 cd shallow2 &&
316                 git count-objects -v
317         ) > count.shallow2 &&
318         grep "^in-pack: 3" count.shallow2
319 '
320
321 test_expect_success 'clone shallow with --branch' '
322         git clone --depth 1 --branch A "file://$(pwd)/." shallow3
323 '
324
325 test_expect_success 'clone shallow object count' '
326         echo "in-pack: 3" > count3.expected &&
327         GIT_DIR=shallow3/.git git count-objects -v |
328                 grep "^in-pack" > count3.actual &&
329         test_cmp count3.expected count3.actual
330 '
331
332 test_expect_success 'clone shallow with detached HEAD' '
333         git checkout HEAD^ &&
334         git clone --depth 1 "file://$(pwd)/." shallow5 &&
335         git checkout - &&
336         GIT_DIR=shallow5/.git git rev-parse HEAD >actual &&
337         git rev-parse HEAD^ >expected &&
338         test_cmp expected actual
339 '
340
341 test_expect_success 'shallow clone pulling tags' '
342         git tag -a -m A TAGA1 A &&
343         git tag -a -m B TAGB1 B &&
344         git tag TAGA2 A &&
345         git tag TAGB2 B &&
346         git clone --depth 1 "file://$(pwd)/." shallow6 &&
347
348         cat >taglist.expected <<\EOF &&
349 TAGB1
350 TAGB2
351 EOF
352         GIT_DIR=shallow6/.git git tag -l >taglist.actual &&
353         test_cmp taglist.expected taglist.actual &&
354
355         echo "in-pack: 4" > count6.expected &&
356         GIT_DIR=shallow6/.git git count-objects -v |
357                 grep "^in-pack" > count6.actual &&
358         test_cmp count6.expected count6.actual
359 '
360
361 test_expect_success 'shallow cloning single tag' '
362         git clone --depth 1 --branch=TAGB1 "file://$(pwd)/." shallow7 &&
363         cat >taglist.expected <<\EOF &&
364 TAGB1
365 TAGB2
366 EOF
367         GIT_DIR=shallow7/.git git tag -l >taglist.actual &&
368         test_cmp taglist.expected taglist.actual &&
369
370         echo "in-pack: 4" > count7.expected &&
371         GIT_DIR=shallow7/.git git count-objects -v |
372                 grep "^in-pack" > count7.actual &&
373         test_cmp count7.expected count7.actual
374 '
375
376 test_expect_success 'clone shallow with packed refs' '
377         git pack-refs --all &&
378         git clone --depth 1 --branch A "file://$(pwd)/." shallow8 &&
379         echo "in-pack: 4" > count8.expected &&
380         GIT_DIR=shallow8/.git git count-objects -v |
381                 grep "^in-pack" > count8.actual &&
382         test_cmp count8.expected count8.actual
383 '
384
385 test_expect_success 'fetch in shallow repo unreachable shallow objects' '
386         (
387                 git clone --bare --branch B --single-branch "file://$(pwd)/." no-reflog &&
388                 git clone --depth 1 "file://$(pwd)/no-reflog" shallow9 &&
389                 cd no-reflog &&
390                 git tag -d TAGB1 TAGB2 &&
391                 git update-ref refs/heads/B B~~ &&
392                 git gc --prune=now &&
393                 cd ../shallow9 &&
394                 git fetch origin &&
395                 git fsck --no-dangling
396         )
397 '
398 test_expect_success 'fetch creating new shallow root' '
399         (
400                 git clone "file://$(pwd)/." shallow10 &&
401                 git commit --allow-empty -m empty &&
402                 cd shallow10 &&
403                 git fetch --depth=1 --progress 2>actual &&
404                 # This should fetch only the empty commit, no tree or
405                 # blob objects
406                 grep "remote: Total 1" actual
407         )
408 '
409
410 test_expect_success 'setup tests for the --stdin parameter' '
411         for head in C D E F
412         do
413                 add $head
414         done &&
415         for head in A B C D E F
416         do
417                 git tag $head $head
418         done &&
419         cat >input <<-\EOF &&
420         refs/heads/C
421         refs/heads/A
422         refs/heads/D
423         refs/tags/C
424         refs/heads/B
425         refs/tags/A
426         refs/heads/E
427         refs/tags/B
428         refs/tags/E
429         refs/tags/D
430         EOF
431         sort <input >expect &&
432         (
433                 echo refs/heads/E &&
434                 echo refs/tags/E &&
435                 cat input
436         ) >input.dup
437 '
438
439 test_expect_success 'fetch refs from cmdline' '
440         (
441                 cd client &&
442                 git fetch-pack --no-progress .. $(cat ../input)
443         ) >output &&
444         cut -d " " -f 2 <output | sort >actual &&
445         test_cmp expect actual
446 '
447
448 test_expect_success 'fetch refs from stdin' '
449         (
450                 cd client &&
451                 git fetch-pack --stdin --no-progress .. <../input
452         ) >output &&
453         cut -d " " -f 2 <output | sort >actual &&
454         test_cmp expect actual
455 '
456
457 test_expect_success 'fetch mixed refs from cmdline and stdin' '
458         (
459                 cd client &&
460                 tail -n +5 ../input |
461                 git fetch-pack --stdin --no-progress .. $(head -n 4 ../input)
462         ) >output &&
463         cut -d " " -f 2 <output | sort >actual &&
464         test_cmp expect actual
465 '
466
467 test_expect_success 'test duplicate refs from stdin' '
468         (
469         cd client &&
470         git fetch-pack --stdin --no-progress .. <../input.dup
471         ) >output &&
472         cut -d " " -f 2 <output | sort >actual &&
473         test_cmp expect actual
474 '
475
476 test_expect_success 'set up tests of missing reference' '
477         cat >expect-error <<-\EOF
478         error: no such remote ref refs/heads/xyzzy
479         EOF
480 '
481
482 test_expect_success 'test lonely missing ref' '
483         (
484                 cd client &&
485                 test_must_fail git fetch-pack --no-progress .. refs/heads/xyzzy
486         ) >/dev/null 2>error-m &&
487         test_i18ncmp expect-error error-m
488 '
489
490 test_expect_success 'test missing ref after existing' '
491         (
492                 cd client &&
493                 test_must_fail git fetch-pack --no-progress .. refs/heads/A refs/heads/xyzzy
494         ) >/dev/null 2>error-em &&
495         test_i18ncmp expect-error error-em
496 '
497
498 test_expect_success 'test missing ref before existing' '
499         (
500                 cd client &&
501                 test_must_fail git fetch-pack --no-progress .. refs/heads/xyzzy refs/heads/A
502         ) >/dev/null 2>error-me &&
503         test_i18ncmp expect-error error-me
504 '
505
506 test_expect_success 'test --all, --depth, and explicit head' '
507         (
508                 cd client &&
509                 git fetch-pack --no-progress --all --depth=1 .. refs/heads/A
510         ) >out-adh 2>error-adh
511 '
512
513 test_expect_success 'test --all, --depth, and explicit tag' '
514         git tag OLDTAG refs/heads/B~5 &&
515         (
516                 cd client &&
517                 git fetch-pack --no-progress --all --depth=1 .. refs/tags/OLDTAG
518         ) >out-adt 2>error-adt
519 '
520
521 test_expect_success 'shallow fetch with tags does not break the repository' '
522         mkdir repo1 &&
523         (
524                 cd repo1 &&
525                 git init &&
526                 test_commit 1 &&
527                 test_commit 2 &&
528                 test_commit 3 &&
529                 mkdir repo2 &&
530                 cd repo2 &&
531                 git init &&
532                 git fetch --depth=2 ../.git master:branch &&
533                 git fsck
534         )
535 '
536
537 test_expect_success 'fetch-pack can fetch a raw sha1' '
538         git init hidden &&
539         (
540                 cd hidden &&
541                 test_commit 1 &&
542                 test_commit 2 &&
543                 git update-ref refs/hidden/one HEAD^ &&
544                 git config transfer.hiderefs refs/hidden &&
545                 git config uploadpack.allowtipsha1inwant true
546         ) &&
547         git fetch-pack hidden $(git -C hidden rev-parse refs/hidden/one)
548 '
549
550 test_expect_success 'fetch-pack can fetch a raw sha1 that is advertised as a ref' '
551         rm -rf server client &&
552         git init server &&
553         test_commit -C server 1 &&
554
555         git init client &&
556         git -C client fetch-pack ../server \
557                 $(git -C server rev-parse refs/heads/master)
558 '
559
560 test_expect_success 'fetch-pack can fetch a raw sha1 overlapping a named ref' '
561         rm -rf server client &&
562         git init server &&
563         test_commit -C server 1 &&
564         test_commit -C server 2 &&
565
566         git init client &&
567         git -C client fetch-pack ../server \
568                 $(git -C server rev-parse refs/tags/1) refs/tags/1
569 '
570
571 test_expect_success 'fetch-pack cannot fetch a raw sha1 that is not advertised as a ref' '
572         rm -rf server &&
573
574         git init server &&
575         test_commit -C server 5 &&
576         git -C server tag -d 5 &&
577         test_commit -C server 6 &&
578
579         git init client &&
580         test_must_fail git -C client fetch-pack ../server \
581                 $(git -C server rev-parse refs/heads/master^) 2>err &&
582         test_i18ngrep "Server does not allow request for unadvertised object" err
583 '
584
585 check_prot_path () {
586         cat >expected <<-EOF &&
587         Diag: url=$1
588         Diag: protocol=$2
589         Diag: path=$3
590         EOF
591         git fetch-pack --diag-url "$1" | grep -v hostandport= >actual &&
592         test_cmp expected actual
593 }
594
595 check_prot_host_port_path () {
596         case "$2" in
597                 *ssh*)
598                 pp=ssh
599                 uah=userandhost
600                 ehost=$(echo $3 | tr -d "[]")
601                 diagport="Diag: port=$4"
602                 ;;
603                 *)
604                 pp=$p
605                 uah=hostandport
606                 ehost=$(echo $3$4 | sed -e "s/22$/:22/" -e "s/NONE//")
607                 diagport=""
608                 ;;
609         esac
610         cat >exp <<-EOF &&
611         Diag: url=$1
612         Diag: protocol=$pp
613         Diag: $uah=$ehost
614         $diagport
615         Diag: path=$5
616         EOF
617         grep -v "^$" exp >expected
618         git fetch-pack --diag-url "$1" >actual &&
619         test_cmp expected actual
620 }
621
622 for r in repo re:po re/po
623 do
624         # git or ssh with scheme
625         for p in "ssh+git" "git+ssh" git ssh
626         do
627                 for h in host user@host user@[::1] user@::1
628                 do
629                         for c in "" :
630                         do
631                                 test_expect_success "fetch-pack --diag-url $p://$h$c/$r" '
632                                         check_prot_host_port_path $p://$h/$r $p "$h" NONE "/$r"
633                                 '
634                                 # "/~" -> "~" conversion
635                                 test_expect_success "fetch-pack --diag-url $p://$h$c/~$r" '
636                                         check_prot_host_port_path $p://$h/~$r $p "$h" NONE "~$r"
637                                 '
638                         done
639                 done
640                 for h in host User@host User@[::1]
641                 do
642                         test_expect_success "fetch-pack --diag-url $p://$h:22/$r" '
643                                 check_prot_host_port_path $p://$h:22/$r $p "$h" 22 "/$r"
644                         '
645                 done
646         done
647         # file with scheme
648         for p in file
649         do
650                 test_expect_success "fetch-pack --diag-url $p://$h/$r" '
651                         check_prot_path $p://$h/$r $p "/$r"
652                 '
653                 # No "/~" -> "~" conversion for file
654                 test_expect_success "fetch-pack --diag-url $p://$h/~$r" '
655                         check_prot_path $p://$h/~$r $p "/~$r"
656                 '
657         done
658         # file without scheme
659         for h in nohost nohost:12 [::1] [::1]:23 [ [:aa
660         do
661                 test_expect_success "fetch-pack --diag-url ./$h:$r" '
662                         check_prot_path ./$h:$r $p "./$h:$r"
663                 '
664                 # No "/~" -> "~" conversion for file
665                 test_expect_success "fetch-pack --diag-url ./$p:$h/~$r" '
666                 check_prot_path ./$p:$h/~$r $p "./$p:$h/~$r"
667                 '
668         done
669         #ssh without scheme
670         p=ssh
671         for h in host [::1]
672         do
673                 test_expect_success "fetch-pack --diag-url $h:$r" '
674                         check_prot_host_port_path $h:$r $p "$h" NONE "$r"
675                 '
676                 # Do "/~" -> "~" conversion
677                 test_expect_success "fetch-pack --diag-url $h:/~$r" '
678                         check_prot_host_port_path $h:/~$r $p "$h" NONE "~$r"
679                 '
680         done
681 done
682
683 test_expect_success MINGW 'fetch-pack --diag-url file://c:/repo' '
684         check_prot_path file://c:/repo file c:/repo
685 '
686 test_expect_success MINGW 'fetch-pack --diag-url c:repo' '
687         check_prot_path c:repo file c:repo
688 '
689
690 test_expect_success 'clone shallow since ...' '
691         test_create_repo shallow-since &&
692         (
693         cd shallow-since &&
694         GIT_COMMITTER_DATE="100000000 +0700" git commit --allow-empty -m one &&
695         GIT_COMMITTER_DATE="200000000 +0700" git commit --allow-empty -m two &&
696         GIT_COMMITTER_DATE="300000000 +0700" git commit --allow-empty -m three &&
697         git clone --shallow-since "300000000 +0700" "file://$(pwd)/." ../shallow11 &&
698         git -C ../shallow11 log --pretty=tformat:%s HEAD >actual &&
699         echo three >expected &&
700         test_cmp expected actual
701         )
702 '
703
704 test_expect_success 'fetch shallow since ...' '
705         git -C shallow11 fetch --shallow-since "200000000 +0700" origin &&
706         git -C shallow11 log --pretty=tformat:%s origin/master >actual &&
707         cat >expected <<-\EOF &&
708         three
709         two
710         EOF
711         test_cmp expected actual
712 '
713
714 test_expect_success 'shallow clone exclude tag two' '
715         test_create_repo shallow-exclude &&
716         (
717         cd shallow-exclude &&
718         test_commit one &&
719         test_commit two &&
720         test_commit three &&
721         git clone --shallow-exclude two "file://$(pwd)/." ../shallow12 &&
722         git -C ../shallow12 log --pretty=tformat:%s HEAD >actual &&
723         echo three >expected &&
724         test_cmp expected actual
725         )
726 '
727
728 test_expect_success 'fetch exclude tag one' '
729         git -C shallow12 fetch --shallow-exclude one origin &&
730         git -C shallow12 log --pretty=tformat:%s origin/master >actual &&
731         test_write_lines three two >expected &&
732         test_cmp expected actual
733 '
734
735 test_expect_success 'fetching deepen' '
736         test_create_repo shallow-deepen &&
737         (
738         cd shallow-deepen &&
739         test_commit one &&
740         test_commit two &&
741         test_commit three &&
742         git clone --depth 1 "file://$(pwd)/." deepen &&
743         test_commit four &&
744         git -C deepen log --pretty=tformat:%s master >actual &&
745         echo three >expected &&
746         test_cmp expected actual &&
747         git -C deepen fetch --deepen=1 &&
748         git -C deepen log --pretty=tformat:%s origin/master >actual &&
749         cat >expected <<-\EOF &&
750         four
751         three
752         two
753         EOF
754         test_cmp expected actual
755         )
756 '
757
758 test_done