Merge branch 'ew/fd-cloexec-fix' into maint
[git] / t / t5510-fetch.sh
1 #!/bin/sh
2 # Copyright (c) 2006, Junio C Hamano.
3
4 test_description='Per branch config variables affects "git fetch".
5
6 '
7
8 . ./test-lib.sh
9
10 D=$(pwd)
11
12 test_bundle_object_count () {
13         git verify-pack -v "$1" >verify.out &&
14         test "$2" = $(grep '^[0-9a-f]\{40\} ' verify.out | wc -l)
15 }
16
17 convert_bundle_to_pack () {
18         while read x && test -n "$x"
19         do
20                 :;
21         done
22         cat
23 }
24
25 test_expect_success setup '
26         echo >file original &&
27         git add file &&
28         git commit -a -m original'
29
30 test_expect_success "clone and setup child repos" '
31         git clone . one &&
32         (
33                 cd one &&
34                 echo >file updated by one &&
35                 git commit -a -m "updated by one"
36         ) &&
37         git clone . two &&
38         (
39                 cd two &&
40                 git config branch.master.remote one &&
41                 git config remote.one.url ../one/.git/ &&
42                 git config remote.one.fetch refs/heads/master:refs/heads/one
43         ) &&
44         git clone . three &&
45         (
46                 cd three &&
47                 git config branch.master.remote two &&
48                 git config branch.master.merge refs/heads/one &&
49                 mkdir -p .git/remotes &&
50                 {
51                         echo "URL: ../two/.git/"
52                         echo "Pull: refs/heads/master:refs/heads/two"
53                         echo "Pull: refs/heads/one:refs/heads/one"
54                 } >.git/remotes/two
55         ) &&
56         git clone . bundle &&
57         git clone . seven
58 '
59
60 test_expect_success "fetch test" '
61         cd "$D" &&
62         echo >file updated by origin &&
63         git commit -a -m "updated by origin" &&
64         cd two &&
65         git fetch &&
66         test -f .git/refs/heads/one &&
67         mine=$(git rev-parse refs/heads/one) &&
68         his=$(cd ../one && git rev-parse refs/heads/master) &&
69         test "z$mine" = "z$his"
70 '
71
72 test_expect_success "fetch test for-merge" '
73         cd "$D" &&
74         cd three &&
75         git fetch &&
76         test -f .git/refs/heads/two &&
77         test -f .git/refs/heads/one &&
78         master_in_two=$(cd ../two && git rev-parse master) &&
79         one_in_two=$(cd ../two && git rev-parse one) &&
80         {
81                 echo "$one_in_two       "
82                 echo "$master_in_two    not-for-merge"
83         } >expected &&
84         cut -f -2 .git/FETCH_HEAD >actual &&
85         test_cmp expected actual'
86
87 test_expect_success 'fetch --prune on its own works as expected' '
88         cd "$D" &&
89         git clone . prune &&
90         cd prune &&
91         git update-ref refs/remotes/origin/extrabranch master &&
92
93         git fetch --prune origin &&
94         test_must_fail git rev-parse origin/extrabranch
95 '
96
97 test_expect_success 'fetch --prune with a branch name keeps branches' '
98         cd "$D" &&
99         git clone . prune-branch &&
100         cd prune-branch &&
101         git update-ref refs/remotes/origin/extrabranch master &&
102
103         git fetch --prune origin master &&
104         git rev-parse origin/extrabranch
105 '
106
107 test_expect_success 'fetch --prune with a namespace keeps other namespaces' '
108         cd "$D" &&
109         git clone . prune-namespace &&
110         cd prune-namespace &&
111
112         git fetch --prune origin refs/heads/a/*:refs/remotes/origin/a/* &&
113         git rev-parse origin/master
114 '
115
116 test_expect_success 'fetch --prune handles overlapping refspecs' '
117         cd "$D" &&
118         git update-ref refs/pull/42/head master &&
119         git clone . prune-overlapping &&
120         cd prune-overlapping &&
121         git config --add remote.origin.fetch refs/pull/*/head:refs/remotes/origin/pr/* &&
122
123         git fetch --prune origin &&
124         git rev-parse origin/master &&
125         git rev-parse origin/pr/42 &&
126
127         git config --unset-all remote.origin.fetch &&
128         git config remote.origin.fetch refs/pull/*/head:refs/remotes/origin/pr/* &&
129         git config --add remote.origin.fetch refs/heads/*:refs/remotes/origin/* &&
130
131         git fetch --prune origin &&
132         git rev-parse origin/master &&
133         git rev-parse origin/pr/42
134 '
135
136 test_expect_success 'fetch --prune --tags prunes branches but not tags' '
137         cd "$D" &&
138         git clone . prune-tags &&
139         cd prune-tags &&
140         git tag sometag master &&
141         # Create what looks like a remote-tracking branch from an earlier
142         # fetch that has since been deleted from the remote:
143         git update-ref refs/remotes/origin/fake-remote master &&
144
145         git fetch --prune --tags origin &&
146         git rev-parse origin/master &&
147         test_must_fail git rev-parse origin/fake-remote &&
148         git rev-parse sometag
149 '
150
151 test_expect_success 'fetch --prune --tags with branch does not prune other things' '
152         cd "$D" &&
153         git clone . prune-tags-branch &&
154         cd prune-tags-branch &&
155         git tag sometag master &&
156         git update-ref refs/remotes/origin/extrabranch master &&
157
158         git fetch --prune --tags origin master &&
159         git rev-parse origin/extrabranch &&
160         git rev-parse sometag
161 '
162
163 test_expect_success 'fetch --prune --tags with refspec prunes based on refspec' '
164         cd "$D" &&
165         git clone . prune-tags-refspec &&
166         cd prune-tags-refspec &&
167         git tag sometag master &&
168         git update-ref refs/remotes/origin/foo/otherbranch master &&
169         git update-ref refs/remotes/origin/extrabranch master &&
170
171         git fetch --prune --tags origin refs/heads/foo/*:refs/remotes/origin/foo/* &&
172         test_must_fail git rev-parse refs/remotes/origin/foo/otherbranch &&
173         git rev-parse origin/extrabranch &&
174         git rev-parse sometag
175 '
176
177 test_expect_success 'fetch tags when there is no tags' '
178
179     cd "$D" &&
180
181     mkdir notags &&
182     cd notags &&
183     git init &&
184
185     git fetch -t ..
186
187 '
188
189 test_expect_success 'fetch following tags' '
190
191         cd "$D" &&
192         git tag -a -m 'annotated' anno HEAD &&
193         git tag light HEAD &&
194
195         mkdir four &&
196         cd four &&
197         git init &&
198
199         git fetch .. :track &&
200         git show-ref --verify refs/tags/anno &&
201         git show-ref --verify refs/tags/light
202
203 '
204
205 test_expect_success 'fetch uses remote ref names to describe new refs' '
206         cd "$D" &&
207         git init descriptive &&
208         (
209                 cd descriptive &&
210                 git config remote.o.url .. &&
211                 git config remote.o.fetch "refs/heads/*:refs/crazyheads/*" &&
212                 git config --add remote.o.fetch "refs/others/*:refs/heads/*" &&
213                 git fetch o
214         ) &&
215         git tag -a -m "Descriptive tag" descriptive-tag &&
216         git branch descriptive-branch &&
217         git checkout descriptive-branch &&
218         echo "Nuts" >crazy &&
219         git add crazy &&
220         git commit -a -m "descriptive commit" &&
221         git update-ref refs/others/crazy HEAD &&
222         (
223                 cd descriptive &&
224                 git fetch o 2>actual &&
225                 grep " -> refs/crazyheads/descriptive-branch$" actual |
226                 test_i18ngrep "new branch" &&
227                 grep " -> descriptive-tag$" actual |
228                 test_i18ngrep "new tag" &&
229                 grep " -> crazy$" actual |
230                 test_i18ngrep "new ref"
231         ) &&
232         git checkout master
233 '
234
235 test_expect_success 'fetch must not resolve short tag name' '
236
237         cd "$D" &&
238
239         mkdir five &&
240         cd five &&
241         git init &&
242
243         test_must_fail git fetch .. anno:five
244
245 '
246
247 test_expect_success 'fetch can now resolve short remote name' '
248
249         cd "$D" &&
250         git update-ref refs/remotes/six/HEAD HEAD &&
251
252         mkdir six &&
253         cd six &&
254         git init &&
255
256         git fetch .. six:six
257 '
258
259 test_expect_success 'create bundle 1' '
260         cd "$D" &&
261         echo >file updated again by origin &&
262         git commit -a -m "tip" &&
263         git bundle create bundle1 master^..master
264 '
265
266 test_expect_success 'header of bundle looks right' '
267         head -n 1 "$D"/bundle1 | grep "^#" &&
268         head -n 2 "$D"/bundle1 | grep "^-[0-9a-f]\{40\} " &&
269         head -n 3 "$D"/bundle1 | grep "^[0-9a-f]\{40\} " &&
270         head -n 4 "$D"/bundle1 | grep "^$"
271 '
272
273 test_expect_success 'create bundle 2' '
274         cd "$D" &&
275         git bundle create bundle2 master~2..master
276 '
277
278 test_expect_success 'unbundle 1' '
279         cd "$D/bundle" &&
280         git checkout -b some-branch &&
281         test_must_fail git fetch "$D/bundle1" master:master
282 '
283
284
285 test_expect_success 'bundle 1 has only 3 files ' '
286         cd "$D" &&
287         convert_bundle_to_pack <bundle1 >bundle.pack &&
288         git index-pack bundle.pack &&
289         test_bundle_object_count bundle.pack 3
290 '
291
292 test_expect_success 'unbundle 2' '
293         cd "$D/bundle" &&
294         git fetch ../bundle2 master:master &&
295         test "tip" = "$(git log -1 --pretty=oneline master | cut -b42-)"
296 '
297
298 test_expect_success 'bundle does not prerequisite objects' '
299         cd "$D" &&
300         touch file2 &&
301         git add file2 &&
302         git commit -m add.file2 file2 &&
303         git bundle create bundle3 -1 HEAD &&
304         convert_bundle_to_pack <bundle3 >bundle.pack &&
305         git index-pack bundle.pack &&
306         test_bundle_object_count bundle.pack 3
307 '
308
309 test_expect_success 'bundle should be able to create a full history' '
310
311         cd "$D" &&
312         git tag -a -m '1.0' v1.0 master &&
313         git bundle create bundle4 v1.0
314
315 '
316
317 test_expect_success 'fetch with a non-applying branch.<name>.merge' '
318         git config branch.master.remote yeti &&
319         git config branch.master.merge refs/heads/bigfoot &&
320         git config remote.blub.url one &&
321         git config remote.blub.fetch "refs/heads/*:refs/remotes/one/*" &&
322         git fetch blub
323 '
324
325 # URL supplied to fetch does not match the url of the configured branch's remote
326 test_expect_success 'fetch from GIT URL with a non-applying branch.<name>.merge [1]' '
327         one_head=$(cd one && git rev-parse HEAD) &&
328         this_head=$(git rev-parse HEAD) &&
329         git update-ref -d FETCH_HEAD &&
330         git fetch one &&
331         test $one_head = "$(git rev-parse --verify FETCH_HEAD)" &&
332         test $this_head = "$(git rev-parse --verify HEAD)"
333 '
334
335 # URL supplied to fetch matches the url of the configured branch's remote and
336 # the merge spec matches the branch the remote HEAD points to
337 test_expect_success 'fetch from GIT URL with a non-applying branch.<name>.merge [2]' '
338         one_ref=$(cd one && git symbolic-ref HEAD) &&
339         git config branch.master.remote blub &&
340         git config branch.master.merge "$one_ref" &&
341         git update-ref -d FETCH_HEAD &&
342         git fetch one &&
343         test $one_head = "$(git rev-parse --verify FETCH_HEAD)" &&
344         test $this_head = "$(git rev-parse --verify HEAD)"
345 '
346
347 # URL supplied to fetch matches the url of the configured branch's remote, but
348 # the merge spec does not match the branch the remote HEAD points to
349 test_expect_success 'fetch from GIT URL with a non-applying branch.<name>.merge [3]' '
350         git config branch.master.merge "${one_ref}_not" &&
351         git update-ref -d FETCH_HEAD &&
352         git fetch one &&
353         test $one_head = "$(git rev-parse --verify FETCH_HEAD)" &&
354         test $this_head = "$(git rev-parse --verify HEAD)"
355 '
356
357 # the strange name is: a\!'b
358 test_expect_success 'quoting of a strangely named repo' '
359         test_must_fail git fetch "a\\!'\''b" > result 2>&1 &&
360         cat result &&
361         grep "fatal: '\''a\\\\!'\''b'\''" result
362 '
363
364 test_expect_success 'bundle should record HEAD correctly' '
365
366         cd "$D" &&
367         git bundle create bundle5 HEAD master &&
368         git bundle list-heads bundle5 >actual &&
369         for h in HEAD refs/heads/master
370         do
371                 echo "$(git rev-parse --verify $h) $h"
372         done >expect &&
373         test_cmp expect actual
374
375 '
376
377 test_expect_success 'mark initial state of origin/master' '
378         (
379                 cd three &&
380                 git tag base-origin-master refs/remotes/origin/master
381         )
382 '
383
384 test_expect_success 'explicit fetch should update tracking' '
385
386         cd "$D" &&
387         git branch -f side &&
388         (
389                 cd three &&
390                 git update-ref refs/remotes/origin/master base-origin-master &&
391                 o=$(git rev-parse --verify refs/remotes/origin/master) &&
392                 git fetch origin master &&
393                 n=$(git rev-parse --verify refs/remotes/origin/master) &&
394                 test "$o" != "$n" &&
395                 test_must_fail git rev-parse --verify refs/remotes/origin/side
396         )
397 '
398
399 test_expect_success 'explicit pull should update tracking' '
400
401         cd "$D" &&
402         git branch -f side &&
403         (
404                 cd three &&
405                 git update-ref refs/remotes/origin/master base-origin-master &&
406                 o=$(git rev-parse --verify refs/remotes/origin/master) &&
407                 git pull origin master &&
408                 n=$(git rev-parse --verify refs/remotes/origin/master) &&
409                 test "$o" != "$n" &&
410                 test_must_fail git rev-parse --verify refs/remotes/origin/side
411         )
412 '
413
414 test_expect_success 'explicit --refmap is allowed only with command-line refspec' '
415         cd "$D" &&
416         (
417                 cd three &&
418                 test_must_fail git fetch --refmap="*:refs/remotes/none/*"
419         )
420 '
421
422 test_expect_success 'explicit --refmap option overrides remote.*.fetch' '
423         cd "$D" &&
424         git branch -f side &&
425         (
426                 cd three &&
427                 git update-ref refs/remotes/origin/master base-origin-master &&
428                 o=$(git rev-parse --verify refs/remotes/origin/master) &&
429                 git fetch --refmap="refs/heads/*:refs/remotes/other/*" origin master &&
430                 n=$(git rev-parse --verify refs/remotes/origin/master) &&
431                 test "$o" = "$n" &&
432                 test_must_fail git rev-parse --verify refs/remotes/origin/side &&
433                 git rev-parse --verify refs/remotes/other/master
434         )
435 '
436
437 test_expect_success 'explicitly empty --refmap option disables remote.*.fetch' '
438         cd "$D" &&
439         git branch -f side &&
440         (
441                 cd three &&
442                 git update-ref refs/remotes/origin/master base-origin-master &&
443                 o=$(git rev-parse --verify refs/remotes/origin/master) &&
444                 git fetch --refmap="" origin master &&
445                 n=$(git rev-parse --verify refs/remotes/origin/master) &&
446                 test "$o" = "$n" &&
447                 test_must_fail git rev-parse --verify refs/remotes/origin/side
448         )
449 '
450
451 test_expect_success 'configured fetch updates tracking' '
452
453         cd "$D" &&
454         git branch -f side &&
455         (
456                 cd three &&
457                 git update-ref refs/remotes/origin/master base-origin-master &&
458                 o=$(git rev-parse --verify refs/remotes/origin/master) &&
459                 git fetch origin &&
460                 n=$(git rev-parse --verify refs/remotes/origin/master) &&
461                 test "$o" != "$n" &&
462                 git rev-parse --verify refs/remotes/origin/side
463         )
464 '
465
466 test_expect_success 'non-matching refspecs do not confuse tracking update' '
467         cd "$D" &&
468         git update-ref refs/odd/location HEAD &&
469         (
470                 cd three &&
471                 git update-ref refs/remotes/origin/master base-origin-master &&
472                 git config --add remote.origin.fetch \
473                         refs/odd/location:refs/remotes/origin/odd &&
474                 o=$(git rev-parse --verify refs/remotes/origin/master) &&
475                 git fetch origin master &&
476                 n=$(git rev-parse --verify refs/remotes/origin/master) &&
477                 test "$o" != "$n" &&
478                 test_must_fail git rev-parse --verify refs/remotes/origin/odd
479         )
480 '
481
482 test_expect_success 'pushing nonexistent branch by mistake should not segv' '
483
484         cd "$D" &&
485         test_must_fail git push seven no:no
486
487 '
488
489 test_expect_success 'auto tag following fetches minimum' '
490
491         cd "$D" &&
492         git clone .git follow &&
493         git checkout HEAD^0 &&
494         (
495                 for i in 1 2 3 4 5 6 7
496                 do
497                         echo $i >>file &&
498                         git commit -m $i -a &&
499                         git tag -a -m $i excess-$i || exit 1
500                 done
501         ) &&
502         git checkout master &&
503         (
504                 cd follow &&
505                 git fetch
506         )
507 '
508
509 test_expect_success 'refuse to fetch into the current branch' '
510
511         test_must_fail git fetch . side:master
512
513 '
514
515 test_expect_success 'fetch into the current branch with --update-head-ok' '
516
517         git fetch --update-head-ok . side:master
518
519 '
520
521 test_expect_success 'fetch --dry-run' '
522
523         rm -f .git/FETCH_HEAD &&
524         git fetch --dry-run . &&
525         ! test -f .git/FETCH_HEAD
526 '
527
528 test_expect_success "should be able to fetch with duplicate refspecs" '
529         mkdir dups &&
530         (
531                 cd dups &&
532                 git init &&
533                 git config branch.master.remote three &&
534                 git config remote.three.url ../three/.git &&
535                 git config remote.three.fetch +refs/heads/*:refs/remotes/origin/* &&
536                 git config --add remote.three.fetch +refs/heads/*:refs/remotes/origin/* &&
537                 git fetch three
538         )
539 '
540
541 # configured prune tests
542
543 set_config_tristate () {
544         # var=$1 val=$2
545         case "$2" in
546         unset)  test_unconfig "$1" ;;
547         *)      git config "$1" "$2" ;;
548         esac
549 }
550
551 test_configured_prune () {
552         fetch_prune=$1 remote_origin_prune=$2 cmdline=$3 expected=$4
553
554         test_expect_success "prune fetch.prune=$1 remote.origin.prune=$2${3:+ $3}; $4" '
555                 # make sure a newbranch is there in . and also in one
556                 git branch -f newbranch &&
557                 (
558                         cd one &&
559                         test_unconfig fetch.prune &&
560                         test_unconfig remote.origin.prune &&
561                         git fetch &&
562                         git rev-parse --verify refs/remotes/origin/newbranch
563                 ) &&
564
565                 # now remove it
566                 git branch -d newbranch &&
567
568                 # then test
569                 (
570                         cd one &&
571                         set_config_tristate fetch.prune $fetch_prune &&
572                         set_config_tristate remote.origin.prune $remote_origin_prune &&
573
574                         git fetch $cmdline &&
575                         case "$expected" in
576                         pruned)
577                                 test_must_fail git rev-parse --verify refs/remotes/origin/newbranch
578                                 ;;
579                         kept)
580                                 git rev-parse --verify refs/remotes/origin/newbranch
581                                 ;;
582                         esac
583                 )
584         '
585 }
586
587 test_configured_prune unset unset ""            kept
588 test_configured_prune unset unset "--no-prune"  kept
589 test_configured_prune unset unset "--prune"     pruned
590
591 test_configured_prune false unset ""            kept
592 test_configured_prune false unset "--no-prune"  kept
593 test_configured_prune false unset "--prune"     pruned
594
595 test_configured_prune true  unset ""            pruned
596 test_configured_prune true  unset "--prune"     pruned
597 test_configured_prune true  unset "--no-prune"  kept
598
599 test_configured_prune unset false ""            kept
600 test_configured_prune unset false "--no-prune"  kept
601 test_configured_prune unset false "--prune"     pruned
602
603 test_configured_prune false false ""            kept
604 test_configured_prune false false "--no-prune"  kept
605 test_configured_prune false false "--prune"     pruned
606
607 test_configured_prune true  false ""            kept
608 test_configured_prune true  false "--prune"     pruned
609 test_configured_prune true  false "--no-prune"  kept
610
611 test_configured_prune unset true  ""            pruned
612 test_configured_prune unset true  "--no-prune"  kept
613 test_configured_prune unset true  "--prune"     pruned
614
615 test_configured_prune false true  ""            pruned
616 test_configured_prune false true  "--no-prune"  kept
617 test_configured_prune false true  "--prune"     pruned
618
619 test_configured_prune true  true  ""            pruned
620 test_configured_prune true  true  "--prune"     pruned
621 test_configured_prune true  true  "--no-prune"  kept
622
623 test_expect_success 'all boundary commits are excluded' '
624         test_commit base &&
625         test_commit oneside &&
626         git checkout HEAD^ &&
627         test_commit otherside &&
628         git checkout master &&
629         test_tick &&
630         git merge otherside &&
631         ad=$(git log --no-walk --format=%ad HEAD) &&
632         git bundle create twoside-boundary.bdl master --since="$ad" &&
633         convert_bundle_to_pack <twoside-boundary.bdl >twoside-boundary.pack &&
634         pack=$(git index-pack --fix-thin --stdin <twoside-boundary.pack) &&
635         test_bundle_object_count .git/objects/pack/pack-${pack##pack    }.pack 3
636 '
637
638 test_expect_success 'fetch --prune prints the remotes url' '
639         git branch goodbye &&
640         git clone . only-prunes &&
641         git branch -D goodbye &&
642         (
643                 cd only-prunes &&
644                 git fetch --prune origin 2>&1 | head -n1 >../actual
645         ) &&
646         echo "From ${D}/." >expect &&
647         test_i18ncmp expect actual
648 '
649
650 test_expect_success 'branchname D/F conflict resolved by --prune' '
651         git branch dir/file &&
652         git clone . prune-df-conflict &&
653         git branch -D dir/file &&
654         git branch dir &&
655         (
656                 cd prune-df-conflict &&
657                 git fetch --prune &&
658                 git rev-parse origin/dir >../actual
659         ) &&
660         git rev-parse dir >expect &&
661         test_cmp expect actual
662 '
663
664 test_expect_success 'fetching a one-level ref works' '
665         test_commit extra &&
666         git reset --hard HEAD^ &&
667         git update-ref refs/foo extra &&
668         git init one-level &&
669         (
670                 cd one-level &&
671                 git fetch .. HEAD refs/foo
672         )
673 '
674
675 test_expect_success 'fetching with auto-gc does not lock up' '
676         write_script askyesno <<-\EOF &&
677         echo "$*" &&
678         false
679         EOF
680         git clone "file://$D" auto-gc &&
681         test_commit test2 &&
682         (
683                 cd auto-gc &&
684                 git config gc.autoPackLimit 1 &&
685                 git config gc.autoDetach false &&
686                 GIT_ASK_YESNO="$D/askyesno" git fetch >fetch.out 2>&1 &&
687                 ! grep "Should I try again" fetch.out
688         )
689 '
690
691 test_expect_success C_LOCALE_OUTPUT 'fetch aligned output' '
692         git clone . full-output &&
693         test_commit looooooooooooong-tag &&
694         (
695                 cd full-output &&
696                 git -c fetch.output=full fetch origin 2>&1 | \
697                         grep -e "->" | cut -c 22- >../actual
698         ) &&
699         cat >expect <<-\EOF &&
700         master               -> origin/master
701         looooooooooooong-tag -> looooooooooooong-tag
702         EOF
703         test_cmp expect actual
704 '
705
706 test_expect_success C_LOCALE_OUTPUT 'fetch compact output' '
707         git clone . compact &&
708         test_commit extraaa &&
709         (
710                 cd compact &&
711                 git -c fetch.output=compact fetch origin 2>&1 | \
712                         grep -e "->" | cut -c 22- >../actual
713         ) &&
714         cat >expect <<-\EOF &&
715         master     -> origin/*
716         extraaa    -> *
717         EOF
718         test_cmp expect actual
719 '
720
721 test_done