The second batch
[git] / t / t5702-protocol-v2.sh
1 #!/bin/sh
2
3 test_description='test git wire-protocol version 2'
4
5 TEST_NO_CREATE_REPO=1
6
7 GIT_TEST_DEFAULT_INITIAL_BRANCH_NAME=main
8 export GIT_TEST_DEFAULT_INITIAL_BRANCH_NAME
9
10 . ./test-lib.sh
11
12 # Test protocol v2 with 'git://' transport
13 #
14 . "$TEST_DIRECTORY"/lib-git-daemon.sh
15 start_git_daemon --export-all --enable=receive-pack
16 daemon_parent=$GIT_DAEMON_DOCUMENT_ROOT_PATH/parent
17
18 test_expect_success 'create repo to be served by git-daemon' '
19         git init "$daemon_parent" &&
20         test_commit -C "$daemon_parent" one
21 '
22
23 test_expect_success 'list refs with git:// using protocol v2' '
24         test_when_finished "rm -f log" &&
25
26         GIT_TRACE_PACKET="$(pwd)/log" git -c protocol.version=2 \
27                 ls-remote --symref "$GIT_DAEMON_URL/parent" >actual &&
28
29         # Client requested to use protocol v2
30         grep "git> .*\\\0\\\0version=2\\\0$" log &&
31         # Server responded using protocol v2
32         grep "git< version 2" log &&
33
34         git ls-remote --symref "$GIT_DAEMON_URL/parent" >expect &&
35         test_cmp expect actual
36 '
37
38 test_expect_success 'ref advertisement is filtered with ls-remote using protocol v2' '
39         test_when_finished "rm -f log" &&
40
41         GIT_TRACE_PACKET="$(pwd)/log" git -c protocol.version=2 \
42                 ls-remote "$GIT_DAEMON_URL/parent" main >actual &&
43
44         cat >expect <<-EOF &&
45         $(git -C "$daemon_parent" rev-parse refs/heads/main)$(printf "\t")refs/heads/main
46         EOF
47
48         test_cmp expect actual
49 '
50
51 test_expect_success 'clone with git:// using protocol v2' '
52         test_when_finished "rm -f log" &&
53
54         GIT_TRACE_PACKET="$(pwd)/log" git -c protocol.version=2 \
55                 clone "$GIT_DAEMON_URL/parent" daemon_child &&
56
57         git -C daemon_child log -1 --format=%s >actual &&
58         git -C "$daemon_parent" log -1 --format=%s >expect &&
59         test_cmp expect actual &&
60
61         # Client requested to use protocol v2
62         grep "clone> .*\\\0\\\0version=2\\\0$" log &&
63         # Server responded using protocol v2
64         grep "clone< version 2" log
65 '
66
67 test_expect_success 'fetch with git:// using protocol v2' '
68         test_when_finished "rm -f log" &&
69
70         test_commit -C "$daemon_parent" two &&
71
72         GIT_TRACE_PACKET="$(pwd)/log" git -C daemon_child -c protocol.version=2 \
73                 fetch &&
74
75         git -C daemon_child log -1 --format=%s origin/main >actual &&
76         git -C "$daemon_parent" log -1 --format=%s >expect &&
77         test_cmp expect actual &&
78
79         # Client requested to use protocol v2
80         grep "fetch> .*\\\0\\\0version=2\\\0$" log &&
81         # Server responded using protocol v2
82         grep "fetch< version 2" log
83 '
84
85 test_expect_success 'fetch by hash without tag following with protocol v2 does not list refs' '
86         test_when_finished "rm -f log" &&
87
88         test_commit -C "$daemon_parent" two_a &&
89         git -C "$daemon_parent" rev-parse two_a >two_a_hash &&
90
91         GIT_TRACE_PACKET="$(pwd)/log" git -C daemon_child -c protocol.version=2 \
92                 fetch --no-tags origin $(cat two_a_hash) &&
93
94         grep "fetch< version 2" log &&
95         ! grep "fetch> command=ls-refs" log
96 '
97
98 test_expect_success 'pull with git:// using protocol v2' '
99         test_when_finished "rm -f log" &&
100
101         GIT_TRACE_PACKET="$(pwd)/log" git -C daemon_child -c protocol.version=2 \
102                 pull &&
103
104         git -C daemon_child log -1 --format=%s >actual &&
105         git -C "$daemon_parent" log -1 --format=%s >expect &&
106         test_cmp expect actual &&
107
108         # Client requested to use protocol v2
109         grep "fetch> .*\\\0\\\0version=2\\\0$" log &&
110         # Server responded using protocol v2
111         grep "fetch< version 2" log
112 '
113
114 test_expect_success 'push with git:// and a config of v2 does not request v2' '
115         test_when_finished "rm -f log" &&
116
117         # Till v2 for push is designed, make sure that if a client has
118         # protocol.version configured to use v2, that the client instead falls
119         # back and uses v0.
120
121         test_commit -C daemon_child three &&
122
123         # Push to another branch, as the target repository has the
124         # main branch checked out and we cannot push into it.
125         GIT_TRACE_PACKET="$(pwd)/log" git -C daemon_child -c protocol.version=2 \
126                 push origin HEAD:client_branch &&
127
128         git -C daemon_child log -1 --format=%s >actual &&
129         git -C "$daemon_parent" log -1 --format=%s client_branch >expect &&
130         test_cmp expect actual &&
131
132         # Client requested to use protocol v2
133         ! grep "push> .*\\\0\\\0version=2\\\0$" log &&
134         # Server responded using protocol v2
135         ! grep "push< version 2" log
136 '
137
138 stop_git_daemon
139
140 # Test protocol v2 with 'file://' transport
141 #
142 test_expect_success 'create repo to be served by file:// transport' '
143         git init file_parent &&
144         test_commit -C file_parent one
145 '
146
147 test_expect_success 'list refs with file:// using protocol v2' '
148         test_when_finished "rm -f log" &&
149
150         GIT_TRACE_PACKET="$(pwd)/log" git -c protocol.version=2 \
151                 ls-remote --symref "file://$(pwd)/file_parent" >actual &&
152
153         # Server responded using protocol v2
154         grep "git< version 2" log &&
155
156         git ls-remote --symref "file://$(pwd)/file_parent" >expect &&
157         test_cmp expect actual
158 '
159
160 test_expect_success 'ref advertisement is filtered with ls-remote using protocol v2' '
161         test_when_finished "rm -f log" &&
162
163         GIT_TRACE_PACKET="$(pwd)/log" git -c protocol.version=2 \
164                 ls-remote "file://$(pwd)/file_parent" main >actual &&
165
166         cat >expect <<-EOF &&
167         $(git -C file_parent rev-parse refs/heads/main)$(printf "\t")refs/heads/main
168         EOF
169
170         test_cmp expect actual
171 '
172
173 test_expect_success 'server-options are sent when using ls-remote' '
174         test_when_finished "rm -f log" &&
175
176         GIT_TRACE_PACKET="$(pwd)/log" git -c protocol.version=2 \
177                 ls-remote -o hello -o world "file://$(pwd)/file_parent" main >actual &&
178
179         cat >expect <<-EOF &&
180         $(git -C file_parent rev-parse refs/heads/main)$(printf "\t")refs/heads/main
181         EOF
182
183         test_cmp expect actual &&
184         grep "server-option=hello" log &&
185         grep "server-option=world" log
186 '
187
188 test_expect_success 'warn if using server-option with ls-remote with legacy protocol' '
189         test_must_fail env GIT_TEST_PROTOCOL_VERSION=0 git -c protocol.version=0 \
190                 ls-remote -o hello -o world "file://$(pwd)/file_parent" main 2>err &&
191
192         test_i18ngrep "see protocol.version in" err &&
193         test_i18ngrep "server options require protocol version 2 or later" err
194 '
195
196 test_expect_success 'clone with file:// using protocol v2' '
197         test_when_finished "rm -f log" &&
198
199         GIT_TRACE_PACKET="$(pwd)/log" git -c protocol.version=2 \
200                 clone "file://$(pwd)/file_parent" file_child &&
201
202         git -C file_child log -1 --format=%s >actual &&
203         git -C file_parent log -1 --format=%s >expect &&
204         test_cmp expect actual &&
205
206         # Server responded using protocol v2
207         grep "clone< version 2" log &&
208
209         # Client sent ref-prefixes to filter the ref-advertisement
210         grep "ref-prefix HEAD" log &&
211         grep "ref-prefix refs/heads/" log &&
212         grep "ref-prefix refs/tags/" log
213 '
214
215 test_expect_success 'clone of empty repo propagates name of default branch' '
216         test_when_finished "rm -rf file_empty_parent file_empty_child" &&
217
218         GIT_TEST_DEFAULT_INITIAL_BRANCH_NAME= \
219         git -c init.defaultBranch=mydefaultbranch init file_empty_parent &&
220
221         GIT_TEST_DEFAULT_INITIAL_BRANCH_NAME= \
222         git -c init.defaultBranch=main -c protocol.version=2 \
223                 clone "file://$(pwd)/file_empty_parent" file_empty_child &&
224         grep "refs/heads/mydefaultbranch" file_empty_child/.git/HEAD
225 '
226
227 test_expect_success '...but not if explicitly forbidden by config' '
228         test_when_finished "rm -rf file_empty_parent file_empty_child" &&
229
230         GIT_TEST_DEFAULT_INITIAL_BRANCH_NAME= \
231         git -c init.defaultBranch=mydefaultbranch init file_empty_parent &&
232         test_config -C file_empty_parent lsrefs.unborn ignore &&
233
234         GIT_TEST_DEFAULT_INITIAL_BRANCH_NAME= \
235         git -c init.defaultBranch=main -c protocol.version=2 \
236                 clone "file://$(pwd)/file_empty_parent" file_empty_child &&
237         ! grep "refs/heads/mydefaultbranch" file_empty_child/.git/HEAD
238 '
239
240 test_expect_success 'fetch with file:// using protocol v2' '
241         test_when_finished "rm -f log" &&
242
243         test_commit -C file_parent two &&
244
245         GIT_TRACE_PACKET="$(pwd)/log" git -C file_child -c protocol.version=2 \
246                 fetch origin &&
247
248         git -C file_child log -1 --format=%s origin/main >actual &&
249         git -C file_parent log -1 --format=%s >expect &&
250         test_cmp expect actual &&
251
252         # Server responded using protocol v2
253         grep "fetch< version 2" log
254 '
255
256 test_expect_success 'ref advertisement is filtered during fetch using protocol v2' '
257         test_when_finished "rm -f log" &&
258
259         test_commit -C file_parent three &&
260         git -C file_parent branch unwanted-branch three &&
261
262         GIT_TRACE_PACKET="$(pwd)/log" git -C file_child -c protocol.version=2 \
263                 fetch origin main &&
264
265         git -C file_child log -1 --format=%s origin/main >actual &&
266         git -C file_parent log -1 --format=%s >expect &&
267         test_cmp expect actual &&
268
269         grep "refs/heads/main" log &&
270         ! grep "refs/heads/unwanted-branch" log
271 '
272
273 test_expect_success 'server-options are sent when fetching' '
274         test_when_finished "rm -f log" &&
275
276         test_commit -C file_parent four &&
277
278         GIT_TRACE_PACKET="$(pwd)/log" git -C file_child -c protocol.version=2 \
279                 fetch -o hello -o world origin main &&
280
281         git -C file_child log -1 --format=%s origin/main >actual &&
282         git -C file_parent log -1 --format=%s >expect &&
283         test_cmp expect actual &&
284
285         grep "server-option=hello" log &&
286         grep "server-option=world" log
287 '
288
289 test_expect_success 'warn if using server-option with fetch with legacy protocol' '
290         test_when_finished "rm -rf temp_child" &&
291
292         git init temp_child &&
293
294         test_must_fail env GIT_TEST_PROTOCOL_VERSION=0 git -C temp_child -c protocol.version=0 \
295                 fetch -o hello -o world "file://$(pwd)/file_parent" main 2>err &&
296
297         test_i18ngrep "see protocol.version in" err &&
298         test_i18ngrep "server options require protocol version 2 or later" err
299 '
300
301 test_expect_success 'server-options are sent when cloning' '
302         test_when_finished "rm -rf log myclone" &&
303
304         GIT_TRACE_PACKET="$(pwd)/log" git -c protocol.version=2 \
305                 clone --server-option=hello --server-option=world \
306                 "file://$(pwd)/file_parent" myclone &&
307
308         grep "server-option=hello" log &&
309         grep "server-option=world" log
310 '
311
312 test_expect_success 'warn if using server-option with clone with legacy protocol' '
313         test_when_finished "rm -rf myclone" &&
314
315         test_must_fail env GIT_TEST_PROTOCOL_VERSION=0 git -c protocol.version=0 \
316                 clone --server-option=hello --server-option=world \
317                 "file://$(pwd)/file_parent" myclone 2>err &&
318
319         test_i18ngrep "see protocol.version in" err &&
320         test_i18ngrep "server options require protocol version 2 or later" err
321 '
322
323 test_expect_success 'upload-pack respects config using protocol v2' '
324         git init server &&
325         write_script server/.git/hook <<-\EOF &&
326                 touch hookout
327                 "$@"
328         EOF
329         test_commit -C server one &&
330
331         test_config_global uploadpack.packobjectshook ./hook &&
332         test_path_is_missing server/.git/hookout &&
333         git -c protocol.version=2 clone "file://$(pwd)/server" client &&
334         test_path_is_file server/.git/hookout
335 '
336
337 test_expect_success 'setup filter tests' '
338         rm -rf server client &&
339         git init server &&
340
341         # 1 commit to create a file, and 1 commit to modify it
342         test_commit -C server message1 a.txt &&
343         test_commit -C server message2 a.txt &&
344         git -C server config protocol.version 2 &&
345         git -C server config uploadpack.allowfilter 1 &&
346         git -C server config uploadpack.allowanysha1inwant 1 &&
347         git -C server config protocol.version 2
348 '
349
350 test_expect_success 'partial clone' '
351         GIT_TRACE_PACKET="$(pwd)/trace" git -c protocol.version=2 \
352                 clone --filter=blob:none "file://$(pwd)/server" client &&
353         grep "version 2" trace &&
354
355         # Ensure that the old version of the file is missing
356         git -C client rev-list --quiet --objects --missing=print main \
357                 >observed.oids &&
358         grep "$(git -C server rev-parse message1:a.txt)" observed.oids &&
359
360         # Ensure that client passes fsck
361         git -C client fsck
362 '
363
364 test_expect_success 'dynamically fetch missing object' '
365         rm "$(pwd)/trace" &&
366         GIT_TRACE_PACKET="$(pwd)/trace" git -C client -c protocol.version=2 \
367                 cat-file -p $(git -C server rev-parse message1:a.txt) &&
368         grep "version 2" trace
369 '
370
371 test_expect_success 'when dynamically fetching missing object, do not list refs' '
372         ! grep "git> command=ls-refs" trace
373 '
374
375 test_expect_success 'partial fetch' '
376         rm -rf client "$(pwd)/trace" &&
377         git init client &&
378         SERVER="file://$(pwd)/server" &&
379
380         GIT_TRACE_PACKET="$(pwd)/trace" git -C client -c protocol.version=2 \
381                 fetch --filter=blob:none "$SERVER" main:refs/heads/other &&
382         grep "version 2" trace &&
383
384         # Ensure that the old version of the file is missing
385         git -C client rev-list --quiet --objects --missing=print other \
386                 >observed.oids &&
387         grep "$(git -C server rev-parse message1:a.txt)" observed.oids &&
388
389         # Ensure that client passes fsck
390         git -C client fsck
391 '
392
393 test_expect_success 'do not advertise filter if not configured to do so' '
394         SERVER="file://$(pwd)/server" &&
395
396         rm "$(pwd)/trace" &&
397         git -C server config uploadpack.allowfilter 1 &&
398         GIT_TRACE_PACKET="$(pwd)/trace" git -c protocol.version=2 \
399                 ls-remote "$SERVER" &&
400         grep "fetch=.*filter" trace &&
401
402         rm "$(pwd)/trace" &&
403         git -C server config uploadpack.allowfilter 0 &&
404         GIT_TRACE_PACKET="$(pwd)/trace" git -c protocol.version=2 \
405                 ls-remote "$SERVER" &&
406         grep "fetch=" trace >fetch_capabilities &&
407         ! grep filter fetch_capabilities
408 '
409
410 test_expect_success 'partial clone warns if filter is not advertised' '
411         rm -rf client &&
412         git -C server config uploadpack.allowfilter 0 &&
413         git -c protocol.version=2 \
414                 clone --filter=blob:none "file://$(pwd)/server" client 2>err &&
415         test_i18ngrep "filtering not recognized by server, ignoring" err
416 '
417
418 test_expect_success 'even with handcrafted request, filter does not work if not advertised' '
419         git -C server config uploadpack.allowfilter 0 &&
420
421         # Custom request that tries to filter even though it is not advertised.
422         test-tool pkt-line pack >in <<-EOF &&
423         command=fetch
424         object-format=$(test_oid algo)
425         0001
426         want $(git -C server rev-parse main)
427         filter blob:none
428         0000
429         EOF
430
431         test_must_fail test-tool -C server serve-v2 --stateless-rpc \
432                 <in >/dev/null 2>err &&
433         grep "unexpected line: .filter blob:none." err &&
434
435         # Exercise to ensure that if advertised, filter works
436         git -C server config uploadpack.allowfilter 1 &&
437         test-tool -C server serve-v2 --stateless-rpc <in >/dev/null
438 '
439
440 test_expect_success 'default refspec is used to filter ref when fetchcing' '
441         test_when_finished "rm -f log" &&
442
443         GIT_TRACE_PACKET="$(pwd)/log" git -C file_child -c protocol.version=2 \
444                 fetch origin &&
445
446         git -C file_child log -1 --format=%s three >actual &&
447         git -C file_parent log -1 --format=%s three >expect &&
448         test_cmp expect actual &&
449
450         grep "ref-prefix refs/heads/" log &&
451         grep "ref-prefix refs/tags/" log
452 '
453
454 test_expect_success 'fetch supports various ways of have lines' '
455         rm -rf server client trace &&
456         git init server &&
457         test_commit -C server dwim &&
458         TREE=$(git -C server rev-parse HEAD^{tree}) &&
459         git -C server tag exact \
460                 $(git -C server commit-tree -m a "$TREE") &&
461         git -C server tag dwim-unwanted \
462                 $(git -C server commit-tree -m b "$TREE") &&
463         git -C server tag exact-unwanted \
464                 $(git -C server commit-tree -m c "$TREE") &&
465         git -C server tag prefix1 \
466                 $(git -C server commit-tree -m d "$TREE") &&
467         git -C server tag prefix2 \
468                 $(git -C server commit-tree -m e "$TREE") &&
469         git -C server tag fetch-by-sha1 \
470                 $(git -C server commit-tree -m f "$TREE") &&
471         git -C server tag completely-unrelated \
472                 $(git -C server commit-tree -m g "$TREE") &&
473
474         git init client &&
475         GIT_TRACE_PACKET="$(pwd)/trace" git -C client -c protocol.version=2 \
476                 fetch "file://$(pwd)/server" \
477                 dwim \
478                 refs/tags/exact \
479                 refs/tags/prefix*:refs/tags/prefix* \
480                 "$(git -C server rev-parse fetch-by-sha1)" &&
481
482         # Ensure that the appropriate prefixes are sent (using a sample)
483         grep "fetch> ref-prefix dwim" trace &&
484         grep "fetch> ref-prefix refs/heads/dwim" trace &&
485         grep "fetch> ref-prefix refs/tags/prefix" trace &&
486
487         # Ensure that the correct objects are returned
488         git -C client cat-file -e $(git -C server rev-parse dwim) &&
489         git -C client cat-file -e $(git -C server rev-parse exact) &&
490         git -C client cat-file -e $(git -C server rev-parse prefix1) &&
491         git -C client cat-file -e $(git -C server rev-parse prefix2) &&
492         git -C client cat-file -e $(git -C server rev-parse fetch-by-sha1) &&
493         test_must_fail git -C client cat-file -e \
494                 $(git -C server rev-parse dwim-unwanted) &&
495         test_must_fail git -C client cat-file -e \
496                 $(git -C server rev-parse exact-unwanted) &&
497         test_must_fail git -C client cat-file -e \
498                 $(git -C server rev-parse completely-unrelated)
499 '
500
501 test_expect_success 'fetch supports include-tag and tag following' '
502         rm -rf server client trace &&
503         git init server &&
504
505         test_commit -C server to_fetch &&
506         git -C server tag -a annotated_tag -m message &&
507
508         git init client &&
509         GIT_TRACE_PACKET="$(pwd)/trace" git -C client -c protocol.version=2 \
510                 fetch "$(pwd)/server" to_fetch:to_fetch &&
511
512         grep "fetch> ref-prefix to_fetch" trace &&
513         grep "fetch> ref-prefix refs/tags/" trace &&
514         grep "fetch> include-tag" trace &&
515
516         git -C client cat-file -e $(git -C client rev-parse annotated_tag)
517 '
518
519 test_expect_success 'upload-pack respects client shallows' '
520         rm -rf server client trace &&
521
522         git init server &&
523         test_commit -C server base &&
524         test_commit -C server client_has &&
525
526         git clone --depth=1 "file://$(pwd)/server" client &&
527
528         # Add extra commits to the client so that the whole fetch takes more
529         # than 1 request (due to negotiation)
530         test_commit_bulk -C client --id=c 32 &&
531
532         git -C server checkout -b newbranch base &&
533         test_commit -C server client_wants &&
534
535         GIT_TRACE_PACKET="$(pwd)/trace" git -C client -c protocol.version=2 \
536                 fetch origin newbranch &&
537         # Ensure that protocol v2 is used
538         grep "fetch< version 2" trace
539 '
540
541 test_expect_success 'ensure that multiple fetches in same process from a shallow repo works' '
542         rm -rf server client trace &&
543
544         test_create_repo server &&
545         test_commit -C server one &&
546         test_commit -C server two &&
547         test_commit -C server three &&
548         git clone --shallow-exclude two "file://$(pwd)/server" client &&
549
550         git -C server tag -a -m "an annotated tag" twotag two &&
551
552         # Triggers tag following (thus, 2 fetches in one process)
553         GIT_TRACE_PACKET="$(pwd)/trace" git -C client -c protocol.version=2 \
554                 fetch --shallow-exclude one origin &&
555         # Ensure that protocol v2 is used
556         grep "fetch< version 2" trace
557 '
558
559 test_expect_success 'deepen-relative' '
560         rm -rf server client trace &&
561
562         test_create_repo server &&
563         test_commit -C server one &&
564         test_commit -C server two &&
565         test_commit -C server three &&
566         git clone --depth 1 "file://$(pwd)/server" client &&
567         test_commit -C server four &&
568
569         # Sanity check that only "three" is downloaded
570         git -C client log --pretty=tformat:%s main >actual &&
571         echo three >expected &&
572         test_cmp expected actual &&
573
574         GIT_TRACE_PACKET="$(pwd)/trace" git -C client -c protocol.version=2 \
575                 fetch --deepen=1 origin &&
576         # Ensure that protocol v2 is used
577         grep "fetch< version 2" trace &&
578
579         git -C client log --pretty=tformat:%s origin/main >actual &&
580         cat >expected <<-\EOF &&
581         four
582         three
583         two
584         EOF
585         test_cmp expected actual
586 '
587
588 setup_negotiate_only () {
589         SERVER="$1"
590         URI="$2"
591
592         rm -rf "$SERVER" client
593
594         git init "$SERVER"
595         test_commit -C "$SERVER" one
596         test_commit -C "$SERVER" two
597
598         git clone "$URI" client
599         test_commit -C client three
600 }
601
602 test_expect_success 'file:// --negotiate-only' '
603         SERVER="server" &&
604         URI="file://$(pwd)/server" &&
605
606         setup_negotiate_only "$SERVER" "$URI" &&
607
608         git -c protocol.version=2 -C client fetch \
609                 --no-tags \
610                 --negotiate-only \
611                 --negotiation-tip=$(git -C client rev-parse HEAD) \
612                 origin >out &&
613         COMMON=$(git -C "$SERVER" rev-parse two) &&
614         grep "$COMMON" out
615 '
616
617 test_expect_success 'file:// --negotiate-only with protocol v0' '
618         SERVER="server" &&
619         URI="file://$(pwd)/server" &&
620
621         setup_negotiate_only "$SERVER" "$URI" &&
622
623         test_must_fail git -c protocol.version=0 -C client fetch \
624                 --no-tags \
625                 --negotiate-only \
626                 --negotiation-tip=$(git -C client rev-parse HEAD) \
627                 origin 2>err &&
628         test_i18ngrep "negotiate-only requires protocol v2" err
629 '
630
631 # Test protocol v2 with 'http://' transport
632 #
633 . "$TEST_DIRECTORY"/lib-httpd.sh
634 start_httpd
635
636 test_expect_success 'create repo to be served by http:// transport' '
637         git init "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" &&
638         git -C "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" config http.receivepack true &&
639         test_commit -C "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" one
640 '
641
642 test_expect_success 'clone with http:// using protocol v2' '
643         test_when_finished "rm -f log" &&
644
645         GIT_TRACE_PACKET="$(pwd)/log" GIT_TRACE_CURL="$(pwd)/log" git -c protocol.version=2 \
646                 clone "$HTTPD_URL/smart/http_parent" http_child &&
647
648         git -C http_child log -1 --format=%s >actual &&
649         git -C "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" log -1 --format=%s >expect &&
650         test_cmp expect actual &&
651
652         # Client requested to use protocol v2
653         grep "Git-Protocol: version=2" log &&
654         # Server responded using protocol v2
655         grep "git< version 2" log &&
656         # Verify that the chunked encoding sending codepath is NOT exercised
657         ! grep "Send header: Transfer-Encoding: chunked" log
658 '
659
660 test_expect_success 'clone repository with http:// using protocol v2 with incomplete pktline length' '
661         test_when_finished "rm -f log" &&
662
663         git init "$HTTPD_DOCUMENT_ROOT_PATH/incomplete_length" &&
664         test_commit -C "$HTTPD_DOCUMENT_ROOT_PATH/incomplete_length" file &&
665
666         test_must_fail env GIT_TRACE_PACKET="$(pwd)/log" GIT_TRACE_CURL="$(pwd)/log" git -c protocol.version=2 \
667                 clone "$HTTPD_URL/smart/incomplete_length" incomplete_length_child 2>err &&
668
669         # Client requested to use protocol v2
670         grep "Git-Protocol: version=2" log &&
671         # Server responded using protocol v2
672         grep "git< version 2" log &&
673         # Client reported appropriate failure
674         test_i18ngrep "bytes of length header were received" err
675 '
676
677 test_expect_success 'clone repository with http:// using protocol v2 with incomplete pktline body' '
678         test_when_finished "rm -f log" &&
679
680         git init "$HTTPD_DOCUMENT_ROOT_PATH/incomplete_body" &&
681         test_commit -C "$HTTPD_DOCUMENT_ROOT_PATH/incomplete_body" file &&
682
683         test_must_fail env GIT_TRACE_PACKET="$(pwd)/log" GIT_TRACE_CURL="$(pwd)/log" git -c protocol.version=2 \
684                 clone "$HTTPD_URL/smart/incomplete_body" incomplete_body_child 2>err &&
685
686         # Client requested to use protocol v2
687         grep "Git-Protocol: version=2" log &&
688         # Server responded using protocol v2
689         grep "git< version 2" log &&
690         # Client reported appropriate failure
691         test_i18ngrep "bytes of body are still expected" err
692 '
693
694 test_expect_success 'clone with http:// using protocol v2 and invalid parameters' '
695         test_when_finished "rm -f log" &&
696
697         test_must_fail env GIT_TRACE_PACKET="$(pwd)/log" GIT_TRACE_CURL="$(pwd)/log" \
698                 git -c protocol.version=2 \
699                 clone --shallow-since=20151012 "$HTTPD_URL/smart/http_parent" http_child_invalid &&
700
701         # Client requested to use protocol v2
702         grep "Git-Protocol: version=2" log &&
703         # Server responded using protocol v2
704         grep "git< version 2" log
705 '
706
707 test_expect_success 'clone big repository with http:// using protocol v2' '
708         test_when_finished "rm -f log" &&
709
710         git init "$HTTPD_DOCUMENT_ROOT_PATH/big" &&
711         # Ensure that the list of wants is greater than http.postbuffer below
712         for i in $(test_seq 1 1500)
713         do
714                 # do not use here-doc, because it requires a process
715                 # per loop iteration
716                 echo "commit refs/heads/too-many-refs-$i" &&
717                 echo "committer git <git@example.com> $i +0000" &&
718                 echo "data 0" &&
719                 echo "M 644 inline bla.txt" &&
720                 echo "data 4" &&
721                 echo "bla"
722         done | git -C "$HTTPD_DOCUMENT_ROOT_PATH/big" fast-import &&
723
724         GIT_TRACE_PACKET="$(pwd)/log" GIT_TRACE_CURL="$(pwd)/log" git \
725                 -c protocol.version=2 -c http.postbuffer=65536 \
726                 clone "$HTTPD_URL/smart/big" big_child &&
727
728         # Client requested to use protocol v2
729         grep "Git-Protocol: version=2" log &&
730         # Server responded using protocol v2
731         grep "git< version 2" log &&
732         # Verify that the chunked encoding sending codepath is exercised
733         grep "Send header: Transfer-Encoding: chunked" log
734 '
735
736 test_expect_success 'fetch with http:// using protocol v2' '
737         test_when_finished "rm -f log" &&
738
739         test_commit -C "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" two &&
740
741         GIT_TRACE_PACKET="$(pwd)/log" git -C http_child -c protocol.version=2 \
742                 fetch &&
743
744         git -C http_child log -1 --format=%s origin/main >actual &&
745         git -C "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" log -1 --format=%s >expect &&
746         test_cmp expect actual &&
747
748         # Server responded using protocol v2
749         grep "git< version 2" log
750 '
751
752 test_expect_success 'fetch with http:// by hash without tag following with protocol v2 does not list refs' '
753         test_when_finished "rm -f log" &&
754
755         test_commit -C "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" two_a &&
756         git -C "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" rev-parse two_a >two_a_hash &&
757
758         GIT_TRACE_PACKET="$(pwd)/log" git -C http_child -c protocol.version=2 \
759                 fetch --no-tags origin $(cat two_a_hash) &&
760
761         grep "fetch< version 2" log &&
762         ! grep "fetch> command=ls-refs" log
763 '
764
765 test_expect_success 'fetch from namespaced repo respects namespaces' '
766         test_when_finished "rm -f log" &&
767
768         git init "$HTTPD_DOCUMENT_ROOT_PATH/nsrepo" &&
769         test_commit -C "$HTTPD_DOCUMENT_ROOT_PATH/nsrepo" one &&
770         test_commit -C "$HTTPD_DOCUMENT_ROOT_PATH/nsrepo" two &&
771         git -C "$HTTPD_DOCUMENT_ROOT_PATH/nsrepo" \
772                 update-ref refs/namespaces/ns/refs/heads/main one &&
773
774         GIT_TRACE_PACKET="$(pwd)/log" git -C http_child -c protocol.version=2 \
775                 fetch "$HTTPD_URL/smart_namespace/nsrepo" \
776                 refs/heads/main:refs/heads/theirs &&
777
778         # Server responded using protocol v2
779         grep "fetch< version 2" log &&
780
781         git -C "$HTTPD_DOCUMENT_ROOT_PATH/nsrepo" rev-parse one >expect &&
782         git -C http_child rev-parse theirs >actual &&
783         test_cmp expect actual
784 '
785
786 test_expect_success 'ls-remote with v2 http sends only one POST' '
787         test_when_finished "rm -f log" &&
788
789         git ls-remote "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" >expect &&
790         GIT_TRACE_CURL="$(pwd)/log" git -c protocol.version=2 \
791                 ls-remote "$HTTPD_URL/smart/http_parent" >actual &&
792         test_cmp expect actual &&
793
794         grep "Send header: POST" log >posts &&
795         test_line_count = 1 posts
796 '
797
798 test_expect_success 'push with http:// and a config of v2 does not request v2' '
799         test_when_finished "rm -f log" &&
800         # Till v2 for push is designed, make sure that if a client has
801         # protocol.version configured to use v2, that the client instead falls
802         # back and uses v0.
803
804         test_commit -C http_child three &&
805
806         # Push to another branch, as the target repository has the
807         # main branch checked out and we cannot push into it.
808         GIT_TRACE_PACKET="$(pwd)/log" git -C http_child -c protocol.version=2 \
809                 push origin HEAD:client_branch &&
810
811         git -C http_child log -1 --format=%s >actual &&
812         git -C "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" log -1 --format=%s client_branch >expect &&
813         test_cmp expect actual &&
814
815         # Client did not request to use protocol v2
816         ! grep "Git-Protocol: version=2" log &&
817         # Server did not respond using protocol v2
818         ! grep "git< version 2" log
819 '
820
821 test_expect_success 'when server sends "ready", expect DELIM' '
822         rm -rf "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" http_child &&
823
824         git init "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" &&
825         test_commit -C "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" one &&
826
827         git clone "$HTTPD_URL/smart/http_parent" http_child &&
828
829         test_commit -C "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" two &&
830
831         # After "ready" in the acknowledgments section, pretend that a FLUSH
832         # (0000) was sent instead of a DELIM (0001).
833         printf "\$ready = 1 if /ready/; \$ready && s/0001/0000/" \
834                 >"$HTTPD_ROOT_PATH/one-time-perl" &&
835
836         test_must_fail git -C http_child -c protocol.version=2 \
837                 fetch "$HTTPD_URL/one_time_perl/http_parent" 2> err &&
838         test_i18ngrep "expected packfile to be sent after .ready." err
839 '
840
841 test_expect_success 'when server does not send "ready", expect FLUSH' '
842         rm -rf "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" http_child log &&
843
844         git init "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" &&
845         test_commit -C "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" one &&
846
847         git clone "$HTTPD_URL/smart/http_parent" http_child &&
848
849         test_commit -C "$HTTPD_DOCUMENT_ROOT_PATH/http_parent" two &&
850
851         # Create many commits to extend the negotiation phase across multiple
852         # requests, so that the server does not send "ready" in the first
853         # request.
854         test_commit_bulk -C http_child --id=c 32 &&
855
856         # After the acknowledgments section, pretend that a DELIM
857         # (0001) was sent instead of a FLUSH (0000).
858         printf "\$ack = 1 if /acknowledgments/; \$ack && s/0000/0001/" \
859                 >"$HTTPD_ROOT_PATH/one-time-perl" &&
860
861         test_must_fail env GIT_TRACE_PACKET="$(pwd)/log" git -C http_child \
862                 -c protocol.version=2 \
863                 fetch "$HTTPD_URL/one_time_perl/http_parent" 2> err &&
864         grep "fetch< .*acknowledgments" log &&
865         ! grep "fetch< .*ready" log &&
866         test_i18ngrep "expected no other sections to be sent after no .ready." err
867 '
868
869 configure_exclusion () {
870         git -C "$1" hash-object "$2" >objh &&
871         git -C "$1" pack-objects "$HTTPD_DOCUMENT_ROOT_PATH/mypack" <objh >packh &&
872         git -C "$1" config --add \
873                 "uploadpack.blobpackfileuri" \
874                 "$(cat objh) $(cat packh) $HTTPD_URL/dumb/mypack-$(cat packh).pack" &&
875         cat objh
876 }
877
878 test_expect_success 'part of packfile response provided as URI' '
879         P="$HTTPD_DOCUMENT_ROOT_PATH/http_parent" &&
880         rm -rf "$P" http_child log &&
881
882         git init "$P" &&
883         git -C "$P" config "uploadpack.allowsidebandall" "true" &&
884
885         echo my-blob >"$P/my-blob" &&
886         git -C "$P" add my-blob &&
887         echo other-blob >"$P/other-blob" &&
888         git -C "$P" add other-blob &&
889         git -C "$P" commit -m x &&
890
891         configure_exclusion "$P" my-blob >h &&
892         configure_exclusion "$P" other-blob >h2 &&
893
894         GIT_TRACE=1 GIT_TRACE_PACKET="$(pwd)/log" GIT_TEST_SIDEBAND_ALL=1 \
895         git -c protocol.version=2 \
896                 -c fetch.uriprotocols=http,https \
897                 clone "$HTTPD_URL/smart/http_parent" http_child &&
898
899         # Ensure that my-blob and other-blob are in separate packfiles.
900         for idx in http_child/.git/objects/pack/*.idx
901         do
902                 git verify-pack --object-format=$(test_oid algo) --verbose $idx >out &&
903                 {
904                         grep "^[0-9a-f]\{16,\} " out || :
905                 } >out.objectlist &&
906                 if test_line_count = 1 out.objectlist
907                 then
908                         if grep $(cat h) out
909                         then
910                                 >hfound
911                         fi &&
912                         if grep $(cat h2) out
913                         then
914                                 >h2found
915                         fi
916                 fi
917         done &&
918         test -f hfound &&
919         test -f h2found &&
920
921         # Ensure that there are exactly 3 packfiles with associated .idx
922         ls http_child/.git/objects/pack/*.pack \
923             http_child/.git/objects/pack/*.idx >filelist &&
924         test_line_count = 6 filelist
925 '
926
927 test_expect_success 'packfile URIs with fetch instead of clone' '
928         P="$HTTPD_DOCUMENT_ROOT_PATH/http_parent" &&
929         rm -rf "$P" http_child log &&
930
931         git init "$P" &&
932         git -C "$P" config "uploadpack.allowsidebandall" "true" &&
933
934         echo my-blob >"$P/my-blob" &&
935         git -C "$P" add my-blob &&
936         git -C "$P" commit -m x &&
937
938         configure_exclusion "$P" my-blob >h &&
939
940         git init http_child &&
941
942         GIT_TEST_SIDEBAND_ALL=1 \
943         git -C http_child -c protocol.version=2 \
944                 -c fetch.uriprotocols=http,https \
945                 fetch "$HTTPD_URL/smart/http_parent"
946 '
947
948 test_expect_success 'fetching with valid packfile URI but invalid hash fails' '
949         P="$HTTPD_DOCUMENT_ROOT_PATH/http_parent" &&
950         rm -rf "$P" http_child log &&
951
952         git init "$P" &&
953         git -C "$P" config "uploadpack.allowsidebandall" "true" &&
954
955         echo my-blob >"$P/my-blob" &&
956         git -C "$P" add my-blob &&
957         echo other-blob >"$P/other-blob" &&
958         git -C "$P" add other-blob &&
959         git -C "$P" commit -m x &&
960
961         configure_exclusion "$P" my-blob >h &&
962         # Configure a URL for other-blob. Just reuse the hash of the object as
963         # the hash of the packfile, since the hash does not matter for this
964         # test as long as it is not the hash of the pack, and it is of the
965         # expected length.
966         git -C "$P" hash-object other-blob >objh &&
967         git -C "$P" pack-objects "$HTTPD_DOCUMENT_ROOT_PATH/mypack" <objh >packh &&
968         git -C "$P" config --add \
969                 "uploadpack.blobpackfileuri" \
970                 "$(cat objh) $(cat objh) $HTTPD_URL/dumb/mypack-$(cat packh).pack" &&
971
972         test_must_fail env GIT_TEST_SIDEBAND_ALL=1 \
973                 git -c protocol.version=2 \
974                 -c fetch.uriprotocols=http,https \
975                 clone "$HTTPD_URL/smart/http_parent" http_child 2>err &&
976         test_i18ngrep "pack downloaded from.*does not match expected hash" err
977 '
978
979 test_expect_success 'packfile-uri with transfer.fsckobjects' '
980         P="$HTTPD_DOCUMENT_ROOT_PATH/http_parent" &&
981         rm -rf "$P" http_child log &&
982
983         git init "$P" &&
984         git -C "$P" config "uploadpack.allowsidebandall" "true" &&
985
986         echo my-blob >"$P/my-blob" &&
987         git -C "$P" add my-blob &&
988         git -C "$P" commit -m x &&
989
990         configure_exclusion "$P" my-blob >h &&
991
992         sane_unset GIT_TEST_SIDEBAND_ALL &&
993         git -c protocol.version=2 -c transfer.fsckobjects=1 \
994                 -c fetch.uriprotocols=http,https \
995                 clone "$HTTPD_URL/smart/http_parent" http_child &&
996
997         # Ensure that there are exactly 2 packfiles with associated .idx
998         ls http_child/.git/objects/pack/*.pack \
999             http_child/.git/objects/pack/*.idx >filelist &&
1000         test_line_count = 4 filelist
1001 '
1002
1003 test_expect_success 'packfile-uri with transfer.fsckobjects fails on bad object' '
1004         P="$HTTPD_DOCUMENT_ROOT_PATH/http_parent" &&
1005         rm -rf "$P" http_child log &&
1006
1007         git init "$P" &&
1008         git -C "$P" config "uploadpack.allowsidebandall" "true" &&
1009
1010         cat >bogus-commit <<-EOF &&
1011         tree $EMPTY_TREE
1012         author Bugs Bunny 1234567890 +0000
1013         committer Bugs Bunny <bugs@bun.ni> 1234567890 +0000
1014
1015         This commit object intentionally broken
1016         EOF
1017         BOGUS=$(git -C "$P" hash-object -t commit -w --stdin <bogus-commit) &&
1018         git -C "$P" branch bogus-branch "$BOGUS" &&
1019
1020         echo my-blob >"$P/my-blob" &&
1021         git -C "$P" add my-blob &&
1022         git -C "$P" commit -m x &&
1023
1024         configure_exclusion "$P" my-blob >h &&
1025
1026         sane_unset GIT_TEST_SIDEBAND_ALL &&
1027         test_must_fail git -c protocol.version=2 -c transfer.fsckobjects=1 \
1028                 -c fetch.uriprotocols=http,https \
1029                 clone "$HTTPD_URL/smart/http_parent" http_child 2>error &&
1030         test_i18ngrep "invalid author/committer line - missing email" error
1031 '
1032
1033 test_expect_success 'packfile-uri with transfer.fsckobjects succeeds when .gitmodules is separate from tree' '
1034         P="$HTTPD_DOCUMENT_ROOT_PATH/http_parent" &&
1035         rm -rf "$P" http_child &&
1036
1037         git init "$P" &&
1038         git -C "$P" config "uploadpack.allowsidebandall" "true" &&
1039
1040         echo "[submodule libfoo]" >"$P/.gitmodules" &&
1041         echo "path = include/foo" >>"$P/.gitmodules" &&
1042         echo "url = git://example.com/git/lib.git" >>"$P/.gitmodules" &&
1043         git -C "$P" add .gitmodules &&
1044         git -C "$P" commit -m x &&
1045
1046         configure_exclusion "$P" .gitmodules >h &&
1047
1048         sane_unset GIT_TEST_SIDEBAND_ALL &&
1049         git -c protocol.version=2 -c transfer.fsckobjects=1 \
1050                 -c fetch.uriprotocols=http,https \
1051                 clone "$HTTPD_URL/smart/http_parent" http_child &&
1052
1053         # Ensure that there are exactly 2 packfiles with associated .idx
1054         ls http_child/.git/objects/pack/*.pack \
1055             http_child/.git/objects/pack/*.idx >filelist &&
1056         test_line_count = 4 filelist
1057 '
1058
1059 test_expect_success 'packfile-uri with transfer.fsckobjects fails when .gitmodules separate from tree is invalid' '
1060         P="$HTTPD_DOCUMENT_ROOT_PATH/http_parent" &&
1061         rm -rf "$P" http_child err &&
1062
1063         git init "$P" &&
1064         git -C "$P" config "uploadpack.allowsidebandall" "true" &&
1065
1066         echo "[submodule \"..\"]" >"$P/.gitmodules" &&
1067         echo "path = include/foo" >>"$P/.gitmodules" &&
1068         echo "url = git://example.com/git/lib.git" >>"$P/.gitmodules" &&
1069         git -C "$P" add .gitmodules &&
1070         git -C "$P" commit -m x &&
1071
1072         configure_exclusion "$P" .gitmodules >h &&
1073
1074         sane_unset GIT_TEST_SIDEBAND_ALL &&
1075         test_must_fail git -c protocol.version=2 -c transfer.fsckobjects=1 \
1076                 -c fetch.uriprotocols=http,https \
1077                 clone "$HTTPD_URL/smart/http_parent" http_child 2>err &&
1078         test_i18ngrep "disallowed submodule name" err
1079 '
1080
1081 test_expect_success 'http:// --negotiate-only' '
1082         SERVER="$HTTPD_DOCUMENT_ROOT_PATH/server" &&
1083         URI="$HTTPD_URL/smart/server" &&
1084
1085         setup_negotiate_only "$SERVER" "$URI" &&
1086
1087         git -c protocol.version=2 -C client fetch \
1088                 --no-tags \
1089                 --negotiate-only \
1090                 --negotiation-tip=$(git -C client rev-parse HEAD) \
1091                 origin >out &&
1092         COMMON=$(git -C "$SERVER" rev-parse two) &&
1093         grep "$COMMON" out
1094 '
1095
1096 test_expect_success 'http:// --negotiate-only without wait-for-done support' '
1097         SERVER="server" &&
1098         URI="$HTTPD_URL/one_time_perl/server" &&
1099
1100         setup_negotiate_only "$SERVER" "$URI" &&
1101
1102         echo "s/ wait-for-done/ xxxx-xxx-xxxx/" \
1103                 >"$HTTPD_ROOT_PATH/one-time-perl" &&
1104
1105         test_must_fail git -c protocol.version=2 -C client fetch \
1106                 --no-tags \
1107                 --negotiate-only \
1108                 --negotiation-tip=$(git -C client rev-parse HEAD) \
1109                 origin 2>err &&
1110         test_i18ngrep "server does not support wait-for-done" err
1111 '
1112
1113 test_expect_success 'http:// --negotiate-only with protocol v0' '
1114         SERVER="$HTTPD_DOCUMENT_ROOT_PATH/server" &&
1115         URI="$HTTPD_URL/smart/server" &&
1116
1117         setup_negotiate_only "$SERVER" "$URI" &&
1118
1119         test_must_fail git -c protocol.version=0 -C client fetch \
1120                 --no-tags \
1121                 --negotiate-only \
1122                 --negotiation-tip=$(git -C client rev-parse HEAD) \
1123                 origin 2>err &&
1124         test_i18ngrep "negotiate-only requires protocol v2" err
1125 '
1126
1127 # DO NOT add non-httpd-specific tests here, because the last part of this
1128 # test script is only executed when httpd is available and enabled.
1129
1130 test_done