t/Makefile: ensure that paths are valid on platforms we care
[git] / t / t9301-fast-import-notes.sh
1 #!/bin/sh
2 #
3 # Copyright (c) 2009 Johan Herland
4 #
5
6 test_description='test git fast-import of notes objects'
7 . ./test-lib.sh
8
9
10 test_tick
11 cat >input <<INPUT_END
12 commit refs/heads/master
13 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
14 data <<COMMIT
15 first commit
16 COMMIT
17
18 M 644 inline foo
19 data <<EOF
20 file foo in first commit
21 EOF
22
23 M 755 inline bar
24 data <<EOF
25 file bar in first commit
26 EOF
27
28 M 644 inline baz/xyzzy
29 data <<EOF
30 file baz/xyzzy in first commit
31 EOF
32
33 commit refs/heads/master
34 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
35 data <<COMMIT
36 second commit
37 COMMIT
38
39 M 644 inline foo
40 data <<EOF
41 file foo in second commit
42 EOF
43
44 M 755 inline baz/xyzzy
45 data <<EOF
46 file baz/xyzzy in second commit
47 EOF
48
49 commit refs/heads/master
50 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
51 data <<COMMIT
52 third commit
53 COMMIT
54
55 M 644 inline foo
56 data <<EOF
57 file foo in third commit
58 EOF
59
60 commit refs/heads/master
61 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
62 data <<COMMIT
63 fourth commit
64 COMMIT
65
66 M 755 inline bar
67 data <<EOF
68 file bar in fourth commit
69 EOF
70
71 INPUT_END
72
73 test_expect_success 'set up master branch' '
74
75         git fast-import <input &&
76         git whatchanged master
77 '
78
79 commit4=$(git rev-parse refs/heads/master)
80 commit3=$(git rev-parse "$commit4^")
81 commit2=$(git rev-parse "$commit4~2")
82 commit1=$(git rev-parse "$commit4~3")
83
84 test_tick
85 cat >input <<INPUT_END
86 commit refs/notes/test
87 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
88 data <<COMMIT
89 first notes commit
90 COMMIT
91
92 M 644 inline $commit1
93 data <<EOF
94 first note for first commit
95 EOF
96
97 M 755 inline $commit2
98 data <<EOF
99 first note for second commit
100 EOF
101
102 INPUT_END
103
104 cat >expect <<EXPECT_END
105     fourth commit
106     third commit
107     second commit
108     first note for second commit
109     first commit
110     first note for first commit
111 EXPECT_END
112
113 test_expect_success 'add notes with simple M command' '
114
115         git fast-import <input &&
116         GIT_NOTES_REF=refs/notes/test git log | grep "^    " > actual &&
117         test_cmp expect actual
118
119 '
120
121 test_tick
122 cat >input <<INPUT_END
123 feature notes
124 commit refs/notes/test
125 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
126 data <<COMMIT
127 second notes commit
128 COMMIT
129
130 from refs/notes/test^0
131 N inline $commit3
132 data <<EOF
133 first note for third commit
134 EOF
135
136 N inline $commit4
137 data <<EOF
138 first note for fourth commit
139 EOF
140
141 INPUT_END
142
143 cat >expect <<EXPECT_END
144     fourth commit
145     first note for fourth commit
146     third commit
147     first note for third commit
148     second commit
149     first note for second commit
150     first commit
151     first note for first commit
152 EXPECT_END
153
154 test_expect_success 'add notes with simple N command' '
155
156         git fast-import <input &&
157         GIT_NOTES_REF=refs/notes/test git log | grep "^    " > actual &&
158         test_cmp expect actual
159
160 '
161
162 test_tick
163 cat >input <<INPUT_END
164 commit refs/notes/test
165 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
166 data <<COMMIT
167 third notes commit
168 COMMIT
169
170 from refs/notes/test^0
171 N inline $commit1
172 data <<EOF
173 second note for first commit
174 EOF
175
176 N inline $commit2
177 data <<EOF
178 second note for second commit
179 EOF
180
181 N inline $commit3
182 data <<EOF
183 second note for third commit
184 EOF
185
186 N inline $commit4
187 data <<EOF
188 second note for fourth commit
189 EOF
190
191 INPUT_END
192
193 cat >expect <<EXPECT_END
194     fourth commit
195     second note for fourth commit
196     third commit
197     second note for third commit
198     second commit
199     second note for second commit
200     first commit
201     second note for first commit
202 EXPECT_END
203
204 test_expect_success 'update existing notes with N command' '
205
206         git fast-import <input &&
207         GIT_NOTES_REF=refs/notes/test git log | grep "^    " > actual &&
208         test_cmp expect actual
209
210 '
211
212 test_tick
213 cat >input <<INPUT_END
214 commit refs/notes/test
215 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
216 data <<COMMIT
217 fourth notes commit
218 COMMIT
219
220 from refs/notes/test^0
221 M 644 inline $(echo "$commit3" | sed "s|^..|&/|")
222 data <<EOF
223 prefix of note for third commit
224 EOF
225
226 M 644 inline $(echo "$commit4" | sed "s|^..|&/|")
227 data <<EOF
228 prefix of note for fourth commit
229 EOF
230
231 M 644 inline $(echo "$commit4" | sed "s|^\(..\)\(..\)|\1/\2/|")
232 data <<EOF
233 pre-prefix of note for fourth commit
234 EOF
235
236 N inline $commit1
237 data <<EOF
238 third note for first commit
239 EOF
240
241 N inline $commit2
242 data <<EOF
243 third note for second commit
244 EOF
245
246 N inline $commit3
247 data <<EOF
248 third note for third commit
249 EOF
250
251 N inline $commit4
252 data <<EOF
253 third note for fourth commit
254 EOF
255
256
257 INPUT_END
258
259 whitespace="    "
260
261 cat >expect <<EXPECT_END
262     fourth commit
263     pre-prefix of note for fourth commit
264 $whitespace
265     prefix of note for fourth commit
266 $whitespace
267     third note for fourth commit
268     third commit
269     prefix of note for third commit
270 $whitespace
271     third note for third commit
272     second commit
273     third note for second commit
274     first commit
275     third note for first commit
276 EXPECT_END
277
278 test_expect_success 'add concatentation notes with M command' '
279
280         git fast-import <input &&
281         GIT_NOTES_REF=refs/notes/test git log | grep "^    " > actual &&
282         test_cmp expect actual
283
284 '
285
286 test_tick
287 cat >input <<INPUT_END
288 commit refs/notes/test
289 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
290 data <<COMMIT
291 fifth notes commit
292 COMMIT
293
294 from refs/notes/test^0
295 deleteall
296
297 INPUT_END
298
299 cat >expect <<EXPECT_END
300     fourth commit
301     third commit
302     second commit
303     first commit
304 EXPECT_END
305
306 test_expect_success 'verify that deleteall also removes notes' '
307
308         git fast-import <input &&
309         GIT_NOTES_REF=refs/notes/test git log | grep "^    " > actual &&
310         test_cmp expect actual
311
312 '
313
314 test_tick
315 cat >input <<INPUT_END
316 commit refs/notes/test
317 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
318 data <<COMMIT
319 sixth notes commit
320 COMMIT
321
322 from refs/notes/test^0
323 M 644 inline $commit1
324 data <<EOF
325 third note for first commit
326 EOF
327
328 M 644 inline $commit3
329 data <<EOF
330 third note for third commit
331 EOF
332
333 N inline $commit1
334 data <<EOF
335 fourth note for first commit
336 EOF
337
338 N inline $commit3
339 data <<EOF
340 fourth note for third commit
341 EOF
342
343 INPUT_END
344
345 cat >expect <<EXPECT_END
346     fourth commit
347     third commit
348     fourth note for third commit
349     second commit
350     first commit
351     fourth note for first commit
352 EXPECT_END
353
354 test_expect_success 'verify that later N commands override earlier M commands' '
355
356         git fast-import <input &&
357         GIT_NOTES_REF=refs/notes/test git log | grep "^    " > actual &&
358         test_cmp expect actual
359
360 '
361
362 # Write fast-import commands to create the given number of commits
363 fast_import_commits () {
364         my_ref=$1
365         my_num_commits=$2
366         my_append_to_file=$3
367         my_i=0
368         while test $my_i -lt $my_num_commits
369         do
370                 my_i=$(($my_i + 1))
371                 test_tick
372                 cat >>"$my_append_to_file" <<INPUT_END
373 commit $my_ref
374 mark :$my_i
375 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
376 data <<COMMIT
377 commit #$my_i
378 COMMIT
379
380 M 644 inline file
381 data <<EOF
382 file contents in commit #$my_i
383 EOF
384
385 INPUT_END
386         done
387 }
388
389 # Write fast-import commands to create the given number of notes annotating
390 # the commits created by fast_import_commits()
391 fast_import_notes () {
392         my_notes_ref=$1
393         my_num_commits=$2
394         my_append_to_file=$3
395         my_note_append=$4
396         test_tick
397         cat >>"$my_append_to_file" <<INPUT_END
398 commit $my_notes_ref
399 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
400 data <<COMMIT
401 committing $my_num_commits notes
402 COMMIT
403
404 INPUT_END
405
406         my_i=0
407         while test $my_i -lt $my_num_commits
408         do
409                 my_i=$(($my_i + 1))
410                 cat >>"$my_append_to_file" <<INPUT_END
411 N inline :$my_i
412 data <<EOF
413 note for commit #$my_i$my_note_append
414 EOF
415
416 INPUT_END
417         done
418 }
419
420
421 rm input expect
422 num_commits=400
423 # Create lots of commits
424 fast_import_commits "refs/heads/many_commits" $num_commits input
425 # Create one note per above commit
426 fast_import_notes "refs/notes/many_notes" $num_commits input
427 # Add a couple of non-notes as well
428 test_tick
429 cat >>input <<INPUT_END
430 commit refs/notes/many_notes
431 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
432 data <<COMMIT
433 committing some non-notes to the notes tree
434 COMMIT
435
436 M 755 inline foobar/non-note.txt
437 data <<EOF
438 This is not a note, but rather a regular file residing in a notes tree
439 EOF
440
441 M 644 inline deadbeef
442 data <<EOF
443 Non-note file
444 EOF
445
446 M 644 inline de/adbeef
447 data <<EOF
448 Another non-note file
449 EOF
450
451 INPUT_END
452 # Finally create the expected output from all these notes and commits
453 i=$num_commits
454 while test $i -gt 0
455 do
456         cat >>expect <<EXPECT_END
457     commit #$i
458     note for commit #$i
459 EXPECT_END
460         i=$(($i - 1))
461 done
462
463 test_expect_success 'add lots of commits and notes' '
464
465         git fast-import <input &&
466         GIT_NOTES_REF=refs/notes/many_notes git log refs/heads/many_commits |
467             grep "^    " > actual &&
468         test_cmp expect actual
469
470 '
471
472 test_expect_success 'verify that lots of notes trigger a fanout scheme' '
473
474         # None of the entries in the top-level notes tree should be a full SHA1
475         git ls-tree --name-only refs/notes/many_notes |
476         while read path
477         do
478                 if test $(expr length "$path") -ge 40
479                 then
480                         return 1
481                 fi
482         done
483
484 '
485
486 cat >>expect_non-note1 << EOF
487 This is not a note, but rather a regular file residing in a notes tree
488 EOF
489
490 cat >>expect_non-note2 << EOF
491 Non-note file
492 EOF
493
494 cat >>expect_non-note3 << EOF
495 Another non-note file
496 EOF
497
498 test_expect_success 'verify that non-notes are untouched by a fanout change' '
499
500         git cat-file -p refs/notes/many_notes:foobar/non-note.txt > actual &&
501         test_cmp expect_non-note1 actual &&
502         git cat-file -p refs/notes/many_notes:deadbeef > actual &&
503         test_cmp expect_non-note2 actual &&
504         git cat-file -p refs/notes/many_notes:de/adbeef > actual &&
505         test_cmp expect_non-note3 actual
506
507 '
508
509 # Change the notes for the three top commits
510 test_tick
511 cat >input <<INPUT_END
512 commit refs/notes/many_notes
513 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
514 data <<COMMIT
515 changing notes for the top three commits
516 COMMIT
517 from refs/notes/many_notes^0
518 INPUT_END
519
520 rm expect
521 i=$num_commits
522 j=0
523 while test $j -lt 3
524 do
525         cat >>input <<INPUT_END
526 N inline refs/heads/many_commits~$j
527 data <<EOF
528 changed note for commit #$i
529 EOF
530 INPUT_END
531         cat >>expect <<EXPECT_END
532     commit #$i
533     changed note for commit #$i
534 EXPECT_END
535         i=$(($i - 1))
536         j=$(($j + 1))
537 done
538
539 test_expect_success 'change a few existing notes' '
540
541         git fast-import <input &&
542         GIT_NOTES_REF=refs/notes/many_notes git log -n3 refs/heads/many_commits |
543             grep "^    " > actual &&
544         test_cmp expect actual
545
546 '
547
548 test_expect_success 'verify that changing notes respect existing fanout' '
549
550         # None of the entries in the top-level notes tree should be a full SHA1
551         git ls-tree --name-only refs/notes/many_notes |
552         while read path
553         do
554                 if test $(expr length "$path") -ge 40
555                 then
556                         return 1
557                 fi
558         done
559
560 '
561
562 remaining_notes=10
563 test_tick
564 cat >input <<INPUT_END
565 commit refs/notes/many_notes
566 committer $GIT_COMMITTER_NAME <$GIT_COMMITTER_EMAIL> $GIT_COMMITTER_DATE
567 data <<COMMIT
568 removing all notes but $remaining_notes
569 COMMIT
570 from refs/notes/many_notes^0
571 INPUT_END
572
573 i=$(($num_commits - $remaining_notes))
574 for sha1 in $(git rev-list -n $i refs/heads/many_commits)
575 do
576         cat >>input <<INPUT_END
577 N 0000000000000000000000000000000000000000 $sha1
578 INPUT_END
579 done
580
581 i=$num_commits
582 rm expect
583 while test $i -gt 0
584 do
585         cat >>expect <<EXPECT_END
586     commit #$i
587 EXPECT_END
588         if test $i -le $remaining_notes
589         then
590                 cat >>expect <<EXPECT_END
591     note for commit #$i
592 EXPECT_END
593         fi
594         i=$(($i - 1))
595 done
596
597 test_expect_success 'remove lots of notes' '
598
599         git fast-import <input &&
600         GIT_NOTES_REF=refs/notes/many_notes git log refs/heads/many_commits |
601             grep "^    " > actual &&
602         test_cmp expect actual
603
604 '
605
606 test_expect_success 'verify that removing notes trigger fanout consolidation' '
607
608         # All entries in the top-level notes tree should be a full SHA1
609         git ls-tree --name-only -r refs/notes/many_notes |
610         while read path
611         do
612                 # Explicitly ignore the non-note paths
613                 test "$path" = "foobar/non-note.txt" && continue
614                 test "$path" = "deadbeef" && continue
615                 test "$path" = "de/adbeef" && continue
616
617                 if test $(expr length "$path") -ne 40
618                 then
619                         return 1
620                 fi
621         done
622
623 '
624
625 test_expect_success 'verify that non-notes are untouched by a fanout change' '
626
627         git cat-file -p refs/notes/many_notes:foobar/non-note.txt > actual &&
628         test_cmp expect_non-note1 actual &&
629         git cat-file -p refs/notes/many_notes:deadbeef > actual &&
630         test_cmp expect_non-note2 actual &&
631         git cat-file -p refs/notes/many_notes:de/adbeef > actual &&
632         test_cmp expect_non-note3 actual
633
634 '
635
636
637 rm input expect
638 num_notes_refs=10
639 num_commits=16
640 some_commits=8
641 # Create commits
642 fast_import_commits "refs/heads/more_commits" $num_commits input
643 # Create one note per above commit per notes ref
644 i=0
645 while test $i -lt $num_notes_refs
646 do
647         i=$(($i + 1))
648         fast_import_notes "refs/notes/more_notes_$i" $num_commits input
649 done
650 # Trigger branch reloading in git-fast-import by repeating the note creation
651 i=0
652 while test $i -lt $num_notes_refs
653 do
654         i=$(($i + 1))
655         fast_import_notes "refs/notes/more_notes_$i" $some_commits input " (2)"
656 done
657 # Finally create the expected output from the notes in refs/notes/more_notes_1
658 i=$num_commits
659 while test $i -gt 0
660 do
661         note_data="note for commit #$i"
662         if test $i -le $some_commits
663         then
664                 note_data="$note_data (2)"
665         fi
666         cat >>expect <<EXPECT_END
667     commit #$i
668     $note_data
669 EXPECT_END
670         i=$(($i - 1))
671 done
672
673 test_expect_success "add notes to $num_commits commits in each of $num_notes_refs refs" '
674
675         git fast-import --active-branches=5 <input &&
676         GIT_NOTES_REF=refs/notes/more_notes_1 git log refs/heads/more_commits |
677             grep "^    " > actual &&
678         test_cmp expect actual
679
680 '
681
682 test_done