fetch-pack: print and use dangling .gitmodules
[git] / Documentation / MyFirstContribution.txt
1 My First Contribution to the Git Project
2 ========================================
3 :sectanchors:
4
5 [[summary]]
6 == Summary
7
8 This is a tutorial demonstrating the end-to-end workflow of creating a change to
9 the Git tree, sending it for review, and making changes based on comments.
10
11 [[prerequisites]]
12 === Prerequisites
13
14 This tutorial assumes you're already fairly familiar with using Git to manage
15 source code.  The Git workflow steps will largely remain unexplained.
16
17 [[related-reading]]
18 === Related Reading
19
20 This tutorial aims to summarize the following documents, but the reader may find
21 useful additional context:
22
23 - `Documentation/SubmittingPatches`
24 - `Documentation/howto/new-command.txt`
25
26 [[getting-help]]
27 === Getting Help
28
29 If you get stuck, you can seek help in the following places.
30
31 ==== git@vger.kernel.org
32
33 This is the main Git project mailing list where code reviews, version
34 announcements, design discussions, and more take place. Those interested in
35 contributing are welcome to post questions here. The Git list requires
36 plain-text-only emails and prefers inline and bottom-posting when replying to
37 mail; you will be CC'd in all replies to you. Optionally, you can subscribe to
38 the list by sending an email to majordomo@vger.kernel.org with "subscribe git"
39 in the body. The https://lore.kernel.org/git[archive] of this mailing list is
40 available to view in a browser.
41
42 ==== https://groups.google.com/forum/#!forum/git-mentoring[git-mentoring@googlegroups.com]
43
44 This mailing list is targeted to new contributors and was created as a place to
45 post questions and receive answers outside of the public eye of the main list.
46 Veteran contributors who are especially interested in helping mentor newcomers
47 are present on the list. In order to avoid search indexers, group membership is
48 required to view messages; anyone can join and no approval is required.
49
50 ==== https://webchat.freenode.net/#git-devel[#git-devel] on Freenode
51
52 This IRC channel is for conversations between Git contributors. If someone is
53 currently online and knows the answer to your question, you can receive help
54 in real time. Otherwise, you can read the
55 https://colabti.org/irclogger/irclogger_logs/git-devel[scrollback] to see
56 whether someone answered you. IRC does not allow offline private messaging, so
57 if you try to private message someone and then log out of IRC, they cannot
58 respond to you. It's better to ask your questions in the channel so that you
59 can be answered if you disconnect and so that others can learn from the
60 conversation.
61
62 [[getting-started]]
63 == Getting Started
64
65 [[cloning]]
66 === Clone the Git Repository
67
68 Git is mirrored in a number of locations. Clone the repository from one of them;
69 https://git-scm.com/downloads suggests one of the best places to clone from is
70 the mirror on GitHub.
71
72 ----
73 $ git clone https://github.com/git/git git
74 $ cd git
75 ----
76
77 [[dependencies]]
78 === Installing Dependencies
79
80 To build Git from source, you need to have a handful of dependencies installed
81 on your system. For a hint of what's needed, you can take a look at
82 `INSTALL`, paying close attention to the section about Git's dependencies on
83 external programs and libraries. That document mentions a way to "test-drive"
84 our freshly built Git without installing; that's the method we'll be using in
85 this tutorial.
86
87 Make sure that your environment has everything you need by building your brand
88 new clone of Git from the above step:
89
90 ----
91 $ make
92 ----
93
94 NOTE: The Git build is parallelizable. `-j#` is not included above but you can
95 use it as you prefer, here and elsewhere.
96
97 [[identify-problem]]
98 === Identify Problem to Solve
99
100 ////
101 Use + to indicate fixed-width here; couldn't get ` to work nicely with the
102 quotes around "Pony Saying 'Um, Hello'".
103 ////
104 In this tutorial, we will add a new command, +git psuh+, short for ``Pony Saying
105 `Um, Hello''' - a feature which has gone unimplemented despite a high frequency
106 of invocation during users' typical daily workflow.
107
108 (We've seen some other effort in this space with the implementation of popular
109 commands such as `sl`.)
110
111 [[setup-workspace]]
112 === Set Up Your Workspace
113
114 Let's start by making a development branch to work on our changes. Per
115 `Documentation/SubmittingPatches`, since a brand new command is a new feature,
116 it's fine to base your work on `master`. However, in the future for bugfixes,
117 etc., you should check that document and base it on the appropriate branch.
118
119 For the purposes of this document, we will base all our work on the `master`
120 branch of the upstream project. Create the `psuh` branch you will use for
121 development like so:
122
123 ----
124 $ git checkout -b psuh origin/master
125 ----
126
127 We'll make a number of commits here in order to demonstrate how to send a topic
128 with multiple patches up for review simultaneously.
129
130 [[code-it-up]]
131 == Code It Up!
132
133 NOTE: A reference implementation can be found at
134 https://github.com/nasamuffin/git/tree/psuh.
135
136 [[add-new-command]]
137 === Adding a New Command
138
139 Lots of the subcommands are written as builtins, which means they are
140 implemented in C and compiled into the main `git` executable. Implementing the
141 very simple `psuh` command as a built-in will demonstrate the structure of the
142 codebase, the internal API, and the process of working together as a contributor
143 with the reviewers and maintainer to integrate this change into the system.
144
145 Built-in subcommands are typically implemented in a function named "cmd_"
146 followed by the name of the subcommand, in a source file named after the
147 subcommand and contained within `builtin/`. So it makes sense to implement your
148 command in `builtin/psuh.c`. Create that file, and within it, write the entry
149 point for your command in a function matching the style and signature:
150
151 ----
152 int cmd_psuh(int argc, const char **argv, const char *prefix)
153 ----
154
155 We'll also need to add the declaration of psuh; open up `builtin.h`, find the
156 declaration for `cmd_pull`, and add a new line for `psuh` immediately before it,
157 in order to keep the declarations alphabetically sorted:
158
159 ----
160 int cmd_psuh(int argc, const char **argv, const char *prefix);
161 ----
162
163 Be sure to `#include "builtin.h"` in your `psuh.c`.
164
165 Go ahead and add some throwaway printf to that function. This is a decent
166 starting point as we can now add build rules and register the command.
167
168 NOTE: Your throwaway text, as well as much of the text you will be adding over
169 the course of this tutorial, is user-facing. That means it needs to be
170 localizable. Take a look at `po/README` under "Marking strings for translation".
171 Throughout the tutorial, we will mark strings for translation as necessary; you
172 should also do so when writing your user-facing commands in the future.
173
174 ----
175 int cmd_psuh(int argc, const char **argv, const char *prefix)
176 {
177         printf(_("Pony saying hello goes here.\n"));
178         return 0;
179 }
180 ----
181
182 Let's try to build it.  Open `Makefile`, find where `builtin/pull.o` is added
183 to `BUILTIN_OBJS`, and add `builtin/psuh.o` in the same way next to it in
184 alphabetical order. Once you've done so, move to the top-level directory and
185 build simply with `make`. Also add the `DEVELOPER=1` variable to turn on
186 some additional warnings:
187
188 ----
189 $ echo DEVELOPER=1 >config.mak
190 $ make
191 ----
192
193 NOTE: When you are developing the Git project, it's preferred that you use the
194 `DEVELOPER` flag; if there's some reason it doesn't work for you, you can turn
195 it off, but it's a good idea to mention the problem to the mailing list.
196
197 Great, now your new command builds happily on its own. But nobody invokes it.
198 Let's change that.
199
200 The list of commands lives in `git.c`. We can register a new command by adding
201 a `cmd_struct` to the `commands[]` array. `struct cmd_struct` takes a string
202 with the command name, a function pointer to the command implementation, and a
203 setup option flag. For now, let's keep mimicking `push`. Find the line where
204 `cmd_push` is registered, copy it, and modify it for `cmd_psuh`, placing the new
205 line in alphabetical order (immediately before `cmd_pull`).
206
207 The options are documented in `builtin.h` under "Adding a new built-in." Since
208 we hope to print some data about the user's current workspace context later,
209 we need a Git directory, so choose `RUN_SETUP` as your only option.
210
211 Go ahead and build again. You should see a clean build, so let's kick the tires
212 and see if it works. There's a binary you can use to test with in the
213 `bin-wrappers` directory.
214
215 ----
216 $ ./bin-wrappers/git psuh
217 ----
218
219 Check it out! You've got a command! Nice work! Let's commit this.
220
221 `git status` reveals modified `Makefile`, `builtin.h`, and `git.c` as well as
222 untracked `builtin/psuh.c` and `git-psuh`. First, let's take care of the binary,
223 which should be ignored. Open `.gitignore` in your editor, find `/git-pull`, and
224 add an entry for your new command in alphabetical order:
225
226 ----
227 ...
228 /git-prune-packed
229 /git-psuh
230 /git-pull
231 /git-push
232 /git-quiltimport
233 /git-range-diff
234 ...
235 ----
236
237 Checking `git status` again should show that `git-psuh` has been removed from
238 the untracked list and `.gitignore` has been added to the modified list. Now we
239 can stage and commit:
240
241 ----
242 $ git add Makefile builtin.h builtin/psuh.c git.c .gitignore
243 $ git commit -s
244 ----
245
246 You will be presented with your editor in order to write a commit message. Start
247 the commit with a 50-column or less subject line, including the name of the
248 component you're working on, followed by a blank line (always required) and then
249 the body of your commit message, which should provide the bulk of the context.
250 Remember to be explicit and provide the "Why" of your change, especially if it
251 couldn't easily be understood from your diff. When editing your commit message,
252 don't remove the `Signed-off-by` trailer which was added by `-s` above.
253
254 ----
255 psuh: add a built-in by popular demand
256
257 Internal metrics indicate this is a command many users expect to be
258 present. So here's an implementation to help drive customer
259 satisfaction and engagement: a pony which doubtfully greets the user,
260 or, a Pony Saying "Um, Hello" (PSUH).
261
262 This commit message is intentionally formatted to 72 columns per line,
263 starts with a single line as "commit message subject" that is written as
264 if to command the codebase to do something (add this, teach a command
265 that). The body of the message is designed to add information about the
266 commit that is not readily deduced from reading the associated diff,
267 such as answering the question "why?".
268
269 Signed-off-by: A U Thor <author@example.com>
270 ----
271
272 Go ahead and inspect your new commit with `git show`. "psuh:" indicates you
273 have modified mainly the `psuh` command. The subject line gives readers an idea
274 of what you've changed. The sign-off line (`-s`) indicates that you agree to
275 the Developer's Certificate of Origin 1.1 (see the
276 `Documentation/SubmittingPatches` +++[[dco]]+++ header).
277
278 For the remainder of the tutorial, the subject line only will be listed for the
279 sake of brevity. However, fully-fleshed example commit messages are available
280 on the reference implementation linked at the top of this document.
281
282 [[implementation]]
283 === Implementation
284
285 It's probably useful to do at least something besides printing out a string.
286 Let's start by having a look at everything we get.
287
288 Modify your `cmd_psuh` implementation to dump the args you're passed, keeping
289 existing `printf()` calls in place:
290
291 ----
292         int i;
293
294         ...
295
296         printf(Q_("Your args (there is %d):\n",
297                   "Your args (there are %d):\n",
298                   argc),
299                argc);
300         for (i = 0; i < argc; i++)
301                 printf("%d: %s\n", i, argv[i]);
302
303         printf(_("Your current working directory:\n<top-level>%s%s\n"),
304                prefix ? "/" : "", prefix ? prefix : "");
305
306 ----
307
308 Build and try it. As you may expect, there's pretty much just whatever we give
309 on the command line, including the name of our command. (If `prefix` is empty
310 for you, try `cd Documentation/ && ../bin-wrappers/git psuh`). That's not so
311 helpful. So what other context can we get?
312
313 Add a line to `#include "config.h"`. Then, add the following bits to the
314 function body:
315
316 ----
317         const char *cfg_name;
318
319 ...
320
321         git_config(git_default_config, NULL);
322         if (git_config_get_string_tmp("user.name", &cfg_name) > 0)
323                 printf(_("No name is found in config\n"));
324         else
325                 printf(_("Your name: %s\n"), cfg_name);
326 ----
327
328 `git_config()` will grab the configuration from config files known to Git and
329 apply standard precedence rules. `git_config_get_string_tmp()` will look up
330 a specific key ("user.name") and give you the value. There are a number of
331 single-key lookup functions like this one; you can see them all (and more info
332 about how to use `git_config()`) in `Documentation/technical/api-config.txt`.
333
334 You should see that the name printed matches the one you see when you run:
335
336 ----
337 $ git config --get user.name
338 ----
339
340 Great! Now we know how to check for values in the Git config. Let's commit this
341 too, so we don't lose our progress.
342
343 ----
344 $ git add builtin/psuh.c
345 $ git commit -sm "psuh: show parameters & config opts"
346 ----
347
348 NOTE: Again, the above is for sake of brevity in this tutorial. In a real change
349 you should not use `-m` but instead use the editor to write a meaningful
350 message.
351
352 Still, it'd be nice to know what the user's working context is like. Let's see
353 if we can print the name of the user's current branch. We can mimic the
354 `git status` implementation; the printer is located in `wt-status.c` and we can
355 see that the branch is held in a `struct wt_status`.
356
357 `wt_status_print()` gets invoked by `cmd_status()` in `builtin/commit.c`.
358 Looking at that implementation we see the status config being populated like so:
359
360 ----
361 status_init_config(&s, git_status_config);
362 ----
363
364 But as we drill down, we can find that `status_init_config()` wraps a call
365 to `git_config()`. Let's modify the code we wrote in the previous commit.
366
367 Be sure to include the header to allow you to use `struct wt_status`:
368 ----
369 #include "wt-status.h"
370 ----
371
372 Then modify your `cmd_psuh` implementation to declare your `struct wt_status`,
373 prepare it, and print its contents:
374
375 ----
376         struct wt_status status;
377
378 ...
379
380         wt_status_prepare(the_repository, &status);
381         git_config(git_default_config, &status);
382
383 ...
384
385         printf(_("Your current branch: %s\n"), status.branch);
386 ----
387
388 Run it again. Check it out - here's the (verbose) name of your current branch!
389
390 Let's commit this as well.
391
392 ----
393 $ git add builtin/psuh.c
394 $ git commit -sm "psuh: print the current branch"
395 ----
396
397 Now let's see if we can get some info about a specific commit.
398
399 Luckily, there are some helpers for us here. `commit.h` has a function called
400 `lookup_commit_reference_by_name` to which we can simply provide a hardcoded
401 string; `pretty.h` has an extremely handy `pp_commit_easy()` call which doesn't
402 require a full format object to be passed.
403
404 Add the following includes:
405
406 ----
407 #include "commit.h"
408 #include "pretty.h"
409 ----
410
411 Then, add the following lines within your implementation of `cmd_psuh()` near
412 the declarations and the logic, respectively.
413
414 ----
415         struct commit *c = NULL;
416         struct strbuf commitline = STRBUF_INIT;
417
418 ...
419
420         c = lookup_commit_reference_by_name("origin/master");
421
422         if (c != NULL) {
423                 pp_commit_easy(CMIT_FMT_ONELINE, c, &commitline);
424                 printf(_("Current commit: %s\n"), commitline.buf);
425         }
426 ----
427
428 The `struct strbuf` provides some safety belts to your basic `char*`, one of
429 which is a length member to prevent buffer overruns. It needs to be initialized
430 nicely with `STRBUF_INIT`. Keep it in mind when you need to pass around `char*`.
431
432 `lookup_commit_reference_by_name` resolves the name you pass it, so you can play
433 with the value there and see what kind of things you can come up with.
434
435 `pp_commit_easy` is a convenience wrapper in `pretty.h` that takes a single
436 format enum shorthand, rather than an entire format struct. It then
437 pretty-prints the commit according to that shorthand. These are similar to the
438 formats available with `--pretty=FOO` in many Git commands.
439
440 Build it and run, and if you're using the same name in the example, you should
441 see the subject line of the most recent commit in `origin/master` that you know
442 about. Neat! Let's commit that as well.
443
444 ----
445 $ git add builtin/psuh.c
446 $ git commit -sm "psuh: display the top of origin/master"
447 ----
448
449 [[add-documentation]]
450 === Adding Documentation
451
452 Awesome! You've got a fantastic new command that you're ready to share with the
453 community. But hang on just a minute - this isn't very user-friendly. Run the
454 following:
455
456 ----
457 $ ./bin-wrappers/git help psuh
458 ----
459
460 Your new command is undocumented! Let's fix that.
461
462 Take a look at `Documentation/git-*.txt`. These are the manpages for the
463 subcommands that Git knows about. You can open these up and take a look to get
464 acquainted with the format, but then go ahead and make a new file
465 `Documentation/git-psuh.txt`. Like with most of the documentation in the Git
466 project, help pages are written with AsciiDoc (see CodingGuidelines, "Writing
467 Documentation" section). Use the following template to fill out your own
468 manpage:
469
470 // Surprisingly difficult to embed AsciiDoc source within AsciiDoc.
471 [listing]
472 ....
473 git-psuh(1)
474 ===========
475
476 NAME
477 ----
478 git-psuh - Delight users' typo with a shy horse
479
480
481 SYNOPSIS
482 --------
483 [verse]
484 'git-psuh [<arg>...]'
485
486 DESCRIPTION
487 -----------
488 ...
489
490 OPTIONS[[OPTIONS]]
491 ------------------
492 ...
493
494 OUTPUT
495 ------
496 ...
497
498 GIT
499 ---
500 Part of the linkgit:git[1] suite
501 ....
502
503 The most important pieces of this to note are the file header, underlined by =,
504 the NAME section, and the SYNOPSIS, which would normally contain the grammar if
505 your command took arguments. Try to use well-established manpage headers so your
506 documentation is consistent with other Git and UNIX manpages; this makes life
507 easier for your user, who can skip to the section they know contains the
508 information they need.
509
510 NOTE: Before trying to build the docs, make sure you have the package `asciidoc`
511 installed.
512
513 Now that you've written your manpage, you'll need to build it explicitly. We
514 convert your AsciiDoc to troff which is man-readable like so:
515
516 ----
517 $ make all doc
518 $ man Documentation/git-psuh.1
519 ----
520
521 or
522
523 ----
524 $ make -C Documentation/ git-psuh.1
525 $ man Documentation/git-psuh.1
526 ----
527
528 While this isn't as satisfying as running through `git help`, you can at least
529 check that your help page looks right.
530
531 You can also check that the documentation coverage is good (that is, the project
532 sees that your command has been implemented as well as documented) by running
533 `make check-docs` from the top-level.
534
535 Go ahead and commit your new documentation change.
536
537 [[add-usage]]
538 === Adding Usage Text
539
540 Try and run `./bin-wrappers/git psuh -h`. Your command should crash at the end.
541 That's because `-h` is a special case which your command should handle by
542 printing usage.
543
544 Take a look at `Documentation/technical/api-parse-options.txt`. This is a handy
545 tool for pulling out options you need to be able to handle, and it takes a
546 usage string.
547
548 In order to use it, we'll need to prepare a NULL-terminated array of usage
549 strings and a `builtin_psuh_options` array.
550
551 Add a line to `#include "parse-options.h"`.
552
553 At global scope, add your array of usage strings:
554
555 ----
556 static const char * const psuh_usage[] = {
557         N_("git psuh [<arg>...]"),
558         NULL,
559 };
560 ----
561
562 Then, within your `cmd_psuh()` implementation, we can declare and populate our
563 `option` struct. Ours is pretty boring but you can add more to it if you want to
564 explore `parse_options()` in more detail:
565
566 ----
567         struct option options[] = {
568                 OPT_END()
569         };
570 ----
571
572 Finally, before you print your args and prefix, add the call to
573 `parse-options()`:
574
575 ----
576         argc = parse_options(argc, argv, prefix, options, psuh_usage, 0);
577 ----
578
579 This call will modify your `argv` parameter. It will strip the options you
580 specified in `options` from `argv` and the locations pointed to from `options`
581 entries will be updated. Be sure to replace your `argc` with the result from
582 `parse_options()`, or you will be confused if you try to parse `argv` later.
583
584 It's worth noting the special argument `--`. As you may be aware, many Unix
585 commands use `--` to indicate "end of named parameters" - all parameters after
586 the `--` are interpreted merely as positional arguments. (This can be handy if
587 you want to pass as a parameter something which would usually be interpreted as
588 a flag.) `parse_options()` will terminate parsing when it reaches `--` and give
589 you the rest of the options afterwards, untouched.
590
591 Now that you have a usage hint, you can teach Git how to show it in the general
592 command list shown by `git help git` or `git help -a`, which is generated from
593 `command-list.txt`. Find the line for 'git-pull' so you can add your 'git-psuh'
594 line above it in alphabetical order. Now, we can add some attributes about the
595 command which impacts where it shows up in the aforementioned help commands. The
596 top of `command-list.txt` shares some information about what each attribute
597 means; in those help pages, the commands are sorted according to these
598 attributes. `git psuh` is user-facing, or porcelain - so we will mark it as
599 "mainporcelain". For "mainporcelain" commands, the comments at the top of
600 `command-list.txt` indicate we can also optionally add an attribute from another
601 list; since `git psuh` shows some information about the user's workspace but
602 doesn't modify anything, let's mark it as "info". Make sure to keep your
603 attributes in the same style as the rest of `command-list.txt` using spaces to
604 align and delineate them:
605
606 ----
607 git-prune-packed                        plumbingmanipulators
608 git-psuh                                mainporcelain           info
609 git-pull                                mainporcelain           remote
610 git-push                                mainporcelain           remote
611 ----
612
613 Build again. Now, when you run with `-h`, you should see your usage printed and
614 your command terminated before anything else interesting happens. Great!
615
616 Go ahead and commit this one, too.
617
618 [[testing]]
619 == Testing
620
621 It's important to test your code - even for a little toy command like this one.
622 Moreover, your patch won't be accepted into the Git tree without tests. Your
623 tests should:
624
625 * Illustrate the current behavior of the feature
626 * Prove the current behavior matches the expected behavior
627 * Ensure the externally-visible behavior isn't broken in later changes
628
629 So let's write some tests.
630
631 Related reading: `t/README`
632
633 [[overview-test-structure]]
634 === Overview of Testing Structure
635
636 The tests in Git live in `t/` and are named with a 4-digit decimal number using
637 the schema shown in the Naming Tests section of `t/README`.
638
639 [[write-new-test]]
640 === Writing Your Test
641
642 Since this a toy command, let's go ahead and name the test with t9999. However,
643 as many of the family/subcmd combinations are full, best practice seems to be
644 to find a command close enough to the one you've added and share its naming
645 space.
646
647 Create a new file `t/t9999-psuh-tutorial.sh`. Begin with the header as so (see
648 "Writing Tests" and "Source 'test-lib.sh'" in `t/README`):
649
650 ----
651 #!/bin/sh
652
653 test_description='git-psuh test
654
655 This test runs git-psuh and makes sure it does not crash.'
656
657 . ./test-lib.sh
658 ----
659
660 Tests are framed inside of a `test_expect_success` in order to output TAP
661 formatted results. Let's make sure that `git psuh` doesn't exit poorly and does
662 mention the right animal somewhere:
663
664 ----
665 test_expect_success 'runs correctly with no args and good output' '
666         git psuh >actual &&
667         test_i18ngrep Pony actual
668 '
669 ----
670
671 Indicate that you've run everything you wanted by adding the following at the
672 bottom of your script:
673
674 ----
675 test_done
676 ----
677
678 Make sure you mark your test script executable:
679
680 ----
681 $ chmod +x t/t9999-psuh-tutorial.sh
682 ----
683
684 You can get an idea of whether you created your new test script successfully
685 by running `make -C t test-lint`, which will check for things like test number
686 uniqueness, executable bit, and so on.
687
688 [[local-test]]
689 === Running Locally
690
691 Let's try and run locally:
692
693 ----
694 $ make
695 $ cd t/ && prove t9999-psuh-tutorial.sh
696 ----
697
698 You can run the full test suite and ensure `git-psuh` didn't break anything:
699
700 ----
701 $ cd t/
702 $ prove -j$(nproc) --shuffle t[0-9]*.sh
703 ----
704
705 NOTE: You can also do this with `make test` or use any testing harness which can
706 speak TAP. `prove` can run concurrently. `shuffle` randomizes the order the
707 tests are run in, which makes them resilient against unwanted inter-test
708 dependencies. `prove` also makes the output nicer.
709
710 Go ahead and commit this change, as well.
711
712 [[ready-to-share]]
713 == Getting Ready to Share
714
715 You may have noticed already that the Git project performs its code reviews via
716 emailed patches, which are then applied by the maintainer when they are ready
717 and approved by the community. The Git project does not accept patches from
718 pull requests, and the patches emailed for review need to be formatted a
719 specific way. At this point the tutorial diverges, in order to demonstrate two
720 different methods of formatting your patchset and getting it reviewed.
721
722 The first method to be covered is GitGitGadget, which is useful for those
723 already familiar with GitHub's common pull request workflow. This method
724 requires a GitHub account.
725
726 The second method to be covered is `git send-email`, which can give slightly
727 more fine-grained control over the emails to be sent. This method requires some
728 setup which can change depending on your system and will not be covered in this
729 tutorial.
730
731 Regardless of which method you choose, your engagement with reviewers will be
732 the same; the review process will be covered after the sections on GitGitGadget
733 and `git send-email`.
734
735 [[howto-ggg]]
736 == Sending Patches via GitGitGadget
737
738 One option for sending patches is to follow a typical pull request workflow and
739 send your patches out via GitGitGadget. GitGitGadget is a tool created by
740 Johannes Schindelin to make life as a Git contributor easier for those used to
741 the GitHub PR workflow. It allows contributors to open pull requests against its
742 mirror of the Git project, and does some magic to turn the PR into a set of
743 emails and send them out for you. It also runs the Git continuous integration
744 suite for you. It's documented at http://gitgitgadget.github.io.
745
746 [[create-fork]]
747 === Forking `git/git` on GitHub
748
749 Before you can send your patch off to be reviewed using GitGitGadget, you will
750 need to fork the Git project and upload your changes. First thing - make sure
751 you have a GitHub account.
752
753 Head to the https://github.com/git/git[GitHub mirror] and look for the Fork
754 button. Place your fork wherever you deem appropriate and create it.
755
756 [[upload-to-fork]]
757 === Uploading to Your Own Fork
758
759 To upload your branch to your own fork, you'll need to add the new fork as a
760 remote. You can use `git remote -v` to show the remotes you have added already.
761 From your new fork's page on GitHub, you can press "Clone or download" to get
762 the URL; then you need to run the following to add, replacing your own URL and
763 remote name for the examples provided:
764
765 ----
766 $ git remote add remotename git@github.com:remotename/git.git
767 ----
768
769 or to use the HTTPS URL:
770
771 ----
772 $ git remote add remotename https://github.com/remotename/git/.git
773 ----
774
775 Run `git remote -v` again and you should see the new remote showing up.
776 `git fetch remotename` (with the real name of your remote replaced) in order to
777 get ready to push.
778
779 Next, double-check that you've been doing all your development in a new branch
780 by running `git branch`. If you didn't, now is a good time to move your new
781 commits to their own branch.
782
783 As mentioned briefly at the beginning of this document, we are basing our work
784 on `master`, so go ahead and update as shown below, or using your preferred
785 workflow.
786
787 ----
788 $ git checkout master
789 $ git pull -r
790 $ git rebase master psuh
791 ----
792
793 Finally, you're ready to push your new topic branch! (Due to our branch and
794 command name choices, be careful when you type the command below.)
795
796 ----
797 $ git push remotename psuh
798 ----
799
800 Now you should be able to go and check out your newly created branch on GitHub.
801
802 [[send-pr-ggg]]
803 === Sending a PR to GitGitGadget
804
805 In order to have your code tested and formatted for review, you need to start by
806 opening a Pull Request against `gitgitgadget/git`. Head to
807 https://github.com/gitgitgadget/git and open a PR either with the "New pull
808 request" button or the convenient "Compare & pull request" button that may
809 appear with the name of your newly pushed branch.
810
811 Review the PR's title and description, as it's used by GitGitGadget as the cover
812 letter for your change. When you're happy, submit your pull request.
813
814 [[run-ci-ggg]]
815 === Running CI and Getting Ready to Send
816
817 If it's your first time using GitGitGadget (which is likely, as you're using
818 this tutorial) then someone will need to give you permission to use the tool.
819 As mentioned in the GitGitGadget documentation, you just need someone who
820 already uses it to comment on your PR with `/allow <username>`. GitGitGadget
821 will automatically run your PRs through the CI even without the permission given
822 but you will not be able to `/submit` your changes until someone allows you to
823 use the tool.
824
825 NOTE: You can typically find someone who can `/allow` you on GitGitGadget by
826 either examining recent pull requests where someone has been granted `/allow`
827 (https://github.com/gitgitgadget/git/pulls?utf8=%E2%9C%93&q=is%3Apr+is%3Aopen+%22%2Fallow%22[Search:
828 is:pr is:open "/allow"]), in which case both the author and the person who
829 granted the `/allow` can now `/allow` you, or by inquiring on the
830 https://webchat.freenode.net/#git-devel[#git-devel] IRC channel on Freenode
831 linking your pull request and asking for someone to `/allow` you.
832
833 If the CI fails, you can update your changes with `git rebase -i` and push your
834 branch again:
835
836 ----
837 $ git push -f remotename psuh
838 ----
839
840 In fact, you should continue to make changes this way up until the point when
841 your patch is accepted into `next`.
842
843 ////
844 TODO https://github.com/gitgitgadget/gitgitgadget/issues/83
845 It'd be nice to be able to verify that the patch looks good before sending it
846 to everyone on Git mailing list.
847 [[check-work-ggg]]
848 === Check Your Work
849 ////
850
851 [[send-mail-ggg]]
852 === Sending Your Patches
853
854 Now that your CI is passing and someone has granted you permission to use
855 GitGitGadget with the `/allow` command, sending out for review is as simple as
856 commenting on your PR with `/submit`.
857
858 [[responding-ggg]]
859 === Updating With Comments
860
861 Skip ahead to <<reviewing,Responding to Reviews>> for information on how to
862 reply to review comments you will receive on the mailing list.
863
864 Once you have your branch again in the shape you want following all review
865 comments, you can submit again:
866
867 ----
868 $ git push -f remotename psuh
869 ----
870
871 Next, go look at your pull request against GitGitGadget; you should see the CI
872 has been kicked off again. Now while the CI is running is a good time for you
873 to modify your description at the top of the pull request thread; it will be
874 used again as the cover letter. You should use this space to describe what
875 has changed since your previous version, so that your reviewers have some idea
876 of what they're looking at. When the CI is done running, you can comment once
877 more with `/submit` - GitGitGadget will automatically add a v2 mark to your
878 changes.
879
880 [[howto-git-send-email]]
881 == Sending Patches with `git send-email`
882
883 If you don't want to use GitGitGadget, you can also use Git itself to mail your
884 patches. Some benefits of using Git this way include finer grained control of
885 subject line (for example, being able to use the tag [RFC PATCH] in the subject)
886 and being able to send a ``dry run'' mail to yourself to ensure it all looks
887 good before going out to the list.
888
889 [[setup-git-send-email]]
890 === Prerequisite: Setting Up `git send-email`
891
892 Configuration for `send-email` can vary based on your operating system and email
893 provider, and so will not be covered in this tutorial, beyond stating that in
894 many distributions of Linux, `git-send-email` is not packaged alongside the
895 typical `git` install. You may need to install this additional package; there
896 are a number of resources online to help you do so. You will also need to
897 determine the right way to configure it to use your SMTP server; again, as this
898 configuration can change significantly based on your system and email setup, it
899 is out of scope for the context of this tutorial.
900
901 [[format-patch]]
902 === Preparing Initial Patchset
903
904 Sending emails with Git is a two-part process; before you can prepare the emails
905 themselves, you'll need to prepare the patches. Luckily, this is pretty simple:
906
907 ----
908 $ git format-patch --cover-letter -o psuh/ master..psuh
909 ----
910
911 The `--cover-letter` parameter tells `format-patch` to create a cover letter
912 template for you. You will need to fill in the template before you're ready
913 to send - but for now, the template will be next to your other patches.
914
915 The `-o psuh/` parameter tells `format-patch` to place the patch files into a
916 directory. This is useful because `git send-email` can take a directory and
917 send out all the patches from there.
918
919 `master..psuh` tells `format-patch` to generate patches for the difference
920 between `master` and `psuh`. It will make one patch file per commit. After you
921 run, you can go have a look at each of the patches with your favorite text
922 editor and make sure everything looks alright; however, it's not recommended to
923 make code fixups via the patch file. It's a better idea to make the change the
924 normal way using `git rebase -i` or by adding a new commit than by modifying a
925 patch.
926
927 NOTE: Optionally, you can also use the `--rfc` flag to prefix your patch subject
928 with ``[RFC PATCH]'' instead of ``[PATCH]''. RFC stands for ``request for
929 comments'' and indicates that while your code isn't quite ready for submission,
930 you'd like to begin the code review process. This can also be used when your
931 patch is a proposal, but you aren't sure whether the community wants to solve
932 the problem with that approach or not - to conduct a sort of design review. You
933 may also see on the list patches marked ``WIP'' - this means they are incomplete
934 but want reviewers to look at what they have so far. You can add this flag with
935 `--subject-prefix=WIP`.
936
937 Check and make sure that your patches and cover letter template exist in the
938 directory you specified - you're nearly ready to send out your review!
939
940 [[cover-letter]]
941 === Preparing Email
942
943 In addition to an email per patch, the Git community also expects your patches
944 to come with a cover letter, typically with a subject line [PATCH 0/x] (where
945 x is the number of patches you're sending). Since you invoked `format-patch`
946 with `--cover-letter`, you've already got a template ready. Open it up in your
947 favorite editor.
948
949 You should see a number of headers present already. Check that your `From:`
950 header is correct. Then modify your `Subject:` to something which succinctly
951 covers the purpose of your entire topic branch, for example:
952
953 ----
954 Subject: [PATCH 0/7] adding the 'psuh' command
955 ----
956
957 Make sure you retain the ``[PATCH 0/X]'' part; that's what indicates to the Git
958 community that this email is the beginning of a review, and many reviewers
959 filter their email for this type of flag.
960
961 You'll need to add some extra parameters when you invoke `git send-email` to add
962 the cover letter.
963
964 Next you'll have to fill out the body of your cover letter. This is an important
965 component of change submission as it explains to the community from a high level
966 what you're trying to do, and why, in a way that's more apparent than just
967 looking at your diff. Be sure to explain anything your diff doesn't make clear
968 on its own.
969
970 Here's an example body for `psuh`:
971
972 ----
973 Our internal metrics indicate widespread interest in the command
974 git-psuh - that is, many users are trying to use it, but finding it is
975 unavailable, using some unknown workaround instead.
976
977 The following handful of patches add the psuh command and implement some
978 handy features on top of it.
979
980 This patchset is part of the MyFirstContribution tutorial and should not
981 be merged.
982 ----
983
984 The template created by `git format-patch --cover-letter` includes a diffstat.
985 This gives reviewers a summary of what they're in for when reviewing your topic.
986 The one generated for `psuh` from the sample implementation looks like this:
987
988 ----
989  Documentation/git-psuh.txt | 40 +++++++++++++++++++++
990  Makefile                   |  1 +
991  builtin.h                  |  1 +
992  builtin/psuh.c             | 73 ++++++++++++++++++++++++++++++++++++++
993  git.c                      |  1 +
994  t/t9999-psuh-tutorial.sh   | 12 +++++++
995  6 files changed, 128 insertions(+)
996  create mode 100644 Documentation/git-psuh.txt
997  create mode 100644 builtin/psuh.c
998  create mode 100755 t/t9999-psuh-tutorial.sh
999 ----
1000
1001 Finally, the letter will include the version of Git used to generate the
1002 patches. You can leave that string alone.
1003
1004 [[sending-git-send-email]]
1005 === Sending Email
1006
1007 At this point you should have a directory `psuh/` which is filled with your
1008 patches and a cover letter. Time to mail it out! You can send it like this:
1009
1010 ----
1011 $ git send-email --to=target@example.com psuh/*.patch
1012 ----
1013
1014 NOTE: Check `git help send-email` for some other options which you may find
1015 valuable, such as changing the Reply-to address or adding more CC and BCC lines.
1016
1017 NOTE: When you are sending a real patch, it will go to git@vger.kernel.org - but
1018 please don't send your patchset from the tutorial to the real mailing list! For
1019 now, you can send it to yourself, to make sure you understand how it will look.
1020
1021 After you run the command above, you will be presented with an interactive
1022 prompt for each patch that's about to go out. This gives you one last chance to
1023 edit or quit sending something (but again, don't edit code this way). Once you
1024 press `y` or `a` at these prompts your emails will be sent! Congratulations!
1025
1026 Awesome, now the community will drop everything and review your changes. (Just
1027 kidding - be patient!)
1028
1029 [[v2-git-send-email]]
1030 === Sending v2
1031
1032 Skip ahead to <<reviewing,Responding to Reviews>> for information on how to
1033 handle comments from reviewers. Continue this section when your topic branch is
1034 shaped the way you want it to look for your patchset v2.
1035
1036 When you're ready with the next iteration of your patch, the process is fairly
1037 similar.
1038
1039 First, generate your v2 patches again:
1040
1041 ----
1042 $ git format-patch -v2 --cover-letter -o psuh/ master..psuh
1043 ----
1044
1045 This will add your v2 patches, all named like `v2-000n-my-commit-subject.patch`,
1046 to the `psuh/` directory. You may notice that they are sitting alongside the v1
1047 patches; that's fine, but be careful when you are ready to send them.
1048
1049 Edit your cover letter again. Now is a good time to mention what's different
1050 between your last version and now, if it's something significant. You do not
1051 need the exact same body in your second cover letter; focus on explaining to
1052 reviewers the changes you've made that may not be as visible.
1053
1054 You will also need to go and find the Message-Id of your previous cover letter.
1055 You can either note it when you send the first series, from the output of `git
1056 send-email`, or you can look it up on the
1057 https://lore.kernel.org/git[mailing list]. Find your cover letter in the
1058 archives, click on it, then click "permalink" or "raw" to reveal the Message-Id
1059 header. It should match:
1060
1061 ----
1062 Message-Id: <foo.12345.author@example.com>
1063 ----
1064
1065 Your Message-Id is `<foo.12345.author@example.com>`. This example will be used
1066 below as well; make sure to replace it with the correct Message-Id for your
1067 **previous cover letter** - that is, if you're sending v2, use the Message-Id
1068 from v1; if you're sending v3, use the Message-Id from v2.
1069
1070 While you're looking at the email, you should also note who is CC'd, as it's
1071 common practice in the mailing list to keep all CCs on a thread. You can add
1072 these CC lines directly to your cover letter with a line like so in the header
1073 (before the Subject line):
1074
1075 ----
1076 CC: author@example.com, Othe R <other@example.com>
1077 ----
1078
1079 Now send the emails again, paying close attention to which messages you pass in
1080 to the command:
1081
1082 ----
1083 $ git send-email --to=target@example.com
1084                  --in-reply-to="<foo.12345.author@example.com>"
1085                  psuh/v2*
1086 ----
1087
1088 [[single-patch]]
1089 === Bonus Chapter: One-Patch Changes
1090
1091 In some cases, your very small change may consist of only one patch. When that
1092 happens, you only need to send one email. Your commit message should already be
1093 meaningful and explain at a high level the purpose (what is happening and why)
1094 of your patch, but if you need to supply even more context, you can do so below
1095 the `---` in your patch. Take the example below, which was generated with `git
1096 format-patch` on a single commit, and then edited to add the content between
1097 the `---` and the diffstat.
1098
1099 ----
1100 From 1345bbb3f7ac74abde040c12e737204689a72723 Mon Sep 17 00:00:00 2001
1101 From: A U Thor <author@example.com>
1102 Date: Thu, 18 Apr 2019 15:11:02 -0700
1103 Subject: [PATCH] README: change the grammar
1104
1105 I think it looks better this way. This part of the commit message will
1106 end up in the commit-log.
1107
1108 Signed-off-by: A U Thor <author@example.com>
1109 ---
1110 Let's have a wild discussion about grammar on the mailing list. This
1111 part of my email will never end up in the commit log. Here is where I
1112 can add additional context to the mailing list about my intent, outside
1113 of the context of the commit log. This section was added after `git
1114 format-patch` was run, by editing the patch file in a text editor.
1115
1116  README.md | 2 +-
1117  1 file changed, 1 insertion(+), 1 deletion(-)
1118
1119 diff --git a/README.md b/README.md
1120 index 88f126184c..38da593a60 100644
1121 --- a/README.md
1122 +++ b/README.md
1123 @@ -3,7 +3,7 @@
1124  Git - fast, scalable, distributed revision control system
1125  =========================================================
1126
1127 -Git is a fast, scalable, distributed revision control system with an
1128 +Git is a fast, scalable, and distributed revision control system with an
1129  unusually rich command set that provides both high-level operations
1130  and full access to internals.
1131
1132 --
1133 2.21.0.392.gf8f6787159e-goog
1134 ----
1135
1136 [[now-what]]
1137 == My Patch Got Emailed - Now What?
1138
1139 [[reviewing]]
1140 === Responding to Reviews
1141
1142 After a few days, you will hopefully receive a reply to your patchset with some
1143 comments. Woohoo! Now you can get back to work.
1144
1145 It's good manners to reply to each comment, notifying the reviewer that you have
1146 made the change suggested, feel the original is better, or that the comment
1147 inspired you to do something a new way which is superior to both the original
1148 and the suggested change. This way reviewers don't need to inspect your v2 to
1149 figure out whether you implemented their comment or not.
1150
1151 Reviewers may ask you about what you wrote in the patchset, either in
1152 the proposed commit log message or in the changes themselves.  You
1153 should answer these questions in your response messages, but often the
1154 reason why reviewers asked these questions to understand what you meant
1155 to write is because your patchset needed clarification to be understood.
1156
1157 Do not be satisfied by just answering their questions in your response
1158 and hear them say that they now understand what you wanted to say.
1159 Update your patches to clarify the points reviewers had trouble with,
1160 and prepare your v2; the words you used to explain your v1 to answer
1161 reviewers' questions may be useful thing to use.  Your goal is to make
1162 your v2 clear enough so that it becomes unnecessary for you to give the
1163 same explanation to the next person who reads it.
1164
1165 If you are going to push back on a comment, be polite and explain why you feel
1166 your original is better; be prepared that the reviewer may still disagree with
1167 you, and the rest of the community may weigh in on one side or the other. As
1168 with all code reviews, it's important to keep an open mind to doing something a
1169 different way than you originally planned; other reviewers have a different
1170 perspective on the project than you do, and may be thinking of a valid side
1171 effect which had not occurred to you. It is always okay to ask for clarification
1172 if you aren't sure why a change was suggested, or what the reviewer is asking
1173 you to do.
1174
1175 Make sure your email client has a plaintext email mode and it is turned on; the
1176 Git list rejects HTML email. Please also follow the mailing list etiquette
1177 outlined in the
1178 https://kernel.googlesource.com/pub/scm/git/git/+/todo/MaintNotes[Maintainer's
1179 Note], which are similar to etiquette rules in most open source communities
1180 surrounding bottom-posting and inline replies.
1181
1182 When you're making changes to your code, it is cleanest - that is, the resulting
1183 commits are easiest to look at - if you use `git rebase -i` (interactive
1184 rebase). Take a look at this
1185 https://www.oreilly.com/library/view/git-pocket-guide/9781449327507/ch10.html[overview]
1186 from O'Reilly. The general idea is to modify each commit which requires changes;
1187 this way, instead of having a patch A with a mistake, a patch B which was fine
1188 and required no upstream reviews in v1, and a patch C which fixes patch A for
1189 v2, you can just ship a v2 with a correct patch A and correct patch B. This is
1190 changing history, but since it's local history which you haven't shared with
1191 anyone, that is okay for now! (Later, it may not make sense to do this; take a
1192 look at the section below this one for some context.)
1193
1194 [[after-approval]]
1195 === After Review Approval
1196
1197 The Git project has four integration branches: `seen`, `next`, `master`, and
1198 `maint`. Your change will be placed into `seen` fairly early on by the maintainer
1199 while it is still in the review process; from there, when it is ready for wider
1200 testing, it will be merged into `next`. Plenty of early testers use `next` and
1201 may report issues. Eventually, changes in `next` will make it to `master`,
1202 which is typically considered stable. Finally, when a new release is cut,
1203 `maint` is used to base bugfixes onto. As mentioned at the beginning of this
1204 document, you can read `Documents/SubmittingPatches` for some more info about
1205 the use of the various integration branches.
1206
1207 Back to now: your code has been lauded by the upstream reviewers. It is perfect.
1208 It is ready to be accepted. You don't need to do anything else; the maintainer
1209 will merge your topic branch to `next` and life is good.
1210
1211 However, if you discover it isn't so perfect after this point, you may need to
1212 take some special steps depending on where you are in the process.
1213
1214 If the maintainer has announced in the "What's cooking in git.git" email that
1215 your topic is marked for `next` - that is, that they plan to merge it to `next`
1216 but have not yet done so - you should send an email asking the maintainer to
1217 wait a little longer: "I've sent v4 of my series and you marked it for `next`,
1218 but I need to change this and that - please wait for v5 before you merge it."
1219
1220 If the topic has already been merged to `next`, rather than modifying your
1221 patches with `git rebase -i`, you should make further changes incrementally -
1222 that is, with another commit, based on top of the maintainer's topic branch as
1223 detailed in https://github.com/gitster/git. Your work is still in the same topic
1224 but is now incremental, rather than a wholesale rewrite of the topic branch.
1225
1226 The topic branches in the maintainer's GitHub are mirrored in GitGitGadget, so
1227 if you're sending your reviews out that way, you should be sure to open your PR
1228 against the appropriate GitGitGadget/Git branch.
1229
1230 If you're using `git send-email`, you can use it the same way as before, but you
1231 should generate your diffs from `<topic>..<mybranch>` and base your work on
1232 `<topic>` instead of `master`.