git-rev-list: Add regexp tuning options
[git] / git-send-email.perl
1 #!/usr/bin/perl -w
2 #
3 # Copyright 2002,2005 Greg Kroah-Hartman <greg@kroah.com>
4 # Copyright 2005 Ryan Anderson <ryan@michonline.com>
5 #
6 # GPL v2 (See COPYING)
7 #
8 # Ported to support git "mbox" format files by Ryan Anderson <ryan@michonline.com>
9 #
10 # Sends a collection of emails to the given email addresses, disturbingly fast.
11 #
12 # Supports two formats:
13 # 1. mbox format files (ignoring most headers and MIME formatting - this is designed for sending patches)
14 # 2. The original format support by Greg's script:
15 #    first line of the message is who to CC,
16 #    and second line is the subject of the message.
17 #
18
19 use strict;
20 use warnings;
21 use Term::ReadLine;
22 use Getopt::Long;
23 use Data::Dumper;
24 use Git;
25
26 package FakeTerm;
27 sub new {
28         my ($class, $reason) = @_;
29         return bless \$reason, shift;
30 }
31 sub readline {
32         my $self = shift;
33         die "Cannot use readline on FakeTerm: $$self";
34 }
35 package main;
36
37
38 sub usage {
39         print <<EOT;
40 git-send-email [options] <file | directory>...
41 Options:
42    --from         Specify the "From:" line of the email to be sent.
43
44    --to           Specify the primary "To:" line of the email.
45
46    --cc           Specify an initial "Cc:" list for the entire series
47                   of emails.
48
49    --bcc          Specify a list of email addresses that should be Bcc:
50                   on all the emails.
51
52    --compose      Use \$EDITOR to edit an introductory message for the
53                   patch series.
54
55    --subject      Specify the initial "Subject:" line.
56                   Only necessary if --compose is also set.  If --compose
57                   is not set, this will be prompted for.
58
59    --in-reply-to  Specify the first "In-Reply-To:" header line.
60                   Only used if --compose is also set.  If --compose is not
61                   set, this will be prompted for.
62
63    --chain-reply-to If set, the replies will all be to the previous
64                   email sent, rather than to the first email sent.
65                   Defaults to on.
66
67    --no-signed-off-cc Suppress the automatic addition of email addresses
68                  that appear in Signed-off-by: or Cc: lines to the cc:
69                  list.  Note: Using this option is not recommended.
70
71    --smtp-server  If set, specifies the outgoing SMTP server to use.
72                   Defaults to localhost.
73
74    --suppress-from Suppress sending emails to yourself if your address
75                   appears in a From: line.
76
77    --quiet        Make git-send-email less verbose.  One line per email
78                   should be all that is output.
79
80    --dry-run      Do everything except actually send the emails.
81
82    --envelope-sender    Specify the envelope sender used to send the emails.
83
84 EOT
85         exit(1);
86 }
87
88 # most mail servers generate the Date: header, but not all...
89 sub format_2822_time {
90         my ($time) = @_;
91         my @localtm = localtime($time);
92         my @gmttm = gmtime($time);
93         my $localmin = $localtm[1] + $localtm[2] * 60;
94         my $gmtmin = $gmttm[1] + $gmttm[2] * 60;
95         if ($localtm[0] != $gmttm[0]) {
96                 die "local zone differs from GMT by a non-minute interval\n";
97         }
98         if ((($gmttm[6] + 1) % 7) == $localtm[6]) {
99                 $localmin += 1440;
100         } elsif ((($gmttm[6] - 1) % 7) == $localtm[6]) {
101                 $localmin -= 1440;
102         } elsif ($gmttm[6] != $localtm[6]) {
103                 die "local time offset greater than or equal to 24 hours\n";
104         }
105         my $offset = $localmin - $gmtmin;
106         my $offhour = $offset / 60;
107         my $offmin = abs($offset % 60);
108         if (abs($offhour) >= 24) {
109                 die ("local time offset greater than or equal to 24 hours\n");
110         }
111
112         return sprintf("%s, %2d %s %d %02d:%02d:%02d %s%02d%02d",
113                        qw(Sun Mon Tue Wed Thu Fri Sat)[$localtm[6]],
114                        $localtm[3],
115                        qw(Jan Feb Mar Apr May Jun
116                           Jul Aug Sep Oct Nov Dec)[$localtm[4]],
117                        $localtm[5]+1900,
118                        $localtm[2],
119                        $localtm[1],
120                        $localtm[0],
121                        ($offset >= 0) ? '+' : '-',
122                        abs($offhour),
123                        $offmin,
124                        );
125 }
126
127 my $have_email_valid = eval { require Email::Valid; 1 };
128 my $smtp;
129
130 sub unique_email_list(@);
131 sub cleanup_compose_files();
132
133 # Constants (essentially)
134 my $compose_filename = ".msg.$$";
135
136 # Variables we fill in automatically, or via prompting:
137 my (@to,@cc,@initial_cc,@bcclist,@xh,
138         $initial_reply_to,$initial_subject,@files,$from,$compose,$time);
139
140 # Behavior modification variables
141 my ($chain_reply_to, $quiet, $suppress_from, $no_signed_off_cc,
142         $dry_run) = (1, 0, 0, 0, 0);
143 my $smtp_server;
144 my $envelope_sender;
145
146 # Example reply to:
147 #$initial_reply_to = ''; #<20050203173208.GA23964@foobar.com>';
148
149 my $repo = Git->repository();
150 my $term = eval {
151         new Term::ReadLine 'git-send-email';
152 };
153 if ($@) {
154         $term = new FakeTerm "$@: going non-interactive";
155 }
156
157 my $def_chain = $repo->config_bool('sendemail.chainreplyto');
158 if (defined $def_chain and not $def_chain) {
159     $chain_reply_to = 0;
160 }
161
162 @bcclist = $repo->config('sendemail.bcc');
163 if (!@bcclist or !$bcclist[0]) {
164     @bcclist = ();
165 }
166
167 # Begin by accumulating all the variables (defined above), that we will end up
168 # needing, first, from the command line:
169
170 my $rc = GetOptions("from=s" => \$from,
171                     "in-reply-to=s" => \$initial_reply_to,
172                     "subject=s" => \$initial_subject,
173                     "to=s" => \@to,
174                     "cc=s" => \@initial_cc,
175                     "bcc=s" => \@bcclist,
176                     "chain-reply-to!" => \$chain_reply_to,
177                     "smtp-server=s" => \$smtp_server,
178                     "compose" => \$compose,
179                     "quiet" => \$quiet,
180                     "suppress-from" => \$suppress_from,
181                     "no-signed-off-cc|no-signed-off-by-cc" => \$no_signed_off_cc,
182                     "dry-run" => \$dry_run,
183                     "envelope-sender=s" => \$envelope_sender,
184          );
185
186 unless ($rc) {
187     usage();
188 }
189
190 # Verify the user input
191
192 foreach my $entry (@to) {
193         die "Comma in --to entry: $entry'\n" unless $entry !~ m/,/;
194 }
195
196 foreach my $entry (@initial_cc) {
197         die "Comma in --cc entry: $entry'\n" unless $entry !~ m/,/;
198 }
199
200 foreach my $entry (@bcclist) {
201         die "Comma in --bcclist entry: $entry'\n" unless $entry !~ m/,/;
202 }
203
204 # Now, let's fill any that aren't set in with defaults:
205
206 my ($author) = $repo->ident_person('author');
207 my ($committer) = $repo->ident_person('committer');
208
209 my %aliases;
210 my @alias_files = $repo->config('sendemail.aliasesfile');
211 my $aliasfiletype = $repo->config('sendemail.aliasfiletype');
212 my %parse_alias = (
213         # multiline formats can be supported in the future
214         mutt => sub { my $fh = shift; while (<$fh>) {
215                 if (/^\s*alias\s+(\S+)\s+(.*)$/) {
216                         my ($alias, $addr) = ($1, $2);
217                         $addr =~ s/#.*$//; # mutt allows # comments
218                          # commas delimit multiple addresses
219                         $aliases{$alias} = [ split(/\s*,\s*/, $addr) ];
220                 }}},
221         mailrc => sub { my $fh = shift; while (<$fh>) {
222                 if (/^alias\s+(\S+)\s+(.*)$/) {
223                         # spaces delimit multiple addresses
224                         $aliases{$1} = [ split(/\s+/, $2) ];
225                 }}},
226         pine => sub { my $fh = shift; while (<$fh>) {
227                 if (/^(\S+)\s+(.*)$/) {
228                         $aliases{$1} = [ split(/\s*,\s*/, $2) ];
229                 }}},
230         gnus => sub { my $fh = shift; while (<$fh>) {
231                 if (/\(define-mail-alias\s+"(\S+?)"\s+"(\S+?)"\)/) {
232                         $aliases{$1} = [ $2 ];
233                 }}}
234 );
235
236 if (@alias_files and $aliasfiletype and defined $parse_alias{$aliasfiletype}) {
237         foreach my $file (@alias_files) {
238                 open my $fh, '<', $file or die "opening $file: $!\n";
239                 $parse_alias{$aliasfiletype}->($fh);
240                 close $fh;
241         }
242 }
243
244 my $prompting = 0;
245 if (!defined $from) {
246         $from = $author || $committer;
247         do {
248                 $_ = $term->readline("Who should the emails appear to be from? [$from] ");
249         } while (!defined $_);
250
251         $from = $_ if ($_);
252         print "Emails will be sent from: ", $from, "\n";
253         $prompting++;
254 }
255
256 if (!@to) {
257         do {
258                 $_ = $term->readline("Who should the emails be sent to? ",
259                                 "");
260         } while (!defined $_);
261         my $to = $_;
262         push @to, split /,/, $to;
263         $prompting++;
264 }
265
266 sub expand_aliases {
267         my @cur = @_;
268         my @last;
269         do {
270                 @last = @cur;
271                 @cur = map { $aliases{$_} ? @{$aliases{$_}} : $_ } @last;
272         } while (join(',',@cur) ne join(',',@last));
273         return @cur;
274 }
275
276 @to = expand_aliases(@to);
277 @to = (map { sanitize_address_rfc822($_) } @to);
278 @initial_cc = expand_aliases(@initial_cc);
279 @bcclist = expand_aliases(@bcclist);
280
281 if (!defined $initial_subject && $compose) {
282         do {
283                 $_ = $term->readline("What subject should the emails start with? ",
284                         $initial_subject);
285         } while (!defined $_);
286         $initial_subject = $_;
287         $prompting++;
288 }
289
290 if (!defined $initial_reply_to && $prompting) {
291         do {
292                 $_= $term->readline("Message-ID to be used as In-Reply-To for the first email? ",
293                         $initial_reply_to);
294         } while (!defined $_);
295
296         $initial_reply_to = $_;
297         $initial_reply_to =~ s/(^\s+|\s+$)//g;
298 }
299
300 if (!$smtp_server) {
301         $smtp_server = $repo->config('sendemail.smtpserver');
302 }
303 if (!$smtp_server) {
304         foreach (qw( /usr/sbin/sendmail /usr/lib/sendmail )) {
305                 if (-x $_) {
306                         $smtp_server = $_;
307                         last;
308                 }
309         }
310         $smtp_server ||= 'localhost'; # could be 127.0.0.1, too... *shrug*
311 }
312
313 if ($compose) {
314         # Note that this does not need to be secure, but we will make a small
315         # effort to have it be unique
316         open(C,">",$compose_filename)
317                 or die "Failed to open for writing $compose_filename: $!";
318         print C "From $from # This line is ignored.\n";
319         printf C "Subject: %s\n\n", $initial_subject;
320         printf C <<EOT;
321 GIT: Please enter your email below.
322 GIT: Lines beginning in "GIT: " will be removed.
323 GIT: Consider including an overall diffstat or table of contents
324 GIT: for the patch you are writing.
325
326 EOT
327         close(C);
328
329         my $editor = $ENV{EDITOR};
330         $editor = 'vi' unless defined $editor;
331         system($editor, $compose_filename);
332
333         open(C2,">",$compose_filename . ".final")
334                 or die "Failed to open $compose_filename.final : " . $!;
335
336         open(C,"<",$compose_filename)
337                 or die "Failed to open $compose_filename : " . $!;
338
339         while(<C>) {
340                 next if m/^GIT: /;
341                 print C2 $_;
342         }
343         close(C);
344         close(C2);
345
346         do {
347                 $_ = $term->readline("Send this email? (y|n) ");
348         } while (!defined $_);
349
350         if (uc substr($_,0,1) ne 'Y') {
351                 cleanup_compose_files();
352                 exit(0);
353         }
354
355         @files = ($compose_filename . ".final");
356 }
357
358
359 # Now that all the defaults are set, process the rest of the command line
360 # arguments and collect up the files that need to be processed.
361 for my $f (@ARGV) {
362         if (-d $f) {
363                 opendir(DH,$f)
364                         or die "Failed to opendir $f: $!";
365
366                 push @files, grep { -f $_ } map { +$f . "/" . $_ }
367                                 sort readdir(DH);
368
369         } elsif (-f $f) {
370                 push @files, $f;
371
372         } else {
373                 print STDERR "Skipping $f - not found.\n";
374         }
375 }
376
377 if (@files) {
378         unless ($quiet) {
379                 print $_,"\n" for (@files);
380         }
381 } else {
382         print STDERR "\nNo patch files specified!\n\n";
383         usage();
384 }
385
386 # Variables we set as part of the loop over files
387 our ($message_id, %mail, $subject, $reply_to, $references, $message);
388
389 sub extract_valid_address {
390         my $address = shift;
391         my $local_part_regexp = '[^<>"\s@]+';
392         my $domain_regexp = '[^.<>"\s@]+(?:\.[^.<>"\s@]+)+';
393
394         # check for a local address:
395         return $address if ($address =~ /^($local_part_regexp)$/);
396
397         if ($have_email_valid) {
398                 return scalar Email::Valid->address($address);
399         } else {
400                 # less robust/correct than the monster regexp in Email::Valid,
401                 # but still does a 99% job, and one less dependency
402                 $address =~ /($local_part_regexp\@$domain_regexp)/;
403                 return $1;
404         }
405 }
406
407 # Usually don't need to change anything below here.
408
409 # we make a "fake" message id by taking the current number
410 # of seconds since the beginning of Unix time and tacking on
411 # a random number to the end, in case we are called quicker than
412 # 1 second since the last time we were called.
413
414 # We'll setup a template for the message id, using the "from" address:
415 my $message_id_from = extract_valid_address($from);
416 my $message_id_template = "<%s-git-send-email-$message_id_from>";
417
418 sub make_message_id
419 {
420         my $date = time;
421         my $pseudo_rand = int (rand(4200));
422         $message_id = sprintf $message_id_template, "$date$pseudo_rand";
423         #print "new message id = $message_id\n"; # Was useful for debugging
424 }
425
426
427
428 $time = time - scalar $#files;
429
430 sub unquote_rfc2047 {
431         local ($_) = @_;
432         if (s/=\?utf-8\?q\?(.*)\?=/$1/g) {
433                 s/_/ /g;
434                 s/=([0-9A-F]{2})/chr(hex($1))/eg;
435         }
436         return "$_";
437 }
438
439 # If an address contains a . in the name portion, the name must be quoted.
440 sub sanitize_address_rfc822
441 {
442         my ($recipient) = @_;
443         my ($recipient_name) = ($recipient =~ /^(.*?)\s+</);
444         if ($recipient_name && $recipient_name =~ /\./ && $recipient_name !~ /^".*"$/) {
445                 my ($name, $addr) = ($recipient =~ /^(.*?)(\s+<.*)/);
446                 $recipient = "\"$name\"$addr";
447         }
448         return $recipient;
449 }
450
451 sub send_message
452 {
453         my @recipients = unique_email_list(@to);
454         @cc = (map { sanitize_address_rfc822($_) } @cc);
455         my $to = join (",\n\t", @recipients);
456         @recipients = unique_email_list(@recipients,@cc,@bcclist);
457         @recipients = (map { extract_valid_address($_) } @recipients);
458         my $date = format_2822_time($time++);
459         my $gitversion = '@@GIT_VERSION@@';
460         if ($gitversion =~ m/..GIT_VERSION../) {
461             $gitversion = Git::version();
462         }
463
464         my $cc = join(", ", unique_email_list(@cc));
465         my $ccline = "";
466         if ($cc ne '') {
467                 $ccline = "\nCc: $cc";
468         }
469         $from = sanitize_address_rfc822($from);
470         my $header = "From: $from
471 To: $to${ccline}
472 Subject: $subject
473 Date: $date
474 Message-Id: $message_id
475 X-Mailer: git-send-email $gitversion
476 ";
477         if ($reply_to) {
478
479                 $header .= "In-Reply-To: $reply_to\n";
480                 $header .= "References: $references\n";
481         }
482         if (@xh) {
483                 $header .= join("\n", @xh) . "\n";
484         }
485
486         my @sendmail_parameters = ('-i', @recipients);
487         my $raw_from = $from;
488         $raw_from = $envelope_sender if (defined $envelope_sender);
489         $raw_from = extract_valid_address($raw_from);
490         unshift (@sendmail_parameters,
491                         '-f', $raw_from) if(defined $envelope_sender);
492
493         if ($dry_run) {
494                 # We don't want to send the email.
495         } elsif ($smtp_server =~ m#^/#) {
496                 my $pid = open my $sm, '|-';
497                 defined $pid or die $!;
498                 if (!$pid) {
499                         exec($smtp_server, @sendmail_parameters) or die $!;
500                 }
501                 print $sm "$header\n$message";
502                 close $sm or die $?;
503         } else {
504                 require Net::SMTP;
505                 $smtp ||= Net::SMTP->new( $smtp_server );
506                 $smtp->mail( $raw_from ) or die $smtp->message;
507                 $smtp->to( @recipients ) or die $smtp->message;
508                 $smtp->data or die $smtp->message;
509                 $smtp->datasend("$header\n$message") or die $smtp->message;
510                 $smtp->dataend() or die $smtp->message;
511                 $smtp->ok or die "Failed to send $subject\n".$smtp->message;
512         }
513         if ($quiet) {
514                 printf (($dry_run ? "Dry-" : "")."Sent %s\n", $subject);
515         } else {
516                 print (($dry_run ? "Dry-" : "")."OK. Log says:\nDate: $date\n");
517                 if ($smtp_server !~ m#^/#) {
518                         print "Server: $smtp_server\n";
519                         print "MAIL FROM:<$raw_from>\n";
520                         print "RCPT TO:".join(',',(map { "<$_>" } @recipients))."\n";
521                 } else {
522                         print "Sendmail: $smtp_server ".join(' ',@sendmail_parameters)."\n";
523                 }
524                 print "From: $from\nSubject: $subject\nCc: $cc\nTo: $to\n\n";
525                 if ($smtp) {
526                         print "Result: ", $smtp->code, ' ',
527                                 ($smtp->message =~ /\n([^\n]+\n)$/s), "\n";
528                 } else {
529                         print "Result: OK\n";
530                 }
531         }
532 }
533
534 $reply_to = $initial_reply_to;
535 $references = $initial_reply_to || '';
536 make_message_id();
537 $subject = $initial_subject;
538
539 foreach my $t (@files) {
540         open(F,"<",$t) or die "can't open file $t";
541
542         my $author_not_sender = undef;
543         @cc = @initial_cc;
544         @xh = ();
545         my $input_format = undef;
546         my $header_done = 0;
547         $message = "";
548         while(<F>) {
549                 if (!$header_done) {
550                         if (/^From /) {
551                                 $input_format = 'mbox';
552                                 next;
553                         }
554                         chomp;
555                         if (!defined $input_format && /^[-A-Za-z]+:\s/) {
556                                 $input_format = 'mbox';
557                         }
558
559                         if (defined $input_format && $input_format eq 'mbox') {
560                                 if (/^Subject:\s+(.*)$/) {
561                                         $subject = $1;
562
563                                 } elsif (/^(Cc|From):\s+(.*)$/) {
564                                         if ($2 eq $from) {
565                                                 next if ($suppress_from);
566                                         }
567                                         elsif ($1 eq 'From') {
568                                                 $author_not_sender = $2;
569                                         }
570                                         printf("(mbox) Adding cc: %s from line '%s'\n",
571                                                 $2, $_) unless $quiet;
572                                         push @cc, $2;
573                                 }
574                                 elsif (!/^Date:\s/ && /^[-A-Za-z]+:\s+\S/) {
575                                         push @xh, $_;
576                                 }
577
578                         } else {
579                                 # In the traditional
580                                 # "send lots of email" format,
581                                 # line 1 = cc
582                                 # line 2 = subject
583                                 # So let's support that, too.
584                                 $input_format = 'lots';
585                                 if (@cc == 0) {
586                                         printf("(non-mbox) Adding cc: %s from line '%s'\n",
587                                                 $_, $_) unless $quiet;
588
589                                         push @cc, $_;
590
591                                 } elsif (!defined $subject) {
592                                         $subject = $_;
593                                 }
594                         }
595
596                         # A whitespace line will terminate the headers
597                         if (m/^\s*$/) {
598                                 $header_done = 1;
599                         }
600                 } else {
601                         $message .=  $_;
602                         if (/^(Signed-off-by|Cc): (.*)$/i && !$no_signed_off_cc) {
603                                 my $c = $2;
604                                 chomp $c;
605                                 push @cc, $c;
606                                 printf("(sob) Adding cc: %s from line '%s'\n",
607                                         $c, $_) unless $quiet;
608                         }
609                 }
610         }
611         close F;
612         if (defined $author_not_sender) {
613                 $author_not_sender = unquote_rfc2047($author_not_sender);
614                 $message = "From: $author_not_sender\n\n$message";
615         }
616
617
618         send_message();
619
620         # set up for the next message
621         if ($chain_reply_to || !defined $reply_to || length($reply_to) == 0) {
622                 $reply_to = $message_id;
623                 if (length $references > 0) {
624                         $references .= "\n $message_id";
625                 } else {
626                         $references = "$message_id";
627                 }
628         }
629         make_message_id();
630 }
631
632 if ($compose) {
633         cleanup_compose_files();
634 }
635
636 sub cleanup_compose_files() {
637         unlink($compose_filename, $compose_filename . ".final");
638
639 }
640
641 $smtp->quit if $smtp;
642
643 sub unique_email_list(@) {
644         my %seen;
645         my @emails;
646
647         foreach my $entry (@_) {
648                 if (my $clean = extract_valid_address($entry)) {
649                         $seen{$clean} ||= 0;
650                         next if $seen{$clean}++;
651                         push @emails, $entry;
652                 } else {
653                         print STDERR "W: unable to extract a valid address",
654                                         " from: $entry\n";
655                 }
656         }
657         return @emails;
658 }