reduce_heads(): reimplement on top of remove_redundant()
[git] / commit.c
1 #include "cache.h"
2 #include "tag.h"
3 #include "commit.h"
4 #include "pkt-line.h"
5 #include "utf8.h"
6 #include "diff.h"
7 #include "revision.h"
8 #include "notes.h"
9 #include "gpg-interface.h"
10
11 int save_commit_buffer = 1;
12
13 const char *commit_type = "commit";
14
15 static struct commit *check_commit(struct object *obj,
16                                    const unsigned char *sha1,
17                                    int quiet)
18 {
19         if (obj->type != OBJ_COMMIT) {
20                 if (!quiet)
21                         error("Object %s is a %s, not a commit",
22                               sha1_to_hex(sha1), typename(obj->type));
23                 return NULL;
24         }
25         return (struct commit *) obj;
26 }
27
28 struct commit *lookup_commit_reference_gently(const unsigned char *sha1,
29                                               int quiet)
30 {
31         struct object *obj = deref_tag(parse_object(sha1), NULL, 0);
32
33         if (!obj)
34                 return NULL;
35         return check_commit(obj, sha1, quiet);
36 }
37
38 struct commit *lookup_commit_reference(const unsigned char *sha1)
39 {
40         return lookup_commit_reference_gently(sha1, 0);
41 }
42
43 struct commit *lookup_commit_or_die(const unsigned char *sha1, const char *ref_name)
44 {
45         struct commit *c = lookup_commit_reference(sha1);
46         if (!c)
47                 die(_("could not parse %s"), ref_name);
48         if (hashcmp(sha1, c->object.sha1)) {
49                 warning(_("%s %s is not a commit!"),
50                         ref_name, sha1_to_hex(sha1));
51         }
52         return c;
53 }
54
55 struct commit *lookup_commit(const unsigned char *sha1)
56 {
57         struct object *obj = lookup_object(sha1);
58         if (!obj)
59                 return create_object(sha1, OBJ_COMMIT, alloc_commit_node());
60         if (!obj->type)
61                 obj->type = OBJ_COMMIT;
62         return check_commit(obj, sha1, 0);
63 }
64
65 struct commit *lookup_commit_reference_by_name(const char *name)
66 {
67         unsigned char sha1[20];
68         struct commit *commit;
69
70         if (get_sha1(name, sha1))
71                 return NULL;
72         commit = lookup_commit_reference(sha1);
73         if (!commit || parse_commit(commit))
74                 return NULL;
75         return commit;
76 }
77
78 static unsigned long parse_commit_date(const char *buf, const char *tail)
79 {
80         const char *dateptr;
81
82         if (buf + 6 >= tail)
83                 return 0;
84         if (memcmp(buf, "author", 6))
85                 return 0;
86         while (buf < tail && *buf++ != '\n')
87                 /* nada */;
88         if (buf + 9 >= tail)
89                 return 0;
90         if (memcmp(buf, "committer", 9))
91                 return 0;
92         while (buf < tail && *buf++ != '>')
93                 /* nada */;
94         if (buf >= tail)
95                 return 0;
96         dateptr = buf;
97         while (buf < tail && *buf++ != '\n')
98                 /* nada */;
99         if (buf >= tail)
100                 return 0;
101         /* dateptr < buf && buf[-1] == '\n', so strtoul will stop at buf-1 */
102         return strtoul(dateptr, NULL, 10);
103 }
104
105 static struct commit_graft **commit_graft;
106 static int commit_graft_alloc, commit_graft_nr;
107
108 static int commit_graft_pos(const unsigned char *sha1)
109 {
110         int lo, hi;
111         lo = 0;
112         hi = commit_graft_nr;
113         while (lo < hi) {
114                 int mi = (lo + hi) / 2;
115                 struct commit_graft *graft = commit_graft[mi];
116                 int cmp = hashcmp(sha1, graft->sha1);
117                 if (!cmp)
118                         return mi;
119                 if (cmp < 0)
120                         hi = mi;
121                 else
122                         lo = mi + 1;
123         }
124         return -lo - 1;
125 }
126
127 int register_commit_graft(struct commit_graft *graft, int ignore_dups)
128 {
129         int pos = commit_graft_pos(graft->sha1);
130
131         if (0 <= pos) {
132                 if (ignore_dups)
133                         free(graft);
134                 else {
135                         free(commit_graft[pos]);
136                         commit_graft[pos] = graft;
137                 }
138                 return 1;
139         }
140         pos = -pos - 1;
141         if (commit_graft_alloc <= ++commit_graft_nr) {
142                 commit_graft_alloc = alloc_nr(commit_graft_alloc);
143                 commit_graft = xrealloc(commit_graft,
144                                         sizeof(*commit_graft) *
145                                         commit_graft_alloc);
146         }
147         if (pos < commit_graft_nr)
148                 memmove(commit_graft + pos + 1,
149                         commit_graft + pos,
150                         (commit_graft_nr - pos - 1) *
151                         sizeof(*commit_graft));
152         commit_graft[pos] = graft;
153         return 0;
154 }
155
156 struct commit_graft *read_graft_line(char *buf, int len)
157 {
158         /* The format is just "Commit Parent1 Parent2 ...\n" */
159         int i;
160         struct commit_graft *graft = NULL;
161
162         while (len && isspace(buf[len-1]))
163                 buf[--len] = '\0';
164         if (buf[0] == '#' || buf[0] == '\0')
165                 return NULL;
166         if ((len + 1) % 41)
167                 goto bad_graft_data;
168         i = (len + 1) / 41 - 1;
169         graft = xmalloc(sizeof(*graft) + 20 * i);
170         graft->nr_parent = i;
171         if (get_sha1_hex(buf, graft->sha1))
172                 goto bad_graft_data;
173         for (i = 40; i < len; i += 41) {
174                 if (buf[i] != ' ')
175                         goto bad_graft_data;
176                 if (get_sha1_hex(buf + i + 1, graft->parent[i/41]))
177                         goto bad_graft_data;
178         }
179         return graft;
180
181 bad_graft_data:
182         error("bad graft data: %s", buf);
183         free(graft);
184         return NULL;
185 }
186
187 static int read_graft_file(const char *graft_file)
188 {
189         FILE *fp = fopen(graft_file, "r");
190         char buf[1024];
191         if (!fp)
192                 return -1;
193         while (fgets(buf, sizeof(buf), fp)) {
194                 /* The format is just "Commit Parent1 Parent2 ...\n" */
195                 int len = strlen(buf);
196                 struct commit_graft *graft = read_graft_line(buf, len);
197                 if (!graft)
198                         continue;
199                 if (register_commit_graft(graft, 1))
200                         error("duplicate graft data: %s", buf);
201         }
202         fclose(fp);
203         return 0;
204 }
205
206 static void prepare_commit_graft(void)
207 {
208         static int commit_graft_prepared;
209         char *graft_file;
210
211         if (commit_graft_prepared)
212                 return;
213         graft_file = get_graft_file();
214         read_graft_file(graft_file);
215         /* make sure shallows are read */
216         is_repository_shallow();
217         commit_graft_prepared = 1;
218 }
219
220 struct commit_graft *lookup_commit_graft(const unsigned char *sha1)
221 {
222         int pos;
223         prepare_commit_graft();
224         pos = commit_graft_pos(sha1);
225         if (pos < 0)
226                 return NULL;
227         return commit_graft[pos];
228 }
229
230 int for_each_commit_graft(each_commit_graft_fn fn, void *cb_data)
231 {
232         int i, ret;
233         for (i = ret = 0; i < commit_graft_nr && !ret; i++)
234                 ret = fn(commit_graft[i], cb_data);
235         return ret;
236 }
237
238 int unregister_shallow(const unsigned char *sha1)
239 {
240         int pos = commit_graft_pos(sha1);
241         if (pos < 0)
242                 return -1;
243         if (pos + 1 < commit_graft_nr)
244                 memmove(commit_graft + pos, commit_graft + pos + 1,
245                                 sizeof(struct commit_graft *)
246                                 * (commit_graft_nr - pos - 1));
247         commit_graft_nr--;
248         return 0;
249 }
250
251 int parse_commit_buffer(struct commit *item, const void *buffer, unsigned long size)
252 {
253         const char *tail = buffer;
254         const char *bufptr = buffer;
255         unsigned char parent[20];
256         struct commit_list **pptr;
257         struct commit_graft *graft;
258
259         if (item->object.parsed)
260                 return 0;
261         item->object.parsed = 1;
262         tail += size;
263         if (tail <= bufptr + 46 || memcmp(bufptr, "tree ", 5) || bufptr[45] != '\n')
264                 return error("bogus commit object %s", sha1_to_hex(item->object.sha1));
265         if (get_sha1_hex(bufptr + 5, parent) < 0)
266                 return error("bad tree pointer in commit %s",
267                              sha1_to_hex(item->object.sha1));
268         item->tree = lookup_tree(parent);
269         bufptr += 46; /* "tree " + "hex sha1" + "\n" */
270         pptr = &item->parents;
271
272         graft = lookup_commit_graft(item->object.sha1);
273         while (bufptr + 48 < tail && !memcmp(bufptr, "parent ", 7)) {
274                 struct commit *new_parent;
275
276                 if (tail <= bufptr + 48 ||
277                     get_sha1_hex(bufptr + 7, parent) ||
278                     bufptr[47] != '\n')
279                         return error("bad parents in commit %s", sha1_to_hex(item->object.sha1));
280                 bufptr += 48;
281                 /*
282                  * The clone is shallow if nr_parent < 0, and we must
283                  * not traverse its real parents even when we unhide them.
284                  */
285                 if (graft && (graft->nr_parent < 0 || grafts_replace_parents))
286                         continue;
287                 new_parent = lookup_commit(parent);
288                 if (new_parent)
289                         pptr = &commit_list_insert(new_parent, pptr)->next;
290         }
291         if (graft) {
292                 int i;
293                 struct commit *new_parent;
294                 for (i = 0; i < graft->nr_parent; i++) {
295                         new_parent = lookup_commit(graft->parent[i]);
296                         if (!new_parent)
297                                 continue;
298                         pptr = &commit_list_insert(new_parent, pptr)->next;
299                 }
300         }
301         item->date = parse_commit_date(bufptr, tail);
302
303         return 0;
304 }
305
306 int parse_commit(struct commit *item)
307 {
308         enum object_type type;
309         void *buffer;
310         unsigned long size;
311         int ret;
312
313         if (!item)
314                 return -1;
315         if (item->object.parsed)
316                 return 0;
317         buffer = read_sha1_file(item->object.sha1, &type, &size);
318         if (!buffer)
319                 return error("Could not read %s",
320                              sha1_to_hex(item->object.sha1));
321         if (type != OBJ_COMMIT) {
322                 free(buffer);
323                 return error("Object %s not a commit",
324                              sha1_to_hex(item->object.sha1));
325         }
326         ret = parse_commit_buffer(item, buffer, size);
327         if (save_commit_buffer && !ret) {
328                 item->buffer = buffer;
329                 return 0;
330         }
331         free(buffer);
332         return ret;
333 }
334
335 int find_commit_subject(const char *commit_buffer, const char **subject)
336 {
337         const char *eol;
338         const char *p = commit_buffer;
339
340         while (*p && (*p != '\n' || p[1] != '\n'))
341                 p++;
342         if (*p) {
343                 p += 2;
344                 for (eol = p; *eol && *eol != '\n'; eol++)
345                         ; /* do nothing */
346         } else
347                 eol = p;
348
349         *subject = p;
350
351         return eol - p;
352 }
353
354 struct commit_list *commit_list_insert(struct commit *item, struct commit_list **list_p)
355 {
356         struct commit_list *new_list = xmalloc(sizeof(struct commit_list));
357         new_list->item = item;
358         new_list->next = *list_p;
359         *list_p = new_list;
360         return new_list;
361 }
362
363 unsigned commit_list_count(const struct commit_list *l)
364 {
365         unsigned c = 0;
366         for (; l; l = l->next )
367                 c++;
368         return c;
369 }
370
371 void free_commit_list(struct commit_list *list)
372 {
373         while (list) {
374                 struct commit_list *temp = list;
375                 list = temp->next;
376                 free(temp);
377         }
378 }
379
380 struct commit_list * commit_list_insert_by_date(struct commit *item, struct commit_list **list)
381 {
382         struct commit_list **pp = list;
383         struct commit_list *p;
384         while ((p = *pp) != NULL) {
385                 if (p->item->date < item->date) {
386                         break;
387                 }
388                 pp = &p->next;
389         }
390         return commit_list_insert(item, pp);
391 }
392
393
394 void commit_list_sort_by_date(struct commit_list **list)
395 {
396         struct commit_list *ret = NULL;
397         while (*list) {
398                 commit_list_insert_by_date((*list)->item, &ret);
399                 *list = (*list)->next;
400         }
401         *list = ret;
402 }
403
404 struct commit *pop_most_recent_commit(struct commit_list **list,
405                                       unsigned int mark)
406 {
407         struct commit *ret = (*list)->item;
408         struct commit_list *parents = ret->parents;
409         struct commit_list *old = *list;
410
411         *list = (*list)->next;
412         free(old);
413
414         while (parents) {
415                 struct commit *commit = parents->item;
416                 if (!parse_commit(commit) && !(commit->object.flags & mark)) {
417                         commit->object.flags |= mark;
418                         commit_list_insert_by_date(commit, list);
419                 }
420                 parents = parents->next;
421         }
422         return ret;
423 }
424
425 void clear_commit_marks(struct commit *commit, unsigned int mark)
426 {
427         while (commit) {
428                 struct commit_list *parents;
429
430                 if (!(mark & commit->object.flags))
431                         return;
432
433                 commit->object.flags &= ~mark;
434
435                 parents = commit->parents;
436                 if (!parents)
437                         return;
438
439                 while ((parents = parents->next))
440                         clear_commit_marks(parents->item, mark);
441
442                 commit = commit->parents->item;
443         }
444 }
445
446 void clear_commit_marks_for_object_array(struct object_array *a, unsigned mark)
447 {
448         struct object *object;
449         struct commit *commit;
450         unsigned int i;
451
452         for (i = 0; i < a->nr; i++) {
453                 object = a->objects[i].item;
454                 commit = lookup_commit_reference_gently(object->sha1, 1);
455                 if (commit)
456                         clear_commit_marks(commit, mark);
457         }
458 }
459
460 struct commit *pop_commit(struct commit_list **stack)
461 {
462         struct commit_list *top = *stack;
463         struct commit *item = top ? top->item : NULL;
464
465         if (top) {
466                 *stack = top->next;
467                 free(top);
468         }
469         return item;
470 }
471
472 /*
473  * Performs an in-place topological sort on the list supplied.
474  */
475 void sort_in_topological_order(struct commit_list ** list, int lifo)
476 {
477         struct commit_list *next, *orig = *list;
478         struct commit_list *work, **insert;
479         struct commit_list **pptr;
480
481         if (!orig)
482                 return;
483         *list = NULL;
484
485         /* Mark them and clear the indegree */
486         for (next = orig; next; next = next->next) {
487                 struct commit *commit = next->item;
488                 commit->indegree = 1;
489         }
490
491         /* update the indegree */
492         for (next = orig; next; next = next->next) {
493                 struct commit_list * parents = next->item->parents;
494                 while (parents) {
495                         struct commit *parent = parents->item;
496
497                         if (parent->indegree)
498                                 parent->indegree++;
499                         parents = parents->next;
500                 }
501         }
502
503         /*
504          * find the tips
505          *
506          * tips are nodes not reachable from any other node in the list
507          *
508          * the tips serve as a starting set for the work queue.
509          */
510         work = NULL;
511         insert = &work;
512         for (next = orig; next; next = next->next) {
513                 struct commit *commit = next->item;
514
515                 if (commit->indegree == 1)
516                         insert = &commit_list_insert(commit, insert)->next;
517         }
518
519         /* process the list in topological order */
520         if (!lifo)
521                 commit_list_sort_by_date(&work);
522
523         pptr = list;
524         *list = NULL;
525         while (work) {
526                 struct commit *commit;
527                 struct commit_list *parents, *work_item;
528
529                 work_item = work;
530                 work = work_item->next;
531                 work_item->next = NULL;
532
533                 commit = work_item->item;
534                 for (parents = commit->parents; parents ; parents = parents->next) {
535                         struct commit *parent = parents->item;
536
537                         if (!parent->indegree)
538                                 continue;
539
540                         /*
541                          * parents are only enqueued for emission
542                          * when all their children have been emitted thereby
543                          * guaranteeing topological order.
544                          */
545                         if (--parent->indegree == 1) {
546                                 if (!lifo)
547                                         commit_list_insert_by_date(parent, &work);
548                                 else
549                                         commit_list_insert(parent, &work);
550                         }
551                 }
552                 /*
553                  * work_item is a commit all of whose children
554                  * have already been emitted. we can emit it now.
555                  */
556                 commit->indegree = 0;
557                 *pptr = work_item;
558                 pptr = &work_item->next;
559         }
560 }
561
562 /* merge-base stuff */
563
564 /* bits #0..15 in revision.h */
565 #define PARENT1         (1u<<16)
566 #define PARENT2         (1u<<17)
567 #define STALE           (1u<<18)
568 #define RESULT          (1u<<19)
569
570 static const unsigned all_flags = (PARENT1 | PARENT2 | STALE | RESULT);
571
572 static struct commit *interesting(struct commit_list *list)
573 {
574         while (list) {
575                 struct commit *commit = list->item;
576                 list = list->next;
577                 if (commit->object.flags & STALE)
578                         continue;
579                 return commit;
580         }
581         return NULL;
582 }
583
584 static struct commit_list *paint_down_to_common(struct commit *one, int n, struct commit **twos)
585 {
586         struct commit_list *list = NULL;
587         struct commit_list *result = NULL;
588         int i;
589
590         one->object.flags |= PARENT1;
591         commit_list_insert_by_date(one, &list);
592         for (i = 0; i < n; i++) {
593                 twos[i]->object.flags |= PARENT2;
594                 commit_list_insert_by_date(twos[i], &list);
595         }
596
597         while (interesting(list)) {
598                 struct commit *commit;
599                 struct commit_list *parents;
600                 struct commit_list *next;
601                 int flags;
602
603                 commit = list->item;
604                 next = list->next;
605                 free(list);
606                 list = next;
607
608                 flags = commit->object.flags & (PARENT1 | PARENT2 | STALE);
609                 if (flags == (PARENT1 | PARENT2)) {
610                         if (!(commit->object.flags & RESULT)) {
611                                 commit->object.flags |= RESULT;
612                                 commit_list_insert_by_date(commit, &result);
613                         }
614                         /* Mark parents of a found merge stale */
615                         flags |= STALE;
616                 }
617                 parents = commit->parents;
618                 while (parents) {
619                         struct commit *p = parents->item;
620                         parents = parents->next;
621                         if ((p->object.flags & flags) == flags)
622                                 continue;
623                         if (parse_commit(p))
624                                 return NULL;
625                         p->object.flags |= flags;
626                         commit_list_insert_by_date(p, &list);
627                 }
628         }
629
630         free_commit_list(list);
631         return result;
632 }
633
634 static struct commit_list *merge_bases_many(struct commit *one, int n, struct commit **twos)
635 {
636         struct commit_list *list = NULL;
637         struct commit_list *result = NULL;
638         int i;
639
640         for (i = 0; i < n; i++) {
641                 if (one == twos[i])
642                         /*
643                          * We do not mark this even with RESULT so we do not
644                          * have to clean it up.
645                          */
646                         return commit_list_insert(one, &result);
647         }
648
649         if (parse_commit(one))
650                 return NULL;
651         for (i = 0; i < n; i++) {
652                 if (parse_commit(twos[i]))
653                         return NULL;
654         }
655
656         list = paint_down_to_common(one, n, twos);
657
658         while (list) {
659                 struct commit_list *next = list->next;
660                 if (!(list->item->object.flags & STALE))
661                         commit_list_insert_by_date(list->item, &result);
662                 free(list);
663                 list = next;
664         }
665         return result;
666 }
667
668 struct commit_list *get_octopus_merge_bases(struct commit_list *in)
669 {
670         struct commit_list *i, *j, *k, *ret = NULL;
671         struct commit_list **pptr = &ret;
672
673         for (i = in; i; i = i->next) {
674                 if (!ret)
675                         pptr = &commit_list_insert(i->item, pptr)->next;
676                 else {
677                         struct commit_list *new = NULL, *end = NULL;
678
679                         for (j = ret; j; j = j->next) {
680                                 struct commit_list *bases;
681                                 bases = get_merge_bases(i->item, j->item, 1);
682                                 if (!new)
683                                         new = bases;
684                                 else
685                                         end->next = bases;
686                                 for (k = bases; k; k = k->next)
687                                         end = k;
688                         }
689                         ret = new;
690                 }
691         }
692         return ret;
693 }
694
695 static int remove_redundant(struct commit **array, int cnt)
696 {
697         /*
698          * Some commit in the array may be an ancestor of
699          * another commit.  Move such commit to the end of
700          * the array, and return the number of commits that
701          * are independent from each other.
702          */
703         struct commit **work;
704         unsigned char *redundant;
705         int *filled_index;
706         int i, j, filled;
707
708         work = xcalloc(cnt, sizeof(*work));
709         redundant = xcalloc(cnt, 1);
710         filled_index = xmalloc(sizeof(*filled_index) * (cnt - 1));
711
712         for (i = 0; i < cnt; i++) {
713                 struct commit_list *common;
714
715                 if (redundant[i])
716                         continue;
717                 for (j = filled = 0; j < cnt; j++) {
718                         if (i == j || redundant[j])
719                                 continue;
720                         filled_index[filled] = j;
721                         work[filled++] = array[j];
722                 }
723                 common = paint_down_to_common(array[i], filled, work);
724                 if (array[i]->object.flags & PARENT2)
725                         redundant[i] = 1;
726                 for (j = 0; j < filled; j++)
727                         if (work[j]->object.flags & PARENT1)
728                                 redundant[filled_index[j]] = 1;
729                 clear_commit_marks(array[i], all_flags);
730                 for (j = 0; j < filled; j++)
731                         clear_commit_marks(work[j], all_flags);
732                 free_commit_list(common);
733         }
734
735         /* Now collect the result */
736         memcpy(work, array, sizeof(*array) * cnt);
737         for (i = filled = 0; i < cnt; i++)
738                 if (!redundant[i])
739                         array[filled++] = work[i];
740         for (j = filled, i = 0; i < cnt; i++)
741                 if (redundant[i])
742                         array[j++] = work[i];
743         free(work);
744         free(redundant);
745         free(filled_index);
746         return filled;
747 }
748
749 struct commit_list *get_merge_bases_many(struct commit *one,
750                                          int n,
751                                          struct commit **twos,
752                                          int cleanup)
753 {
754         struct commit_list *list;
755         struct commit **rslt;
756         struct commit_list *result;
757         int cnt, i;
758
759         result = merge_bases_many(one, n, twos);
760         for (i = 0; i < n; i++) {
761                 if (one == twos[i])
762                         return result;
763         }
764         if (!result || !result->next) {
765                 if (cleanup) {
766                         clear_commit_marks(one, all_flags);
767                         for (i = 0; i < n; i++)
768                                 clear_commit_marks(twos[i], all_flags);
769                 }
770                 return result;
771         }
772
773         /* There are more than one */
774         cnt = 0;
775         list = result;
776         while (list) {
777                 list = list->next;
778                 cnt++;
779         }
780         rslt = xcalloc(cnt, sizeof(*rslt));
781         for (list = result, i = 0; list; list = list->next)
782                 rslt[i++] = list->item;
783         free_commit_list(result);
784
785         clear_commit_marks(one, all_flags);
786         for (i = 0; i < n; i++)
787                 clear_commit_marks(twos[i], all_flags);
788
789         cnt = remove_redundant(rslt, cnt);
790         result = NULL;
791         for (i = 0; i < cnt; i++)
792                 commit_list_insert_by_date(rslt[i], &result);
793         free(rslt);
794         return result;
795 }
796
797 struct commit_list *get_merge_bases(struct commit *one, struct commit *two,
798                                     int cleanup)
799 {
800         return get_merge_bases_many(one, 1, &two, cleanup);
801 }
802
803 /*
804  * Is "commit" a decendant of one of the elements on the "with_commit" list?
805  */
806 int is_descendant_of(struct commit *commit, struct commit_list *with_commit)
807 {
808         if (!with_commit)
809                 return 1;
810         while (with_commit) {
811                 struct commit *other;
812
813                 other = with_commit->item;
814                 with_commit = with_commit->next;
815                 if (in_merge_bases(other, commit))
816                         return 1;
817         }
818         return 0;
819 }
820
821 /*
822  * Is "commit" an ancestor of (i.e. reachable from) the "reference"?
823  */
824 int in_merge_bases(struct commit *commit, struct commit *reference)
825 {
826         struct commit_list *bases;
827         int ret = 0;
828
829         if (parse_commit(commit) || parse_commit(reference))
830                 return ret;
831
832         bases = paint_down_to_common(commit, 1, &reference);
833         if (commit->object.flags & PARENT2)
834                 ret = 1;
835         clear_commit_marks(commit, all_flags);
836         clear_commit_marks(reference, all_flags);
837         free_commit_list(bases);
838         return ret;
839 }
840
841 struct commit_list *reduce_heads(struct commit_list *heads)
842 {
843         struct commit_list *p;
844         struct commit_list *result = NULL, **tail = &result;
845         struct commit **array;
846         int num_head, i;
847
848         if (!heads)
849                 return NULL;
850
851         /* Uniquify */
852         for (p = heads; p; p = p->next)
853                 p->item->object.flags &= ~STALE;
854         for (p = heads, num_head = 0; p; p = p->next) {
855                 if (p->item->object.flags & STALE)
856                         continue;
857                 p->item->object.flags |= STALE;
858                 num_head++;
859         }
860         array = xcalloc(sizeof(*array), num_head);
861         for (p = heads, i = 0; p; p = p->next) {
862                 if (p->item->object.flags & STALE) {
863                         array[i++] = p->item;
864                         p->item->object.flags &= ~STALE;
865                 }
866         }
867         num_head = remove_redundant(array, num_head);
868         for (i = 0; i < num_head; i++)
869                 tail = &commit_list_insert(array[i], tail)->next;
870         return result;
871 }
872
873 static const char gpg_sig_header[] = "gpgsig";
874 static const int gpg_sig_header_len = sizeof(gpg_sig_header) - 1;
875
876 static int do_sign_commit(struct strbuf *buf, const char *keyid)
877 {
878         struct strbuf sig = STRBUF_INIT;
879         int inspos, copypos;
880
881         /* find the end of the header */
882         inspos = strstr(buf->buf, "\n\n") - buf->buf + 1;
883
884         if (!keyid || !*keyid)
885                 keyid = get_signing_key();
886         if (sign_buffer(buf, &sig, keyid)) {
887                 strbuf_release(&sig);
888                 return -1;
889         }
890
891         for (copypos = 0; sig.buf[copypos]; ) {
892                 const char *bol = sig.buf + copypos;
893                 const char *eol = strchrnul(bol, '\n');
894                 int len = (eol - bol) + !!*eol;
895
896                 if (!copypos) {
897                         strbuf_insert(buf, inspos, gpg_sig_header, gpg_sig_header_len);
898                         inspos += gpg_sig_header_len;
899                 }
900                 strbuf_insert(buf, inspos++, " ", 1);
901                 strbuf_insert(buf, inspos, bol, len);
902                 inspos += len;
903                 copypos += len;
904         }
905         strbuf_release(&sig);
906         return 0;
907 }
908
909 int parse_signed_commit(const unsigned char *sha1,
910                         struct strbuf *payload, struct strbuf *signature)
911 {
912         unsigned long size;
913         enum object_type type;
914         char *buffer = read_sha1_file(sha1, &type, &size);
915         int in_signature, saw_signature = -1;
916         char *line, *tail;
917
918         if (!buffer || type != OBJ_COMMIT)
919                 goto cleanup;
920
921         line = buffer;
922         tail = buffer + size;
923         in_signature = 0;
924         saw_signature = 0;
925         while (line < tail) {
926                 const char *sig = NULL;
927                 char *next = memchr(line, '\n', tail - line);
928
929                 next = next ? next + 1 : tail;
930                 if (in_signature && line[0] == ' ')
931                         sig = line + 1;
932                 else if (!prefixcmp(line, gpg_sig_header) &&
933                          line[gpg_sig_header_len] == ' ')
934                         sig = line + gpg_sig_header_len + 1;
935                 if (sig) {
936                         strbuf_add(signature, sig, next - sig);
937                         saw_signature = 1;
938                         in_signature = 1;
939                 } else {
940                         if (*line == '\n')
941                                 /* dump the whole remainder of the buffer */
942                                 next = tail;
943                         strbuf_add(payload, line, next - line);
944                         in_signature = 0;
945                 }
946                 line = next;
947         }
948  cleanup:
949         free(buffer);
950         return saw_signature;
951 }
952
953 static void handle_signed_tag(struct commit *parent, struct commit_extra_header ***tail)
954 {
955         struct merge_remote_desc *desc;
956         struct commit_extra_header *mergetag;
957         char *buf;
958         unsigned long size, len;
959         enum object_type type;
960
961         desc = merge_remote_util(parent);
962         if (!desc || !desc->obj)
963                 return;
964         buf = read_sha1_file(desc->obj->sha1, &type, &size);
965         if (!buf || type != OBJ_TAG)
966                 goto free_return;
967         len = parse_signature(buf, size);
968         if (size == len)
969                 goto free_return;
970         /*
971          * We could verify this signature and either omit the tag when
972          * it does not validate, but the integrator may not have the
973          * public key of the signer of the tag he is merging, while a
974          * later auditor may have it while auditing, so let's not run
975          * verify-signed-buffer here for now...
976          *
977          * if (verify_signed_buffer(buf, len, buf + len, size - len, ...))
978          *      warn("warning: signed tag unverified.");
979          */
980         mergetag = xcalloc(1, sizeof(*mergetag));
981         mergetag->key = xstrdup("mergetag");
982         mergetag->value = buf;
983         mergetag->len = size;
984
985         **tail = mergetag;
986         *tail = &mergetag->next;
987         return;
988
989 free_return:
990         free(buf);
991 }
992
993 void append_merge_tag_headers(struct commit_list *parents,
994                               struct commit_extra_header ***tail)
995 {
996         while (parents) {
997                 struct commit *parent = parents->item;
998                 handle_signed_tag(parent, tail);
999                 parents = parents->next;
1000         }
1001 }
1002
1003 static void add_extra_header(struct strbuf *buffer,
1004                              struct commit_extra_header *extra)
1005 {
1006         strbuf_addstr(buffer, extra->key);
1007         if (extra->len)
1008                 strbuf_add_lines(buffer, " ", extra->value, extra->len);
1009         else
1010                 strbuf_addch(buffer, '\n');
1011 }
1012
1013 struct commit_extra_header *read_commit_extra_headers(struct commit *commit,
1014                                                       const char **exclude)
1015 {
1016         struct commit_extra_header *extra = NULL;
1017         unsigned long size;
1018         enum object_type type;
1019         char *buffer = read_sha1_file(commit->object.sha1, &type, &size);
1020         if (buffer && type == OBJ_COMMIT)
1021                 extra = read_commit_extra_header_lines(buffer, size, exclude);
1022         free(buffer);
1023         return extra;
1024 }
1025
1026 static inline int standard_header_field(const char *field, size_t len)
1027 {
1028         return ((len == 4 && !memcmp(field, "tree ", 5)) ||
1029                 (len == 6 && !memcmp(field, "parent ", 7)) ||
1030                 (len == 6 && !memcmp(field, "author ", 7)) ||
1031                 (len == 9 && !memcmp(field, "committer ", 10)) ||
1032                 (len == 8 && !memcmp(field, "encoding ", 9)));
1033 }
1034
1035 static int excluded_header_field(const char *field, size_t len, const char **exclude)
1036 {
1037         if (!exclude)
1038                 return 0;
1039
1040         while (*exclude) {
1041                 size_t xlen = strlen(*exclude);
1042                 if (len == xlen &&
1043                     !memcmp(field, *exclude, xlen) && field[xlen] == ' ')
1044                         return 1;
1045                 exclude++;
1046         }
1047         return 0;
1048 }
1049
1050 struct commit_extra_header *read_commit_extra_header_lines(const char *buffer, size_t size,
1051                                                            const char **exclude)
1052 {
1053         struct commit_extra_header *extra = NULL, **tail = &extra, *it = NULL;
1054         const char *line, *next, *eof, *eob;
1055         struct strbuf buf = STRBUF_INIT;
1056
1057         for (line = buffer, eob = line + size;
1058              line < eob && *line != '\n';
1059              line = next) {
1060                 next = memchr(line, '\n', eob - line);
1061                 next = next ? next + 1 : eob;
1062                 if (*line == ' ') {
1063                         /* continuation */
1064                         if (it)
1065                                 strbuf_add(&buf, line + 1, next - (line + 1));
1066                         continue;
1067                 }
1068                 if (it)
1069                         it->value = strbuf_detach(&buf, &it->len);
1070                 strbuf_reset(&buf);
1071                 it = NULL;
1072
1073                 eof = strchr(line, ' ');
1074                 if (next <= eof)
1075                         eof = next;
1076
1077                 if (standard_header_field(line, eof - line) ||
1078                     excluded_header_field(line, eof - line, exclude))
1079                         continue;
1080
1081                 it = xcalloc(1, sizeof(*it));
1082                 it->key = xmemdupz(line, eof-line);
1083                 *tail = it;
1084                 tail = &it->next;
1085                 if (eof + 1 < next)
1086                         strbuf_add(&buf, eof + 1, next - (eof + 1));
1087         }
1088         if (it)
1089                 it->value = strbuf_detach(&buf, &it->len);
1090         return extra;
1091 }
1092
1093 void free_commit_extra_headers(struct commit_extra_header *extra)
1094 {
1095         while (extra) {
1096                 struct commit_extra_header *next = extra->next;
1097                 free(extra->key);
1098                 free(extra->value);
1099                 free(extra);
1100                 extra = next;
1101         }
1102 }
1103
1104 int commit_tree(const struct strbuf *msg, unsigned char *tree,
1105                 struct commit_list *parents, unsigned char *ret,
1106                 const char *author, const char *sign_commit)
1107 {
1108         struct commit_extra_header *extra = NULL, **tail = &extra;
1109         int result;
1110
1111         append_merge_tag_headers(parents, &tail);
1112         result = commit_tree_extended(msg, tree, parents, ret,
1113                                       author, sign_commit, extra);
1114         free_commit_extra_headers(extra);
1115         return result;
1116 }
1117
1118 static const char commit_utf8_warn[] =
1119 "Warning: commit message does not conform to UTF-8.\n"
1120 "You may want to amend it after fixing the message, or set the config\n"
1121 "variable i18n.commitencoding to the encoding your project uses.\n";
1122
1123 int commit_tree_extended(const struct strbuf *msg, unsigned char *tree,
1124                          struct commit_list *parents, unsigned char *ret,
1125                          const char *author, const char *sign_commit,
1126                          struct commit_extra_header *extra)
1127 {
1128         int result;
1129         int encoding_is_utf8;
1130         struct strbuf buffer;
1131
1132         assert_sha1_type(tree, OBJ_TREE);
1133
1134         if (memchr(msg->buf, '\0', msg->len))
1135                 return error("a NUL byte in commit log message not allowed.");
1136
1137         /* Not having i18n.commitencoding is the same as having utf-8 */
1138         encoding_is_utf8 = is_encoding_utf8(git_commit_encoding);
1139
1140         strbuf_init(&buffer, 8192); /* should avoid reallocs for the headers */
1141         strbuf_addf(&buffer, "tree %s\n", sha1_to_hex(tree));
1142
1143         /*
1144          * NOTE! This ordering means that the same exact tree merged with a
1145          * different order of parents will be a _different_ changeset even
1146          * if everything else stays the same.
1147          */
1148         while (parents) {
1149                 struct commit_list *next = parents->next;
1150                 struct commit *parent = parents->item;
1151
1152                 strbuf_addf(&buffer, "parent %s\n",
1153                             sha1_to_hex(parent->object.sha1));
1154                 free(parents);
1155                 parents = next;
1156         }
1157
1158         /* Person/date information */
1159         if (!author)
1160                 author = git_author_info(IDENT_ERROR_ON_NO_NAME);
1161         strbuf_addf(&buffer, "author %s\n", author);
1162         strbuf_addf(&buffer, "committer %s\n", git_committer_info(IDENT_ERROR_ON_NO_NAME));
1163         if (!encoding_is_utf8)
1164                 strbuf_addf(&buffer, "encoding %s\n", git_commit_encoding);
1165
1166         while (extra) {
1167                 add_extra_header(&buffer, extra);
1168                 extra = extra->next;
1169         }
1170         strbuf_addch(&buffer, '\n');
1171
1172         /* And add the comment */
1173         strbuf_addbuf(&buffer, msg);
1174
1175         /* And check the encoding */
1176         if (encoding_is_utf8 && !is_utf8(buffer.buf))
1177                 fprintf(stderr, commit_utf8_warn);
1178
1179         if (sign_commit && do_sign_commit(&buffer, sign_commit))
1180                 return -1;
1181
1182         result = write_sha1_file(buffer.buf, buffer.len, commit_type, ret);
1183         strbuf_release(&buffer);
1184         return result;
1185 }
1186
1187 struct commit *get_merge_parent(const char *name)
1188 {
1189         struct object *obj;
1190         struct commit *commit;
1191         unsigned char sha1[20];
1192         if (get_sha1(name, sha1))
1193                 return NULL;
1194         obj = parse_object(sha1);
1195         commit = (struct commit *)peel_to_type(name, 0, obj, OBJ_COMMIT);
1196         if (commit && !commit->util) {
1197                 struct merge_remote_desc *desc;
1198                 desc = xmalloc(sizeof(*desc));
1199                 desc->obj = obj;
1200                 desc->name = strdup(name);
1201                 commit->util = desc;
1202         }
1203         return commit;
1204 }