revision: implement sparse algorithm
[git] / diffcore-pickaxe.c
1 /*
2  * Copyright (C) 2005 Junio C Hamano
3  * Copyright (C) 2010 Google Inc.
4  */
5 #include "cache.h"
6 #include "diff.h"
7 #include "diffcore.h"
8 #include "xdiff-interface.h"
9 #include "kwset.h"
10 #include "commit.h"
11 #include "quote.h"
12
13 typedef int (*pickaxe_fn)(mmfile_t *one, mmfile_t *two,
14                           struct diff_options *o,
15                           regex_t *regexp, kwset_t kws);
16
17 struct diffgrep_cb {
18         regex_t *regexp;
19         int hit;
20 };
21
22 static void diffgrep_consume(void *priv, char *line, unsigned long len)
23 {
24         struct diffgrep_cb *data = priv;
25         regmatch_t regmatch;
26
27         if (line[0] != '+' && line[0] != '-')
28                 return;
29         if (data->hit)
30                 /*
31                  * NEEDSWORK: we should have a way to terminate the
32                  * caller early.
33                  */
34                 return;
35         data->hit = !regexec_buf(data->regexp, line + 1, len - 1, 1,
36                                  &regmatch, 0);
37 }
38
39 static int diff_grep(mmfile_t *one, mmfile_t *two,
40                      struct diff_options *o,
41                      regex_t *regexp, kwset_t kws)
42 {
43         regmatch_t regmatch;
44         struct diffgrep_cb ecbdata;
45         xpparam_t xpp;
46         xdemitconf_t xecfg;
47
48         if (!one)
49                 return !regexec_buf(regexp, two->ptr, two->size,
50                                     1, &regmatch, 0);
51         if (!two)
52                 return !regexec_buf(regexp, one->ptr, one->size,
53                                     1, &regmatch, 0);
54
55         /*
56          * We have both sides; need to run textual diff and see if
57          * the pattern appears on added/deleted lines.
58          */
59         memset(&xpp, 0, sizeof(xpp));
60         memset(&xecfg, 0, sizeof(xecfg));
61         ecbdata.regexp = regexp;
62         ecbdata.hit = 0;
63         xecfg.ctxlen = o->context;
64         xecfg.interhunkctxlen = o->interhunkcontext;
65         if (xdi_diff_outf(one, two, discard_hunk_line, diffgrep_consume,
66                           &ecbdata, &xpp, &xecfg))
67                 return 0;
68         return ecbdata.hit;
69 }
70
71 static unsigned int contains(mmfile_t *mf, regex_t *regexp, kwset_t kws)
72 {
73         unsigned int cnt;
74         unsigned long sz;
75         const char *data;
76
77         sz = mf->size;
78         data = mf->ptr;
79         cnt = 0;
80
81         if (regexp) {
82                 regmatch_t regmatch;
83                 int flags = 0;
84
85                 while (sz && *data &&
86                        !regexec_buf(regexp, data, sz, 1, &regmatch, flags)) {
87                         flags |= REG_NOTBOL;
88                         data += regmatch.rm_eo;
89                         sz -= regmatch.rm_eo;
90                         if (sz && *data && regmatch.rm_so == regmatch.rm_eo) {
91                                 data++;
92                                 sz--;
93                         }
94                         cnt++;
95                 }
96
97         } else { /* Classic exact string match */
98                 while (sz) {
99                         struct kwsmatch kwsm;
100                         size_t offset = kwsexec(kws, data, sz, &kwsm);
101                         if (offset == -1)
102                                 break;
103                         sz -= offset + kwsm.size[0];
104                         data += offset + kwsm.size[0];
105                         cnt++;
106                 }
107         }
108         return cnt;
109 }
110
111 static int has_changes(mmfile_t *one, mmfile_t *two,
112                        struct diff_options *o,
113                        regex_t *regexp, kwset_t kws)
114 {
115         unsigned int one_contains = one ? contains(one, regexp, kws) : 0;
116         unsigned int two_contains = two ? contains(two, regexp, kws) : 0;
117         return one_contains != two_contains;
118 }
119
120 static int pickaxe_match(struct diff_filepair *p, struct diff_options *o,
121                          regex_t *regexp, kwset_t kws, pickaxe_fn fn)
122 {
123         struct userdiff_driver *textconv_one = NULL;
124         struct userdiff_driver *textconv_two = NULL;
125         mmfile_t mf1, mf2;
126         int ret;
127
128         /* ignore unmerged */
129         if (!DIFF_FILE_VALID(p->one) && !DIFF_FILE_VALID(p->two))
130                 return 0;
131
132         if (o->objfind) {
133                 return  (DIFF_FILE_VALID(p->one) &&
134                          oidset_contains(o->objfind, &p->one->oid)) ||
135                         (DIFF_FILE_VALID(p->two) &&
136                          oidset_contains(o->objfind, &p->two->oid));
137         }
138
139         if (!o->pickaxe[0])
140                 return 0;
141
142         if (o->flags.allow_textconv) {
143                 textconv_one = get_textconv(o->repo->index, p->one);
144                 textconv_two = get_textconv(o->repo->index, p->two);
145         }
146
147         /*
148          * If we have an unmodified pair, we know that the count will be the
149          * same and don't even have to load the blobs. Unless textconv is in
150          * play, _and_ we are using two different textconv filters (e.g.,
151          * because a pair is an exact rename with different textconv attributes
152          * for each side, which might generate different content).
153          */
154         if (textconv_one == textconv_two && diff_unmodified_pair(p))
155                 return 0;
156
157         mf1.size = fill_textconv(o->repo, textconv_one, p->one, &mf1.ptr);
158         mf2.size = fill_textconv(o->repo, textconv_two, p->two, &mf2.ptr);
159
160         ret = fn(DIFF_FILE_VALID(p->one) ? &mf1 : NULL,
161                  DIFF_FILE_VALID(p->two) ? &mf2 : NULL,
162                  o, regexp, kws);
163
164         if (textconv_one)
165                 free(mf1.ptr);
166         if (textconv_two)
167                 free(mf2.ptr);
168         diff_free_filespec_data(p->one);
169         diff_free_filespec_data(p->two);
170
171         return ret;
172 }
173
174 static void pickaxe(struct diff_queue_struct *q, struct diff_options *o,
175                     regex_t *regexp, kwset_t kws, pickaxe_fn fn)
176 {
177         int i;
178         struct diff_queue_struct outq;
179
180         DIFF_QUEUE_CLEAR(&outq);
181
182         if (o->pickaxe_opts & DIFF_PICKAXE_ALL) {
183                 /* Showing the whole changeset if needle exists */
184                 for (i = 0; i < q->nr; i++) {
185                         struct diff_filepair *p = q->queue[i];
186                         if (pickaxe_match(p, o, regexp, kws, fn))
187                                 return; /* do not munge the queue */
188                 }
189
190                 /*
191                  * Otherwise we will clear the whole queue by copying
192                  * the empty outq at the end of this function, but
193                  * first clear the current entries in the queue.
194                  */
195                 for (i = 0; i < q->nr; i++)
196                         diff_free_filepair(q->queue[i]);
197         } else {
198                 /* Showing only the filepairs that has the needle */
199                 for (i = 0; i < q->nr; i++) {
200                         struct diff_filepair *p = q->queue[i];
201                         if (pickaxe_match(p, o, regexp, kws, fn))
202                                 diff_q(&outq, p);
203                         else
204                                 diff_free_filepair(p);
205                 }
206         }
207
208         free(q->queue);
209         *q = outq;
210 }
211
212 static void regcomp_or_die(regex_t *regex, const char *needle, int cflags)
213 {
214         int err = regcomp(regex, needle, cflags);
215         if (err) {
216                 /* The POSIX.2 people are surely sick */
217                 char errbuf[1024];
218                 regerror(err, regex, errbuf, 1024);
219                 die("invalid regex: %s", errbuf);
220         }
221 }
222
223 void diffcore_pickaxe(struct diff_options *o)
224 {
225         const char *needle = o->pickaxe;
226         int opts = o->pickaxe_opts;
227         regex_t regex, *regexp = NULL;
228         kwset_t kws = NULL;
229
230         if (opts & (DIFF_PICKAXE_REGEX | DIFF_PICKAXE_KIND_G)) {
231                 int cflags = REG_EXTENDED | REG_NEWLINE;
232                 if (o->pickaxe_opts & DIFF_PICKAXE_IGNORE_CASE)
233                         cflags |= REG_ICASE;
234                 regcomp_or_die(&regex, needle, cflags);
235                 regexp = &regex;
236         } else if (opts & DIFF_PICKAXE_KIND_S) {
237                 if (o->pickaxe_opts & DIFF_PICKAXE_IGNORE_CASE &&
238                     has_non_ascii(needle)) {
239                         struct strbuf sb = STRBUF_INIT;
240                         int cflags = REG_NEWLINE | REG_ICASE;
241
242                         basic_regex_quote_buf(&sb, needle);
243                         regcomp_or_die(&regex, sb.buf, cflags);
244                         strbuf_release(&sb);
245                         regexp = &regex;
246                 } else {
247                         kws = kwsalloc(o->pickaxe_opts & DIFF_PICKAXE_IGNORE_CASE
248                                        ? tolower_trans_tbl : NULL);
249                         kwsincr(kws, needle, strlen(needle));
250                         kwsprep(kws);
251                 }
252         }
253
254         pickaxe(&diff_queued_diff, o, regexp, kws,
255                 (opts & DIFF_PICKAXE_KIND_G) ? diff_grep : has_changes);
256
257         if (regexp)
258                 regfree(regexp);
259         if (kws)
260                 kwsfree(kws);
261         return;
262 }