xdiff: avoid more compiler warnings with XDL_FAST_HASH on 32-bit machines
[git] / xdiff / xutils.c
1 /*
2  *  LibXDiff by Davide Libenzi ( File Differential Library )
3  *  Copyright (C) 2003  Davide Libenzi
4  *
5  *  This library is free software; you can redistribute it and/or
6  *  modify it under the terms of the GNU Lesser General Public
7  *  License as published by the Free Software Foundation; either
8  *  version 2.1 of the License, or (at your option) any later version.
9  *
10  *  This library is distributed in the hope that it will be useful,
11  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
12  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  *  Lesser General Public License for more details.
14  *
15  *  You should have received a copy of the GNU Lesser General Public
16  *  License along with this library; if not, write to the Free Software
17  *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18  *
19  *  Davide Libenzi <davidel@xmailserver.org>
20  *
21  */
22
23 #include <limits.h>
24 #include <assert.h>
25 #include "xinclude.h"
26
27
28
29
30 long xdl_bogosqrt(long n) {
31         long i;
32
33         /*
34          * Classical integer square root approximation using shifts.
35          */
36         for (i = 1; n > 0; n >>= 2)
37                 i <<= 1;
38
39         return i;
40 }
41
42
43 int xdl_emit_diffrec(char const *rec, long size, char const *pre, long psize,
44                      xdemitcb_t *ecb) {
45         int i = 2;
46         mmbuffer_t mb[3];
47
48         mb[0].ptr = (char *) pre;
49         mb[0].size = psize;
50         mb[1].ptr = (char *) rec;
51         mb[1].size = size;
52         if (size > 0 && rec[size - 1] != '\n') {
53                 mb[2].ptr = (char *) "\n\\ No newline at end of file\n";
54                 mb[2].size = strlen(mb[2].ptr);
55                 i++;
56         }
57         if (ecb->outf(ecb->priv, mb, i) < 0) {
58
59                 return -1;
60         }
61
62         return 0;
63 }
64
65 void *xdl_mmfile_first(mmfile_t *mmf, long *size)
66 {
67         *size = mmf->size;
68         return mmf->ptr;
69 }
70
71
72 long xdl_mmfile_size(mmfile_t *mmf)
73 {
74         return mmf->size;
75 }
76
77
78 int xdl_cha_init(chastore_t *cha, long isize, long icount) {
79
80         cha->head = cha->tail = NULL;
81         cha->isize = isize;
82         cha->nsize = icount * isize;
83         cha->ancur = cha->sncur = NULL;
84         cha->scurr = 0;
85
86         return 0;
87 }
88
89
90 void xdl_cha_free(chastore_t *cha) {
91         chanode_t *cur, *tmp;
92
93         for (cur = cha->head; (tmp = cur) != NULL;) {
94                 cur = cur->next;
95                 xdl_free(tmp);
96         }
97 }
98
99
100 void *xdl_cha_alloc(chastore_t *cha) {
101         chanode_t *ancur;
102         void *data;
103
104         if (!(ancur = cha->ancur) || ancur->icurr == cha->nsize) {
105                 if (!(ancur = (chanode_t *) xdl_malloc(sizeof(chanode_t) + cha->nsize))) {
106
107                         return NULL;
108                 }
109                 ancur->icurr = 0;
110                 ancur->next = NULL;
111                 if (cha->tail)
112                         cha->tail->next = ancur;
113                 if (!cha->head)
114                         cha->head = ancur;
115                 cha->tail = ancur;
116                 cha->ancur = ancur;
117         }
118
119         data = (char *) ancur + sizeof(chanode_t) + ancur->icurr;
120         ancur->icurr += cha->isize;
121
122         return data;
123 }
124
125
126 void *xdl_cha_first(chastore_t *cha) {
127         chanode_t *sncur;
128
129         if (!(cha->sncur = sncur = cha->head))
130                 return NULL;
131
132         cha->scurr = 0;
133
134         return (char *) sncur + sizeof(chanode_t) + cha->scurr;
135 }
136
137
138 void *xdl_cha_next(chastore_t *cha) {
139         chanode_t *sncur;
140
141         if (!(sncur = cha->sncur))
142                 return NULL;
143         cha->scurr += cha->isize;
144         if (cha->scurr == sncur->icurr) {
145                 if (!(sncur = cha->sncur = sncur->next))
146                         return NULL;
147                 cha->scurr = 0;
148         }
149
150         return (char *) sncur + sizeof(chanode_t) + cha->scurr;
151 }
152
153
154 long xdl_guess_lines(mmfile_t *mf, long sample) {
155         long nl = 0, size, tsize = 0;
156         char const *data, *cur, *top;
157
158         if ((cur = data = xdl_mmfile_first(mf, &size)) != NULL) {
159                 for (top = data + size; nl < sample && cur < top; ) {
160                         nl++;
161                         if (!(cur = memchr(cur, '\n', top - cur)))
162                                 cur = top;
163                         else
164                                 cur++;
165                 }
166                 tsize += (long) (cur - data);
167         }
168
169         if (nl && tsize)
170                 nl = xdl_mmfile_size(mf) / (tsize / nl);
171
172         return nl + 1;
173 }
174
175 int xdl_recmatch(const char *l1, long s1, const char *l2, long s2, long flags)
176 {
177         int i1, i2;
178
179         if (s1 == s2 && !memcmp(l1, l2, s1))
180                 return 1;
181         if (!(flags & XDF_WHITESPACE_FLAGS))
182                 return 0;
183
184         i1 = 0;
185         i2 = 0;
186
187         /*
188          * -w matches everything that matches with -b, and -b in turn
189          * matches everything that matches with --ignore-space-at-eol.
190          *
191          * Each flavor of ignoring needs different logic to skip whitespaces
192          * while we have both sides to compare.
193          */
194         if (flags & XDF_IGNORE_WHITESPACE) {
195                 goto skip_ws;
196                 while (i1 < s1 && i2 < s2) {
197                         if (l1[i1++] != l2[i2++])
198                                 return 0;
199                 skip_ws:
200                         while (i1 < s1 && XDL_ISSPACE(l1[i1]))
201                                 i1++;
202                         while (i2 < s2 && XDL_ISSPACE(l2[i2]))
203                                 i2++;
204                 }
205         } else if (flags & XDF_IGNORE_WHITESPACE_CHANGE) {
206                 while (i1 < s1 && i2 < s2) {
207                         if (XDL_ISSPACE(l1[i1]) && XDL_ISSPACE(l2[i2])) {
208                                 /* Skip matching spaces and try again */
209                                 while (i1 < s1 && XDL_ISSPACE(l1[i1]))
210                                         i1++;
211                                 while (i2 < s2 && XDL_ISSPACE(l2[i2]))
212                                         i2++;
213                                 continue;
214                         }
215                         if (l1[i1++] != l2[i2++])
216                                 return 0;
217                 }
218         } else if (flags & XDF_IGNORE_WHITESPACE_AT_EOL) {
219                 while (i1 < s1 && i2 < s2 && l1[i1++] == l2[i2++])
220                         ; /* keep going */
221         }
222
223         /*
224          * After running out of one side, the remaining side must have
225          * nothing but whitespace for the lines to match.  Note that
226          * ignore-whitespace-at-eol case may break out of the loop
227          * while there still are characters remaining on both lines.
228          */
229         if (i1 < s1) {
230                 while (i1 < s1 && XDL_ISSPACE(l1[i1]))
231                         i1++;
232                 if (s1 != i1)
233                         return 0;
234         }
235         if (i2 < s2) {
236                 while (i2 < s2 && XDL_ISSPACE(l2[i2]))
237                         i2++;
238                 return (s2 == i2);
239         }
240         return 1;
241 }
242
243 static unsigned long xdl_hash_record_with_whitespace(char const **data,
244                 char const *top, long flags) {
245         unsigned long ha = 5381;
246         char const *ptr = *data;
247
248         for (; ptr < top && *ptr != '\n'; ptr++) {
249                 if (XDL_ISSPACE(*ptr)) {
250                         const char *ptr2 = ptr;
251                         int at_eol;
252                         while (ptr + 1 < top && XDL_ISSPACE(ptr[1])
253                                         && ptr[1] != '\n')
254                                 ptr++;
255                         at_eol = (top <= ptr + 1 || ptr[1] == '\n');
256                         if (flags & XDF_IGNORE_WHITESPACE)
257                                 ; /* already handled */
258                         else if (flags & XDF_IGNORE_WHITESPACE_CHANGE
259                                  && !at_eol) {
260                                 ha += (ha << 5);
261                                 ha ^= (unsigned long) ' ';
262                         }
263                         else if (flags & XDF_IGNORE_WHITESPACE_AT_EOL
264                                  && !at_eol) {
265                                 while (ptr2 != ptr + 1) {
266                                         ha += (ha << 5);
267                                         ha ^= (unsigned long) *ptr2;
268                                         ptr2++;
269                                 }
270                         }
271                         continue;
272                 }
273                 ha += (ha << 5);
274                 ha ^= (unsigned long) *ptr;
275         }
276         *data = ptr < top ? ptr + 1: ptr;
277
278         return ha;
279 }
280
281 #ifdef XDL_FAST_HASH
282
283 #define REPEAT_BYTE(x)  ((~0ul / 0xff) * (x))
284
285 #define ONEBYTES        REPEAT_BYTE(0x01)
286 #define NEWLINEBYTES    REPEAT_BYTE(0x0a)
287 #define HIGHBITS        REPEAT_BYTE(0x80)
288
289 /* Return the high bit set in the first byte that is a zero */
290 static inline unsigned long has_zero(unsigned long a)
291 {
292         return ((a - ONEBYTES) & ~a) & HIGHBITS;
293 }
294
295 static inline long count_masked_bytes(unsigned long mask)
296 {
297         if (sizeof(long) == 8) {
298                 /*
299                  * Jan Achrenius on G+: microoptimized version of
300                  * the simpler "(mask & ONEBYTES) * ONEBYTES >> 56"
301                  * that works for the bytemasks without having to
302                  * mask them first.
303                  */
304                 /*
305                  * return mask * 0x0001020304050608 >> 56;
306                  *
307                  * Doing it like this avoids warnings on 32-bit machines.
308                  */
309                 long a = (REPEAT_BYTE(0x01) / 0xff + 1);
310                 return mask * a >> (sizeof(long) * 7);
311         } else {
312                 /*
313                  * Modified Carl Chatfield G+ version for 32-bit *
314                  *
315                  * (a) gives us
316                  *   -1 (0, ff), 0 (ffff) or 1 (ffffff)
317                  * (b) gives us
318                  *   0 for 0, 1 for (ff ffff ffffff)
319                  * (a+b+1) gives us
320                  *   correct 0-3 bytemask count result
321                  */
322                 long a = (mask - 256) >> 23;
323                 long b = mask & 1;
324                 return a + b + 1;
325         }
326 }
327
328 unsigned long xdl_hash_record(char const **data, char const *top, long flags)
329 {
330         unsigned long hash = 5381;
331         unsigned long a = 0, mask = 0;
332         char const *ptr = *data;
333         char const *end = top - sizeof(unsigned long) + 1;
334
335         if (flags & XDF_WHITESPACE_FLAGS)
336                 return xdl_hash_record_with_whitespace(data, top, flags);
337
338         ptr -= sizeof(unsigned long);
339         do {
340                 hash += hash << 5;
341                 hash ^= a;
342                 ptr += sizeof(unsigned long);
343                 if (ptr >= end)
344                         break;
345                 a = *(unsigned long *)ptr;
346                 /* Do we have any '\n' bytes in this word? */
347                 mask = has_zero(a ^ NEWLINEBYTES);
348         } while (!mask);
349
350         if (ptr >= end) {
351                 /*
352                  * There is only a partial word left at the end of the
353                  * buffer. Because we may work with a memory mapping,
354                  * we have to grab the rest byte by byte instead of
355                  * blindly reading it.
356                  *
357                  * To avoid problems with masking in a signed value,
358                  * we use an unsigned char here.
359                  */
360                 const char *p;
361                 for (p = top - 1; p >= ptr; p--)
362                         a = (a << 8) + *((const unsigned char *)p);
363                 mask = has_zero(a ^ NEWLINEBYTES);
364                 if (!mask)
365                         /*
366                          * No '\n' found in the partial word.  Make a
367                          * mask that matches what we read.
368                          */
369                         mask = 1UL << (8 * (top - ptr) + 7);
370         }
371
372         /* The mask *below* the first high bit set */
373         mask = (mask - 1) & ~mask;
374         mask >>= 7;
375         hash += hash << 5;
376         hash ^= a & mask;
377
378         /* Advance past the last (possibly partial) word */
379         ptr += count_masked_bytes(mask);
380
381         if (ptr < top) {
382                 assert(*ptr == '\n');
383                 ptr++;
384         }
385
386         *data = ptr;
387
388         return hash;
389 }
390
391 #else /* XDL_FAST_HASH */
392
393 unsigned long xdl_hash_record(char const **data, char const *top, long flags) {
394         unsigned long ha = 5381;
395         char const *ptr = *data;
396
397         if (flags & XDF_WHITESPACE_FLAGS)
398                 return xdl_hash_record_with_whitespace(data, top, flags);
399
400         for (; ptr < top && *ptr != '\n'; ptr++) {
401                 ha += (ha << 5);
402                 ha ^= (unsigned long) *ptr;
403         }
404         *data = ptr < top ? ptr + 1: ptr;
405
406         return ha;
407 }
408
409 #endif /* XDL_FAST_HASH */
410
411 unsigned int xdl_hashbits(unsigned int size) {
412         unsigned int val = 1, bits = 0;
413
414         for (; val < size && bits < CHAR_BIT * sizeof(unsigned int); val <<= 1, bits++);
415         return bits ? bits: 1;
416 }
417
418
419 int xdl_num_out(char *out, long val) {
420         char *ptr, *str = out;
421         char buf[32];
422
423         ptr = buf + sizeof(buf) - 1;
424         *ptr = '\0';
425         if (val < 0) {
426                 *--ptr = '-';
427                 val = -val;
428         }
429         for (; val && ptr > buf; val /= 10)
430                 *--ptr = "0123456789"[val % 10];
431         if (*ptr)
432                 for (; *ptr; ptr++, str++)
433                         *str = *ptr;
434         else
435                 *str++ = '0';
436         *str = '\0';
437
438         return str - out;
439 }
440
441
442 long xdl_atol(char const *str, char const **next) {
443         long val, base;
444         char const *top;
445
446         for (top = str; XDL_ISDIGIT(*top); top++);
447         if (next)
448                 *next = top;
449         for (val = 0, base = 1, top--; top >= str; top--, base *= 10)
450                 val += base * (long)(*top - '0');
451         return val;
452 }
453
454
455 int xdl_emit_hunk_hdr(long s1, long c1, long s2, long c2,
456                       const char *func, long funclen, xdemitcb_t *ecb) {
457         int nb = 0;
458         mmbuffer_t mb;
459         char buf[128];
460
461         memcpy(buf, "@@ -", 4);
462         nb += 4;
463
464         nb += xdl_num_out(buf + nb, c1 ? s1: s1 - 1);
465
466         if (c1 != 1) {
467                 memcpy(buf + nb, ",", 1);
468                 nb += 1;
469
470                 nb += xdl_num_out(buf + nb, c1);
471         }
472
473         memcpy(buf + nb, " +", 2);
474         nb += 2;
475
476         nb += xdl_num_out(buf + nb, c2 ? s2: s2 - 1);
477
478         if (c2 != 1) {
479                 memcpy(buf + nb, ",", 1);
480                 nb += 1;
481
482                 nb += xdl_num_out(buf + nb, c2);
483         }
484
485         memcpy(buf + nb, " @@", 3);
486         nb += 3;
487         if (func && funclen) {
488                 buf[nb++] = ' ';
489                 if (funclen > sizeof(buf) - nb - 1)
490                         funclen = sizeof(buf) - nb - 1;
491                 memcpy(buf + nb, func, funclen);
492                 nb += funclen;
493         }
494         buf[nb++] = '\n';
495
496         mb.ptr = buf;
497         mb.size = nb;
498         if (ecb->outf(ecb->priv, &mb, 1) < 0)
499                 return -1;
500
501         return 0;
502 }
503
504 int xdl_fall_back_diff(xdfenv_t *diff_env, xpparam_t const *xpp,
505                 int line1, int count1, int line2, int count2)
506 {
507         /*
508          * This probably does not work outside Git, since
509          * we have a very simple mmfile structure.
510          *
511          * Note: ideally, we would reuse the prepared environment, but
512          * the libxdiff interface does not (yet) allow for diffing only
513          * ranges of lines instead of the whole files.
514          */
515         mmfile_t subfile1, subfile2;
516         xdfenv_t env;
517
518         subfile1.ptr = (char *)diff_env->xdf1.recs[line1 - 1]->ptr;
519         subfile1.size = diff_env->xdf1.recs[line1 + count1 - 2]->ptr +
520                 diff_env->xdf1.recs[line1 + count1 - 2]->size - subfile1.ptr;
521         subfile2.ptr = (char *)diff_env->xdf2.recs[line2 - 1]->ptr;
522         subfile2.size = diff_env->xdf2.recs[line2 + count2 - 2]->ptr +
523                 diff_env->xdf2.recs[line2 + count2 - 2]->size - subfile2.ptr;
524         if (xdl_do_diff(&subfile1, &subfile2, xpp, &env) < 0)
525                 return -1;
526
527         memcpy(diff_env->xdf1.rchg + line1 - 1, env.xdf1.rchg, count1);
528         memcpy(diff_env->xdf2.rchg + line2 - 1, env.xdf2.rchg, count2);
529
530         xdl_free_env(&env);
531
532         return 0;
533 }