Revert "pack-objects: only throw away data during memory pressure"
[git] / git-compat-util.h
1 #ifndef GIT_COMPAT_UTIL_H
2 #define GIT_COMPAT_UTIL_H
3
4 #define _FILE_OFFSET_BITS 64
5
6 #ifndef FLEX_ARRAY
7 /*
8  * See if our compiler is known to support flexible array members.
9  */
10 #if defined(__STDC_VERSION__) && (__STDC_VERSION__ >= 199901L)
11 # define FLEX_ARRAY /* empty */
12 #elif defined(__GNUC__)
13 # if (__GNUC__ >= 3)
14 #  define FLEX_ARRAY /* empty */
15 # else
16 #  define FLEX_ARRAY 0 /* older GNU extension */
17 # endif
18 #endif
19
20 /*
21  * Otherwise, default to safer but a bit wasteful traditional style
22  */
23 #ifndef FLEX_ARRAY
24 # define FLEX_ARRAY 1
25 #endif
26 #endif
27
28 #define ARRAY_SIZE(x) (sizeof(x)/sizeof(x[0]))
29
30 #ifdef __GNUC__
31 #define TYPEOF(x) (__typeof__(x))
32 #else
33 #define TYPEOF(x)
34 #endif
35
36 #define MSB(x, bits) ((x) & TYPEOF(x)(~0ULL << (sizeof(x) * 8 - (bits))))
37 #define HAS_MULTI_BITS(i)  ((i) & ((i) - 1))  /* checks if an integer has more than 1 bit set */
38
39 /* Approximation of the length of the decimal representation of this type. */
40 #define decimal_length(x)       ((int)(sizeof(x) * 2.56 + 0.5) + 1)
41
42 #if !defined(__APPLE__) && !defined(__FreeBSD__)
43 #define _XOPEN_SOURCE 600 /* glibc2 and AIX 5.3L need 500, OpenBSD needs 600 for S_ISLNK() */
44 #define _XOPEN_SOURCE_EXTENDED 1 /* AIX 5.3L needs this */
45 #endif
46 #define _ALL_SOURCE 1
47 #define _GNU_SOURCE 1
48 #define _BSD_SOURCE 1
49
50 #include <unistd.h>
51 #include <stdio.h>
52 #include <sys/stat.h>
53 #include <fcntl.h>
54 #include <stddef.h>
55 #include <stdlib.h>
56 #include <stdarg.h>
57 #include <string.h>
58 #include <errno.h>
59 #include <limits.h>
60 #include <sys/param.h>
61 #include <sys/types.h>
62 #include <dirent.h>
63 #include <sys/time.h>
64 #include <time.h>
65 #include <signal.h>
66 #include <sys/wait.h>
67 #include <fnmatch.h>
68 #include <sys/poll.h>
69 #include <sys/socket.h>
70 #include <sys/ioctl.h>
71 #ifndef NO_SYS_SELECT_H
72 #include <sys/select.h>
73 #endif
74 #include <assert.h>
75 #include <regex.h>
76 #include <netinet/in.h>
77 #include <netinet/tcp.h>
78 #include <arpa/inet.h>
79 #include <netdb.h>
80 #include <pwd.h>
81 #include <inttypes.h>
82 #if defined(__CYGWIN__)
83 #undef _XOPEN_SOURCE
84 #include <grp.h>
85 #define _XOPEN_SOURCE 600
86 #else
87 #undef _ALL_SOURCE /* AIX 5.3L defines a struct list with _ALL_SOURCE. */
88 #include <grp.h>
89 #define _ALL_SOURCE 1
90 #endif
91
92 #ifndef NO_ICONV
93 #include <iconv.h>
94 #endif
95
96 /* On most systems <limits.h> would have given us this, but
97  * not on some systems (e.g. GNU/Hurd).
98  */
99 #ifndef PATH_MAX
100 #define PATH_MAX 4096
101 #endif
102
103 #ifndef PRIuMAX
104 #define PRIuMAX "llu"
105 #endif
106
107 #ifdef __GNUC__
108 #define NORETURN __attribute__((__noreturn__))
109 #else
110 #define NORETURN
111 #ifndef __attribute__
112 #define __attribute__(x)
113 #endif
114 #endif
115
116 /* General helper functions */
117 extern void usage(const char *err) NORETURN;
118 extern void die(const char *err, ...) NORETURN __attribute__((format (printf, 1, 2)));
119 extern int error(const char *err, ...) __attribute__((format (printf, 1, 2)));
120 extern void warning(const char *err, ...) __attribute__((format (printf, 1, 2)));
121
122 extern void set_usage_routine(void (*routine)(const char *err) NORETURN);
123 extern void set_die_routine(void (*routine)(const char *err, va_list params) NORETURN);
124 extern void set_error_routine(void (*routine)(const char *err, va_list params));
125 extern void set_warn_routine(void (*routine)(const char *warn, va_list params));
126
127 extern int prefixcmp(const char *str, const char *prefix);
128
129 #ifdef NO_MMAP
130
131 #ifndef PROT_READ
132 #define PROT_READ 1
133 #define PROT_WRITE 2
134 #define MAP_PRIVATE 1
135 #define MAP_FAILED ((void*)-1)
136 #endif
137
138 #define mmap git_mmap
139 #define munmap git_munmap
140 extern void *git_mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
141 extern int git_munmap(void *start, size_t length);
142
143 /* This value must be multiple of (pagesize * 2) */
144 #define DEFAULT_PACKED_GIT_WINDOW_SIZE (1 * 1024 * 1024)
145
146 #else /* NO_MMAP */
147
148 #include <sys/mman.h>
149
150 /* This value must be multiple of (pagesize * 2) */
151 #define DEFAULT_PACKED_GIT_WINDOW_SIZE \
152         (sizeof(void*) >= 8 \
153                 ?  1 * 1024 * 1024 * 1024 \
154                 : 32 * 1024 * 1024)
155
156 #endif /* NO_MMAP */
157
158 #define DEFAULT_PACKED_GIT_LIMIT \
159         ((1024L * 1024L) * (sizeof(void*) >= 8 ? 8192 : 256))
160
161 #ifdef NO_PREAD
162 #define pread git_pread
163 extern ssize_t git_pread(int fd, void *buf, size_t count, off_t offset);
164 #endif
165
166 #ifdef NO_SETENV
167 #define setenv gitsetenv
168 extern int gitsetenv(const char *, const char *, int);
169 #endif
170
171 #ifdef NO_MKDTEMP
172 #define mkdtemp gitmkdtemp
173 extern char *gitmkdtemp(char *);
174 #endif
175
176 #ifdef NO_UNSETENV
177 #define unsetenv gitunsetenv
178 extern void gitunsetenv(const char *);
179 #endif
180
181 #ifdef NO_STRCASESTR
182 #define strcasestr gitstrcasestr
183 extern char *gitstrcasestr(const char *haystack, const char *needle);
184 #endif
185
186 #ifdef NO_STRLCPY
187 #define strlcpy gitstrlcpy
188 extern size_t gitstrlcpy(char *, const char *, size_t);
189 #endif
190
191 #ifdef NO_STRTOUMAX
192 #define strtoumax gitstrtoumax
193 extern uintmax_t gitstrtoumax(const char *, char **, int);
194 #endif
195
196 #ifdef NO_HSTRERROR
197 #define hstrerror githstrerror
198 extern const char *githstrerror(int herror);
199 #endif
200
201 #ifdef NO_MEMMEM
202 #define memmem gitmemmem
203 void *gitmemmem(const void *haystack, size_t haystacklen,
204                 const void *needle, size_t needlelen);
205 #endif
206
207 #ifdef __GLIBC_PREREQ
208 #if __GLIBC_PREREQ(2, 1)
209 #define HAVE_STRCHRNUL
210 #endif
211 #endif
212
213 #ifndef HAVE_STRCHRNUL
214 #define strchrnul gitstrchrnul
215 static inline char *gitstrchrnul(const char *s, int c)
216 {
217         while (*s && *s != c)
218                 s++;
219         return (char *)s;
220 }
221 #endif
222
223 extern void release_pack_memory(size_t, int);
224
225 static inline char* xstrdup(const char *str)
226 {
227         char *ret = strdup(str);
228         if (!ret) {
229                 release_pack_memory(strlen(str) + 1, -1);
230                 ret = strdup(str);
231                 if (!ret)
232                         die("Out of memory, strdup failed");
233         }
234         return ret;
235 }
236
237 static inline void *xmalloc(size_t size)
238 {
239         void *ret = malloc(size);
240         if (!ret && !size)
241                 ret = malloc(1);
242         if (!ret) {
243                 release_pack_memory(size, -1);
244                 ret = malloc(size);
245                 if (!ret && !size)
246                         ret = malloc(1);
247                 if (!ret)
248                         die("Out of memory, malloc failed");
249         }
250 #ifdef XMALLOC_POISON
251         memset(ret, 0xA5, size);
252 #endif
253         return ret;
254 }
255
256 static inline void *xmemdupz(const void *data, size_t len)
257 {
258         char *p = xmalloc(len + 1);
259         memcpy(p, data, len);
260         p[len] = '\0';
261         return p;
262 }
263
264 static inline char *xstrndup(const char *str, size_t len)
265 {
266         char *p = memchr(str, '\0', len);
267         return xmemdupz(str, p ? p - str : len);
268 }
269
270 static inline void *xrealloc(void *ptr, size_t size)
271 {
272         void *ret = realloc(ptr, size);
273         if (!ret && !size)
274                 ret = realloc(ptr, 1);
275         if (!ret) {
276                 release_pack_memory(size, -1);
277                 ret = realloc(ptr, size);
278                 if (!ret && !size)
279                         ret = realloc(ptr, 1);
280                 if (!ret)
281                         die("Out of memory, realloc failed");
282         }
283         return ret;
284 }
285
286 static inline void *xcalloc(size_t nmemb, size_t size)
287 {
288         void *ret = calloc(nmemb, size);
289         if (!ret && (!nmemb || !size))
290                 ret = calloc(1, 1);
291         if (!ret) {
292                 release_pack_memory(nmemb * size, -1);
293                 ret = calloc(nmemb, size);
294                 if (!ret && (!nmemb || !size))
295                         ret = calloc(1, 1);
296                 if (!ret)
297                         die("Out of memory, calloc failed");
298         }
299         return ret;
300 }
301
302 static inline void *xmmap(void *start, size_t length,
303         int prot, int flags, int fd, off_t offset)
304 {
305         void *ret = mmap(start, length, prot, flags, fd, offset);
306         if (ret == MAP_FAILED) {
307                 if (!length)
308                         return NULL;
309                 release_pack_memory(length, fd);
310                 ret = mmap(start, length, prot, flags, fd, offset);
311                 if (ret == MAP_FAILED)
312                         die("Out of memory? mmap failed: %s", strerror(errno));
313         }
314         return ret;
315 }
316
317 static inline ssize_t xread(int fd, void *buf, size_t len)
318 {
319         ssize_t nr;
320         while (1) {
321                 nr = read(fd, buf, len);
322                 if ((nr < 0) && (errno == EAGAIN || errno == EINTR))
323                         continue;
324                 return nr;
325         }
326 }
327
328 static inline ssize_t xwrite(int fd, const void *buf, size_t len)
329 {
330         ssize_t nr;
331         while (1) {
332                 nr = write(fd, buf, len);
333                 if ((nr < 0) && (errno == EAGAIN || errno == EINTR))
334                         continue;
335                 return nr;
336         }
337 }
338
339 static inline int xdup(int fd)
340 {
341         int ret = dup(fd);
342         if (ret < 0)
343                 die("dup failed: %s", strerror(errno));
344         return ret;
345 }
346
347 static inline FILE *xfdopen(int fd, const char *mode)
348 {
349         FILE *stream = fdopen(fd, mode);
350         if (stream == NULL)
351                 die("Out of memory? fdopen failed: %s", strerror(errno));
352         return stream;
353 }
354
355 static inline int xmkstemp(char *template)
356 {
357         int fd;
358
359         fd = mkstemp(template);
360         if (fd < 0)
361                 die("Unable to create temporary file: %s", strerror(errno));
362         return fd;
363 }
364
365 static inline size_t xsize_t(off_t len)
366 {
367         return (size_t)len;
368 }
369
370 static inline int has_extension(const char *filename, const char *ext)
371 {
372         size_t len = strlen(filename);
373         size_t extlen = strlen(ext);
374         return len > extlen && !memcmp(filename + len - extlen, ext, extlen);
375 }
376
377 /* Sane ctype - no locale, and works with signed chars */
378 #undef isspace
379 #undef isdigit
380 #undef isalpha
381 #undef isalnum
382 #undef tolower
383 #undef toupper
384 extern unsigned char sane_ctype[256];
385 #define GIT_SPACE 0x01
386 #define GIT_DIGIT 0x02
387 #define GIT_ALPHA 0x04
388 #define sane_istest(x,mask) ((sane_ctype[(unsigned char)(x)] & (mask)) != 0)
389 #define isspace(x) sane_istest(x,GIT_SPACE)
390 #define isdigit(x) sane_istest(x,GIT_DIGIT)
391 #define isalpha(x) sane_istest(x,GIT_ALPHA)
392 #define isalnum(x) sane_istest(x,GIT_ALPHA | GIT_DIGIT)
393 #define tolower(x) sane_case((unsigned char)(x), 0x20)
394 #define toupper(x) sane_case((unsigned char)(x), 0)
395
396 static inline int sane_case(int x, int high)
397 {
398         if (sane_istest(x, GIT_ALPHA))
399                 x = (x & ~0x20) | high;
400         return x;
401 }
402
403 static inline int strtoul_ui(char const *s, int base, unsigned int *result)
404 {
405         unsigned long ul;
406         char *p;
407
408         errno = 0;
409         ul = strtoul(s, &p, base);
410         if (errno || *p || p == s || (unsigned int) ul != ul)
411                 return -1;
412         *result = ul;
413         return 0;
414 }
415
416 static inline int strtol_i(char const *s, int base, int *result)
417 {
418         long ul;
419         char *p;
420
421         errno = 0;
422         ul = strtol(s, &p, base);
423         if (errno || *p || p == s || (int) ul != ul)
424                 return -1;
425         *result = ul;
426         return 0;
427 }
428
429 #endif