Merge branch 'jk/repack-pack-keep-objects'
[git] / wrapper.c
1 /*
2  * Various trivial helper wrappers around standard functions
3  */
4 #include "cache.h"
5
6 static void do_nothing(size_t size)
7 {
8 }
9
10 static void (*try_to_free_routine)(size_t size) = do_nothing;
11
12 static void memory_limit_check(size_t size)
13 {
14         static int limit = -1;
15         if (limit == -1) {
16                 const char *env = getenv("GIT_ALLOC_LIMIT");
17                 limit = env ? atoi(env) * 1024 : 0;
18         }
19         if (limit && size > limit)
20                 die("attempting to allocate %"PRIuMAX" over limit %d",
21                     (intmax_t)size, limit);
22 }
23
24 try_to_free_t set_try_to_free_routine(try_to_free_t routine)
25 {
26         try_to_free_t old = try_to_free_routine;
27         if (!routine)
28                 routine = do_nothing;
29         try_to_free_routine = routine;
30         return old;
31 }
32
33 char *xstrdup(const char *str)
34 {
35         char *ret = strdup(str);
36         if (!ret) {
37                 try_to_free_routine(strlen(str) + 1);
38                 ret = strdup(str);
39                 if (!ret)
40                         die("Out of memory, strdup failed");
41         }
42         return ret;
43 }
44
45 void *xmalloc(size_t size)
46 {
47         void *ret;
48
49         memory_limit_check(size);
50         ret = malloc(size);
51         if (!ret && !size)
52                 ret = malloc(1);
53         if (!ret) {
54                 try_to_free_routine(size);
55                 ret = malloc(size);
56                 if (!ret && !size)
57                         ret = malloc(1);
58                 if (!ret)
59                         die("Out of memory, malloc failed (tried to allocate %lu bytes)",
60                             (unsigned long)size);
61         }
62 #ifdef XMALLOC_POISON
63         memset(ret, 0xA5, size);
64 #endif
65         return ret;
66 }
67
68 void *xmallocz(size_t size)
69 {
70         void *ret;
71         if (unsigned_add_overflows(size, 1))
72                 die("Data too large to fit into virtual memory space.");
73         ret = xmalloc(size + 1);
74         ((char*)ret)[size] = 0;
75         return ret;
76 }
77
78 /*
79  * xmemdupz() allocates (len + 1) bytes of memory, duplicates "len" bytes of
80  * "data" to the allocated memory, zero terminates the allocated memory,
81  * and returns a pointer to the allocated memory. If the allocation fails,
82  * the program dies.
83  */
84 void *xmemdupz(const void *data, size_t len)
85 {
86         return memcpy(xmallocz(len), data, len);
87 }
88
89 char *xstrndup(const char *str, size_t len)
90 {
91         char *p = memchr(str, '\0', len);
92         return xmemdupz(str, p ? p - str : len);
93 }
94
95 void *xrealloc(void *ptr, size_t size)
96 {
97         void *ret;
98
99         memory_limit_check(size);
100         ret = realloc(ptr, size);
101         if (!ret && !size)
102                 ret = realloc(ptr, 1);
103         if (!ret) {
104                 try_to_free_routine(size);
105                 ret = realloc(ptr, size);
106                 if (!ret && !size)
107                         ret = realloc(ptr, 1);
108                 if (!ret)
109                         die("Out of memory, realloc failed");
110         }
111         return ret;
112 }
113
114 void *xcalloc(size_t nmemb, size_t size)
115 {
116         void *ret;
117
118         memory_limit_check(size * nmemb);
119         ret = calloc(nmemb, size);
120         if (!ret && (!nmemb || !size))
121                 ret = calloc(1, 1);
122         if (!ret) {
123                 try_to_free_routine(nmemb * size);
124                 ret = calloc(nmemb, size);
125                 if (!ret && (!nmemb || !size))
126                         ret = calloc(1, 1);
127                 if (!ret)
128                         die("Out of memory, calloc failed");
129         }
130         return ret;
131 }
132
133 /*
134  * Limit size of IO chunks, because huge chunks only cause pain.  OS X
135  * 64-bit is buggy, returning EINVAL if len >= INT_MAX; and even in
136  * the absence of bugs, large chunks can result in bad latencies when
137  * you decide to kill the process.
138  */
139 #define MAX_IO_SIZE (8*1024*1024)
140
141 /*
142  * xread() is the same a read(), but it automatically restarts read()
143  * operations with a recoverable error (EAGAIN and EINTR). xread()
144  * DOES NOT GUARANTEE that "len" bytes is read even if the data is available.
145  */
146 ssize_t xread(int fd, void *buf, size_t len)
147 {
148         ssize_t nr;
149         if (len > MAX_IO_SIZE)
150             len = MAX_IO_SIZE;
151         while (1) {
152                 nr = read(fd, buf, len);
153                 if ((nr < 0) && (errno == EAGAIN || errno == EINTR))
154                         continue;
155                 return nr;
156         }
157 }
158
159 /*
160  * xwrite() is the same a write(), but it automatically restarts write()
161  * operations with a recoverable error (EAGAIN and EINTR). xwrite() DOES NOT
162  * GUARANTEE that "len" bytes is written even if the operation is successful.
163  */
164 ssize_t xwrite(int fd, const void *buf, size_t len)
165 {
166         ssize_t nr;
167         if (len > MAX_IO_SIZE)
168             len = MAX_IO_SIZE;
169         while (1) {
170                 nr = write(fd, buf, len);
171                 if ((nr < 0) && (errno == EAGAIN || errno == EINTR))
172                         continue;
173                 return nr;
174         }
175 }
176
177 ssize_t read_in_full(int fd, void *buf, size_t count)
178 {
179         char *p = buf;
180         ssize_t total = 0;
181
182         while (count > 0) {
183                 ssize_t loaded = xread(fd, p, count);
184                 if (loaded < 0)
185                         return -1;
186                 if (loaded == 0)
187                         return total;
188                 count -= loaded;
189                 p += loaded;
190                 total += loaded;
191         }
192
193         return total;
194 }
195
196 ssize_t write_in_full(int fd, const void *buf, size_t count)
197 {
198         const char *p = buf;
199         ssize_t total = 0;
200
201         while (count > 0) {
202                 ssize_t written = xwrite(fd, p, count);
203                 if (written < 0)
204                         return -1;
205                 if (!written) {
206                         errno = ENOSPC;
207                         return -1;
208                 }
209                 count -= written;
210                 p += written;
211                 total += written;
212         }
213
214         return total;
215 }
216
217 int xdup(int fd)
218 {
219         int ret = dup(fd);
220         if (ret < 0)
221                 die_errno("dup failed");
222         return ret;
223 }
224
225 FILE *xfdopen(int fd, const char *mode)
226 {
227         FILE *stream = fdopen(fd, mode);
228         if (stream == NULL)
229                 die_errno("Out of memory? fdopen failed");
230         return stream;
231 }
232
233 int xmkstemp(char *template)
234 {
235         int fd;
236         char origtemplate[PATH_MAX];
237         strlcpy(origtemplate, template, sizeof(origtemplate));
238
239         fd = mkstemp(template);
240         if (fd < 0) {
241                 int saved_errno = errno;
242                 const char *nonrelative_template;
243
244                 if (strlen(template) != strlen(origtemplate))
245                         template = origtemplate;
246
247                 nonrelative_template = absolute_path(template);
248                 errno = saved_errno;
249                 die_errno("Unable to create temporary file '%s'",
250                         nonrelative_template);
251         }
252         return fd;
253 }
254
255 /* git_mkstemp() - create tmp file honoring TMPDIR variable */
256 int git_mkstemp(char *path, size_t len, const char *template)
257 {
258         const char *tmp;
259         size_t n;
260
261         tmp = getenv("TMPDIR");
262         if (!tmp)
263                 tmp = "/tmp";
264         n = snprintf(path, len, "%s/%s", tmp, template);
265         if (len <= n) {
266                 errno = ENAMETOOLONG;
267                 return -1;
268         }
269         return mkstemp(path);
270 }
271
272 /* git_mkstemps() - create tmp file with suffix honoring TMPDIR variable. */
273 int git_mkstemps(char *path, size_t len, const char *template, int suffix_len)
274 {
275         const char *tmp;
276         size_t n;
277
278         tmp = getenv("TMPDIR");
279         if (!tmp)
280                 tmp = "/tmp";
281         n = snprintf(path, len, "%s/%s", tmp, template);
282         if (len <= n) {
283                 errno = ENAMETOOLONG;
284                 return -1;
285         }
286         return mkstemps(path, suffix_len);
287 }
288
289 /* Adapted from libiberty's mkstemp.c. */
290
291 #undef TMP_MAX
292 #define TMP_MAX 16384
293
294 int git_mkstemps_mode(char *pattern, int suffix_len, int mode)
295 {
296         static const char letters[] =
297                 "abcdefghijklmnopqrstuvwxyz"
298                 "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
299                 "0123456789";
300         static const int num_letters = 62;
301         uint64_t value;
302         struct timeval tv;
303         char *template;
304         size_t len;
305         int fd, count;
306
307         len = strlen(pattern);
308
309         if (len < 6 + suffix_len) {
310                 errno = EINVAL;
311                 return -1;
312         }
313
314         if (strncmp(&pattern[len - 6 - suffix_len], "XXXXXX", 6)) {
315                 errno = EINVAL;
316                 return -1;
317         }
318
319         /*
320          * Replace pattern's XXXXXX characters with randomness.
321          * Try TMP_MAX different filenames.
322          */
323         gettimeofday(&tv, NULL);
324         value = ((size_t)(tv.tv_usec << 16)) ^ tv.tv_sec ^ getpid();
325         template = &pattern[len - 6 - suffix_len];
326         for (count = 0; count < TMP_MAX; ++count) {
327                 uint64_t v = value;
328                 /* Fill in the random bits. */
329                 template[0] = letters[v % num_letters]; v /= num_letters;
330                 template[1] = letters[v % num_letters]; v /= num_letters;
331                 template[2] = letters[v % num_letters]; v /= num_letters;
332                 template[3] = letters[v % num_letters]; v /= num_letters;
333                 template[4] = letters[v % num_letters]; v /= num_letters;
334                 template[5] = letters[v % num_letters]; v /= num_letters;
335
336                 fd = open(pattern, O_CREAT | O_EXCL | O_RDWR, mode);
337                 if (fd >= 0)
338                         return fd;
339                 /*
340                  * Fatal error (EPERM, ENOSPC etc).
341                  * It doesn't make sense to loop.
342                  */
343                 if (errno != EEXIST)
344                         break;
345                 /*
346                  * This is a random value.  It is only necessary that
347                  * the next TMP_MAX values generated by adding 7777 to
348                  * VALUE are different with (module 2^32).
349                  */
350                 value += 7777;
351         }
352         /* We return the null string if we can't find a unique file name.  */
353         pattern[0] = '\0';
354         return -1;
355 }
356
357 int git_mkstemp_mode(char *pattern, int mode)
358 {
359         /* mkstemp is just mkstemps with no suffix */
360         return git_mkstemps_mode(pattern, 0, mode);
361 }
362
363 #ifdef NO_MKSTEMPS
364 int gitmkstemps(char *pattern, int suffix_len)
365 {
366         return git_mkstemps_mode(pattern, suffix_len, 0600);
367 }
368 #endif
369
370 int xmkstemp_mode(char *template, int mode)
371 {
372         int fd;
373         char origtemplate[PATH_MAX];
374         strlcpy(origtemplate, template, sizeof(origtemplate));
375
376         fd = git_mkstemp_mode(template, mode);
377         if (fd < 0) {
378                 int saved_errno = errno;
379                 const char *nonrelative_template;
380
381                 if (!template[0])
382                         template = origtemplate;
383
384                 nonrelative_template = absolute_path(template);
385                 errno = saved_errno;
386                 die_errno("Unable to create temporary file '%s'",
387                         nonrelative_template);
388         }
389         return fd;
390 }
391
392 static int warn_if_unremovable(const char *op, const char *file, int rc)
393 {
394         if (rc < 0) {
395                 int err = errno;
396                 if (ENOENT != err) {
397                         warning("unable to %s %s: %s",
398                                 op, file, strerror(errno));
399                         errno = err;
400                 }
401         }
402         return rc;
403 }
404
405 int unlink_or_warn(const char *file)
406 {
407         return warn_if_unremovable("unlink", file, unlink(file));
408 }
409
410 int rmdir_or_warn(const char *file)
411 {
412         return warn_if_unremovable("rmdir", file, rmdir(file));
413 }
414
415 int remove_or_warn(unsigned int mode, const char *file)
416 {
417         return S_ISGITLINK(mode) ? rmdir_or_warn(file) : unlink_or_warn(file);
418 }
419
420 void warn_on_inaccessible(const char *path)
421 {
422         warning(_("unable to access '%s': %s"), path, strerror(errno));
423 }
424
425 static int access_error_is_ok(int err, unsigned flag)
426 {
427         return err == ENOENT || err == ENOTDIR ||
428                 ((flag & ACCESS_EACCES_OK) && err == EACCES);
429 }
430
431 int access_or_warn(const char *path, int mode, unsigned flag)
432 {
433         int ret = access(path, mode);
434         if (ret && !access_error_is_ok(errno, flag))
435                 warn_on_inaccessible(path);
436         return ret;
437 }
438
439 int access_or_die(const char *path, int mode, unsigned flag)
440 {
441         int ret = access(path, mode);
442         if (ret && !access_error_is_ok(errno, flag))
443                 die_errno(_("unable to access '%s'"), path);
444         return ret;
445 }
446
447 struct passwd *xgetpwuid_self(void)
448 {
449         struct passwd *pw;
450
451         errno = 0;
452         pw = getpwuid(getuid());
453         if (!pw)
454                 die(_("unable to look up current user in the passwd file: %s"),
455                     errno ? strerror(errno) : _("no such user"));
456         return pw;
457 }