Speed up index file writing by chunking it nicely.
[git] / read-cache.c
1 /*
2  * GIT - The information manager from hell
3  *
4  * Copyright (C) Linus Torvalds, 2005
5  */
6 #include <stdarg.h>
7 #include "cache.h"
8
9 struct cache_entry **active_cache = NULL;
10 unsigned int active_nr = 0, active_alloc = 0;
11
12 int cache_match_stat(struct cache_entry *ce, struct stat *st)
13 {
14         unsigned int changed = 0;
15
16         if (ce->ce_mtime.sec != htonl(st->st_mtime))
17                 changed |= MTIME_CHANGED;
18         if (ce->ce_ctime.sec != htonl(st->st_ctime))
19                 changed |= CTIME_CHANGED;
20
21 #ifdef NSEC
22         /*
23          * nsec seems unreliable - not all filesystems support it, so
24          * as long as it is in the inode cache you get right nsec
25          * but after it gets flushed, you get zero nsec.
26          */
27         if (ce->ce_mtime.nsec != htonl(st->st_mtim.tv_nsec)
28                 changed |= MTIME_CHANGED;
29         if (ce->ce_ctime.nsec != htonl(st->st_ctim.tv_nsec)
30                 changed |= CTIME_CHANGED;
31 #endif  
32
33         if (ce->ce_uid != htonl(st->st_uid) ||
34             ce->ce_gid != htonl(st->st_gid))
35                 changed |= OWNER_CHANGED;
36         /* We consider only the owner x bit to be relevant for "mode changes" */
37         if (0100 & (ntohl(ce->ce_mode) ^ st->st_mode))
38                 changed |= MODE_CHANGED;
39         if (ce->ce_dev != htonl(st->st_dev) ||
40             ce->ce_ino != htonl(st->st_ino))
41                 changed |= INODE_CHANGED;
42         if (ce->ce_size != htonl(st->st_size))
43                 changed |= DATA_CHANGED;
44         return changed;
45 }
46
47 int cache_name_compare(const char *name1, int flags1, const char *name2, int flags2)
48 {
49         int len1 = flags1 & CE_NAMEMASK;
50         int len2 = flags2 & CE_NAMEMASK;
51         int len = len1 < len2 ? len1 : len2;
52         int cmp;
53
54         cmp = memcmp(name1, name2, len);
55         if (cmp)
56                 return cmp;
57         if (len1 < len2)
58                 return -1;
59         if (len1 > len2)
60                 return 1;
61         if (flags1 < flags2)
62                 return -1;
63         if (flags1 > flags2)
64                 return 1;
65         return 0;
66 }
67
68 int cache_name_pos(const char *name, int namelen)
69 {
70         int first, last;
71
72         first = 0;
73         last = active_nr;
74         while (last > first) {
75                 int next = (last + first) >> 1;
76                 struct cache_entry *ce = active_cache[next];
77                 int cmp = cache_name_compare(name, namelen, ce->name, htons(ce->ce_flags));
78                 if (!cmp)
79                         return next;
80                 if (cmp < 0) {
81                         last = next;
82                         continue;
83                 }
84                 first = next+1;
85         }
86         return -first-1;
87 }
88
89 /* Remove entry, return true if there are more entries to go.. */
90 static int remove_entry_at(int pos)
91 {
92         active_nr--;
93         if (pos >= active_nr)
94                 return 0;
95         memmove(active_cache + pos, active_cache + pos + 1, (active_nr - pos) * sizeof(struct cache_entry *));
96         return 1;
97 }
98
99 int remove_file_from_cache(char *path)
100 {
101         int pos = cache_name_pos(path, strlen(path));
102         if (pos < 0)
103                 pos = -pos-1;
104         while (pos < active_nr && !strcmp(active_cache[pos]->name, path))
105                 remove_entry_at(pos);
106         return 0;
107 }
108
109 static int same_name(struct cache_entry *a, struct cache_entry *b)
110 {
111         int len = ce_namelen(a);
112         return ce_namelen(b) == len && !memcmp(a->name, b->name, len);
113 }
114
115 int add_cache_entry(struct cache_entry *ce, int ok_to_add)
116 {
117         int pos;
118
119         pos = cache_name_pos(ce->name, htons(ce->ce_flags));
120
121         /* existing match? Just replace it */
122         if (pos >= 0) {
123                 active_cache[pos] = ce;
124                 return 0;
125         }
126         pos = -pos-1;
127
128         /*
129          * Inserting a merged entry ("stage 0") into the index
130          * will always replace all non-merged entries..
131          */
132         if (pos < active_nr && ce_stage(ce) == 0) {
133                 while (same_name(active_cache[pos], ce)) {
134                         ok_to_add = 1;
135                         if (!remove_entry_at(pos))
136                                 break;
137                 }
138         }
139
140         if (!ok_to_add)
141                 return -1;
142
143         /* Make sure the array is big enough .. */
144         if (active_nr == active_alloc) {
145                 active_alloc = alloc_nr(active_alloc);
146                 active_cache = realloc(active_cache, active_alloc * sizeof(struct cache_entry *));
147         }
148
149         /* Add it in.. */
150         active_nr++;
151         if (active_nr > pos)
152                 memmove(active_cache + pos + 1, active_cache + pos, (active_nr - pos - 1) * sizeof(ce));
153         active_cache[pos] = ce;
154         return 0;
155 }
156
157 static int verify_hdr(struct cache_header *hdr, unsigned long size)
158 {
159         SHA_CTX c;
160         unsigned char sha1[20];
161
162         if (hdr->hdr_signature != htonl(CACHE_SIGNATURE))
163                 return error("bad signature");
164         if (hdr->hdr_version != htonl(1))
165                 return error("bad version");
166         SHA1_Init(&c);
167         SHA1_Update(&c, hdr, offsetof(struct cache_header, sha1));
168         SHA1_Update(&c, hdr+1, size - sizeof(*hdr));
169         SHA1_Final(sha1, &c);
170         if (memcmp(sha1, hdr->sha1, 20))
171                 return error("bad header sha1");
172         return 0;
173 }
174
175 int read_cache(void)
176 {
177         int fd, i;
178         struct stat st;
179         unsigned long size, offset;
180         void *map;
181         struct cache_header *hdr;
182
183         errno = EBUSY;
184         if (active_cache)
185                 return error("more than one cachefile");
186         errno = ENOENT;
187         sha1_file_directory = getenv(DB_ENVIRONMENT);
188         if (!sha1_file_directory)
189                 sha1_file_directory = DEFAULT_DB_ENVIRONMENT;
190         if (access(sha1_file_directory, X_OK) < 0)
191                 return error("no access to SHA1 file directory");
192         fd = open(".git/index", O_RDONLY);
193         if (fd < 0)
194                 return (errno == ENOENT) ? 0 : error("open failed");
195
196         size = 0; // avoid gcc warning
197         map = (void *)-1;
198         if (!fstat(fd, &st)) {
199                 size = st.st_size;
200                 errno = EINVAL;
201                 if (size >= sizeof(struct cache_header))
202                         map = mmap(NULL, size, PROT_READ, MAP_PRIVATE, fd, 0);
203         }
204         close(fd);
205         if (-1 == (int)(long)map)
206                 return error("mmap failed");
207
208         hdr = map;
209         if (verify_hdr(hdr, size) < 0)
210                 goto unmap;
211
212         active_nr = ntohl(hdr->hdr_entries);
213         active_alloc = alloc_nr(active_nr);
214         active_cache = calloc(active_alloc, sizeof(struct cache_entry *));
215
216         offset = sizeof(*hdr);
217         for (i = 0; i < active_nr; i++) {
218                 struct cache_entry *ce = map + offset;
219                 offset = offset + ce_size(ce);
220                 active_cache[i] = ce;
221         }
222         return active_nr;
223
224 unmap:
225         munmap(map, size);
226         errno = EINVAL;
227         return error("verify header failed");
228 }
229
230 #define WRITE_BUFFER_SIZE 8192
231 static char write_buffer[WRITE_BUFFER_SIZE];
232 static unsigned long write_buffer_len;
233
234 static int ce_write(int fd, void *data, unsigned int len)
235 {
236         while (len) {
237                 unsigned int buffered = write_buffer_len;
238                 unsigned int partial = WRITE_BUFFER_SIZE - buffered;
239                 if (partial > len)
240                         partial = len;
241                 memcpy(write_buffer + buffered, data, partial);
242                 buffered += partial;
243                 if (buffered == WRITE_BUFFER_SIZE) {
244                         if (write(fd, write_buffer, WRITE_BUFFER_SIZE) != WRITE_BUFFER_SIZE)
245                                 return -1;
246                         buffered = 0;
247                 }
248                 write_buffer_len = buffered;
249                 len -= partial;
250                 data += partial;
251         }
252         return 0;
253 }
254
255 static int ce_flush(int fd)
256 {
257         unsigned int left = write_buffer_len;
258         if (left) {
259                 write_buffer_len = 0;
260                 if (write(fd, write_buffer, left) != left)
261                         return -1;
262         }
263         return 0;
264 }
265
266 int write_cache(int newfd, struct cache_entry **cache, int entries)
267 {
268         SHA_CTX c;
269         struct cache_header hdr;
270         int i;
271
272         hdr.hdr_signature = htonl(CACHE_SIGNATURE);
273         hdr.hdr_version = htonl(1);
274         hdr.hdr_entries = htonl(entries);
275
276         SHA1_Init(&c);
277         SHA1_Update(&c, &hdr, offsetof(struct cache_header, sha1));
278         for (i = 0; i < entries; i++) {
279                 struct cache_entry *ce = cache[i];
280                 int size = ce_size(ce);
281                 SHA1_Update(&c, ce, size);
282         }
283         SHA1_Final(hdr.sha1, &c);
284
285         if (ce_write(newfd, &hdr, sizeof(hdr)) < 0)
286                 return -1;
287
288         for (i = 0; i < entries; i++) {
289                 struct cache_entry *ce = cache[i];
290                 if (ce_write(newfd, ce, ce_size(ce)) < 0)
291                         return -1;
292         }
293         return ce_flush(newfd);
294 }