hashmap_get{,_from_hash} return "struct hashmap_entry *"
[git] / name-hash.c
1 /*
2  * name-hash.c
3  *
4  * Hashing names in the index state
5  *
6  * Copyright (C) 2008 Linus Torvalds
7  */
8 #include "cache.h"
9 #include "thread-utils.h"
10
11 struct dir_entry {
12         struct hashmap_entry ent;
13         struct dir_entry *parent;
14         int nr;
15         unsigned int namelen;
16         char name[FLEX_ARRAY];
17 };
18
19 static int dir_entry_cmp(const void *unused_cmp_data,
20                          const void *entry,
21                          const void *entry_or_key,
22                          const void *keydata)
23 {
24         const struct dir_entry *e1 = entry;
25         const struct dir_entry *e2 = entry_or_key;
26         const char *name = keydata;
27
28         return e1->namelen != e2->namelen || strncasecmp(e1->name,
29                         name ? name : e2->name, e1->namelen);
30 }
31
32 static struct dir_entry *find_dir_entry__hash(struct index_state *istate,
33                 const char *name, unsigned int namelen, unsigned int hash)
34 {
35         struct dir_entry key;
36         hashmap_entry_init(&key.ent, hash);
37         key.namelen = namelen;
38         return hashmap_get_entry(&istate->dir_hash, &key, name,
39                                         struct dir_entry, ent);
40 }
41
42 static struct dir_entry *find_dir_entry(struct index_state *istate,
43                 const char *name, unsigned int namelen)
44 {
45         return find_dir_entry__hash(istate, name, namelen, memihash(name, namelen));
46 }
47
48 static struct dir_entry *hash_dir_entry(struct index_state *istate,
49                 struct cache_entry *ce, int namelen)
50 {
51         /*
52          * Throw each directory component in the hash for quick lookup
53          * during a git status. Directory components are stored without their
54          * closing slash.  Despite submodules being a directory, they never
55          * reach this point, because they are stored
56          * in index_state.name_hash (as ordinary cache_entries).
57          */
58         struct dir_entry *dir;
59
60         /* get length of parent directory */
61         while (namelen > 0 && !is_dir_sep(ce->name[namelen - 1]))
62                 namelen--;
63         if (namelen <= 0)
64                 return NULL;
65         namelen--;
66
67         /* lookup existing entry for that directory */
68         dir = find_dir_entry(istate, ce->name, namelen);
69         if (!dir) {
70                 /* not found, create it and add to hash table */
71                 FLEX_ALLOC_MEM(dir, name, ce->name, namelen);
72                 hashmap_entry_init(&dir->ent, memihash(ce->name, namelen));
73                 dir->namelen = namelen;
74                 hashmap_add(&istate->dir_hash, &dir->ent);
75
76                 /* recursively add missing parent directories */
77                 dir->parent = hash_dir_entry(istate, ce, namelen);
78         }
79         return dir;
80 }
81
82 static void add_dir_entry(struct index_state *istate, struct cache_entry *ce)
83 {
84         /* Add reference to the directory entry (and parents if 0). */
85         struct dir_entry *dir = hash_dir_entry(istate, ce, ce_namelen(ce));
86         while (dir && !(dir->nr++))
87                 dir = dir->parent;
88 }
89
90 static void remove_dir_entry(struct index_state *istate, struct cache_entry *ce)
91 {
92         /*
93          * Release reference to the directory entry. If 0, remove and continue
94          * with parent directory.
95          */
96         struct dir_entry *dir = hash_dir_entry(istate, ce, ce_namelen(ce));
97         while (dir && !(--dir->nr)) {
98                 struct dir_entry *parent = dir->parent;
99                 hashmap_remove(&istate->dir_hash, &dir->ent, NULL);
100                 free(dir);
101                 dir = parent;
102         }
103 }
104
105 static void hash_index_entry(struct index_state *istate, struct cache_entry *ce)
106 {
107         if (ce->ce_flags & CE_HASHED)
108                 return;
109         ce->ce_flags |= CE_HASHED;
110         hashmap_entry_init(&ce->ent, memihash(ce->name, ce_namelen(ce)));
111         hashmap_add(&istate->name_hash, &ce->ent);
112
113         if (ignore_case)
114                 add_dir_entry(istate, ce);
115 }
116
117 static int cache_entry_cmp(const void *unused_cmp_data,
118                            const void *entry,
119                            const void *entry_or_key,
120                            const void *remove)
121 {
122         const struct cache_entry *ce1 = entry;
123         const struct cache_entry *ce2 = entry_or_key;
124         /*
125          * For remove_name_hash, find the exact entry (pointer equality); for
126          * index_file_exists, find all entries with matching hash code and
127          * decide whether the entry matches in same_name.
128          */
129         return remove ? !(ce1 == ce2) : 0;
130 }
131
132 static int lazy_try_threaded = 1;
133 static int lazy_nr_dir_threads;
134
135 /*
136  * Set a minimum number of cache_entries that we will handle per
137  * thread and use that to decide how many threads to run (upto
138  * the number on the system).
139  *
140  * For guidance setting the lower per-thread bound, see:
141  *     t/helper/test-lazy-init-name-hash --analyze
142  */
143 #define LAZY_THREAD_COST (2000)
144
145 /*
146  * We use n mutexes to guard n partitions of the "istate->dir_hash"
147  * hashtable.  Since "find" and "insert" operations will hash to a
148  * particular bucket and modify/search a single chain, we can say
149  * that "all chains mod n" are guarded by the same mutex -- rather
150  * than having a single mutex to guard the entire table.  (This does
151  * require that we disable "rehashing" on the hashtable.)
152  *
153  * So, a larger value here decreases the probability of a collision
154  * and the time that each thread must wait for the mutex.
155  */
156 #define LAZY_MAX_MUTEX   (32)
157
158 static pthread_mutex_t *lazy_dir_mutex_array;
159
160 /*
161  * An array of lazy_entry items is used by the n threads in
162  * the directory parse (first) phase to (lock-free) store the
163  * intermediate results.  These values are then referenced by
164  * the 2 threads in the second phase.
165  */
166 struct lazy_entry {
167         struct dir_entry *dir;
168         unsigned int hash_dir;
169         unsigned int hash_name;
170 };
171
172 /*
173  * Decide if we want to use threads (if available) to load
174  * the hash tables.  We set "lazy_nr_dir_threads" to zero when
175  * it is not worth it.
176  */
177 static int lookup_lazy_params(struct index_state *istate)
178 {
179         int nr_cpus;
180
181         lazy_nr_dir_threads = 0;
182
183         if (!lazy_try_threaded)
184                 return 0;
185
186         /*
187          * If we are respecting case, just use the original
188          * code to build the "istate->name_hash".  We don't
189          * need the complexity here.
190          */
191         if (!ignore_case)
192                 return 0;
193
194         nr_cpus = online_cpus();
195         if (nr_cpus < 2)
196                 return 0;
197
198         if (istate->cache_nr < 2 * LAZY_THREAD_COST)
199                 return 0;
200
201         if (istate->cache_nr < nr_cpus * LAZY_THREAD_COST)
202                 nr_cpus = istate->cache_nr / LAZY_THREAD_COST;
203         lazy_nr_dir_threads = nr_cpus;
204         return lazy_nr_dir_threads;
205 }
206
207 /*
208  * Initialize n mutexes for use when searching and inserting
209  * into "istate->dir_hash".  All "dir" threads are trying
210  * to insert partial pathnames into the hash as they iterate
211  * over their portions of the index, so lock contention is
212  * high.
213  *
214  * However, the hashmap is going to put items into bucket
215  * chains based on their hash values.  Use that to create n
216  * mutexes and lock on mutex[bucket(hash) % n].  This will
217  * decrease the collision rate by (hopefully) by a factor of n.
218  */
219 static void init_dir_mutex(void)
220 {
221         int j;
222
223         lazy_dir_mutex_array = xcalloc(LAZY_MAX_MUTEX, sizeof(pthread_mutex_t));
224
225         for (j = 0; j < LAZY_MAX_MUTEX; j++)
226                 init_recursive_mutex(&lazy_dir_mutex_array[j]);
227 }
228
229 static void cleanup_dir_mutex(void)
230 {
231         int j;
232
233         for (j = 0; j < LAZY_MAX_MUTEX; j++)
234                 pthread_mutex_destroy(&lazy_dir_mutex_array[j]);
235
236         free(lazy_dir_mutex_array);
237 }
238
239 static void lock_dir_mutex(int j)
240 {
241         pthread_mutex_lock(&lazy_dir_mutex_array[j]);
242 }
243
244 static void unlock_dir_mutex(int j)
245 {
246         pthread_mutex_unlock(&lazy_dir_mutex_array[j]);
247 }
248
249 static inline int compute_dir_lock_nr(
250         const struct hashmap *map,
251         unsigned int hash)
252 {
253         return hashmap_bucket(map, hash) % LAZY_MAX_MUTEX;
254 }
255
256 static struct dir_entry *hash_dir_entry_with_parent_and_prefix(
257         struct index_state *istate,
258         struct dir_entry *parent,
259         struct strbuf *prefix)
260 {
261         struct dir_entry *dir;
262         unsigned int hash;
263         int lock_nr;
264
265         /*
266          * Either we have a parent directory and path with slash(es)
267          * or the directory is an immediate child of the root directory.
268          */
269         assert((parent != NULL) ^ (strchr(prefix->buf, '/') == NULL));
270
271         if (parent)
272                 hash = memihash_cont(parent->ent.hash,
273                         prefix->buf + parent->namelen,
274                         prefix->len - parent->namelen);
275         else
276                 hash = memihash(prefix->buf, prefix->len);
277
278         lock_nr = compute_dir_lock_nr(&istate->dir_hash, hash);
279         lock_dir_mutex(lock_nr);
280
281         dir = find_dir_entry__hash(istate, prefix->buf, prefix->len, hash);
282         if (!dir) {
283                 FLEX_ALLOC_MEM(dir, name, prefix->buf, prefix->len);
284                 hashmap_entry_init(&dir->ent, hash);
285                 dir->namelen = prefix->len;
286                 dir->parent = parent;
287                 hashmap_add(&istate->dir_hash, &dir->ent);
288
289                 if (parent) {
290                         unlock_dir_mutex(lock_nr);
291
292                         /* All I really need here is an InterlockedIncrement(&(parent->nr)) */
293                         lock_nr = compute_dir_lock_nr(&istate->dir_hash, parent->ent.hash);
294                         lock_dir_mutex(lock_nr);
295                         parent->nr++;
296                 }
297         }
298
299         unlock_dir_mutex(lock_nr);
300
301         return dir;
302 }
303
304 /*
305  * handle_range_1() and handle_range_dir() are derived from
306  * clear_ce_flags_1() and clear_ce_flags_dir() in unpack-trees.c
307  * and handle the iteration over the entire array of index entries.
308  * They use recursion for adjacent entries in the same parent
309  * directory.
310  */
311 static int handle_range_1(
312         struct index_state *istate,
313         int k_start,
314         int k_end,
315         struct dir_entry *parent,
316         struct strbuf *prefix,
317         struct lazy_entry *lazy_entries);
318
319 static int handle_range_dir(
320         struct index_state *istate,
321         int k_start,
322         int k_end,
323         struct dir_entry *parent,
324         struct strbuf *prefix,
325         struct lazy_entry *lazy_entries,
326         struct dir_entry **dir_new_out)
327 {
328         int rc, k;
329         int input_prefix_len = prefix->len;
330         struct dir_entry *dir_new;
331
332         dir_new = hash_dir_entry_with_parent_and_prefix(istate, parent, prefix);
333
334         strbuf_addch(prefix, '/');
335
336         /*
337          * Scan forward in the index array for index entries having the same
338          * path prefix (that are also in this directory).
339          */
340         if (k_start + 1 >= k_end)
341                 k = k_end;
342         else if (strncmp(istate->cache[k_start + 1]->name, prefix->buf, prefix->len) > 0)
343                 k = k_start + 1;
344         else if (strncmp(istate->cache[k_end - 1]->name, prefix->buf, prefix->len) == 0)
345                 k = k_end;
346         else {
347                 int begin = k_start;
348                 int end = k_end;
349                 assert(begin >= 0);
350                 while (begin < end) {
351                         int mid = begin + ((end - begin) >> 1);
352                         int cmp = strncmp(istate->cache[mid]->name, prefix->buf, prefix->len);
353                         if (cmp == 0) /* mid has same prefix; look in second part */
354                                 begin = mid + 1;
355                         else if (cmp > 0) /* mid is past group; look in first part */
356                                 end = mid;
357                         else
358                                 die("cache entry out of order");
359                 }
360                 k = begin;
361         }
362
363         /*
364          * Recurse and process what we can of this subset [k_start, k).
365          */
366         rc = handle_range_1(istate, k_start, k, dir_new, prefix, lazy_entries);
367
368         strbuf_setlen(prefix, input_prefix_len);
369
370         *dir_new_out = dir_new;
371         return rc;
372 }
373
374 static int handle_range_1(
375         struct index_state *istate,
376         int k_start,
377         int k_end,
378         struct dir_entry *parent,
379         struct strbuf *prefix,
380         struct lazy_entry *lazy_entries)
381 {
382         int input_prefix_len = prefix->len;
383         int k = k_start;
384
385         while (k < k_end) {
386                 struct cache_entry *ce_k = istate->cache[k];
387                 const char *name, *slash;
388
389                 if (prefix->len && strncmp(ce_k->name, prefix->buf, prefix->len))
390                         break;
391
392                 name = ce_k->name + prefix->len;
393                 slash = strchr(name, '/');
394
395                 if (slash) {
396                         int len = slash - name;
397                         int processed;
398                         struct dir_entry *dir_new;
399
400                         strbuf_add(prefix, name, len);
401                         processed = handle_range_dir(istate, k, k_end, parent, prefix, lazy_entries, &dir_new);
402                         if (processed) {
403                                 k += processed;
404                                 strbuf_setlen(prefix, input_prefix_len);
405                                 continue;
406                         }
407
408                         strbuf_addch(prefix, '/');
409                         processed = handle_range_1(istate, k, k_end, dir_new, prefix, lazy_entries);
410                         k += processed;
411                         strbuf_setlen(prefix, input_prefix_len);
412                         continue;
413                 }
414
415                 /*
416                  * It is too expensive to take a lock to insert "ce_k"
417                  * into "istate->name_hash" and increment the ref-count
418                  * on the "parent" dir.  So we defer actually updating
419                  * permanent data structures until phase 2 (where we
420                  * can change the locking requirements) and simply
421                  * accumulate our current results into the lazy_entries
422                  * data array).
423                  *
424                  * We do not need to lock the lazy_entries array because
425                  * we have exclusive access to the cells in the range
426                  * [k_start,k_end) that this thread was given.
427                  */
428                 lazy_entries[k].dir = parent;
429                 if (parent) {
430                         lazy_entries[k].hash_name = memihash_cont(
431                                 parent->ent.hash,
432                                 ce_k->name + parent->namelen,
433                                 ce_namelen(ce_k) - parent->namelen);
434                         lazy_entries[k].hash_dir = parent->ent.hash;
435                 } else {
436                         lazy_entries[k].hash_name = memihash(ce_k->name, ce_namelen(ce_k));
437                 }
438
439                 k++;
440         }
441
442         return k - k_start;
443 }
444
445 struct lazy_dir_thread_data {
446         pthread_t pthread;
447         struct index_state *istate;
448         struct lazy_entry *lazy_entries;
449         int k_start;
450         int k_end;
451 };
452
453 static void *lazy_dir_thread_proc(void *_data)
454 {
455         struct lazy_dir_thread_data *d = _data;
456         struct strbuf prefix = STRBUF_INIT;
457         handle_range_1(d->istate, d->k_start, d->k_end, NULL, &prefix, d->lazy_entries);
458         strbuf_release(&prefix);
459         return NULL;
460 }
461
462 struct lazy_name_thread_data {
463         pthread_t pthread;
464         struct index_state *istate;
465         struct lazy_entry *lazy_entries;
466 };
467
468 static void *lazy_name_thread_proc(void *_data)
469 {
470         struct lazy_name_thread_data *d = _data;
471         int k;
472
473         for (k = 0; k < d->istate->cache_nr; k++) {
474                 struct cache_entry *ce_k = d->istate->cache[k];
475                 ce_k->ce_flags |= CE_HASHED;
476                 hashmap_entry_init(&ce_k->ent, d->lazy_entries[k].hash_name);
477                 hashmap_add(&d->istate->name_hash, &ce_k->ent);
478         }
479
480         return NULL;
481 }
482
483 static inline void lazy_update_dir_ref_counts(
484         struct index_state *istate,
485         struct lazy_entry *lazy_entries)
486 {
487         int k;
488
489         for (k = 0; k < istate->cache_nr; k++) {
490                 if (lazy_entries[k].dir)
491                         lazy_entries[k].dir->nr++;
492         }
493 }
494
495 static void threaded_lazy_init_name_hash(
496         struct index_state *istate)
497 {
498         int err;
499         int nr_each;
500         int k_start;
501         int t;
502         struct lazy_entry *lazy_entries;
503         struct lazy_dir_thread_data *td_dir;
504         struct lazy_name_thread_data *td_name;
505
506         if (!HAVE_THREADS)
507                 return;
508
509         k_start = 0;
510         nr_each = DIV_ROUND_UP(istate->cache_nr, lazy_nr_dir_threads);
511
512         lazy_entries = xcalloc(istate->cache_nr, sizeof(struct lazy_entry));
513         td_dir = xcalloc(lazy_nr_dir_threads, sizeof(struct lazy_dir_thread_data));
514         td_name = xcalloc(1, sizeof(struct lazy_name_thread_data));
515
516         init_dir_mutex();
517
518         /*
519          * Phase 1:
520          * Build "istate->dir_hash" using n "dir" threads (and a read-only index).
521          */
522         for (t = 0; t < lazy_nr_dir_threads; t++) {
523                 struct lazy_dir_thread_data *td_dir_t = td_dir + t;
524                 td_dir_t->istate = istate;
525                 td_dir_t->lazy_entries = lazy_entries;
526                 td_dir_t->k_start = k_start;
527                 k_start += nr_each;
528                 if (k_start > istate->cache_nr)
529                         k_start = istate->cache_nr;
530                 td_dir_t->k_end = k_start;
531                 err = pthread_create(&td_dir_t->pthread, NULL, lazy_dir_thread_proc, td_dir_t);
532                 if (err)
533                         die(_("unable to create lazy_dir thread: %s"), strerror(err));
534         }
535         for (t = 0; t < lazy_nr_dir_threads; t++) {
536                 struct lazy_dir_thread_data *td_dir_t = td_dir + t;
537                 if (pthread_join(td_dir_t->pthread, NULL))
538                         die("unable to join lazy_dir_thread");
539         }
540
541         /*
542          * Phase 2:
543          * Iterate over all index entries and add them to the "istate->name_hash"
544          * using a single "name" background thread.
545          * (Testing showed it wasn't worth running more than 1 thread for this.)
546          *
547          * Meanwhile, finish updating the parent directory ref-counts for each
548          * index entry using the current thread.  (This step is very fast and
549          * doesn't need threading.)
550          */
551         td_name->istate = istate;
552         td_name->lazy_entries = lazy_entries;
553         err = pthread_create(&td_name->pthread, NULL, lazy_name_thread_proc, td_name);
554         if (err)
555                 die(_("unable to create lazy_name thread: %s"), strerror(err));
556
557         lazy_update_dir_ref_counts(istate, lazy_entries);
558
559         err = pthread_join(td_name->pthread, NULL);
560         if (err)
561                 die(_("unable to join lazy_name thread: %s"), strerror(err));
562
563         cleanup_dir_mutex();
564
565         free(td_name);
566         free(td_dir);
567         free(lazy_entries);
568 }
569
570 static void lazy_init_name_hash(struct index_state *istate)
571 {
572
573         if (istate->name_hash_initialized)
574                 return;
575         trace_performance_enter();
576         hashmap_init(&istate->name_hash, cache_entry_cmp, NULL, istate->cache_nr);
577         hashmap_init(&istate->dir_hash, dir_entry_cmp, NULL, istate->cache_nr);
578
579         if (lookup_lazy_params(istate)) {
580                 /*
581                  * Disable item counting and automatic rehashing because
582                  * we do per-chain (mod n) locking rather than whole hashmap
583                  * locking and we need to prevent the table-size from changing
584                  * and bucket items from being redistributed.
585                  */
586                 hashmap_disable_item_counting(&istate->dir_hash);
587                 threaded_lazy_init_name_hash(istate);
588                 hashmap_enable_item_counting(&istate->dir_hash);
589         } else {
590                 int nr;
591                 for (nr = 0; nr < istate->cache_nr; nr++)
592                         hash_index_entry(istate, istate->cache[nr]);
593         }
594
595         istate->name_hash_initialized = 1;
596         trace_performance_leave("initialize name hash");
597 }
598
599 /*
600  * A test routine for t/helper/ sources.
601  *
602  * Returns the number of threads used or 0 when
603  * the non-threaded code path was used.
604  *
605  * Requesting threading WILL NOT override guards
606  * in lookup_lazy_params().
607  */
608 int test_lazy_init_name_hash(struct index_state *istate, int try_threaded)
609 {
610         lazy_nr_dir_threads = 0;
611         lazy_try_threaded = try_threaded;
612
613         lazy_init_name_hash(istate);
614
615         return lazy_nr_dir_threads;
616 }
617
618 void add_name_hash(struct index_state *istate, struct cache_entry *ce)
619 {
620         if (istate->name_hash_initialized)
621                 hash_index_entry(istate, ce);
622 }
623
624 void remove_name_hash(struct index_state *istate, struct cache_entry *ce)
625 {
626         if (!istate->name_hash_initialized || !(ce->ce_flags & CE_HASHED))
627                 return;
628         ce->ce_flags &= ~CE_HASHED;
629         hashmap_remove(&istate->name_hash, &ce->ent, ce);
630
631         if (ignore_case)
632                 remove_dir_entry(istate, ce);
633 }
634
635 static int slow_same_name(const char *name1, int len1, const char *name2, int len2)
636 {
637         if (len1 != len2)
638                 return 0;
639
640         while (len1) {
641                 unsigned char c1 = *name1++;
642                 unsigned char c2 = *name2++;
643                 len1--;
644                 if (c1 != c2) {
645                         c1 = toupper(c1);
646                         c2 = toupper(c2);
647                         if (c1 != c2)
648                                 return 0;
649                 }
650         }
651         return 1;
652 }
653
654 static int same_name(const struct cache_entry *ce, const char *name, int namelen, int icase)
655 {
656         int len = ce_namelen(ce);
657
658         /*
659          * Always do exact compare, even if we want a case-ignoring comparison;
660          * we do the quick exact one first, because it will be the common case.
661          */
662         if (len == namelen && !memcmp(name, ce->name, len))
663                 return 1;
664
665         if (!icase)
666                 return 0;
667
668         return slow_same_name(name, namelen, ce->name, len);
669 }
670
671 int index_dir_exists(struct index_state *istate, const char *name, int namelen)
672 {
673         struct dir_entry *dir;
674
675         lazy_init_name_hash(istate);
676         dir = find_dir_entry(istate, name, namelen);
677         return dir && dir->nr;
678 }
679
680 void adjust_dirname_case(struct index_state *istate, char *name)
681 {
682         const char *startPtr = name;
683         const char *ptr = startPtr;
684
685         lazy_init_name_hash(istate);
686         while (*ptr) {
687                 while (*ptr && *ptr != '/')
688                         ptr++;
689
690                 if (*ptr == '/') {
691                         struct dir_entry *dir;
692
693                         dir = find_dir_entry(istate, name, ptr - name);
694                         if (dir) {
695                                 memcpy((void *)startPtr, dir->name + (startPtr - name), ptr - startPtr);
696                                 startPtr = ptr + 1;
697                         }
698                         ptr++;
699                 }
700         }
701 }
702
703 struct cache_entry *index_file_exists(struct index_state *istate, const char *name, int namelen, int icase)
704 {
705         struct cache_entry *ce;
706         unsigned int hash = memihash(name, namelen);
707
708         lazy_init_name_hash(istate);
709
710         ce = hashmap_get_entry_from_hash(&istate->name_hash, hash, NULL,
711                                          struct cache_entry, ent);
712         hashmap_for_each_entry_from(&istate->name_hash, ce,
713                                         struct cache_entry, ent) {
714                 if (same_name(ce, name, namelen, icase))
715                         return ce;
716         }
717         return NULL;
718 }
719
720 void free_name_hash(struct index_state *istate)
721 {
722         if (!istate->name_hash_initialized)
723                 return;
724         istate->name_hash_initialized = 0;
725
726         hashmap_free(&istate->name_hash, 0);
727         hashmap_free(&istate->dir_hash, 1);
728 }