Merge branch 'nd/pack-ofs-4gb-limit'
[git] / submodule-config.c
1 #include "cache.h"
2 #include "submodule-config.h"
3 #include "submodule.h"
4 #include "strbuf.h"
5
6 /*
7  * submodule cache lookup structure
8  * There is one shared set of 'struct submodule' entries which can be
9  * looked up by their sha1 blob id of the .gitmodule file and either
10  * using path or name as key.
11  * for_path stores submodule entries with path as key
12  * for_name stores submodule entries with name as key
13  */
14 struct submodule_cache {
15         struct hashmap for_path;
16         struct hashmap for_name;
17 };
18
19 /*
20  * thin wrapper struct needed to insert 'struct submodule' entries to
21  * the hashmap
22  */
23 struct submodule_entry {
24         struct hashmap_entry ent;
25         struct submodule *config;
26 };
27
28 enum lookup_type {
29         lookup_name,
30         lookup_path
31 };
32
33 static struct submodule_cache the_submodule_cache;
34 static int is_cache_init;
35
36 static int config_path_cmp(const struct submodule_entry *a,
37                            const struct submodule_entry *b,
38                            const void *unused)
39 {
40         return strcmp(a->config->path, b->config->path) ||
41                hashcmp(a->config->gitmodules_sha1, b->config->gitmodules_sha1);
42 }
43
44 static int config_name_cmp(const struct submodule_entry *a,
45                            const struct submodule_entry *b,
46                            const void *unused)
47 {
48         return strcmp(a->config->name, b->config->name) ||
49                hashcmp(a->config->gitmodules_sha1, b->config->gitmodules_sha1);
50 }
51
52 static void cache_init(struct submodule_cache *cache)
53 {
54         hashmap_init(&cache->for_path, (hashmap_cmp_fn) config_path_cmp, 0);
55         hashmap_init(&cache->for_name, (hashmap_cmp_fn) config_name_cmp, 0);
56 }
57
58 static void free_one_config(struct submodule_entry *entry)
59 {
60         free((void *) entry->config->path);
61         free((void *) entry->config->name);
62         free((void *) entry->config->update_strategy.command);
63         free(entry->config);
64 }
65
66 static void cache_free(struct submodule_cache *cache)
67 {
68         struct hashmap_iter iter;
69         struct submodule_entry *entry;
70
71         /*
72          * We iterate over the name hash here to be symmetric with the
73          * allocation of struct submodule entries. Each is allocated by
74          * their .gitmodule blob sha1 and submodule name.
75          */
76         hashmap_iter_init(&cache->for_name, &iter);
77         while ((entry = hashmap_iter_next(&iter)))
78                 free_one_config(entry);
79
80         hashmap_free(&cache->for_path, 1);
81         hashmap_free(&cache->for_name, 1);
82 }
83
84 static unsigned int hash_sha1_string(const unsigned char *sha1,
85                                      const char *string)
86 {
87         return memhash(sha1, 20) + strhash(string);
88 }
89
90 static void cache_put_path(struct submodule_cache *cache,
91                            struct submodule *submodule)
92 {
93         unsigned int hash = hash_sha1_string(submodule->gitmodules_sha1,
94                                              submodule->path);
95         struct submodule_entry *e = xmalloc(sizeof(*e));
96         hashmap_entry_init(e, hash);
97         e->config = submodule;
98         hashmap_put(&cache->for_path, e);
99 }
100
101 static void cache_remove_path(struct submodule_cache *cache,
102                               struct submodule *submodule)
103 {
104         unsigned int hash = hash_sha1_string(submodule->gitmodules_sha1,
105                                              submodule->path);
106         struct submodule_entry e;
107         struct submodule_entry *removed;
108         hashmap_entry_init(&e, hash);
109         e.config = submodule;
110         removed = hashmap_remove(&cache->for_path, &e, NULL);
111         free(removed);
112 }
113
114 static void cache_add(struct submodule_cache *cache,
115                       struct submodule *submodule)
116 {
117         unsigned int hash = hash_sha1_string(submodule->gitmodules_sha1,
118                                              submodule->name);
119         struct submodule_entry *e = xmalloc(sizeof(*e));
120         hashmap_entry_init(e, hash);
121         e->config = submodule;
122         hashmap_add(&cache->for_name, e);
123 }
124
125 static const struct submodule *cache_lookup_path(struct submodule_cache *cache,
126                 const unsigned char *gitmodules_sha1, const char *path)
127 {
128         struct submodule_entry *entry;
129         unsigned int hash = hash_sha1_string(gitmodules_sha1, path);
130         struct submodule_entry key;
131         struct submodule key_config;
132
133         hashcpy(key_config.gitmodules_sha1, gitmodules_sha1);
134         key_config.path = path;
135
136         hashmap_entry_init(&key, hash);
137         key.config = &key_config;
138
139         entry = hashmap_get(&cache->for_path, &key, NULL);
140         if (entry)
141                 return entry->config;
142         return NULL;
143 }
144
145 static struct submodule *cache_lookup_name(struct submodule_cache *cache,
146                 const unsigned char *gitmodules_sha1, const char *name)
147 {
148         struct submodule_entry *entry;
149         unsigned int hash = hash_sha1_string(gitmodules_sha1, name);
150         struct submodule_entry key;
151         struct submodule key_config;
152
153         hashcpy(key_config.gitmodules_sha1, gitmodules_sha1);
154         key_config.name = name;
155
156         hashmap_entry_init(&key, hash);
157         key.config = &key_config;
158
159         entry = hashmap_get(&cache->for_name, &key, NULL);
160         if (entry)
161                 return entry->config;
162         return NULL;
163 }
164
165 static int name_and_item_from_var(const char *var, struct strbuf *name,
166                                   struct strbuf *item)
167 {
168         const char *subsection, *key;
169         int subsection_len, parse;
170         parse = parse_config_key(var, "submodule", &subsection,
171                         &subsection_len, &key);
172         if (parse < 0 || !subsection)
173                 return 0;
174
175         strbuf_add(name, subsection, subsection_len);
176         strbuf_addstr(item, key);
177
178         return 1;
179 }
180
181 static struct submodule *lookup_or_create_by_name(struct submodule_cache *cache,
182                 const unsigned char *gitmodules_sha1, const char *name)
183 {
184         struct submodule *submodule;
185         struct strbuf name_buf = STRBUF_INIT;
186
187         submodule = cache_lookup_name(cache, gitmodules_sha1, name);
188         if (submodule)
189                 return submodule;
190
191         submodule = xmalloc(sizeof(*submodule));
192
193         strbuf_addstr(&name_buf, name);
194         submodule->name = strbuf_detach(&name_buf, NULL);
195
196         submodule->path = NULL;
197         submodule->url = NULL;
198         submodule->update_strategy.type = SM_UPDATE_UNSPECIFIED;
199         submodule->update_strategy.command = NULL;
200         submodule->fetch_recurse = RECURSE_SUBMODULES_NONE;
201         submodule->ignore = NULL;
202         submodule->recommend_shallow = -1;
203
204         hashcpy(submodule->gitmodules_sha1, gitmodules_sha1);
205
206         cache_add(cache, submodule);
207
208         return submodule;
209 }
210
211 static int parse_fetch_recurse(const char *opt, const char *arg,
212                                int die_on_error)
213 {
214         switch (git_config_maybe_bool(opt, arg)) {
215         case 1:
216                 return RECURSE_SUBMODULES_ON;
217         case 0:
218                 return RECURSE_SUBMODULES_OFF;
219         default:
220                 if (!strcmp(arg, "on-demand"))
221                         return RECURSE_SUBMODULES_ON_DEMAND;
222
223                 if (die_on_error)
224                         die("bad %s argument: %s", opt, arg);
225                 else
226                         return RECURSE_SUBMODULES_ERROR;
227         }
228 }
229
230 int parse_fetch_recurse_submodules_arg(const char *opt, const char *arg)
231 {
232         return parse_fetch_recurse(opt, arg, 1);
233 }
234
235 static int parse_push_recurse(const char *opt, const char *arg,
236                                int die_on_error)
237 {
238         switch (git_config_maybe_bool(opt, arg)) {
239         case 1:
240                 /* There's no simple "on" value when pushing */
241                 if (die_on_error)
242                         die("bad %s argument: %s", opt, arg);
243                 else
244                         return RECURSE_SUBMODULES_ERROR;
245         case 0:
246                 return RECURSE_SUBMODULES_OFF;
247         default:
248                 if (!strcmp(arg, "on-demand"))
249                         return RECURSE_SUBMODULES_ON_DEMAND;
250                 else if (!strcmp(arg, "check"))
251                         return RECURSE_SUBMODULES_CHECK;
252                 else if (die_on_error)
253                         die("bad %s argument: %s", opt, arg);
254                 else
255                         return RECURSE_SUBMODULES_ERROR;
256         }
257 }
258
259 int parse_push_recurse_submodules_arg(const char *opt, const char *arg)
260 {
261         return parse_push_recurse(opt, arg, 1);
262 }
263
264 static void warn_multiple_config(const unsigned char *commit_sha1,
265                                  const char *name, const char *option)
266 {
267         const char *commit_string = "WORKTREE";
268         if (commit_sha1)
269                 commit_string = sha1_to_hex(commit_sha1);
270         warning("%s:.gitmodules, multiple configurations found for "
271                         "'submodule.%s.%s'. Skipping second one!",
272                         commit_string, name, option);
273 }
274
275 struct parse_config_parameter {
276         struct submodule_cache *cache;
277         const unsigned char *commit_sha1;
278         const unsigned char *gitmodules_sha1;
279         int overwrite;
280 };
281
282 static int parse_config(const char *var, const char *value, void *data)
283 {
284         struct parse_config_parameter *me = data;
285         struct submodule *submodule;
286         struct strbuf name = STRBUF_INIT, item = STRBUF_INIT;
287         int ret = 0;
288
289         /* this also ensures that we only parse submodule entries */
290         if (!name_and_item_from_var(var, &name, &item))
291                 return 0;
292
293         submodule = lookup_or_create_by_name(me->cache,
294                                              me->gitmodules_sha1,
295                                              name.buf);
296
297         if (!strcmp(item.buf, "path")) {
298                 if (!value)
299                         ret = config_error_nonbool(var);
300                 else if (!me->overwrite && submodule->path)
301                         warn_multiple_config(me->commit_sha1, submodule->name,
302                                         "path");
303                 else {
304                         if (submodule->path)
305                                 cache_remove_path(me->cache, submodule);
306                         free((void *) submodule->path);
307                         submodule->path = xstrdup(value);
308                         cache_put_path(me->cache, submodule);
309                 }
310         } else if (!strcmp(item.buf, "fetchrecursesubmodules")) {
311                 /* when parsing worktree configurations we can die early */
312                 int die_on_error = is_null_sha1(me->gitmodules_sha1);
313                 if (!me->overwrite &&
314                     submodule->fetch_recurse != RECURSE_SUBMODULES_NONE)
315                         warn_multiple_config(me->commit_sha1, submodule->name,
316                                         "fetchrecursesubmodules");
317                 else
318                         submodule->fetch_recurse = parse_fetch_recurse(
319                                                                 var, value,
320                                                                 die_on_error);
321         } else if (!strcmp(item.buf, "ignore")) {
322                 if (!value)
323                         ret = config_error_nonbool(var);
324                 else if (!me->overwrite && submodule->ignore)
325                         warn_multiple_config(me->commit_sha1, submodule->name,
326                                         "ignore");
327                 else if (strcmp(value, "untracked") &&
328                          strcmp(value, "dirty") &&
329                          strcmp(value, "all") &&
330                          strcmp(value, "none"))
331                         warning("Invalid parameter '%s' for config option "
332                                         "'submodule.%s.ignore'", value, var);
333                 else {
334                         free((void *) submodule->ignore);
335                         submodule->ignore = xstrdup(value);
336                 }
337         } else if (!strcmp(item.buf, "url")) {
338                 if (!value) {
339                         ret = config_error_nonbool(var);
340                 } else if (!me->overwrite && submodule->url) {
341                         warn_multiple_config(me->commit_sha1, submodule->name,
342                                         "url");
343                 } else {
344                         free((void *) submodule->url);
345                         submodule->url = xstrdup(value);
346                 }
347         } else if (!strcmp(item.buf, "update")) {
348                 if (!value)
349                         ret = config_error_nonbool(var);
350                 else if (!me->overwrite &&
351                          submodule->update_strategy.type != SM_UPDATE_UNSPECIFIED)
352                         warn_multiple_config(me->commit_sha1, submodule->name,
353                                              "update");
354                 else if (parse_submodule_update_strategy(value,
355                          &submodule->update_strategy) < 0)
356                                 die(_("invalid value for %s"), var);
357         } else if (!strcmp(item.buf, "shallow")) {
358                 if (!me->overwrite && submodule->recommend_shallow != -1)
359                         warn_multiple_config(me->commit_sha1, submodule->name,
360                                              "shallow");
361                 else {
362                         submodule->recommend_shallow =
363                                 git_config_bool(var, value);
364                 }
365         }
366
367         strbuf_release(&name);
368         strbuf_release(&item);
369
370         return ret;
371 }
372
373 static int gitmodule_sha1_from_commit(const unsigned char *commit_sha1,
374                                       unsigned char *gitmodules_sha1)
375 {
376         struct strbuf rev = STRBUF_INIT;
377         int ret = 0;
378
379         if (is_null_sha1(commit_sha1)) {
380                 hashclr(gitmodules_sha1);
381                 return 1;
382         }
383
384         strbuf_addf(&rev, "%s:.gitmodules", sha1_to_hex(commit_sha1));
385         if (get_sha1(rev.buf, gitmodules_sha1) >= 0)
386                 ret = 1;
387
388         strbuf_release(&rev);
389         return ret;
390 }
391
392 /* This does a lookup of a submodule configuration by name or by path
393  * (key) with on-demand reading of the appropriate .gitmodules from
394  * revisions.
395  */
396 static const struct submodule *config_from(struct submodule_cache *cache,
397                 const unsigned char *commit_sha1, const char *key,
398                 enum lookup_type lookup_type)
399 {
400         struct strbuf rev = STRBUF_INIT;
401         unsigned long config_size;
402         char *config;
403         unsigned char sha1[20];
404         enum object_type type;
405         const struct submodule *submodule = NULL;
406         struct parse_config_parameter parameter;
407
408         /*
409          * If any parameter except the cache is a NULL pointer just
410          * return the first submodule. Can be used to check whether
411          * there are any submodules parsed.
412          */
413         if (!commit_sha1 || !key) {
414                 struct hashmap_iter iter;
415                 struct submodule_entry *entry;
416
417                 entry = hashmap_iter_first(&cache->for_name, &iter);
418                 if (!entry)
419                         return NULL;
420                 return entry->config;
421         }
422
423         if (!gitmodule_sha1_from_commit(commit_sha1, sha1))
424                 return NULL;
425
426         switch (lookup_type) {
427         case lookup_name:
428                 submodule = cache_lookup_name(cache, sha1, key);
429                 break;
430         case lookup_path:
431                 submodule = cache_lookup_path(cache, sha1, key);
432                 break;
433         }
434         if (submodule)
435                 return submodule;
436
437         config = read_sha1_file(sha1, &type, &config_size);
438         if (!config)
439                 return NULL;
440
441         if (type != OBJ_BLOB) {
442                 free(config);
443                 return NULL;
444         }
445
446         /* fill the submodule config into the cache */
447         parameter.cache = cache;
448         parameter.commit_sha1 = commit_sha1;
449         parameter.gitmodules_sha1 = sha1;
450         parameter.overwrite = 0;
451         git_config_from_mem(parse_config, "submodule-blob", rev.buf,
452                         config, config_size, &parameter);
453         free(config);
454
455         switch (lookup_type) {
456         case lookup_name:
457                 return cache_lookup_name(cache, sha1, key);
458         case lookup_path:
459                 return cache_lookup_path(cache, sha1, key);
460         default:
461                 return NULL;
462         }
463 }
464
465 static const struct submodule *config_from_path(struct submodule_cache *cache,
466                 const unsigned char *commit_sha1, const char *path)
467 {
468         return config_from(cache, commit_sha1, path, lookup_path);
469 }
470
471 static const struct submodule *config_from_name(struct submodule_cache *cache,
472                 const unsigned char *commit_sha1, const char *name)
473 {
474         return config_from(cache, commit_sha1, name, lookup_name);
475 }
476
477 static void ensure_cache_init(void)
478 {
479         if (is_cache_init)
480                 return;
481
482         cache_init(&the_submodule_cache);
483         is_cache_init = 1;
484 }
485
486 int parse_submodule_config_option(const char *var, const char *value)
487 {
488         struct parse_config_parameter parameter;
489         parameter.cache = &the_submodule_cache;
490         parameter.commit_sha1 = NULL;
491         parameter.gitmodules_sha1 = null_sha1;
492         parameter.overwrite = 1;
493
494         ensure_cache_init();
495         return parse_config(var, value, &parameter);
496 }
497
498 const struct submodule *submodule_from_name(const unsigned char *commit_sha1,
499                 const char *name)
500 {
501         ensure_cache_init();
502         return config_from_name(&the_submodule_cache, commit_sha1, name);
503 }
504
505 const struct submodule *submodule_from_path(const unsigned char *commit_sha1,
506                 const char *path)
507 {
508         ensure_cache_init();
509         return config_from_path(&the_submodule_cache, commit_sha1, path);
510 }
511
512 void submodule_free(void)
513 {
514         cache_free(&the_submodule_cache);
515         is_cache_init = 0;
516 }