t/perf/lib-pack: use fast-import checkpoint to create packs
[git] / reachable.c
1 #include "cache.h"
2 #include "refs.h"
3 #include "tag.h"
4 #include "commit.h"
5 #include "blob.h"
6 #include "diff.h"
7 #include "revision.h"
8 #include "reachable.h"
9 #include "cache-tree.h"
10 #include "progress.h"
11 #include "list-objects.h"
12
13 struct connectivity_progress {
14         struct progress *progress;
15         unsigned long count;
16 };
17
18 static void update_progress(struct connectivity_progress *cp)
19 {
20         cp->count++;
21         if ((cp->count & 1023) == 0)
22                 display_progress(cp->progress, cp->count);
23 }
24
25 static int add_one_ref(const char *path, const struct object_id *oid,
26                        int flag, void *cb_data)
27 {
28         struct rev_info *revs = (struct rev_info *)cb_data;
29         struct object *object;
30
31         if ((flag & REF_ISSYMREF) && (flag & REF_ISBROKEN)) {
32                 warning("symbolic ref is dangling: %s", path);
33                 return 0;
34         }
35
36         object = parse_object_or_die(oid, path);
37         add_pending_object(revs, object, "");
38
39         return 0;
40 }
41
42 /*
43  * The traversal will have already marked us as SEEN, so we
44  * only need to handle any progress reporting here.
45  */
46 static void mark_object(struct object *obj, const char *name, void *data)
47 {
48         update_progress(data);
49 }
50
51 static void mark_commit(struct commit *c, void *data)
52 {
53         mark_object(&c->object, NULL, data);
54 }
55
56 struct recent_data {
57         struct rev_info *revs;
58         timestamp_t timestamp;
59 };
60
61 static void add_recent_object(const struct object_id *oid,
62                               timestamp_t mtime,
63                               struct recent_data *data)
64 {
65         struct object *obj;
66         enum object_type type;
67
68         if (mtime <= data->timestamp)
69                 return;
70
71         /*
72          * We do not want to call parse_object here, because
73          * inflating blobs and trees could be very expensive.
74          * However, we do need to know the correct type for
75          * later processing, and the revision machinery expects
76          * commits and tags to have been parsed.
77          */
78         type = sha1_object_info(oid->hash, NULL);
79         if (type < 0)
80                 die("unable to get object info for %s", oid_to_hex(oid));
81
82         switch (type) {
83         case OBJ_TAG:
84         case OBJ_COMMIT:
85                 obj = parse_object_or_die(oid, NULL);
86                 break;
87         case OBJ_TREE:
88                 obj = (struct object *)lookup_tree(oid);
89                 break;
90         case OBJ_BLOB:
91                 obj = (struct object *)lookup_blob(oid);
92                 break;
93         default:
94                 die("unknown object type for %s: %s",
95                     oid_to_hex(oid), typename(type));
96         }
97
98         if (!obj)
99                 die("unable to lookup %s", oid_to_hex(oid));
100
101         add_pending_object(data->revs, obj, "");
102 }
103
104 static int add_recent_loose(const struct object_id *oid,
105                             const char *path, void *data)
106 {
107         struct stat st;
108         struct object *obj = lookup_object(oid->hash);
109
110         if (obj && obj->flags & SEEN)
111                 return 0;
112
113         if (stat(path, &st) < 0) {
114                 /*
115                  * It's OK if an object went away during our iteration; this
116                  * could be due to a simultaneous repack. But anything else
117                  * we should abort, since we might then fail to mark objects
118                  * which should not be pruned.
119                  */
120                 if (errno == ENOENT)
121                         return 0;
122                 return error_errno("unable to stat %s", oid_to_hex(oid));
123         }
124
125         add_recent_object(oid, st.st_mtime, data);
126         return 0;
127 }
128
129 static int add_recent_packed(const struct object_id *oid,
130                              struct packed_git *p, uint32_t pos,
131                              void *data)
132 {
133         struct object *obj = lookup_object(oid->hash);
134
135         if (obj && obj->flags & SEEN)
136                 return 0;
137         add_recent_object(oid, p->mtime, data);
138         return 0;
139 }
140
141 int add_unseen_recent_objects_to_traversal(struct rev_info *revs,
142                                            timestamp_t timestamp)
143 {
144         struct recent_data data;
145         int r;
146
147         data.revs = revs;
148         data.timestamp = timestamp;
149
150         r = for_each_loose_object(add_recent_loose, &data,
151                                   FOR_EACH_OBJECT_LOCAL_ONLY);
152         if (r)
153                 return r;
154         return for_each_packed_object(add_recent_packed, &data,
155                                       FOR_EACH_OBJECT_LOCAL_ONLY);
156 }
157
158 void mark_reachable_objects(struct rev_info *revs, int mark_reflog,
159                             timestamp_t mark_recent, struct progress *progress)
160 {
161         struct connectivity_progress cp;
162
163         /*
164          * Set up revision parsing, and mark us as being interested
165          * in all object types, not just commits.
166          */
167         revs->tag_objects = 1;
168         revs->blob_objects = 1;
169         revs->tree_objects = 1;
170
171         /* Add all refs from the index file */
172         add_index_objects_to_pending(revs, 0);
173
174         /* Add all external refs */
175         for_each_ref(add_one_ref, revs);
176
177         /* detached HEAD is not included in the list above */
178         head_ref(add_one_ref, revs);
179
180         /* Add all reflog info */
181         if (mark_reflog)
182                 add_reflogs_to_pending(revs, 0);
183
184         cp.progress = progress;
185         cp.count = 0;
186
187         /*
188          * Set up the revision walk - this will move all commits
189          * from the pending list to the commit walking list.
190          */
191         if (prepare_revision_walk(revs))
192                 die("revision walk setup failed");
193         traverse_commit_list(revs, mark_commit, mark_object, &cp);
194
195         if (mark_recent) {
196                 revs->ignore_missing_links = 1;
197                 if (add_unseen_recent_objects_to_traversal(revs, mark_recent))
198                         die("unable to mark recent objects");
199                 if (prepare_revision_walk(revs))
200                         die("revision walk setup failed");
201                 traverse_commit_list(revs, mark_commit, mark_object, &cp);
202         }
203
204         display_progress(cp.progress, cp.count);
205 }