Merge branch 'jk/pack-bitmap'
[git] / Documentation / technical / api-run-command.txt
1 run-command API
2 ===============
3
4 The run-command API offers a versatile tool to run sub-processes with
5 redirected input and output as well as with a modified environment
6 and an alternate current directory.
7
8 A similar API offers the capability to run a function asynchronously,
9 which is primarily used to capture the output that the function
10 produces in the caller in order to process it.
11
12
13 Functions
14 ---------
15
16 `start_command`::
17
18         Start a sub-process. Takes a pointer to a `struct child_process`
19         that specifies the details and returns pipe FDs (if requested).
20         See below for details.
21
22 `finish_command`::
23
24         Wait for the completion of a sub-process that was started with
25         start_command().
26
27 `run_command`::
28
29         A convenience function that encapsulates a sequence of
30         start_command() followed by finish_command(). Takes a pointer
31         to a `struct child_process` that specifies the details.
32
33 `run_command_v_opt`, `run_command_v_opt_cd_env`::
34
35         Convenience functions that encapsulate a sequence of
36         start_command() followed by finish_command(). The argument argv
37         specifies the program and its arguments. The argument opt is zero
38         or more of the flags `RUN_COMMAND_NO_STDIN`, `RUN_GIT_CMD`,
39         `RUN_COMMAND_STDOUT_TO_STDERR`, or `RUN_SILENT_EXEC_FAILURE`
40         that correspond to the members .no_stdin, .git_cmd,
41         .stdout_to_stderr, .silent_exec_failure of `struct child_process`.
42         The argument dir corresponds the member .dir. The argument env
43         corresponds to the member .env.
44
45 The functions above do the following:
46
47 . If a system call failed, errno is set and -1 is returned. A diagnostic
48   is printed.
49
50 . If the program was not found, then -1 is returned and errno is set to
51   ENOENT; a diagnostic is printed only if .silent_exec_failure is 0.
52
53 . Otherwise, the program is run. If it terminates regularly, its exit
54   code is returned. No diagnostic is printed, even if the exit code is
55   non-zero.
56
57 . If the program terminated due to a signal, then the return value is the
58   signal number + 128, ie. the same value that a POSIX shell's $? would
59   report.  A diagnostic is printed.
60
61
62 `start_async`::
63
64         Run a function asynchronously. Takes a pointer to a `struct
65         async` that specifies the details and returns a set of pipe FDs
66         for communication with the function. See below for details.
67
68 `finish_async`::
69
70         Wait for the completion of an asynchronous function that was
71         started with start_async().
72
73 `run_hook`::
74
75         Run a hook.
76         The first argument is a pathname to an index file, or NULL
77         if the hook uses the default index file or no index is needed.
78         The second argument is the name of the hook.
79         The further arguments correspond to the hook arguments.
80         The last argument has to be NULL to terminate the arguments list.
81         If the hook does not exist or is not executable, the return
82         value will be zero.
83         If it is executable, the hook will be executed and the exit
84         status of the hook is returned.
85         On execution, .stdout_to_stderr and .no_stdin will be set.
86         (See below.)
87
88
89 Data structures
90 ---------------
91
92 * `struct child_process`
93
94 This describes the arguments, redirections, and environment of a
95 command to run in a sub-process.
96
97 The caller:
98
99 1. allocates and clears (memset(&chld, 0, sizeof(chld));) a
100    struct child_process variable;
101 2. initializes the members;
102 3. calls start_command();
103 4. processes the data;
104 5. closes file descriptors (if necessary; see below);
105 6. calls finish_command().
106
107 The .argv member is set up as an array of string pointers (NULL
108 terminated), of which .argv[0] is the program name to run (usually
109 without a path). If the command to run is a git command, set argv[0] to
110 the command name without the 'git-' prefix and set .git_cmd = 1.
111
112 The members .in, .out, .err are used to redirect stdin, stdout,
113 stderr as follows:
114
115 . Specify 0 to request no special redirection. No new file descriptor
116   is allocated. The child process simply inherits the channel from the
117   parent.
118
119 . Specify -1 to have a pipe allocated; start_command() replaces -1
120   by the pipe FD in the following way:
121
122         .in: Returns the writable pipe end into which the caller writes;
123                 the readable end of the pipe becomes the child's stdin.
124
125         .out, .err: Returns the readable pipe end from which the caller
126                 reads; the writable end of the pipe end becomes child's
127                 stdout/stderr.
128
129   The caller of start_command() must close the so returned FDs
130   after it has completed reading from/writing to it!
131
132 . Specify a file descriptor > 0 to be used by the child:
133
134         .in: The FD must be readable; it becomes child's stdin.
135         .out: The FD must be writable; it becomes child's stdout.
136         .err: The FD must be writable; it becomes child's stderr.
137
138   The specified FD is closed by start_command(), even if it fails to
139   run the sub-process!
140
141 . Special forms of redirection are available by setting these members
142   to 1:
143
144         .no_stdin, .no_stdout, .no_stderr: The respective channel is
145                 redirected to /dev/null.
146
147         .stdout_to_stderr: stdout of the child is redirected to its
148                 stderr. This happens after stderr is itself redirected.
149                 So stdout will follow stderr to wherever it is
150                 redirected.
151
152 To modify the environment of the sub-process, specify an array of
153 string pointers (NULL terminated) in .env:
154
155 . If the string is of the form "VAR=value", i.e. it contains '='
156   the variable is added to the child process's environment.
157
158 . If the string does not contain '=', it names an environment
159   variable that will be removed from the child process's environment.
160
161 To specify a new initial working directory for the sub-process,
162 specify it in the .dir member.
163
164 If the program cannot be found, the functions return -1 and set
165 errno to ENOENT. Normally, an error message is printed, but if
166 .silent_exec_failure is set to 1, no message is printed for this
167 special error condition.
168
169
170 * `struct async`
171
172 This describes a function to run asynchronously, whose purpose is
173 to produce output that the caller reads.
174
175 The caller:
176
177 1. allocates and clears (memset(&asy, 0, sizeof(asy));) a
178    struct async variable;
179 2. initializes .proc and .data;
180 3. calls start_async();
181 4. processes communicates with proc through .in and .out;
182 5. closes .in and .out;
183 6. calls finish_async().
184
185 The members .in, .out are used to provide a set of fd's for
186 communication between the caller and the callee as follows:
187
188 . Specify 0 to have no file descriptor passed.  The callee will
189   receive -1 in the corresponding argument.
190
191 . Specify < 0 to have a pipe allocated; start_async() replaces
192   with the pipe FD in the following way:
193
194         .in: Returns the writable pipe end into which the caller
195         writes; the readable end of the pipe becomes the function's
196         in argument.
197
198         .out: Returns the readable pipe end from which the caller
199         reads; the writable end of the pipe becomes the function's
200         out argument.
201
202   The caller of start_async() must close the returned FDs after it
203   has completed reading from/writing from them.
204
205 . Specify a file descriptor > 0 to be used by the function:
206
207         .in: The FD must be readable; it becomes the function's in.
208         .out: The FD must be writable; it becomes the function's out.
209
210   The specified FD is closed by start_async(), even if it fails to
211   run the function.
212
213 The function pointer in .proc has the following signature:
214
215         int proc(int in, int out, void *data);
216
217 . in, out specifies a set of file descriptors to which the function
218   must read/write the data that it needs/produces.  The function
219   *must* close these descriptors before it returns.  A descriptor
220   may be -1 if the caller did not configure a descriptor for that
221   direction.
222
223 . data is the value that the caller has specified in the .data member
224   of struct async.
225
226 . The return value of the function is 0 on success and non-zero
227   on failure. If the function indicates failure, finish_async() will
228   report failure as well.
229
230
231 There are serious restrictions on what the asynchronous function can do
232 because this facility is implemented by a thread in the same address
233 space on most platforms (when pthreads is available), but by a pipe to
234 a forked process otherwise:
235
236 . It cannot change the program's state (global variables, environment,
237   etc.) in a way that the caller notices; in other words, .in and .out
238   are the only communication channels to the caller.
239
240 . It must not change the program's state that the caller of the
241   facility also uses.