trace: measure where the time is spent in the index-heavy operations
[git] / pkt-line.h
1 #ifndef PKTLINE_H
2 #define PKTLINE_H
3
4 #include "git-compat-util.h"
5 #include "strbuf.h"
6
7 /*
8  * Write a packetized stream, where each line is preceded by
9  * its length (including the header) as a 4-byte hex number.
10  * A length of 'zero' means end of stream (and a length of 1-3
11  * would be an error).
12  *
13  * This is all pretty stupid, but we use this packetized line
14  * format to make a streaming format possible without ever
15  * over-running the read buffers. That way we'll never read
16  * into what might be the pack data (which should go to another
17  * process entirely).
18  *
19  * The writing side could use stdio, but since the reading
20  * side can't, we stay with pure read/write interfaces.
21  */
22 void packet_flush(int fd);
23 void packet_write_fmt(int fd, const char *fmt, ...) __attribute__((format (printf, 2, 3)));
24 void packet_buf_flush(struct strbuf *buf);
25 void packet_write(int fd_out, const char *buf, size_t size);
26 void packet_buf_write(struct strbuf *buf, const char *fmt, ...) __attribute__((format (printf, 2, 3)));
27 int packet_flush_gently(int fd);
28 int packet_write_fmt_gently(int fd, const char *fmt, ...) __attribute__((format (printf, 2, 3)));
29 int write_packetized_from_fd(int fd_in, int fd_out);
30 int write_packetized_from_buf(const char *src_in, size_t len, int fd_out);
31
32 /*
33  * Read a packetized line into the buffer, which must be at least size bytes
34  * long. The return value specifies the number of bytes read into the buffer.
35  *
36  * If src_buffer and *src_buffer are not NULL, it should point to a buffer
37  * containing the packet data to parse, of at least *src_len bytes.  After the
38  * function returns, src_buf will be incremented and src_len decremented by the
39  * number of bytes consumed.
40  *
41  * If src_buffer (or *src_buffer) is NULL, then data is read from the
42  * descriptor "fd".
43  *
44  * If options does not contain PACKET_READ_GENTLE_ON_EOF, we will die under any
45  * of the following conditions:
46  *
47  *   1. Read error from descriptor.
48  *
49  *   2. Protocol error from the remote (e.g., bogus length characters).
50  *
51  *   3. Receiving a packet larger than "size" bytes.
52  *
53  *   4. Truncated output from the remote (e.g., we expected a packet but got
54  *      EOF, or we got a partial packet followed by EOF).
55  *
56  * If options does contain PACKET_READ_GENTLE_ON_EOF, we will not die on
57  * condition 4 (truncated input), but instead return -1. However, we will still
58  * die for the other 3 conditions.
59  *
60  * If options contains PACKET_READ_CHOMP_NEWLINE, a trailing newline (if
61  * present) is removed from the buffer before returning.
62  */
63 #define PACKET_READ_GENTLE_ON_EOF (1u<<0)
64 #define PACKET_READ_CHOMP_NEWLINE (1u<<1)
65 int packet_read(int fd, char **src_buffer, size_t *src_len, char
66                 *buffer, unsigned size, int options);
67
68 /*
69  * Convenience wrapper for packet_read that is not gentle, and sets the
70  * CHOMP_NEWLINE option. The return value is NULL for a flush packet,
71  * and otherwise points to a static buffer (that may be overwritten by
72  * subsequent calls). If the size parameter is not NULL, the length of the
73  * packet is written to it.
74  */
75 char *packet_read_line(int fd, int *size);
76
77 /*
78  * Convenience wrapper for packet_read that sets the PACKET_READ_GENTLE_ON_EOF
79  * and CHOMP_NEWLINE options. The return value specifies the number of bytes
80  * read into the buffer or -1 on truncated input. If the *dst_line parameter
81  * is not NULL it will return NULL for a flush packet or when the number of
82  * bytes copied is zero and otherwise points to a static buffer (that may be
83  * overwritten by subsequent calls). If the size parameter is not NULL, the
84  * length of the packet is written to it.
85  */
86 int packet_read_line_gently(int fd, int *size, char **dst_line);
87
88 /*
89  * Same as packet_read_line, but read from a buf rather than a descriptor;
90  * see packet_read for details on how src_* is used.
91  */
92 char *packet_read_line_buf(char **src_buf, size_t *src_len, int *size);
93
94 /*
95  * Reads a stream of variable sized packets until a flush packet is detected.
96  */
97 ssize_t read_packetized_to_strbuf(int fd_in, struct strbuf *sb_out);
98
99 #define DEFAULT_PACKET_MAX 1000
100 #define LARGE_PACKET_MAX 65520
101 #define LARGE_PACKET_DATA_MAX (LARGE_PACKET_MAX - 4)
102 extern char packet_buffer[LARGE_PACKET_MAX];
103
104 #endif