vbscript: Added compiler support for string literals.
[wine] / dlls / vbscript / lex.c
1 /*
2  * Copyright 2011 Jacek Caban for CodeWeavers
3  *
4  * This library is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Lesser General Public
6  * License as published by the Free Software Foundation; either
7  * version 2.1 of the License, or (at your option) any later version.
8  *
9  * This library is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Lesser General Public License for more details.
13  *
14  * You should have received a copy of the GNU Lesser General Public
15  * License along with this library; if not, write to the Free Software
16  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
17  */
18
19 #include <assert.h>
20
21 #include "vbscript.h"
22 #include "parse.h"
23 #include "parser.tab.h"
24
25 #include "wine/debug.h"
26
27 WINE_DEFAULT_DEBUG_CHANNEL(vbscript);
28
29 static const WCHAR andW[] = {'a','n','d',0};
30 static const WCHAR byrefW[] = {'b','y','r','e','f',0};
31 static const WCHAR byvalW[] = {'b','y','v','a','l',0};
32 static const WCHAR callW[] = {'c','a','l','l',0};
33 static const WCHAR classW[] = {'c','l','a','s','s',0};
34 static const WCHAR defaultW[] = {'d','e','f','a','u','l','t',0};
35 static const WCHAR dimW[] = {'d','i','m',0};
36 static const WCHAR doW[] = {'d','o',0};
37 static const WCHAR elseW[] = {'e','l','s','e',0};
38 static const WCHAR elseifW[] = {'e','l','s','e','i','f',0};
39 static const WCHAR emptyW[] = {'e','m','p','t','y',0};
40 static const WCHAR endW[] = {'e','n','d',0};
41 static const WCHAR eqvW[] = {'e','q','v',0};
42 static const WCHAR errorW[] = {'e','r','r','o','r',0};
43 static const WCHAR exitW[] = {'e','x','i','t',0};
44 static const WCHAR explicitW[] = {'e','x','p','l','i','c','i','t',0};
45 static const WCHAR falseW[] = {'f','a','l','s','e',0};
46 static const WCHAR functionW[] = {'f','u','n','c','t','i','o','n',0};
47 static const WCHAR getW[] = {'g','e','t',0};
48 static const WCHAR gotoW[] = {'g','o','t','o',0};
49 static const WCHAR ifW[] = {'i','f',0};
50 static const WCHAR impW[] = {'i','m','p',0};
51 static const WCHAR isW[] = {'i','s',0};
52 static const WCHAR letW[] = {'l','e','t',0};
53 static const WCHAR loopW[] = {'l','o','o','p',0};
54 static const WCHAR meW[] = {'m','e',0};
55 static const WCHAR modW[] = {'m','o','d',0};
56 static const WCHAR newW[] = {'n','e','w',0};
57 static const WCHAR nextW[] = {'n','e','x','t',0};
58 static const WCHAR notW[] = {'n','o','t',0};
59 static const WCHAR nothingW[] = {'n','o','t','h','i','n','g',0};
60 static const WCHAR nullW[] = {'n','u','l','l',0};
61 static const WCHAR onW[] = {'o','n',0};
62 static const WCHAR optionW[] = {'o','p','t','i','o','n',0};
63 static const WCHAR orW[] = {'o','r',0};
64 static const WCHAR privateW[] = {'p','r','i','v','a','t','e',0};
65 static const WCHAR propertyW[] = {'p','r','o','p','e','r','t','y',0};
66 static const WCHAR publicW[] = {'p','u','b','l','i','c',0};
67 static const WCHAR remW[] = {'r','e','m',0};
68 static const WCHAR resumeW[] = {'r','e','s','u','m','e',0};
69 static const WCHAR setW[] = {'s','e','t',0};
70 static const WCHAR stopW[] = {'s','t','o','p',0};
71 static const WCHAR subW[] = {'s','u','b',0};
72 static const WCHAR thenW[] = {'t','h','e','n',0};
73 static const WCHAR trueW[] = {'t','r','u','e',0};
74 static const WCHAR untilW[] = {'u','n','t','i','l',0};
75 static const WCHAR wendW[] = {'w','e','n','d',0};
76 static const WCHAR whileW[] = {'w','h','i','l','e',0};
77 static const WCHAR xorW[] = {'x','o','r',0};
78
79 static const struct {
80     const WCHAR *word;
81     int token;
82 } keywords[] = {
83     {andW,       tAND},
84     {byrefW,     tBYREF},
85     {byvalW,     tBYVAL},
86     {callW,      tCALL},
87     {classW,     tCLASS},
88     {defaultW,   tDEFAULT},
89     {dimW,       tDIM},
90     {doW,        tDO},
91     {elseW,      tELSE},
92     {elseifW,    tELSEIF},
93     {emptyW,     tEMPTY},
94     {endW,       tEND},
95     {eqvW,       tEQV},
96     {errorW,     tERROR},
97     {exitW,      tEXIT},
98     {explicitW,  tEXPLICIT},
99     {falseW,     tFALSE},
100     {functionW,  tFUNCTION},
101     {getW,       tGET},
102     {gotoW,      tGOTO},
103     {ifW,        tIF},
104     {impW,       tIMP},
105     {isW,        tIS},
106     {letW,       tLET},
107     {loopW,      tLOOP},
108     {meW,        tME},
109     {modW,       tMOD},
110     {newW,       tNEW},
111     {nextW,      tNEXT},
112     {notW,       tNOT},
113     {nothingW,   tNOTHING},
114     {nullW,      tNULL},
115     {onW,        tON},
116     {optionW,    tOPTION},
117     {orW,        tOR},
118     {privateW,   tPRIVATE},
119     {propertyW,  tPROPERTY},
120     {publicW,    tPUBLIC},
121     {remW,       tREM},
122     {resumeW,    tRESUME},
123     {setW,       tSET},
124     {stopW,      tSTOP},
125     {subW,       tSUB},
126     {thenW,      tTHEN},
127     {trueW,      tTRUE},
128     {untilW,     tUNTIL},
129     {wendW,      tWEND},
130     {whileW,     tWHILE},
131     {xorW,       tXOR}
132 };
133
134 static inline BOOL is_identifier_char(WCHAR c)
135 {
136     return isalnumW(c) || c == '_';
137 }
138
139 static int check_keyword(parser_ctx_t *ctx, const WCHAR *word)
140 {
141     const WCHAR *p1 = ctx->ptr;
142     const WCHAR *p2 = word;
143     WCHAR c;
144
145     while(p1 < ctx->end && *p2) {
146         c = tolowerW(*p1);
147         if(c != *p2)
148             return c - *p2;
149         p1++;
150         p2++;
151     }
152
153     if(*p2 || (p1 < ctx->end && is_identifier_char(*p1)))
154         return 1;
155
156     ctx->ptr = p1;
157     return 0;
158 }
159
160 static int check_keywords(parser_ctx_t *ctx)
161 {
162     int min = 0, max = sizeof(keywords)/sizeof(keywords[0])-1, r, i;
163
164     while(min <= max) {
165         i = (min+max)/2;
166
167         r = check_keyword(ctx, keywords[i].word);
168         if(!r)
169             return keywords[i].token;
170
171         if(r > 0)
172             min = i+1;
173         else
174             max = i-1;
175     }
176
177     return 0;
178 }
179
180 static int parse_identifier(parser_ctx_t *ctx, const WCHAR **ret)
181 {
182     const WCHAR *ptr = ctx->ptr++;
183     WCHAR *str;
184     int len;
185
186     while(ctx->ptr < ctx->end && is_identifier_char(*ctx->ptr))
187         ctx->ptr++;
188     len = ctx->ptr-ptr;
189
190     str = parser_alloc(ctx, (len+1)*sizeof(WCHAR));
191     if(!str)
192         return 0;
193
194     memcpy(str, ptr, (len+1)*sizeof(WCHAR));
195     str[len] = 0;
196     *ret = str;
197     return tIdentifier;
198 }
199
200 static int parse_string_literal(parser_ctx_t *ctx, const WCHAR **ret)
201 {
202     const WCHAR *ptr = ++ctx->ptr;
203     WCHAR *rptr;
204     int len = 0;
205
206     while(ctx->ptr < ctx->end) {
207         if(*ctx->ptr == '\n') {
208             FIXME("newline inside string literal\n");
209             return 0;
210         }
211
212        if(*ctx->ptr == '"') {
213             if(ctx->ptr[1] != '"')
214                 break;
215             len--;
216             ctx->ptr++;
217         }
218         ctx->ptr++;
219     }
220
221     if(ctx->ptr == ctx->end) {
222         FIXME("unterminated string literal\n");
223         return 0;
224     }
225
226     len += ctx->ptr-ptr;
227
228     *ret = rptr = parser_alloc(ctx, (len+1)*sizeof(WCHAR));
229     if(!rptr)
230         return 0;
231
232     while(ptr < ctx->ptr) {
233         if(*ptr == '"')
234             ptr++;
235         *rptr++ = *ptr++;
236     }
237
238     *rptr = 0;
239     ctx->ptr++;
240     return tString;
241 }
242
243 static int parse_next_token(void *lval, parser_ctx_t *ctx)
244 {
245     WCHAR c;
246
247     while(*ctx->ptr == ' ' || *ctx->ptr == '\t' || *ctx->ptr == '\r')
248         ctx->ptr++;
249     if(ctx->ptr == ctx->end)
250         return ctx->last_token == tNL ? tEOF : tNL;
251
252     c = *ctx->ptr;
253
254     if(isalphaW(c)) {
255         int ret = check_keywords(ctx);
256         if(!ret)
257             return parse_identifier(ctx, lval);
258         return ret;
259     }
260
261     switch(c) {
262     case '\n':
263         ctx->ptr++;
264         return tNL;
265     case '\'':
266         ctx->ptr = strchrW(ctx->ptr, '\n');
267         if(ctx->ptr)
268             ctx->ptr++;
269         else
270             ctx->ptr = ctx->end;
271         return tNL;
272     case '(':
273     case ')':
274     case ',':
275     case '=':
276     case '+':
277     case '-':
278     case '*':
279     case '/':
280     case '^':
281     case '\\':
282     case '.':
283         return *ctx->ptr++;
284     case '"':
285         return parse_string_literal(ctx, lval);
286     default:
287         FIXME("Unhandled char %c in %s\n", *ctx->ptr, debugstr_w(ctx->ptr));
288     }
289
290     return 0;
291 }
292
293 int parser_lex(void *lval, parser_ctx_t *ctx)
294 {
295     int ret;
296
297     while(1) {
298         ret = parse_next_token(lval, ctx);
299         if(ret != tNL || ctx->last_token != tNL)
300             break;
301
302         ctx->last_nl = ctx->ptr-ctx->code;
303     }
304
305     return (ctx->last_token = ret);
306 }