msi: Optimise WHERE operations.
[wine] / dlls / msi / table.c
1 /*
2  * Implementation of the Microsoft Installer (msi.dll)
3  *
4  * Copyright 2002-2005 Mike McCormack for CodeWeavers
5  *
6  * This library is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * This library is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with this library; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19  */
20
21 #include <stdarg.h>
22
23 #define COBJMACROS
24 #define NONAMELESSUNION
25 #define NONAMELESSSTRUCT
26
27 #include "windef.h"
28 #include "winbase.h"
29 #include "winerror.h"
30 #include "wine/debug.h"
31 #include "msi.h"
32 #include "msiquery.h"
33 #include "objbase.h"
34 #include "objidl.h"
35 #include "msipriv.h"
36 #include "winnls.h"
37
38 #include "query.h"
39
40 WINE_DEFAULT_DEBUG_CHANNEL(msidb);
41
42 #define MSITABLE_HASH_TABLE_SIZE 37
43
44 typedef struct tagMSICOLUMNHASHENTRY
45 {
46     struct tagMSICOLUMNHASHENTRY *next;
47     UINT value;
48     UINT row;
49 } MSICOLUMNHASHENTRY;
50
51 typedef struct tagMSICOLUMNINFO
52 {
53     LPCWSTR tablename;
54     UINT   number;
55     LPCWSTR colname;
56     UINT   type;
57     UINT   offset;
58     MSICOLUMNHASHENTRY **hash_table;
59 } MSICOLUMNINFO;
60
61 struct tagMSITABLE
62 {
63     USHORT **data;
64     UINT row_count;
65     struct list entry;
66     WCHAR name[1];
67 };
68
69 typedef struct tagMSITRANSFORM {
70     struct list entry;
71     IStorage *stg;
72 } MSITRANSFORM;
73
74 #define MAX_STREAM_NAME 0x1f
75
76 static UINT table_get_column_info( MSIDATABASE *db, LPCWSTR name,
77        MSICOLUMNINFO **pcols, UINT *pcount );
78 static UINT get_tablecolumns( MSIDATABASE *db, 
79        LPCWSTR szTableName, MSICOLUMNINFO *colinfo, UINT *sz);
80 static void msi_free_colinfo( MSICOLUMNINFO *colinfo, UINT count );
81
82 static inline UINT bytes_per_column( const MSICOLUMNINFO *col )
83 {
84     if( col->type & MSITYPE_STRING )
85         return 2;
86     if( (col->type & 0xff) > 4 )
87         ERR("Invalid column size!\n");
88     return col->type & 0xff;
89 }
90
91 static int utf2mime(int x)
92 {
93     if( (x>='0') && (x<='9') )
94         return x-'0';
95     if( (x>='A') && (x<='Z') )
96         return x-'A'+10;
97     if( (x>='a') && (x<='z') )
98         return x-'a'+10+26;
99     if( x=='.' )
100         return 10+26+26;
101     if( x=='_' )
102         return 10+26+26+1;
103     return -1;
104 }
105
106 static LPWSTR encode_streamname(BOOL bTable, LPCWSTR in)
107 {
108     DWORD count = MAX_STREAM_NAME;
109     DWORD ch, next;
110     LPWSTR out, p;
111
112     if( !bTable )
113         count = lstrlenW( in )+2;
114     out = msi_alloc( count*sizeof(WCHAR) );
115     p = out;
116
117     if( bTable )
118     {
119          *p++ = 0x4840;
120          count --;
121     }
122     while( count -- ) 
123     {
124         ch = *in++;
125         if( !ch )
126         {
127             *p = ch;
128             return out;
129         }
130         if( ( ch < 0x80 ) && ( utf2mime(ch) >= 0 ) )
131         {
132             ch = utf2mime(ch) + 0x4800;
133             next = *in;
134             if( next && (next<0x80) )
135             {
136                 next = utf2mime(next);
137                 if( next >= 0  )
138                 {
139                      next += 0x3ffffc0;
140                      ch += (next<<6);
141                      in++;
142                 }
143             }
144         }
145         *p++ = ch;
146     }
147     ERR("Failed to encode stream name (%s)\n",debugstr_w(in));
148     msi_free( out );
149     return NULL;
150 }
151
152 static int mime2utf(int x)
153 {
154     if( x<10 )
155         return x + '0';
156     if( x<(10+26))
157         return x - 10 + 'A';
158     if( x<(10+26+26))
159         return x - 10 - 26 + 'a';
160     if( x == (10+26+26) )
161         return '.';
162     return '_';
163 }
164
165 static BOOL decode_streamname(LPWSTR in, LPWSTR out)
166 {
167     WCHAR ch;
168     DWORD count = 0;
169
170     while ( (ch = *in++) )
171     {
172         if( (ch >= 0x3800 ) && (ch < 0x4840 ) )
173         {
174             if( ch >= 0x4800 )
175                 ch = mime2utf(ch-0x4800);
176             else
177             {
178                 ch -= 0x3800;
179                 *out++ = mime2utf(ch&0x3f);
180                 count++;
181                 ch = mime2utf((ch>>6)&0x3f);
182             }
183         }
184         *out++ = ch;
185         count++;
186     }
187     *out = 0;
188     return count;
189 }
190
191 void enum_stream_names( IStorage *stg )
192 {
193     IEnumSTATSTG *stgenum = NULL;
194     HRESULT r;
195     STATSTG stat;
196     ULONG n, count;
197     WCHAR name[0x40];
198
199     r = IStorage_EnumElements( stg, 0, NULL, 0, &stgenum );
200     if( FAILED( r ) )
201         return;
202
203     n = 0;
204     while( 1 )
205     {
206         count = 0;
207         r = IEnumSTATSTG_Next( stgenum, 1, &stat, &count );
208         if( FAILED( r ) || !count )
209             break;
210         decode_streamname( stat.pwcsName, name );
211         TRACE("stream %2ld -> %s %s\n", n, 
212               debugstr_w(stat.pwcsName), debugstr_w(name) );
213         n++;
214     }
215
216     IEnumSTATSTG_Release( stgenum );
217 }
218
219 static UINT read_stream_data( IStorage *stg, LPCWSTR stname,
220                               USHORT **pdata, UINT *psz )
221 {
222     HRESULT r;
223     UINT ret = ERROR_FUNCTION_FAILED;
224     VOID *data;
225     ULONG sz, count;
226     IStream *stm = NULL;
227     STATSTG stat;
228     LPWSTR encname;
229
230     encname = encode_streamname(TRUE, stname);
231
232     TRACE("%s -> %s\n",debugstr_w(stname),debugstr_w(encname));
233
234     r = IStorage_OpenStream(stg, encname, NULL, 
235             STGM_READ | STGM_SHARE_EXCLUSIVE, 0, &stm);
236     msi_free( encname );
237     if( FAILED( r ) )
238     {
239         WARN("open stream failed r = %08lx - empty table?\n",r);
240         return ret;
241     }
242
243     r = IStream_Stat(stm, &stat, STATFLAG_NONAME );
244     if( FAILED( r ) )
245     {
246         WARN("open stream failed r = %08lx!\n",r);
247         goto end;
248     }
249
250     if( stat.cbSize.QuadPart >> 32 )
251     {
252         WARN("Too big!\n");
253         goto end;
254     }
255         
256     sz = stat.cbSize.QuadPart;
257     data = msi_alloc( sz );
258     if( !data )
259     {
260         WARN("couldn't allocate memory r=%08lx!\n",r);
261         ret = ERROR_NOT_ENOUGH_MEMORY;
262         goto end;
263     }
264         
265     r = IStream_Read(stm, data, sz, &count );
266     if( FAILED( r ) || ( count != sz ) )
267     {
268         msi_free( data );
269         WARN("read stream failed r = %08lx!\n",r);
270         goto end;
271     }
272
273     *pdata = data;
274     *psz = sz;
275     ret = ERROR_SUCCESS;
276
277 end:
278     IStream_Release( stm );
279
280     return ret;
281 }
282
283 UINT db_get_raw_stream( MSIDATABASE *db, LPCWSTR stname, IStream **stm )
284 {
285     LPWSTR encname;
286     HRESULT r;
287
288     encname = encode_streamname(FALSE, stname);
289
290     TRACE("%s -> %s\n",debugstr_w(stname),debugstr_w(encname));
291
292     r = IStorage_OpenStream(db->storage, encname, NULL, 
293             STGM_READ | STGM_SHARE_EXCLUSIVE, 0, stm);
294     if( FAILED( r ) )
295     {
296         MSITRANSFORM *transform;
297
298         LIST_FOR_EACH_ENTRY( transform, &db->transforms, MSITRANSFORM, entry )
299         {
300             TRACE("looking for %s in transform storage\n", debugstr_w(stname) );
301             r = IStorage_OpenStream( transform->stg, encname, NULL, 
302                     STGM_READ | STGM_SHARE_EXCLUSIVE, 0, stm );
303             if (SUCCEEDED(r))
304                 break;
305         }
306     }
307
308     msi_free( encname );
309
310     return SUCCEEDED(r) ? ERROR_SUCCESS : ERROR_FUNCTION_FAILED;
311 }
312
313 UINT read_raw_stream_data( MSIDATABASE *db, LPCWSTR stname,
314                               USHORT **pdata, UINT *psz )
315 {
316     HRESULT r;
317     UINT ret = ERROR_FUNCTION_FAILED;
318     VOID *data;
319     ULONG sz, count;
320     IStream *stm = NULL;
321     STATSTG stat;
322
323     r = db_get_raw_stream( db, stname, &stm );
324     if( r != ERROR_SUCCESS)
325         return ret;
326     r = IStream_Stat(stm, &stat, STATFLAG_NONAME );
327     if( FAILED( r ) )
328     {
329         WARN("open stream failed r = %08lx!\n",r);
330         goto end;
331     }
332
333     if( stat.cbSize.QuadPart >> 32 )
334     {
335         WARN("Too big!\n");
336         goto end;
337     }
338         
339     sz = stat.cbSize.QuadPart;
340     data = msi_alloc( sz );
341     if( !data )
342     {
343         WARN("couldn't allocate memory r=%08lx!\n",r);
344         ret = ERROR_NOT_ENOUGH_MEMORY;
345         goto end;
346     }
347         
348     r = IStream_Read(stm, data, sz, &count );
349     if( FAILED( r ) || ( count != sz ) )
350     {
351         msi_free( data );
352         WARN("read stream failed r = %08lx!\n",r);
353         goto end;
354     }
355
356     *pdata = data;
357     *psz = sz;
358     ret = ERROR_SUCCESS;
359
360 end:
361     IStream_Release( stm );
362
363     return ret;
364 }
365
366 static UINT write_stream_data( IStorage *stg, LPCWSTR stname,
367                                LPVOID data, UINT sz )
368 {
369     HRESULT r;
370     UINT ret = ERROR_FUNCTION_FAILED;
371     ULONG count;
372     IStream *stm = NULL;
373     ULARGE_INTEGER size;
374     LARGE_INTEGER pos;
375     LPWSTR encname;
376
377     encname = encode_streamname(TRUE, stname );
378     r = IStorage_OpenStream( stg, encname, NULL, 
379             STGM_WRITE | STGM_SHARE_EXCLUSIVE, 0, &stm);
380     if( FAILED(r) )
381     {
382         r = IStorage_CreateStream( stg, encname,
383                 STGM_WRITE | STGM_SHARE_EXCLUSIVE, 0, 0, &stm);
384     }
385     msi_free( encname );
386     if( FAILED( r ) )
387     {
388         WARN("open stream failed r = %08lx\n",r);
389         return ret;
390     }
391
392     size.QuadPart = sz;
393     r = IStream_SetSize( stm, size );
394     if( FAILED( r ) )
395     {
396         WARN("Failed to SetSize\n");
397         goto end;
398     }
399
400     pos.QuadPart = 0;
401     r = IStream_Seek( stm, pos, STREAM_SEEK_SET, NULL );
402     if( FAILED( r ) )
403     {
404         WARN("Failed to Seek\n");
405         goto end;
406     }
407
408     r = IStream_Write(stm, data, sz, &count );
409     if( FAILED( r ) || ( count != sz ) )
410     {
411         WARN("Failed to Write\n");
412         goto end;
413     }
414
415     ret = ERROR_SUCCESS;
416
417 end:
418     IStream_Release( stm );
419
420     return ret;
421 }
422
423 static void free_table( MSITABLE *table )
424 {
425     int i;
426     for( i=0; i<table->row_count; i++ )
427         msi_free( table->data[i] );
428     msi_free( table->data );
429     msi_free( table );
430 }
431
432 static UINT msi_table_get_row_size( const MSICOLUMNINFO *cols, UINT count )
433 {
434     const MSICOLUMNINFO *last_col = &cols[count-1];
435     if (!count)
436         return 0;
437     return last_col->offset + bytes_per_column( last_col );
438 }
439
440 /* add this table to the list of cached tables in the database */
441 static MSITABLE *read_table_from_storage( IStorage *stg, LPCWSTR name,
442                                     const MSICOLUMNINFO *cols, UINT num_cols )
443 {
444     MSITABLE *t;
445     USHORT *rawdata = NULL;
446     UINT rawsize = 0, i, j, row_size = 0;
447
448     TRACE("%s\n",debugstr_w(name));
449
450     /* nonexistent tables should be interpreted as empty tables */
451     t = msi_alloc( sizeof (MSITABLE) + lstrlenW(name)*sizeof (WCHAR) );
452     if( !t )
453         return t;
454
455     row_size = msi_table_get_row_size( cols, num_cols );
456
457     t->row_count = 0;
458     t->data = NULL;
459     lstrcpyW( t->name, name );
460
461     /* if we can't read the table, just assume that it's empty */
462     read_stream_data( stg, name, &rawdata, &rawsize );
463     if( !rawdata )
464         return t;
465
466     TRACE("Read %d bytes\n", rawsize );
467
468     if( rawsize % row_size )
469     {
470         WARN("Table size is invalid %d/%d\n", rawsize, row_size );
471         goto err;
472     }
473
474     t->row_count = rawsize / row_size;
475     t->data = msi_alloc_zero( t->row_count * sizeof (USHORT*) );
476     if( !t->data )
477         goto err;
478
479     /* transpose all the data */
480     TRACE("Transposing data from %d columns\n", t->row_count );
481     for( i=0; i<t->row_count; i++ )
482     {
483         t->data[i] = msi_alloc( row_size );
484         if( !t->data[i] )
485             goto err;
486
487         for( j=0; j<num_cols; j++ )
488         {
489             UINT ofs = cols[j].offset/2;
490             UINT n = bytes_per_column( &cols[j] );
491
492             switch( n )
493             {
494             case 2:
495                 t->data[i][ofs] = rawdata[ofs*t->row_count + i ];
496                 break;
497             case 4:
498                 t->data[i][ofs] = rawdata[ofs*t->row_count + i*2 ];
499                 t->data[i][ofs+1] = rawdata[ofs*t->row_count + i*2 + 1];
500                 break;
501             default:
502                 ERR("oops - unknown column width %d\n", n);
503                 goto err;
504             }
505         }
506     }
507
508     msi_free( rawdata );
509     return t;
510 err:
511     msi_free( rawdata );
512     free_table( t );
513     return NULL;
514 }
515
516 void free_cached_tables( MSIDATABASE *db )
517 {
518     while( !list_empty( &db->tables ) )
519     {
520         MSITABLE *t = LIST_ENTRY( list_head( &db->tables ), MSITABLE, entry );
521
522         list_remove( &t->entry );
523         free_table( t );
524     }
525 }
526
527 static MSITABLE *find_cached_table( MSIDATABASE *db, LPCWSTR name )
528 {
529     MSITABLE *t;
530
531     LIST_FOR_EACH_ENTRY( t, &db->tables, MSITABLE, entry )
532         if( !lstrcmpW( name, t->name ) )
533             return t;
534
535     return NULL;
536 }
537
538 static UINT table_get_column_info( MSIDATABASE *db, LPCWSTR name, MSICOLUMNINFO **pcols, UINT *pcount )
539 {
540     UINT r, column_count = 0;
541     MSICOLUMNINFO *columns;
542
543     /* get the number of columns in this table */
544     column_count = 0;
545     r = get_tablecolumns( db, name, NULL, &column_count );
546     if( r != ERROR_SUCCESS )
547         return r;
548
549     /* if there's no columns, there's no table */
550     if( column_count == 0 )
551         return ERROR_INVALID_PARAMETER;
552
553     TRACE("Table %s found\n", debugstr_w(name) );
554
555     columns = msi_alloc( column_count*sizeof (MSICOLUMNINFO) );
556     if( !columns )
557         return ERROR_FUNCTION_FAILED;
558
559     r = get_tablecolumns( db, name, columns, &column_count );
560     if( r != ERROR_SUCCESS )
561     {
562         msi_free( columns );
563         return ERROR_FUNCTION_FAILED;
564     }
565
566     *pcols = columns;
567     *pcount = column_count;
568
569     return r;
570 }
571
572 static MSITABLE *get_table( MSIDATABASE *db, LPCWSTR name,
573                             const MSICOLUMNINFO *cols, UINT num_cols )
574 {
575     MSITABLE *table;
576
577     /* first, see if the table is cached */
578     table = find_cached_table( db, name );
579     if( table )
580         return table;
581
582     table = read_table_from_storage( db->storage, name, cols, num_cols );
583     if( table )
584         list_add_head( &db->tables, &table->entry );
585
586     return table;
587 }
588
589 static UINT save_table( MSIDATABASE *db, MSITABLE *t )
590 {
591     USHORT *rawdata = NULL, *p;
592     UINT rawsize, r, i, j, row_size, num_cols = 0;
593     MSICOLUMNINFO *cols = NULL;
594
595     TRACE("Saving %s\n", debugstr_w( t->name ) );
596
597     r = table_get_column_info( db, t->name, &cols, &num_cols );
598     if( r != ERROR_SUCCESS )
599         return r;
600     
601     row_size = msi_table_get_row_size( cols, num_cols );
602
603     rawsize = t->row_count * row_size;
604     rawdata = msi_alloc_zero( rawsize );
605     if( !rawdata )
606     {
607         r = ERROR_NOT_ENOUGH_MEMORY;
608         goto err;
609     }
610
611     p = rawdata;
612     for( i=0; i<num_cols; i++ )
613     {
614         for( j=0; j<t->row_count; j++ )
615         {
616             UINT offset = cols[i].offset;
617
618             *p++ = t->data[j][offset/2];
619             if( 4 == bytes_per_column( &cols[i] ) )
620                 *p++ = t->data[j][offset/2+1];
621         }
622     }
623
624     TRACE("writing %d bytes\n", rawsize);
625     r = write_stream_data( db->storage, t->name, rawdata, rawsize );
626
627 err:
628     msi_free_colinfo( cols, num_cols );
629     msi_free( cols );
630     msi_free( rawdata );
631
632     return r;
633 }
634
635 HRESULT init_string_table( IStorage *stg )
636 {
637     HRESULT r;
638     static const WCHAR szStringData[] = {
639         '_','S','t','r','i','n','g','D','a','t','a',0 };
640     static const WCHAR szStringPool[] = {
641         '_','S','t','r','i','n','g','P','o','o','l',0 };
642     USHORT zero[2] = { 0, 0 };
643     ULONG count = 0;
644     IStream *stm = NULL;
645     LPWSTR encname;
646
647     encname = encode_streamname(TRUE, szStringPool );
648
649     /* create the StringPool stream... add the zero string to it*/
650     r = IStorage_CreateStream( stg, encname,
651             STGM_WRITE | STGM_SHARE_EXCLUSIVE, 0, 0, &stm);
652     msi_free( encname );
653     if( r ) 
654     {
655         TRACE("Failed\n");
656         return r;
657     }
658
659     r = IStream_Write(stm, zero, sizeof zero, &count );
660     IStream_Release( stm );
661
662     if( FAILED( r ) || ( count != sizeof zero ) )
663     {
664         TRACE("Failed\n");
665         return E_FAIL;
666     }
667
668     /* create the StringData stream... make it zero length */
669     encname = encode_streamname(TRUE, szStringData );
670     r = IStorage_CreateStream( stg, encname,
671             STGM_WRITE | STGM_SHARE_EXCLUSIVE, 0, 0, &stm);
672     msi_free( encname );
673     if( r ) 
674     {
675         TRACE("Failed\n");
676         return E_FAIL;
677     }
678     IStream_Release( stm );
679
680     return r;
681 }
682
683 string_table *load_string_table( IStorage *stg )
684 {
685     string_table *st = NULL;
686     CHAR *data;
687     USHORT *pool;
688     UINT r, datasize = 0, poolsize = 0, codepage;
689     DWORD i, count, offset, len, n;
690     static const WCHAR szStringData[] = {
691         '_','S','t','r','i','n','g','D','a','t','a',0 };
692     static const WCHAR szStringPool[] = {
693         '_','S','t','r','i','n','g','P','o','o','l',0 };
694
695     r = read_stream_data( stg, szStringPool, &pool, &poolsize );
696     if( r != ERROR_SUCCESS)
697         goto end;
698     r = read_stream_data( stg, szStringData, (USHORT**)&data, &datasize );
699     if( r != ERROR_SUCCESS)
700         goto end;
701
702     count = poolsize/4;
703     if( poolsize > 4 )
704         codepage = pool[0] | ( pool[1] << 16 );
705     else
706         codepage = CP_ACP;
707     st = msi_init_stringtable( count, codepage );
708
709     offset = 0;
710     n = 1;
711     for( i=1; i<count; i++ )
712     {
713         len = pool[i*2];
714
715         /*
716          * If a string is over 64k, the previous string entry is made null
717          * and its the high word of the length is inserted in the null string's
718          * reference count field.
719          */
720         if( pool[i*2-2] == 0 )
721             len += pool[i*2-1] * 0x10000;
722
723         if( (offset + len) > datasize )
724         {
725             ERR("string table corrupt?\n");
726             break;
727         }
728
729         /* don't add the high word of a string's length as a string */
730         if ( len || !pool[i*2+1] )
731         {
732             r = msi_addstring( st, n, data+offset, len, pool[i*2+1] );
733             if( r != n )
734                 ERR("Failed to add string %ld\n", n );
735             n++;
736         }
737
738         offset += len;
739     }
740
741     if ( datasize != offset )
742         ERR("string table load failed! (%08x != %08lx)\n", datasize, offset );
743
744     TRACE("Loaded %ld strings\n", count);
745
746 end:
747     msi_free( pool );
748     msi_free( data );
749
750     return st;
751 }
752
753 static UINT save_string_table( MSIDATABASE *db )
754 {
755     UINT i, count, datasize, poolsize, sz, used, r, codepage;
756     UINT ret = ERROR_FUNCTION_FAILED;
757     static const WCHAR szStringData[] = {
758         '_','S','t','r','i','n','g','D','a','t','a',0 };
759     static const WCHAR szStringPool[] = {
760         '_','S','t','r','i','n','g','P','o','o','l',0 };
761     CHAR *data = NULL;
762     USHORT *pool = NULL;
763
764     TRACE("\n");
765
766     /* construct the new table in memory first */
767     datasize = msi_string_totalsize( db->strings, &count );
768     poolsize = (count + 1)*2*sizeof(USHORT);
769
770     pool = msi_alloc( poolsize );
771     if( ! pool )
772     {
773         WARN("Failed to alloc pool %d bytes\n", poolsize );
774         goto err;
775     }
776     data = msi_alloc( datasize );
777     if( ! data )
778     {
779         WARN("Failed to alloc data %d bytes\n", poolsize );
780         goto err;
781     }
782
783     used = 0;
784     codepage = msi_string_get_codepage( db->strings );
785     pool[0]=codepage&0xffff;
786     pool[1]=(codepage>>16);
787     for( i=1; i<count; i++ )
788     {
789         sz = datasize - used;
790         r = msi_id2stringA( db->strings, i, data+used, &sz );
791         if( r != ERROR_SUCCESS )
792         {
793             ERR("failed to fetch string\n");
794             sz = 0;
795         }
796         if( sz && (sz < (datasize - used ) ) )
797             sz--;
798         TRACE("adding %u bytes %s\n", sz, debugstr_a(data+used) );
799         pool[ i*2 ] = sz;
800         pool[ i*2 + 1 ] = msi_id_refcount( db->strings, i );
801         used += sz;
802         if( used > datasize  )
803         {
804             ERR("oops overran %d >= %d\n", used, datasize);
805             goto err;
806         }
807     }
808
809     if( used != datasize )
810     {
811         ERR("oops used %d != datasize %d\n", used, datasize);
812         goto err;
813     }
814
815     /* write the streams */
816     r = write_stream_data( db->storage, szStringData, data, datasize );
817     TRACE("Wrote StringData r=%08x\n", r);
818     if( r )
819         goto err;
820     r = write_stream_data( db->storage, szStringPool, pool, poolsize );
821     TRACE("Wrote StringPool r=%08x\n", r);
822     if( r )
823         goto err;
824
825     ret = ERROR_SUCCESS;
826
827 err:
828     msi_free( data );
829     msi_free( pool );
830
831     return ret;
832 }
833
834 /* information for default tables */
835 static const WCHAR szTables[]  = { '_','T','a','b','l','e','s',0 };
836 static const WCHAR szTable[]  = { 'T','a','b','l','e',0 };
837 static const WCHAR szName[]    = { 'N','a','m','e',0 };
838 static const WCHAR szColumns[] = { '_','C','o','l','u','m','n','s',0 };
839 static const WCHAR szColumn[]  = { 'C','o','l','u','m','n',0 };
840 static const WCHAR szNumber[]  = { 'N','u','m','b','e','r',0 };
841 static const WCHAR szType[]    = { 'T','y','p','e',0 };
842
843 static const MSICOLUMNINFO _Columns_cols[4] = {
844     { szColumns, 1, szTable,  MSITYPE_VALID | MSITYPE_STRING | 64, 0 },
845     { szColumns, 2, szNumber, MSITYPE_VALID | 2,                   2 },
846     { szColumns, 3, szName,   MSITYPE_VALID | MSITYPE_STRING | 64, 4 },
847     { szColumns, 4, szType,   MSITYPE_VALID | 2,                   6 },
848 };
849 static const MSICOLUMNINFO _Tables_cols[1] = {
850     { szTables,  1, szName,   MSITYPE_VALID | MSITYPE_STRING | 64, 0 },
851 };
852
853 static UINT get_defaulttablecolumns( LPCWSTR name, MSICOLUMNINFO *colinfo, UINT *sz)
854 {
855     const MSICOLUMNINFO *p;
856     DWORD i, n;
857
858     TRACE("%s\n", debugstr_w(name));
859
860     if (!lstrcmpW( name, szTables ))
861     {
862         p = _Tables_cols;
863         n = 1;
864     }
865     else if (!lstrcmpW( name, szColumns ))
866     {
867         p = _Columns_cols;
868         n = 4;
869     }
870     else
871         return ERROR_FUNCTION_FAILED;
872
873     /* duplicate the string data so we can free it in msi_free_colinfo */
874     for (i=0; i<n; i++)
875     {
876         if (colinfo && (i < *sz) )
877         {
878             memcpy( &colinfo[i], &p[i], sizeof(MSICOLUMNINFO) );
879             colinfo[i].tablename = strdupW( p[i].tablename );
880             colinfo[i].colname = strdupW( p[i].colname );
881         }
882         if( colinfo && (i >= *sz) )
883             break;
884     }
885     *sz = n;
886     return ERROR_SUCCESS;
887 }
888
889 static void msi_free_colinfo( MSICOLUMNINFO *colinfo, UINT count )
890 {
891     UINT i;
892
893     for( i=0; i<count; i++ )
894     {
895         msi_free( (LPWSTR) colinfo[i].tablename );
896         msi_free( (LPWSTR) colinfo[i].colname );
897         msi_free( colinfo[i].hash_table );
898     }
899 }
900
901 LPWSTR MSI_makestring( MSIDATABASE *db, UINT stringid)
902 {
903     UINT sz=0, r;
904     LPWSTR str;
905
906     r = msi_id2stringW( db->strings, stringid, NULL, &sz );
907     if( r != ERROR_SUCCESS )
908         return NULL;
909     str = msi_alloc( sz*sizeof (WCHAR) );
910     if( !str )
911         return str;
912     r = msi_id2stringW( db->strings, stringid, str, &sz );
913     if( r == ERROR_SUCCESS )
914         return str;
915     msi_free( str );
916     return NULL;
917 }
918
919 static UINT get_tablecolumns( MSIDATABASE *db, 
920        LPCWSTR szTableName, MSICOLUMNINFO *colinfo, UINT *sz)
921 {
922     UINT r, i, n=0, table_id, count, maxcount = *sz;
923     MSITABLE *table = NULL;
924
925     /* first check if there is a default table with that name */
926     r = get_defaulttablecolumns( szTableName, colinfo, sz );
927     if( ( r == ERROR_SUCCESS ) && *sz )
928         return r;
929
930     table = get_table( db, szColumns, _Columns_cols, 4 );
931     if( !table )
932     {
933         ERR("couldn't load _Columns table\n");
934         return ERROR_FUNCTION_FAILED;
935     }
936
937     /* convert table and column names to IDs from the string table */
938     r = msi_string2idW( db->strings, szTableName, &table_id );
939     if( r != ERROR_SUCCESS )
940     {
941         WARN("Couldn't find id for %s\n", debugstr_w(szTableName));
942         return r;
943     }
944
945     TRACE("Table id is %d, row count is %d\n", table_id, table->row_count);
946
947     count = table->row_count;
948     for( i=0; i<count; i++ )
949     {
950         if( table->data[ i ][ 0 ] != table_id )
951             continue;
952         if( colinfo )
953         {
954             UINT id = table->data[ i ] [ 2 ];
955             colinfo[n].tablename = MSI_makestring( db, table_id );
956             colinfo[n].number = table->data[ i ][ 1 ] - (1<<15);
957             colinfo[n].colname = MSI_makestring( db, id );
958             colinfo[n].type = table->data[ i ] [ 3 ] ^ 0x8000;
959             colinfo[n].hash_table = NULL;
960             /* this assumes that columns are in order in the table */
961             if( n )
962                 colinfo[n].offset = colinfo[n-1].offset
963                                   + bytes_per_column( &colinfo[n-1] );
964             else
965                 colinfo[n].offset = 0;
966             TRACE("table %s column %d is [%s] (%d) with type %08x "
967                   "offset %d at row %d\n", debugstr_w(szTableName),
968                    colinfo[n].number, debugstr_w(colinfo[n].colname),
969                    id, colinfo[n].type, colinfo[n].offset, i);
970             if( n != (colinfo[n].number-1) )
971             {
972                 ERR("oops. data in the _Columns table isn't in the right "
973                     "order for table %s\n", debugstr_w(szTableName));
974                 return ERROR_FUNCTION_FAILED;
975             }
976         }
977         n++;
978         if( colinfo && ( n >= maxcount ) )
979             break;
980     }
981     *sz = n;
982
983     return ERROR_SUCCESS;
984 }
985
986 /* try to find the table name in the _Tables table */
987 BOOL TABLE_Exists( MSIDATABASE *db, LPWSTR name )
988 {
989     UINT r, table_id = 0, i, count;
990     MSITABLE *table = NULL;
991
992     if( !lstrcmpW( name, szTables ) )
993         return TRUE;
994     if( !lstrcmpW( name, szColumns ) )
995         return TRUE;
996
997     r = msi_string2idW( db->strings, name, &table_id );
998     if( r != ERROR_SUCCESS )
999     {
1000         TRACE("Couldn't find id for %s\n", debugstr_w(name));
1001         return FALSE;
1002     }
1003
1004     table = get_table( db, szTables, _Tables_cols, 1 );
1005     if( !table )
1006     {
1007         TRACE("table %s not available\n", debugstr_w(szTables));
1008         return FALSE;
1009     }
1010
1011     /* count = table->size/2; */
1012     count = table->row_count;
1013     for( i=0; i<count; i++ )
1014         if( table->data[ i ][ 0 ] == table_id )
1015             break;
1016
1017     if (i!=count)
1018         return TRUE;
1019
1020     TRACE("Searched %d tables, but %d was not found\n", count, table_id );
1021
1022     return FALSE;
1023 }
1024
1025 /* below is the query interface to a table */
1026
1027 typedef struct tagMSITABLEVIEW
1028 {
1029     MSIVIEW        view;
1030     MSIDATABASE   *db;
1031     MSITABLE      *table;
1032     MSICOLUMNINFO *columns;
1033     UINT           num_cols;
1034     UINT           row_size;
1035     WCHAR          name[1];
1036 } MSITABLEVIEW;
1037
1038 static UINT TABLE_fetch_int( struct tagMSIVIEW *view, UINT row, UINT col, UINT *val )
1039 {
1040     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1041     UINT offset, num_rows, n;
1042
1043     if( !tv->table )
1044         return ERROR_INVALID_PARAMETER;
1045
1046     if( (col==0) || (col>tv->num_cols) )
1047         return ERROR_INVALID_PARAMETER;
1048
1049     /* how many rows are there ? */
1050     num_rows = tv->table->row_count;
1051     if( row >= num_rows )
1052         return ERROR_NO_MORE_ITEMS;
1053
1054     if( tv->columns[col-1].offset >= tv->row_size )
1055     {
1056         ERR("Stuffed up %d >= %d\n", tv->columns[col-1].offset, tv->row_size );
1057         ERR("%p %p\n", tv, tv->columns );
1058         return ERROR_FUNCTION_FAILED;
1059     }
1060
1061     offset = row + (tv->columns[col-1].offset/2) * num_rows;
1062     n = bytes_per_column( &tv->columns[col-1] );
1063     switch( n )
1064     {
1065     case 4:
1066         offset = tv->columns[col-1].offset/2;
1067         *val = tv->table->data[row][offset] + 
1068                (tv->table->data[row][offset + 1] << 16);
1069         break;
1070     case 2:
1071         offset = tv->columns[col-1].offset/2;
1072         *val = tv->table->data[row][offset];
1073         break;
1074     default:
1075         ERR("oops! what is %d bytes per column?\n", n );
1076         return ERROR_FUNCTION_FAILED;
1077     }
1078
1079     /* TRACE("Data [%d][%d] = %d\n", row, col, *val ); */
1080
1081     return ERROR_SUCCESS;
1082 }
1083
1084 /*
1085  * We need a special case for streams, as we need to reference column with
1086  * the name of the stream in the same table, and the table name
1087  * which may not be available at higher levels of the query
1088  */
1089 static UINT TABLE_fetch_stream( struct tagMSIVIEW *view, UINT row, UINT col, IStream **stm )
1090 {
1091     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1092     UINT ival = 0, refcol = 0, r;
1093     LPWSTR sval;
1094     LPWSTR full_name;
1095     DWORD len;
1096     static const WCHAR szDot[] = { '.', 0 };
1097
1098     if( !view->ops->fetch_int )
1099         return ERROR_INVALID_PARAMETER;
1100
1101     /*
1102      * The column marked with the type stream data seems to have a single number
1103      * which references the column containing the name of the stream data
1104      *
1105      * Fetch the column to reference first.
1106      */
1107     r = view->ops->fetch_int( view, row, col, &ival );
1108     if( r != ERROR_SUCCESS )
1109         return r;
1110
1111     /* now get the column with the name of the stream */
1112     r = view->ops->fetch_int( view, row, ival, &refcol );
1113     if( r != ERROR_SUCCESS )
1114         return r;
1115
1116     /* lookup the string value from the string table */
1117     sval = MSI_makestring( tv->db, refcol );
1118     if( !sval )
1119         return ERROR_INVALID_PARAMETER;
1120
1121     len = lstrlenW( tv->name ) + 2 + lstrlenW( sval );
1122     full_name = msi_alloc( len*sizeof(WCHAR) );
1123     lstrcpyW( full_name, tv->name );
1124     lstrcatW( full_name, szDot );
1125     lstrcatW( full_name, sval );
1126
1127     r = db_get_raw_stream( tv->db, full_name, stm );
1128     if( r )
1129         ERR("fetching stream %s, error = %d\n",debugstr_w(full_name), r);
1130     msi_free( full_name );
1131     msi_free( sval );
1132
1133     return r;
1134 }
1135
1136 static UINT TABLE_set_int( struct tagMSIVIEW *view, UINT row, UINT col, UINT val )
1137 {
1138     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1139     UINT offset, n;
1140
1141     if( !tv->table )
1142         return ERROR_INVALID_PARAMETER;
1143
1144     if( (col==0) || (col>tv->num_cols) )
1145         return ERROR_INVALID_PARAMETER;
1146
1147     if( tv->columns[col-1].offset >= tv->row_size )
1148     {
1149         ERR("Stuffed up %d >= %d\n", tv->columns[col-1].offset, tv->row_size );
1150         ERR("%p %p\n", tv, tv->columns );
1151         return ERROR_FUNCTION_FAILED;
1152     }
1153
1154     n = bytes_per_column( &tv->columns[col-1] );
1155     switch( n )
1156     {
1157     case 4:
1158         offset = tv->columns[col-1].offset/2;
1159         tv->table->data[row][offset]     = val & 0xffff;
1160         tv->table->data[row][offset + 1] = (val>>16)&0xffff;
1161         break;
1162     case 2:
1163         offset = tv->columns[col-1].offset/2;
1164         tv->table->data[row][offset] = val;
1165         break;
1166     default:
1167         ERR("oops! what is %d bytes per column?\n", n );
1168         return ERROR_FUNCTION_FAILED;
1169     }
1170     return ERROR_SUCCESS;
1171 }
1172
1173 static UINT table_create_new_row( struct tagMSIVIEW *view, UINT *num )
1174 {
1175     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1176     USHORT **p, *row;
1177     UINT sz;
1178
1179     TRACE("%p\n", view);
1180
1181     if( !tv->table )
1182         return ERROR_INVALID_PARAMETER;
1183
1184     row = msi_alloc_zero( tv->row_size );
1185     if( !row )
1186         return ERROR_NOT_ENOUGH_MEMORY;
1187
1188     sz = (tv->table->row_count + 1) * sizeof (UINT*);
1189     if( tv->table->data )
1190         p = msi_realloc( tv->table->data, sz );
1191     else
1192         p = msi_alloc( sz );
1193     if( !p )
1194     {
1195         msi_free( row );
1196         return ERROR_NOT_ENOUGH_MEMORY;
1197     }
1198
1199     tv->table->data = p;
1200     tv->table->data[tv->table->row_count] = row;
1201     *num = tv->table->row_count;
1202     tv->table->row_count++;
1203
1204     return ERROR_SUCCESS;
1205 }
1206
1207 static UINT TABLE_execute( struct tagMSIVIEW *view, MSIRECORD *record )
1208 {
1209     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1210
1211     TRACE("%p %p\n", tv, record);
1212
1213     TRACE("There are %d columns\n", tv->num_cols );
1214     tv->table = get_table( tv->db, tv->name, tv->columns, tv->num_cols );
1215     if( !tv->table )
1216         return ERROR_FUNCTION_FAILED;
1217
1218     return ERROR_SUCCESS;
1219 }
1220
1221 static UINT TABLE_close( struct tagMSIVIEW *view )
1222 {
1223     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1224
1225     TRACE("%p\n", view );
1226
1227     if( !tv->table )
1228         return ERROR_FUNCTION_FAILED;
1229
1230     tv->table = NULL;
1231     
1232     return ERROR_SUCCESS;
1233 }
1234
1235 static UINT TABLE_get_dimensions( struct tagMSIVIEW *view, UINT *rows, UINT *cols)
1236 {
1237     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1238
1239     TRACE("%p %p %p\n", view, rows, cols );
1240
1241     if( cols )
1242         *cols = tv->num_cols;
1243     if( rows )
1244     {
1245         if( !tv->table )
1246             return ERROR_INVALID_PARAMETER;
1247         *rows = tv->table->row_count;
1248     }
1249
1250     return ERROR_SUCCESS;
1251 }
1252
1253 static UINT TABLE_get_column_info( struct tagMSIVIEW *view,
1254                 UINT n, LPWSTR *name, UINT *type )
1255 {
1256     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1257
1258     TRACE("%p %d %p %p\n", tv, n, name, type );
1259
1260     if( ( n == 0 ) || ( n > tv->num_cols ) )
1261         return ERROR_INVALID_PARAMETER;
1262
1263     if( name )
1264     {
1265         *name = strdupW( tv->columns[n-1].colname );
1266         if( !*name )
1267             return ERROR_FUNCTION_FAILED;
1268     }
1269     if( type )
1270         *type = tv->columns[n-1].type;
1271
1272     return ERROR_SUCCESS;
1273 }
1274
1275 static UINT msi_table_find_row( MSITABLEVIEW *tv, MSIRECORD *rec, UINT *row );
1276
1277 static UINT table_validate_new( MSITABLEVIEW *tv, MSIRECORD *rec )
1278 {
1279     UINT r, row;
1280
1281     r = msi_table_find_row( tv, rec, &row );
1282     if (r != ERROR_SUCCESS)
1283         return ERROR_SUCCESS;
1284     return ERROR_INVALID_DATA;
1285 }
1286
1287 static UINT msi_table_modify_row( MSITABLEVIEW *tv, MSIRECORD *rec,
1288                                   UINT row, UINT mask )
1289 {
1290     UINT i, val, r = ERROR_SUCCESS;
1291
1292     TRACE("%p %p %u %08x\n", tv, rec, row, mask );
1293
1294     for( i = 0; i < tv->num_cols; i++ )
1295     {
1296         /* set keys or values specified in the mask */
1297         if( (~tv->columns[i].type & MSITYPE_KEY) && (~mask & (1<<i)) )
1298             continue;
1299
1300         if( (tv->columns[i].type & MSITYPE_STRING) &&
1301             ! MSITYPE_IS_BINARY(tv->columns[i].type) )
1302         {
1303             const WCHAR *str = MSI_RecordGetString( rec, i+1 );
1304             val = msi_addstringW( tv->db->strings, 0, str, -1, 1 );
1305         }
1306         else
1307         {
1308             val = MSI_RecordGetInteger( rec, i+1 );
1309             if ( 2 == bytes_per_column( &tv->columns[i] ) )
1310                 val ^= 0x8000;
1311         }
1312         r = TABLE_set_int( &tv->view, row, i+1, val );
1313         if( r )
1314             break;
1315     }
1316
1317     return r;
1318 }
1319
1320 static UINT TABLE_insert_row( struct tagMSIVIEW *view, MSIRECORD *rec )
1321 {
1322     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1323     UINT r, row = -1;
1324
1325     TRACE("%p %p\n", tv, rec );
1326
1327     r = table_create_new_row( view, &row );
1328     TRACE("insert_row returned %08x\n", r);
1329     if( r != ERROR_SUCCESS )
1330         return r;
1331
1332     return msi_table_modify_row( tv, rec, row, ~0 );
1333 }
1334
1335 static UINT TABLE_modify( struct tagMSIVIEW *view, MSIMODIFY eModifyMode,
1336                 MSIRECORD *rec)
1337 {
1338     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1339     UINT r;
1340
1341     TRACE("%p %d %p\n", view, eModifyMode, rec );
1342
1343     if (!tv->table)
1344     {
1345         r = TABLE_execute( view, NULL );
1346         if( r )
1347             return r;
1348     }
1349
1350     switch (eModifyMode)
1351     {
1352     case MSIMODIFY_VALIDATE_NEW:
1353         r = table_validate_new( tv, rec );
1354         break;
1355
1356     case MSIMODIFY_INSERT_TEMPORARY:
1357         r = table_validate_new( tv, rec );
1358         if (r != ERROR_SUCCESS)
1359             break;
1360         r = TABLE_insert_row( view, rec );
1361         break;
1362
1363     case MSIMODIFY_REFRESH:
1364     case MSIMODIFY_INSERT:
1365     case MSIMODIFY_UPDATE:
1366     case MSIMODIFY_ASSIGN:
1367     case MSIMODIFY_REPLACE:
1368     case MSIMODIFY_MERGE:
1369     case MSIMODIFY_DELETE:
1370     case MSIMODIFY_VALIDATE:
1371     case MSIMODIFY_VALIDATE_FIELD:
1372     case MSIMODIFY_VALIDATE_DELETE:
1373         FIXME("%p %d %p - mode not implemented\n", view, eModifyMode, rec );
1374         r = ERROR_CALL_NOT_IMPLEMENTED;
1375         break;
1376
1377     default:
1378         r = ERROR_INVALID_DATA;
1379     }
1380
1381     return r;
1382 }
1383
1384 static UINT TABLE_delete( struct tagMSIVIEW *view )
1385 {
1386     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1387
1388     TRACE("%p\n", view );
1389
1390     tv->table = NULL;
1391
1392     if( tv->columns )
1393     {
1394         msi_free_colinfo( tv->columns, tv->num_cols );
1395         msi_free( tv->columns );
1396     }
1397     tv->columns = NULL;
1398
1399     msi_free( tv );
1400
1401     return ERROR_SUCCESS;
1402 }
1403
1404 static UINT TABLE_find_matching_rows( struct tagMSIVIEW *view, UINT col,
1405     UINT val, UINT *row, MSIITERHANDLE *handle )
1406 {
1407     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1408     const MSICOLUMNHASHENTRY *entry;
1409
1410     TRACE("%p, %d, %u, %p\n", view, col, val, *handle);
1411
1412     if( !tv->table )
1413         return ERROR_INVALID_PARAMETER;
1414
1415     if( (col==0) || (col > tv->num_cols) )
1416         return ERROR_INVALID_PARAMETER;
1417
1418     if( !tv->columns[col-1].hash_table )
1419     {
1420         UINT i;
1421         UINT num_rows = tv->table->row_count;
1422         MSICOLUMNHASHENTRY **hash_table;
1423         MSICOLUMNHASHENTRY *new_entry;
1424
1425         if( tv->columns[col-1].offset >= tv->row_size )
1426         {
1427             ERR("Stuffed up %d >= %d\n", tv->columns[col-1].offset, tv->row_size );
1428             ERR("%p %p\n", tv, tv->columns );
1429             return ERROR_FUNCTION_FAILED;
1430         }
1431
1432         /* allocate contiguous memory for the table and its entries so we
1433          * don't have to do an expensive cleanup */
1434         hash_table = msi_alloc(MSITABLE_HASH_TABLE_SIZE * sizeof(MSICOLUMNHASHENTRY*) +
1435             num_rows * sizeof(MSICOLUMNHASHENTRY));
1436         if (!hash_table)
1437             return ERROR_OUTOFMEMORY;
1438
1439         memset(hash_table, 0, MSITABLE_HASH_TABLE_SIZE * sizeof(MSICOLUMNHASHENTRY*));
1440         tv->columns[col-1].hash_table = hash_table;
1441
1442         new_entry = (MSICOLUMNHASHENTRY *)(hash_table + MSITABLE_HASH_TABLE_SIZE);
1443
1444         for (i = 0; i < num_rows; i++, new_entry++)
1445         {
1446             UINT row_value, n;
1447             UINT offset = i + (tv->columns[col-1].offset/2) * num_rows;
1448             n = bytes_per_column( &tv->columns[col-1] );
1449             switch( n )
1450             {
1451             case 4:
1452                 offset = tv->columns[col-1].offset/2;
1453                 row_value = tv->table->data[i][offset] + 
1454                     (tv->table->data[i][offset + 1] << 16);
1455                 break;
1456             case 2:
1457                 offset = tv->columns[col-1].offset/2;
1458                 row_value = tv->table->data[i][offset];
1459                 break;
1460             default:
1461                 ERR("oops! what is %d bytes per column?\n", n );
1462                 continue;
1463             }
1464
1465             new_entry->next = NULL;
1466             new_entry->value = row_value;
1467             new_entry->row = i;
1468             if (hash_table[row_value % MSITABLE_HASH_TABLE_SIZE])
1469             {
1470                 MSICOLUMNHASHENTRY *prev_entry = hash_table[row_value % MSITABLE_HASH_TABLE_SIZE];
1471                 while (prev_entry->next)
1472                     prev_entry = prev_entry->next;
1473                 prev_entry->next = new_entry;
1474             }
1475             else
1476                 hash_table[row_value % MSITABLE_HASH_TABLE_SIZE] = new_entry;
1477         }
1478     }
1479
1480     if( !*handle )
1481         entry = tv->columns[col-1].hash_table[val % MSITABLE_HASH_TABLE_SIZE];
1482     else
1483         entry = ((const MSICOLUMNHASHENTRY *)*handle)->next;
1484
1485     while (entry && entry->value != val)
1486         entry = entry->next;
1487
1488     *handle = (MSIITERHANDLE)entry;
1489     if (!entry)
1490         return ERROR_NO_MORE_ITEMS;
1491
1492     *row = entry->row;
1493     return ERROR_SUCCESS;
1494 }
1495
1496
1497 MSIVIEWOPS table_ops =
1498 {
1499     TABLE_fetch_int,
1500     TABLE_fetch_stream,
1501     TABLE_set_int,
1502     TABLE_insert_row,
1503     TABLE_execute,
1504     TABLE_close,
1505     TABLE_get_dimensions,
1506     TABLE_get_column_info,
1507     TABLE_modify,
1508     TABLE_delete,
1509     TABLE_find_matching_rows
1510 };
1511
1512 UINT TABLE_CreateView( MSIDATABASE *db, LPCWSTR name, MSIVIEW **view )
1513 {
1514     MSITABLEVIEW *tv ;
1515     UINT r, sz, column_count;
1516     MSICOLUMNINFO *columns;
1517
1518     TRACE("%p %s %p\n", db, debugstr_w(name), view );
1519
1520     /* get the number of columns in this table */
1521     column_count = 0;
1522     r = get_tablecolumns( db, name, NULL, &column_count );
1523     if( r != ERROR_SUCCESS )
1524         return r;
1525
1526     /* if there's no columns, there's no table */
1527     if( column_count == 0 )
1528         return ERROR_INVALID_PARAMETER;
1529
1530     TRACE("Table found\n");
1531
1532     sz = sizeof *tv + lstrlenW(name)*sizeof name[0] ;
1533     tv = msi_alloc_zero( sz );
1534     if( !tv )
1535         return ERROR_FUNCTION_FAILED;
1536     
1537     columns = msi_alloc( column_count*sizeof (MSICOLUMNINFO));
1538     if( !columns )
1539     {
1540         msi_free( tv );
1541         return ERROR_FUNCTION_FAILED;
1542     }
1543
1544     r = get_tablecolumns( db, name, columns, &column_count );
1545     if( r != ERROR_SUCCESS )
1546     {
1547         msi_free( columns );
1548         msi_free( tv );
1549         return ERROR_FUNCTION_FAILED;
1550     }
1551
1552     TRACE("Table has %d columns\n", column_count);
1553
1554     /* fill the structure */
1555     tv->view.ops = &table_ops;
1556     tv->db = db;
1557     tv->columns = columns;
1558     tv->num_cols = column_count;
1559     tv->table = NULL;
1560     tv->row_size = msi_table_get_row_size( columns, column_count );
1561
1562     TRACE("%s one row is %d bytes\n", debugstr_w(name), tv->row_size );
1563
1564     *view = (MSIVIEW*) tv;
1565     lstrcpyW( tv->name, name );
1566
1567     return ERROR_SUCCESS;
1568 }
1569
1570 UINT MSI_CommitTables( MSIDATABASE *db )
1571 {
1572     UINT r;
1573     MSITABLE *table = NULL;
1574
1575     TRACE("%p\n",db);
1576
1577     r = save_string_table( db );
1578     if( r != ERROR_SUCCESS )
1579     {
1580         WARN("failed to save string table r=%08x\n",r);
1581         return r;
1582     }
1583
1584     LIST_FOR_EACH_ENTRY( table, &db->tables, MSITABLE, entry )
1585     {
1586         r = save_table( db, table );
1587         if( r != ERROR_SUCCESS )
1588         {
1589             WARN("failed to save table %s (r=%08x)\n",
1590                   debugstr_w(table->name), r);
1591             return r;
1592         }
1593     }
1594
1595     /* force everything to reload next time */
1596     free_cached_tables( db );
1597
1598     return ERROR_SUCCESS;
1599 }
1600
1601 static MSIRECORD *msi_get_transform_record( MSITABLEVIEW *tv, string_table *st, USHORT *rawdata )
1602 {
1603     UINT i, val, ofs = 0;
1604     USHORT mask = *rawdata++;
1605     MSICOLUMNINFO *columns = tv->columns;
1606     MSIRECORD *rec;
1607     const int debug_transform = 0;
1608
1609     rec = MSI_CreateRecord( tv->num_cols );
1610     if( !rec )
1611         return rec;
1612
1613     if( debug_transform ) MESSAGE("row -> ");
1614     for( i=0; i<tv->num_cols; i++ )
1615     {
1616         UINT n = bytes_per_column( &columns[i] );
1617
1618         if ( (mask&1) && (i>=(mask>>8)) )
1619             break;
1620         /* all keys must be present */
1621         if ( (~mask&1) && (~columns[i].type & MSITYPE_KEY) && ((1<<i) & ~mask) )
1622             continue;
1623
1624         switch( n )
1625         {
1626         case 2:
1627             val = rawdata[ofs];
1628             if( (columns[i].type & MSITYPE_STRING) &&
1629                 ! MSITYPE_IS_BINARY(tv->columns[i].type) )
1630             {
1631                 LPCWSTR sval = msi_string_lookup_id( st, val );
1632                 MSI_RecordSetStringW( rec, i+1, sval );
1633                 if( debug_transform ) MESSAGE("[%s]", debugstr_w(sval));
1634             }
1635             else
1636             {
1637                 val ^= 0x8000;
1638                 MSI_RecordSetInteger( rec, i+1, val );
1639                 if( debug_transform) MESSAGE("[0x%04x]", val );
1640             }
1641             break;
1642         case 4:
1643             val = rawdata[ofs] + (rawdata[ofs + 1]<<16);
1644             /* val ^= 0x80000000; */
1645             MSI_RecordSetInteger( rec, i+1, val );
1646             if( debug_transform ) MESSAGE("[0x%08x]", val );
1647             break;
1648         default:
1649             ERR("oops - unknown column width %d\n", n);
1650             break;
1651         }
1652         ofs += n/2;
1653     }
1654     if( debug_transform) MESSAGE("\n");
1655     return rec;
1656 }
1657
1658 static void dump_record( MSIRECORD *rec )
1659 {
1660     UINT i, n;
1661
1662     MESSAGE("row -> ");
1663     n = MSI_RecordGetFieldCount( rec );
1664     for( i=1; i<=n; i++ )
1665     {
1666         LPCWSTR sval = MSI_RecordGetString( rec, i );
1667
1668         if( MSI_RecordIsNull( rec, i ) )
1669             MESSAGE("[]");
1670         else if( (sval = MSI_RecordGetString( rec, i )) )
1671             MESSAGE("[%s]", debugstr_w(sval));
1672         else
1673             MESSAGE("[0x%08x]", MSI_RecordGetInteger( rec, i ) );
1674     }
1675     MESSAGE("\n");
1676 }
1677
1678 static void dump_table( string_table *st, USHORT *rawdata, UINT rawsize )
1679 {
1680     LPCWSTR sval;
1681     UINT i;
1682
1683     for( i=0; i<(rawsize/2); i++ )
1684     {
1685         sval = msi_string_lookup_id( st, rawdata[i] );
1686         if( !sval ) sval = (WCHAR[]) {0};
1687         MESSAGE(" %04x %s\n", rawdata[i], debugstr_w(sval) );
1688     }
1689 }
1690
1691 static UINT* msi_record_to_row( MSITABLEVIEW *tv, MSIRECORD *rec )
1692 {
1693     LPCWSTR str;
1694     UINT i, r, *data;
1695
1696     data = msi_alloc( tv->num_cols *sizeof (UINT) );
1697     for( i=0; i<tv->num_cols; i++ )
1698     {
1699         data[i] = 0;
1700
1701         if ( ~tv->columns[i].type & MSITYPE_KEY )
1702             continue;
1703
1704         /* turn the transform column value into a row value */
1705         if ( ( tv->columns[i].type & MSITYPE_STRING ) &&
1706              ! MSITYPE_IS_BINARY(tv->columns[i].type) )
1707         {
1708             str = MSI_RecordGetString( rec, i+1 );
1709             r = msi_string2idW( tv->db->strings, str, &data[i] );
1710
1711             /* if there's no matching string in the string table,
1712                these keys can't match any record, so fail now. */
1713             if( ERROR_SUCCESS != r )
1714             {
1715                 msi_free( data );
1716                 return NULL;
1717             }
1718         }
1719         else
1720             data[i] = MSI_RecordGetInteger( rec, i+1 );
1721     }
1722     return data;
1723 }
1724
1725 static UINT msi_row_matches( MSITABLEVIEW *tv, UINT row, UINT *data )
1726 {
1727     UINT i, r, x, ret = ERROR_FUNCTION_FAILED;
1728
1729     for( i=0; i<tv->num_cols; i++ )
1730     {
1731         if ( ~tv->columns[i].type & MSITYPE_KEY )
1732             continue;
1733
1734         /* turn the transform column value into a row value */
1735         r = TABLE_fetch_int( &tv->view, row, i+1, &x );
1736         if ( r != ERROR_SUCCESS )
1737         {
1738             ERR("TABLE_fetch_int shouldn't fail here\n");
1739             break;
1740         }
1741
1742         /* if this key matches, move to the next column */
1743         if ( x != data[i] )
1744         {
1745             ret = ERROR_FUNCTION_FAILED;
1746             break;
1747         }
1748
1749         ret = ERROR_SUCCESS;
1750     }
1751
1752     return ret;
1753 }
1754
1755 static UINT msi_table_find_row( MSITABLEVIEW *tv, MSIRECORD *rec, UINT *row )
1756 {
1757     UINT i, r = ERROR_FUNCTION_FAILED, *data;
1758
1759     data = msi_record_to_row( tv, rec );
1760     if( !data )
1761         return r;
1762     for( i=0; i<tv->table->row_count; i++ )
1763     {
1764         r = msi_row_matches( tv, i, data );
1765         if( r == ERROR_SUCCESS )
1766         {
1767             *row = i;
1768             break;
1769         }
1770     }
1771     msi_free( data );
1772     return r;
1773 }
1774
1775 static UINT msi_delete_row( MSITABLEVIEW *tv, UINT row )
1776 {
1777     UINT i;
1778     for( i=1; i<=tv->num_cols; i++ )
1779         tv->view.ops->set_int( &tv->view, row, i, 0 );
1780     return ERROR_SUCCESS;
1781 }
1782
1783 static UINT msi_table_load_transform( MSIDATABASE *db, IStorage *stg,
1784                                       string_table *st, LPCWSTR name )
1785 {
1786     UINT rawsize = 0;
1787     USHORT *rawdata = NULL;
1788     MSITABLEVIEW *tv = NULL;
1789     UINT r, n, sz, i, mask;
1790     MSIRECORD *rec = NULL;
1791     const int debug_transform = 0;
1792
1793     TRACE("%p %p %p %s\n", db, stg, st, debugstr_w(name) );
1794
1795     /* create a table view */
1796     r = TABLE_CreateView( db, name, (MSIVIEW**) &tv );
1797     if( r != ERROR_SUCCESS )
1798         goto err;
1799
1800     r = tv->view.ops->execute( &tv->view, NULL );
1801     if( r != ERROR_SUCCESS )
1802         goto err;
1803
1804     /* read the transform data */
1805     r = ERROR_FUNCTION_FAILED;
1806     read_stream_data( stg, name, &rawdata, &rawsize );
1807     if( !rawdata || (rawsize < 2) )
1808     {
1809         ERR("odd sized transform for table %s\n", debugstr_w(name));
1810         goto err;
1811     }
1812
1813     TRACE("name = %s columns = %u row_size = %u raw size = %u\n",
1814           debugstr_w(name), tv->num_cols, tv->row_size, rawsize );
1815
1816     /* interpret the data */
1817     r = ERROR_SUCCESS;
1818     for( n=0; n < (rawsize/2);  )
1819     {
1820         mask = rawdata[n];
1821
1822         if (mask&1)
1823         {
1824             /*
1825              * if the low bit is set, columns are continuous and
1826              * the number of columns is specified in the high byte
1827              */
1828             sz = 2 + tv->row_size;
1829         }
1830         else
1831         {
1832             /*
1833              * If the low bit is not set, rowdata[n] is a bitmask.
1834              * Excepting for key fields, which are always present,
1835              *  each bit indicates that a field is present in the transform record.
1836              *
1837              * rawdata[n] == 0 is a special case ... only the keys will be present
1838              * and it means that this row should be deleted.
1839              */
1840             sz = 2;
1841             for( i=0; i<tv->num_cols; i++ )
1842             {
1843                 if( (tv->columns[i].type & MSITYPE_KEY) || ((1<<i)&mask))
1844                     sz += bytes_per_column( &tv->columns[i] );
1845             }
1846         }
1847
1848         /* check we didn't run of the end of the table */
1849         if ( (n+sz) > rawsize )
1850         {
1851             ERR("borked.\n");
1852             dump_table( st, rawdata, rawsize );
1853             break;
1854         }
1855
1856         rec = msi_get_transform_record( tv, st, &rawdata[n] );
1857         if (rec)
1858         {
1859             UINT row = 0;
1860
1861             r = msi_table_find_row( tv, rec, &row );
1862
1863             if( rawdata[n] & 1)
1864             {
1865                 if( debug_transform ) MESSAGE("insert [%d]: ", row);
1866                 TABLE_insert_row( &tv->view, rec );
1867             }
1868             else if( mask & 0xff )
1869             {
1870                 if( debug_transform ) MESSAGE("modify [%d]: ", row);
1871                 msi_table_modify_row( tv, rec, row, mask );
1872             }
1873             else
1874             {
1875                 if( debug_transform ) MESSAGE("delete [%d]: ", row);
1876                 msi_delete_row( tv, row );
1877             }
1878             if( debug_transform ) dump_record( rec );
1879             msiobj_release( &rec->hdr );
1880         }
1881
1882         n += sz/2;
1883         
1884     }
1885
1886 err:
1887     /* no need to free the table, it's associated with the database */
1888     msi_free( rawdata );
1889     if( tv )
1890         tv->view.ops->delete( &tv->view );
1891
1892     return ERROR_SUCCESS;
1893 }
1894
1895 /*
1896  * msi_table_apply_transform
1897  *
1898  * Enumerate the table transforms in a transform storage and apply each one.
1899  */
1900 UINT msi_table_apply_transform( MSIDATABASE *db, IStorage *stg )
1901 {
1902     IEnumSTATSTG *stgenum = NULL;
1903     HRESULT r;
1904     STATSTG stat;
1905     ULONG n, count;
1906     WCHAR name[0x40];
1907     string_table *strings;
1908     UINT ret = ERROR_FUNCTION_FAILED;
1909
1910     TRACE("%p %p\n", db, stg );
1911
1912     strings = load_string_table( stg );
1913     if( !strings )
1914         goto end;
1915
1916     r = IStorage_EnumElements( stg, 0, NULL, 0, &stgenum );
1917     if( FAILED( r ) )
1918         goto end;
1919
1920     n = 0;
1921     ret = ERROR_SUCCESS;
1922
1923     while( r == ERROR_SUCCESS )
1924     {
1925         count = 0;
1926         r = IEnumSTATSTG_Next( stgenum, 1, &stat, &count );
1927         if( FAILED( r ) || !count )
1928             break;
1929         decode_streamname( stat.pwcsName, name );
1930         if( ( name[0] == 0x4840 ) && ( name[1] != '_' ) )
1931             ret = msi_table_load_transform( db, stg, strings, name+1 );
1932         else
1933             TRACE("transform contains stream %s\n", debugstr_w(name));
1934         n++;
1935     }
1936
1937     if ( ret == ERROR_SUCCESS )
1938     {
1939         MSITRANSFORM *t;
1940
1941         t = msi_alloc( sizeof *t );
1942         t->stg = stg;
1943         IStorage_AddRef( stg );
1944         list_add_tail( &db->transforms, &t->entry );
1945     }
1946
1947 end:
1948     if ( stgenum )
1949         IEnumSTATSTG_Release( stgenum );
1950     if ( strings )
1951         msi_destroy_stringtable( strings );
1952
1953     return ret;
1954 }
1955
1956 void msi_free_transforms( MSIDATABASE *db )
1957 {
1958     while( !list_empty( &db->transforms ) )
1959     {
1960         MSITRANSFORM *t = LIST_ENTRY( list_head( &db->transforms ),
1961                                       MSITRANSFORM, entry );
1962         list_remove( &t->entry );
1963         IStorage_Release( t->stg );
1964         msi_free( t );
1965     }
1966 }