git.oblomov.eu Git - wine/blob - dlls/msi/table.c

   1 /*
   2  * Implementation of the Microsoft Installer (msi.dll)
   3  *
   4  * Copyright 2002-2005 Mike McCormack for CodeWeavers
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with this library; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
  19  */
  20
  21 #include <stdarg.h>
  22 #include <assert.h>
  23
  24 #define COBJMACROS
  25 #define NONAMELESSUNION
  26 #define NONAMELESSSTRUCT
  27
  28 #include "windef.h"
  29 #include "winbase.h"
  30 #include "winerror.h"
  31 #include "msi.h"
  32 #include "msiquery.h"
  33 #include "objbase.h"
  34 #include "objidl.h"
  35 #include "winnls.h"
  36 #include "msipriv.h"
  37 #include "query.h"
  38
  39 #include "wine/debug.h"
  40 #include "wine/unicode.h"
  41
  42 WINE_DEFAULT_DEBUG_CHANNEL(msidb);
  43
  44 #define MSITABLE_HASH_TABLE_SIZE 37
  45
  46 typedef struct tagMSICOLUMNHASHENTRY
  47 {
  48     struct tagMSICOLUMNHASHENTRY *next;
  49     UINT value;
  50     UINT row;
  51 } MSICOLUMNHASHENTRY;
  52
  53 typedef struct tagMSICOLUMNINFO
  54 {
  55     LPCWSTR tablename;
  56     UINT    number;
  57     LPCWSTR colname;
  58     UINT    type;
  59     UINT    offset;
  60     INT     ref_count;
  61     BOOL    temporary;
  62     MSICOLUMNHASHENTRY **hash_table;
  63 } MSICOLUMNINFO;
  64
  65 struct tagMSITABLE
  66 {
  67     BYTE **data;
  68     BOOL *data_persistent;
  69     UINT row_count;
  70     struct list entry;
  71     MSICOLUMNINFO *colinfo;
  72     UINT col_count;
  73     MSICONDITION persistent;
  74     INT ref_count;
  75     WCHAR name[1];
  76 };
  77
  78 /* information for default tables */
  79 static const WCHAR szTables[]  = {'_','T','a','b','l','e','s',0};
  80 static const WCHAR szTable[]   = {'T','a','b','l','e',0};
  81 static const WCHAR szColumns[] = {'_','C','o','l','u','m','n','s',0};
  82 static const WCHAR szNumber[]  = {'N','u','m','b','e','r',0};
  83 static const WCHAR szType[]    = {'T','y','p','e',0};
  84
  85 static const MSICOLUMNINFO _Columns_cols[4] = {
  86     { szColumns, 1, szTable,  MSITYPE_VALID | MSITYPE_STRING | MSITYPE_KEY | 64, 0, 0, 0, NULL },
  87     { szColumns, 2, szNumber, MSITYPE_VALID | MSITYPE_KEY | 2,     2, 0, 0, NULL },
  88     { szColumns, 3, szName,   MSITYPE_VALID | MSITYPE_STRING | 64, 4, 0, 0, NULL },
  89     { szColumns, 4, szType,   MSITYPE_VALID | 2,                   6, 0, 0, NULL },
  90 };
  91
  92 static const MSICOLUMNINFO _Tables_cols[1] = {
  93     { szTables,  1, szName,   MSITYPE_VALID | MSITYPE_STRING | MSITYPE_KEY | 64, 0, 0, 0, NULL },
  94 };
  95
  96 #define MAX_STREAM_NAME 0x1f
  97
  98 static inline UINT bytes_per_column( MSIDATABASE *db, const MSICOLUMNINFO *col, UINT bytes_per_strref )
  99 {
 100     if( MSITYPE_IS_BINARY(col->type) )
 101         return 2;
 102
 103     if( col->type & MSITYPE_STRING )
 104         return bytes_per_strref;
 105
 106     if( (col->type & 0xff) <= 2)
 107         return 2;
 108
 109     if( (col->type & 0xff) != 4 )
 110         ERR("Invalid column size!\n");
 111
 112     return 4;
 113 }
 114
 115 static int utf2mime(int x)
 116 {
 117     if( (x>='0') && (x<='9') )
 118         return x-'0';
 119     if( (x>='A') && (x<='Z') )
 120         return x-'A'+10;
 121     if( (x>='a') && (x<='z') )
 122         return x-'a'+10+26;
 123     if( x=='.' )
 124         return 10+26+26;
 125     if( x=='_' )
 126         return 10+26+26+1;
 127     return -1;
 128 }
 129
 130 LPWSTR encode_streamname(BOOL bTable, LPCWSTR in)
 131 {
 132     DWORD count = MAX_STREAM_NAME;
 133     DWORD ch, next;
 134     LPWSTR out, p;
 135
 136     if( !bTable )
 137         count = lstrlenW( in )+2;
 138     if (!(out = msi_alloc( count*sizeof(WCHAR) ))) return NULL;
 139     p = out;
 140
 141     if( bTable )
 142     {
 143          *p++ = 0x4840;
 144          count --;
 145     }
 146     while( count -- )
 147     {
 148         ch = *in++;
 149         if( !ch )
 150         {
 151             *p = ch;
 152             return out;
 153         }
 154         if( ( ch < 0x80 ) && ( utf2mime(ch) >= 0 ) )
 155         {
 156             ch = utf2mime(ch) + 0x4800;
 157             next = *in;
 158             if( next && (next<0x80) )
 159             {
 160                 next = utf2mime(next);
 161                 if( next != -1 )
 162                 {
 163                      next += 0x3ffffc0;
 164                      ch += (next<<6);
 165                      in++;
 166                 }
 167             }
 168         }
 169         *p++ = ch;
 170     }
 171     ERR("Failed to encode stream name (%s)\n",debugstr_w(in));
 172     msi_free( out );
 173     return NULL;
 174 }
 175
 176 static int mime2utf(int x)
 177 {
 178     if( x<10 )
 179         return x + '0';
 180     if( x<(10+26))
 181         return x - 10 + 'A';
 182     if( x<(10+26+26))
 183         return x - 10 - 26 + 'a';
 184     if( x == (10+26+26) )
 185         return '.';
 186     return '_';
 187 }
 188
 189 BOOL decode_streamname(LPCWSTR in, LPWSTR out)
 190 {
 191     WCHAR ch;
 192     DWORD count = 0;
 193
 194     while ( (ch = *in++) )
 195     {
 196         if( (ch >= 0x3800 ) && (ch < 0x4840 ) )
 197         {
 198             if( ch >= 0x4800 )
 199                 ch = mime2utf(ch-0x4800);
 200             else
 201             {
 202                 ch -= 0x3800;
 203                 *out++ = mime2utf(ch&0x3f);
 204                 count++;
 205                 ch = mime2utf((ch>>6)&0x3f);
 206             }
 207         }
 208         *out++ = ch;
 209         count++;
 210     }
 211     *out = 0;
 212     return count;
 213 }
 214
 215 void enum_stream_names( IStorage *stg )
 216 {
 217     IEnumSTATSTG *stgenum = NULL;
 218     HRESULT r;
 219     STATSTG stat;
 220     ULONG n, count;
 221     WCHAR name[0x40];
 222
 223     r = IStorage_EnumElements( stg, 0, NULL, 0, &stgenum );
 224     if( FAILED( r ) )
 225         return;
 226
 227     n = 0;
 228     while( 1 )
 229     {
 230         count = 0;
 231         r = IEnumSTATSTG_Next( stgenum, 1, &stat, &count );
 232         if( FAILED( r ) || !count )
 233             break;
 234         decode_streamname( stat.pwcsName, name );
 235         TRACE("stream %2d -> %s %s\n", n,
 236               debugstr_w(stat.pwcsName), debugstr_w(name) );
 237         CoTaskMemFree( stat.pwcsName );
 238         n++;
 239     }
 240
 241     IEnumSTATSTG_Release( stgenum );
 242 }
 243
 244 UINT read_stream_data( IStorage *stg, LPCWSTR stname, BOOL table,
 245                        BYTE **pdata, UINT *psz )
 246 {
 247     HRESULT r;
 248     UINT ret = ERROR_FUNCTION_FAILED;
 249     VOID *data;
 250     ULONG sz, count;
 251     IStream *stm = NULL;
 252     STATSTG stat;
 253     LPWSTR encname;
 254
 255     encname = encode_streamname(table, stname);
 256
 257     TRACE("%s -> %s\n",debugstr_w(stname),debugstr_w(encname));
 258
 259     r = IStorage_OpenStream(stg, encname, NULL,
 260             STGM_READ | STGM_SHARE_EXCLUSIVE, 0, &stm);
 261     msi_free( encname );
 262     if( FAILED( r ) )
 263     {
 264         WARN("open stream failed r = %08x - empty table?\n", r);
 265         return ret;
 266     }
 267
 268     r = IStream_Stat(stm, &stat, STATFLAG_NONAME );
 269     if( FAILED( r ) )
 270     {
 271         WARN("open stream failed r = %08x!\n", r);
 272         goto end;
 273     }
 274
 275     if( stat.cbSize.QuadPart >> 32 )
 276     {
 277         WARN("Too big!\n");
 278         goto end;
 279     }
 280
 281     sz = stat.cbSize.QuadPart;
 282     data = msi_alloc( sz );
 283     if( !data )
 284     {
 285         WARN("couldn't allocate memory r=%08x!\n", r);
 286         ret = ERROR_NOT_ENOUGH_MEMORY;
 287         goto end;
 288     }
 289
 290     r = IStream_Read(stm, data, sz, &count );
 291     if( FAILED( r ) || ( count != sz ) )
 292     {
 293         msi_free( data );
 294         WARN("read stream failed r = %08x!\n", r);
 295         goto end;
 296     }
 297
 298     *pdata = data;
 299     *psz = sz;
 300     ret = ERROR_SUCCESS;
 301
 302 end:
 303     IStream_Release( stm );
 304
 305     return ret;
 306 }
 307
 308 UINT write_stream_data( IStorage *stg, LPCWSTR stname,
 309                         LPCVOID data, UINT sz, BOOL bTable )
 310 {
 311     HRESULT r;
 312     UINT ret = ERROR_FUNCTION_FAILED;
 313     ULONG count;
 314     IStream *stm = NULL;
 315     ULARGE_INTEGER size;
 316     LARGE_INTEGER pos;
 317     LPWSTR encname;
 318
 319     encname = encode_streamname(bTable, stname );
 320     r = IStorage_OpenStream( stg, encname, NULL,
 321             STGM_WRITE | STGM_SHARE_EXCLUSIVE, 0, &stm);
 322     if( FAILED(r) )
 323     {
 324         r = IStorage_CreateStream( stg, encname,
 325                 STGM_WRITE | STGM_SHARE_EXCLUSIVE, 0, 0, &stm);
 326     }
 327     msi_free( encname );
 328     if( FAILED( r ) )
 329     {
 330         WARN("open stream failed r = %08x\n", r);
 331         return ret;
 332     }
 333
 334     size.QuadPart = sz;
 335     r = IStream_SetSize( stm, size );
 336     if( FAILED( r ) )
 337     {
 338         WARN("Failed to SetSize\n");
 339         goto end;
 340     }
 341
 342     pos.QuadPart = 0;
 343     r = IStream_Seek( stm, pos, STREAM_SEEK_SET, NULL );
 344     if( FAILED( r ) )
 345     {
 346         WARN("Failed to Seek\n");
 347         goto end;
 348     }
 349
 350     if (sz)
 351     {
 352         r = IStream_Write(stm, data, sz, &count );
 353         if( FAILED( r ) || ( count != sz ) )
 354         {
 355             WARN("Failed to Write\n");
 356             goto end;
 357         }
 358     }
 359
 360     ret = ERROR_SUCCESS;
 361
 362 end:
 363     IStream_Release( stm );
 364
 365     return ret;
 366 }
 367
 368 static void msi_free_colinfo( MSICOLUMNINFO *colinfo, UINT count )
 369 {
 370     UINT i;
 371     for (i = 0; i < count; i++) msi_free( colinfo[i].hash_table );
 372 }
 373
 374 static void free_table( MSITABLE *table )
 375 {
 376     UINT i;
 377     for( i=0; i<table->row_count; i++ )
 378         msi_free( table->data[i] );
 379     msi_free( table->data );
 380     msi_free( table->data_persistent );
 381     msi_free_colinfo( table->colinfo, table->col_count );
 382     msi_free( table->colinfo );
 383     msi_free( table );
 384 }
 385
 386 static UINT msi_table_get_row_size( MSIDATABASE *db, const MSICOLUMNINFO *cols, UINT count, UINT bytes_per_strref )
 387 {
 388     const MSICOLUMNINFO *last_col;
 389
 390     if (!count)
 391         return 0;
 392
 393     if (bytes_per_strref != LONG_STR_BYTES)
 394     {
 395         UINT i, size = 0;
 396         for (i = 0; i < count; i++) size += bytes_per_column( db, &cols[i], bytes_per_strref );
 397         return size;
 398     }
 399     last_col = &cols[count - 1];
 400     return last_col->offset + bytes_per_column( db, last_col, bytes_per_strref );
 401 }
 402
 403 /* add this table to the list of cached tables in the database */
 404 static UINT read_table_from_storage( MSIDATABASE *db, MSITABLE *t, IStorage *stg )
 405 {
 406     BYTE *rawdata = NULL;
 407     UINT rawsize = 0, i, j, row_size, row_size_mem;
 408
 409     TRACE("%s\n",debugstr_w(t->name));
 410
 411     row_size = msi_table_get_row_size( db, t->colinfo, t->col_count, db->bytes_per_strref );
 412     row_size_mem = msi_table_get_row_size( db, t->colinfo, t->col_count, LONG_STR_BYTES );
 413
 414     /* if we can't read the table, just assume that it's empty */
 415     read_stream_data( stg, t->name, TRUE, &rawdata, &rawsize );
 416     if( !rawdata )
 417         return ERROR_SUCCESS;
 418
 419     TRACE("Read %d bytes\n", rawsize );
 420
 421     if( rawsize % row_size )
 422     {
 423         WARN("Table size is invalid %d/%d\n", rawsize, row_size );
 424         goto err;
 425     }
 426
 427     t->row_count = rawsize / row_size;
 428     t->data = msi_alloc_zero( t->row_count * sizeof (USHORT*) );
 429     if( !t->data )
 430         goto err;
 431     t->data_persistent = msi_alloc_zero( t->row_count * sizeof(BOOL));
 432     if ( !t->data_persistent )
 433         goto err;
 434
 435     /* transpose all the data */
 436     TRACE("Transposing data from %d rows\n", t->row_count );
 437     for (i = 0; i < t->row_count; i++)
 438     {
 439         UINT ofs = 0, ofs_mem = 0;
 440
 441         t->data[i] = msi_alloc( row_size_mem );
 442         if( !t->data[i] )
 443             goto err;
 444         t->data_persistent[i] = TRUE;
 445
 446         for (j = 0; j < t->col_count; j++)
 447         {
 448             UINT m = bytes_per_column( db, &t->colinfo[j], LONG_STR_BYTES );
 449             UINT n = bytes_per_column( db, &t->colinfo[j], db->bytes_per_strref );
 450             UINT k;
 451
 452             if ( n != 2 && n != 3 && n != 4 )
 453             {
 454                 ERR("oops - unknown column width %d\n", n);
 455                 goto err;
 456             }
 457             if (t->colinfo[j].type & MSITYPE_STRING && n < m)
 458             {
 459                 for (k = 0; k < m; k++)
 460                 {
 461                     if (k < n)
 462                         t->data[i][ofs_mem + k] = rawdata[ofs * t->row_count + i * n + k];
 463                     else
 464                         t->data[i][ofs_mem + k] = 0;
 465                 }
 466             }
 467             else
 468             {
 469                 for (k = 0; k < n; k++)
 470                     t->data[i][ofs_mem + k] = rawdata[ofs * t->row_count + i * n + k];
 471             }
 472             ofs_mem += m;
 473             ofs += n;
 474         }
 475     }
 476
 477     msi_free( rawdata );
 478     return ERROR_SUCCESS;
 479 err:
 480     msi_free( rawdata );
 481     return ERROR_FUNCTION_FAILED;
 482 }
 483
 484 void free_cached_tables( MSIDATABASE *db )
 485 {
 486     while( !list_empty( &db->tables ) )
 487     {
 488         MSITABLE *t = LIST_ENTRY( list_head( &db->tables ), MSITABLE, entry );
 489
 490         list_remove( &t->entry );
 491         free_table( t );
 492     }
 493 }
 494
 495 static MSITABLE *find_cached_table( MSIDATABASE *db, LPCWSTR name )
 496 {
 497     MSITABLE *t;
 498
 499     LIST_FOR_EACH_ENTRY( t, &db->tables, MSITABLE, entry )
 500         if( !strcmpW( name, t->name ) )
 501             return t;
 502
 503     return NULL;
 504 }
 505
 506 static void table_calc_column_offsets( MSIDATABASE *db, MSICOLUMNINFO *colinfo, DWORD count )
 507 {
 508     DWORD i;
 509
 510     for (i = 0; colinfo && i < count; i++)
 511     {
 512          assert( i + 1 == colinfo[i].number );
 513          if (i) colinfo[i].offset = colinfo[i - 1].offset +
 514                                     bytes_per_column( db, &colinfo[i - 1], LONG_STR_BYTES );
 515          else colinfo[i].offset = 0;
 516
 517          TRACE("column %d is [%s] with type %08x ofs %d\n",
 518                colinfo[i].number, debugstr_w(colinfo[i].colname),
 519                colinfo[i].type, colinfo[i].offset);
 520     }
 521 }
 522
 523 static UINT get_defaulttablecolumns( MSIDATABASE *db, LPCWSTR name, MSICOLUMNINFO *colinfo, UINT *sz )
 524 {
 525     const MSICOLUMNINFO *p;
 526     DWORD i, n;
 527
 528     TRACE("%s\n", debugstr_w(name));
 529
 530     if (!strcmpW( name, szTables ))
 531     {
 532         p = _Tables_cols;
 533         n = 1;
 534     }
 535     else if (!strcmpW( name, szColumns ))
 536     {
 537         p = _Columns_cols;
 538         n = 4;
 539     }
 540     else return ERROR_FUNCTION_FAILED;
 541
 542     for (i = 0; i < n; i++)
 543     {
 544         if (colinfo && i < *sz) colinfo[i] = p[i];
 545         if (colinfo && i >= *sz) break;
 546     }
 547     table_calc_column_offsets( db, colinfo, n );
 548     *sz = n;
 549     return ERROR_SUCCESS;
 550 }
 551
 552 static UINT get_tablecolumns( MSIDATABASE *db, LPCWSTR szTableName, MSICOLUMNINFO *colinfo, UINT *sz );
 553
 554 static UINT table_get_column_info( MSIDATABASE *db, LPCWSTR name, MSICOLUMNINFO **pcols, UINT *pcount )
 555 {
 556     UINT r, column_count = 0;
 557     MSICOLUMNINFO *columns;
 558
 559     /* get the number of columns in this table */
 560     column_count = 0;
 561     r = get_tablecolumns( db, name, NULL, &column_count );
 562     if (r != ERROR_SUCCESS)
 563         return r;
 564
 565     *pcount = column_count;
 566
 567     /* if there's no columns, there's no table */
 568     if (!column_count)
 569         return ERROR_INVALID_PARAMETER;
 570
 571     TRACE("table %s found\n", debugstr_w(name));
 572
 573     columns = msi_alloc( column_count * sizeof(MSICOLUMNINFO) );
 574     if (!columns)
 575         return ERROR_FUNCTION_FAILED;
 576
 577     r = get_tablecolumns( db, name, columns, &column_count );
 578     if (r != ERROR_SUCCESS)
 579     {
 580         msi_free( columns );
 581         return ERROR_FUNCTION_FAILED;
 582     }
 583     *pcols = columns;
 584     return r;
 585 }
 586
 587 static UINT get_table( MSIDATABASE *db, LPCWSTR name, MSITABLE **table_ret )
 588 {
 589     MSITABLE *table;
 590     UINT r;
 591
 592     /* first, see if the table is cached */
 593     table = find_cached_table( db, name );
 594     if (table)
 595     {
 596         *table_ret = table;
 597         return ERROR_SUCCESS;
 598     }
 599
 600     /* nonexistent tables should be interpreted as empty tables */
 601     table = msi_alloc( sizeof(MSITABLE) + lstrlenW( name ) * sizeof(WCHAR) );
 602     if (!table)
 603         return ERROR_FUNCTION_FAILED;
 604
 605     table->row_count = 0;
 606     table->data = NULL;
 607     table->data_persistent = NULL;
 608     table->colinfo = NULL;
 609     table->col_count = 0;
 610     table->persistent = MSICONDITION_TRUE;
 611     lstrcpyW( table->name, name );
 612
 613     if (!strcmpW( name, szTables ) || !strcmpW( name, szColumns ))
 614         table->persistent = MSICONDITION_NONE;
 615
 616     r = table_get_column_info( db, name, &table->colinfo, &table->col_count );
 617     if (r != ERROR_SUCCESS)
 618     {
 619         free_table( table );
 620         return r;
 621     }
 622     r = read_table_from_storage( db, table, db->storage );
 623     if (r != ERROR_SUCCESS)
 624     {
 625         free_table( table );
 626         return r;
 627     }
 628     list_add_head( &db->tables, &table->entry );
 629     *table_ret = table;
 630     return ERROR_SUCCESS;
 631 }
 632
 633 static UINT read_table_int( BYTE *const *data, UINT row, UINT col, UINT bytes )
 634 {
 635     UINT ret = 0, i;
 636
 637     for (i = 0; i < bytes; i++)
 638         ret += data[row][col + i] << i * 8;
 639
 640     return ret;
 641 }
 642
 643 static UINT get_tablecolumns( MSIDATABASE *db, LPCWSTR szTableName, MSICOLUMNINFO *colinfo, UINT *sz )
 644 {
 645     UINT r, i, n = 0, table_id, count, maxcount = *sz;
 646     MSITABLE *table = NULL;
 647
 648     TRACE("%s\n", debugstr_w(szTableName));
 649
 650     /* first check if there is a default table with that name */
 651     r = get_defaulttablecolumns( db, szTableName, colinfo, sz );
 652     if (r == ERROR_SUCCESS && *sz)
 653         return r;
 654
 655     r = get_table( db, szColumns, &table );
 656     if (r != ERROR_SUCCESS)
 657     {
 658         ERR("couldn't load _Columns table\n");
 659         return ERROR_FUNCTION_FAILED;
 660     }
 661
 662     /* convert table and column names to IDs from the string table */
 663     r = msi_string2idW( db->strings, szTableName, &table_id );
 664     if (r != ERROR_SUCCESS)
 665     {
 666         WARN("Couldn't find id for %s\n", debugstr_w(szTableName));
 667         return r;
 668     }
 669     TRACE("Table id is %d, row count is %d\n", table_id, table->row_count);
 670
 671     /* Note: _Columns table doesn't have non-persistent data */
 672
 673     /* if maxcount is non-zero, assume it's exactly right for this table */
 674     memset( colinfo, 0, maxcount * sizeof(*colinfo) );
 675     count = table->row_count;
 676     for (i = 0; i < count; i++)
 677     {
 678         if (read_table_int( table->data, i, 0, LONG_STR_BYTES) != table_id) continue;
 679         if (colinfo)
 680         {
 681             UINT id = read_table_int( table->data, i, table->colinfo[2].offset, LONG_STR_BYTES );
 682             UINT col = read_table_int( table->data, i, table->colinfo[1].offset, sizeof(USHORT) ) - (1 << 15);
 683
 684             /* check the column number is in range */
 685             if (col < 1 || col > maxcount)
 686             {
 687                 ERR("column %d out of range\n", col);
 688                 continue;
 689             }
 690             /* check if this column was already set */
 691             if (colinfo[col - 1].number)
 692             {
 693                 ERR("duplicate column %d\n", col);
 694                 continue;
 695             }
 696             colinfo[col - 1].tablename = msi_string_lookup_id( db->strings, table_id );
 697             colinfo[col - 1].number = col;
 698             colinfo[col - 1].colname = msi_string_lookup_id( db->strings, id );
 699             colinfo[col - 1].type = read_table_int( table->data, i, table->colinfo[3].offset,
 700                                                     sizeof(USHORT) ) - (1 << 15);
 701             colinfo[col - 1].offset = 0;
 702             colinfo[col - 1].ref_count = 0;
 703             colinfo[col - 1].hash_table = NULL;
 704         }
 705         n++;
 706     }
 707     TRACE("%s has %d columns\n", debugstr_w(szTableName), n);
 708
 709     if (colinfo && n != maxcount)
 710     {
 711         ERR("missing column in table %s\n", debugstr_w(szTableName));
 712         msi_free_colinfo( colinfo, maxcount );
 713         return ERROR_FUNCTION_FAILED;
 714     }
 715     table_calc_column_offsets( db, colinfo, n );
 716     *sz = n;
 717     return ERROR_SUCCESS;
 718 }
 719
 720 UINT msi_create_table( MSIDATABASE *db, LPCWSTR name, column_info *col_info,
 721                        MSICONDITION persistent )
 722 {
 723     enum StringPersistence string_persistence = (persistent) ? StringPersistent : StringNonPersistent;
 724     UINT r, nField;
 725     MSIVIEW *tv = NULL;
 726     MSIRECORD *rec = NULL;
 727     column_info *col;
 728     MSITABLE *table;
 729     UINT i;
 730
 731     /* only add tables that don't exist already */
 732     if( TABLE_Exists(db, name ) )
 733     {
 734         WARN("table %s exists\n", debugstr_w(name));
 735         return ERROR_BAD_QUERY_SYNTAX;
 736     }
 737
 738     table = msi_alloc( sizeof (MSITABLE) + lstrlenW(name)*sizeof (WCHAR) );
 739     if( !table )
 740         return ERROR_FUNCTION_FAILED;
 741
 742     table->ref_count = 1;
 743     table->row_count = 0;
 744     table->data = NULL;
 745     table->data_persistent = NULL;
 746     table->colinfo = NULL;
 747     table->col_count = 0;
 748     table->persistent = persistent;
 749     lstrcpyW( table->name, name );
 750
 751     for( col = col_info; col; col = col->next )
 752         table->col_count++;
 753
 754     table->colinfo = msi_alloc( table->col_count * sizeof(MSICOLUMNINFO) );
 755     if (!table->colinfo)
 756     {
 757         free_table( table );
 758         return ERROR_FUNCTION_FAILED;
 759     }
 760
 761     for( i = 0, col = col_info; col; i++, col = col->next )
 762     {
 763         UINT table_id = msi_addstringW( db->strings, col->table, -1, 1, string_persistence );
 764         UINT col_id = msi_addstringW( db->strings, col->column, -1, 1, string_persistence );
 765
 766         table->colinfo[ i ].tablename = msi_string_lookup_id( db->strings, table_id );
 767         table->colinfo[ i ].number = i + 1;
 768         table->colinfo[ i ].colname = msi_string_lookup_id( db->strings, col_id );
 769         table->colinfo[ i ].type = col->type;
 770         table->colinfo[ i ].offset = 0;
 771         table->colinfo[ i ].ref_count = 0;
 772         table->colinfo[ i ].hash_table = NULL;
 773         table->colinfo[ i ].temporary = col->temporary;
 774     }
 775     table_calc_column_offsets( db, table->colinfo, table->col_count);
 776
 777     r = TABLE_CreateView( db, szTables, &tv );
 778     TRACE("CreateView returned %x\n", r);
 779     if( r )
 780     {
 781         free_table( table );
 782         return r;
 783     }
 784
 785     r = tv->ops->execute( tv, 0 );
 786     TRACE("tv execute returned %x\n", r);
 787     if( r )
 788         goto err;
 789
 790     rec = MSI_CreateRecord( 1 );
 791     if( !rec )
 792         goto err;
 793
 794     r = MSI_RecordSetStringW( rec, 1, name );
 795     if( r )
 796         goto err;
 797
 798     r = tv->ops->insert_row( tv, rec, -1, persistent == MSICONDITION_FALSE );
 799     TRACE("insert_row returned %x\n", r);
 800     if( r )
 801         goto err;
 802
 803     tv->ops->delete( tv );
 804     tv = NULL;
 805
 806     msiobj_release( &rec->hdr );
 807     rec = NULL;
 808
 809     if( persistent != MSICONDITION_FALSE )
 810     {
 811         /* add each column to the _Columns table */
 812         r = TABLE_CreateView( db, szColumns, &tv );
 813         if( r )
 814             return r;
 815
 816         r = tv->ops->execute( tv, 0 );
 817         TRACE("tv execute returned %x\n", r);
 818         if( r )
 819             goto err;
 820
 821         rec = MSI_CreateRecord( 4 );
 822         if( !rec )
 823             goto err;
 824
 825         r = MSI_RecordSetStringW( rec, 1, name );
 826         if( r )
 827             goto err;
 828
 829         /*
 830          * need to set the table, column number, col name and type
 831          * for each column we enter in the table
 832          */
 833         nField = 1;
 834         for( col = col_info; col; col = col->next )
 835         {
 836             r = MSI_RecordSetInteger( rec, 2, nField );
 837             if( r )
 838                 goto err;
 839
 840             r = MSI_RecordSetStringW( rec, 3, col->column );
 841             if( r )
 842                 goto err;
 843
 844             r = MSI_RecordSetInteger( rec, 4, col->type );
 845             if( r )
 846                 goto err;
 847
 848             r = tv->ops->insert_row( tv, rec, -1, FALSE );
 849             if( r )
 850                 goto err;
 851
 852             nField++;
 853         }
 854         if( !col )
 855             r = ERROR_SUCCESS;
 856     }
 857
 858 err:
 859     if (rec)
 860         msiobj_release( &rec->hdr );
 861     /* FIXME: remove values from the string table on error */
 862     if( tv )
 863         tv->ops->delete( tv );
 864
 865     if (r == ERROR_SUCCESS)
 866         list_add_head( &db->tables, &table->entry );
 867     else
 868         free_table( table );
 869
 870     return r;
 871 }
 872
 873 static UINT save_table( MSIDATABASE *db, const MSITABLE *t, UINT bytes_per_strref )
 874 {
 875     BYTE *rawdata = NULL;
 876     UINT rawsize, i, j, row_size, row_count;
 877     UINT r = ERROR_FUNCTION_FAILED;
 878
 879     /* Nothing to do for non-persistent tables */
 880     if( t->persistent == MSICONDITION_FALSE )
 881         return ERROR_SUCCESS;
 882
 883     TRACE("Saving %s\n", debugstr_w( t->name ) );
 884
 885     row_size = msi_table_get_row_size( db, t->colinfo, t->col_count, bytes_per_strref );
 886     row_count = t->row_count;
 887     for (i = 0; i < t->row_count; i++)
 888     {
 889         if (!t->data_persistent[i])
 890         {
 891             row_count = 1; /* yes, this is bizarre */
 892             break;
 893         }
 894     }
 895     rawsize = row_count * row_size;
 896     rawdata = msi_alloc_zero( rawsize );
 897     if( !rawdata )
 898     {
 899         r = ERROR_NOT_ENOUGH_MEMORY;
 900         goto err;
 901     }
 902
 903     rawsize = 0;
 904     for (i = 0; i < t->row_count; i++)
 905     {
 906         UINT ofs = 0, ofs_mem = 0;
 907
 908         if (!t->data_persistent[i]) break;
 909
 910         for (j = 0; j < t->col_count; j++)
 911         {
 912             UINT m = bytes_per_column( db, &t->colinfo[j], LONG_STR_BYTES );
 913             UINT n = bytes_per_column( db, &t->colinfo[j], bytes_per_strref );
 914             UINT k;
 915
 916             if (n != 2 && n != 3 && n != 4)
 917             {
 918                 ERR("oops - unknown column width %d\n", n);
 919                 goto err;
 920             }
 921             if (t->colinfo[j].type & MSITYPE_STRING && n < m)
 922             {
 923                 UINT id = read_table_int( t->data, i, ofs_mem, LONG_STR_BYTES );
 924                 if (id > 1 << bytes_per_strref * 8)
 925                 {
 926                     ERR("string id %u out of range\n", id);
 927                     goto err;
 928                 }
 929             }
 930             for (k = 0; k < n; k++)
 931             {
 932                 rawdata[ofs * row_count + i * n + k] = t->data[i][ofs_mem + k];
 933             }
 934             ofs_mem += m;
 935             ofs += n;
 936         }
 937         rawsize += row_size;
 938     }
 939
 940     TRACE("writing %d bytes\n", rawsize);
 941     r = write_stream_data( db->storage, t->name, rawdata, rawsize, TRUE );
 942
 943 err:
 944     msi_free( rawdata );
 945     return r;
 946 }
 947
 948 static void msi_update_table_columns( MSIDATABASE *db, LPCWSTR name )
 949 {
 950     MSITABLE *table;
 951     UINT size, offset, old_count;
 952     UINT n;
 953
 954     table = find_cached_table( db, name );
 955     old_count = table->col_count;
 956     msi_free_colinfo( table->colinfo, table->col_count );
 957     msi_free( table->colinfo );
 958     table->colinfo = NULL;
 959
 960     table_get_column_info( db, name, &table->colinfo, &table->col_count );
 961     if (!table->col_count) return;
 962
 963     size = msi_table_get_row_size( db, table->colinfo, table->col_count, LONG_STR_BYTES );
 964     offset = table->colinfo[table->col_count - 1].offset;
 965
 966     for ( n = 0; n < table->row_count; n++ )
 967     {
 968         table->data[n] = msi_realloc( table->data[n], size );
 969         if (old_count < table->col_count)
 970             memset( &table->data[n][offset], 0, size - offset );
 971     }
 972 }
 973
 974 /* try to find the table name in the _Tables table */
 975 BOOL TABLE_Exists( MSIDATABASE *db, LPCWSTR name )
 976 {
 977     UINT r, table_id, i;
 978     MSITABLE *table;
 979
 980     if( !strcmpW( name, szTables ) || !strcmpW( name, szColumns ) ||
 981         !strcmpW( name, szStreams ) || !strcmpW( name, szStorages ) )
 982         return TRUE;
 983
 984     r = msi_string2idW( db->strings, name, &table_id );
 985     if( r != ERROR_SUCCESS )
 986     {
 987         TRACE("Couldn't find id for %s\n", debugstr_w(name));
 988         return FALSE;
 989     }
 990
 991     r = get_table( db, szTables, &table );
 992     if( r != ERROR_SUCCESS )
 993     {
 994         ERR("table %s not available\n", debugstr_w(szTables));
 995         return FALSE;
 996     }
 997
 998     for( i = 0; i < table->row_count; i++ )
 999     {
1000         if( read_table_int( table->data, i, 0, LONG_STR_BYTES ) == table_id )
1001             return TRUE;
1002     }
1003
1004     return FALSE;
1005 }
1006
1007 /* below is the query interface to a table */
1008
1009 typedef struct tagMSITABLEVIEW
1010 {
1011     MSIVIEW        view;
1012     MSIDATABASE   *db;
1013     MSITABLE      *table;
1014     MSICOLUMNINFO *columns;
1015     UINT           num_cols;
1016     UINT           row_size;
1017     WCHAR          name[1];
1018 } MSITABLEVIEW;
1019
1020 static UINT TABLE_fetch_int( struct tagMSIVIEW *view, UINT row, UINT col, UINT *val )
1021 {
1022     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1023     UINT offset, n;
1024
1025     if( !tv->table )
1026         return ERROR_INVALID_PARAMETER;
1027
1028     if( (col==0) || (col>tv->num_cols) )
1029         return ERROR_INVALID_PARAMETER;
1030
1031     /* how many rows are there ? */
1032     if( row >= tv->table->row_count )
1033         return ERROR_NO_MORE_ITEMS;
1034
1035     if( tv->columns[col-1].offset >= tv->row_size )
1036     {
1037         ERR("Stuffed up %d >= %d\n", tv->columns[col-1].offset, tv->row_size );
1038         ERR("%p %p\n", tv, tv->columns );
1039         return ERROR_FUNCTION_FAILED;
1040     }
1041
1042     n = bytes_per_column( tv->db, &tv->columns[col - 1], LONG_STR_BYTES );
1043     if (n != 2 && n != 3 && n != 4)
1044     {
1045         ERR("oops! what is %d bytes per column?\n", n );
1046         return ERROR_FUNCTION_FAILED;
1047     }
1048
1049     offset = tv->columns[col-1].offset;
1050     *val = read_table_int(tv->table->data, row, offset, n);
1051
1052     /* TRACE("Data [%d][%d] = %d\n", row, col, *val ); */
1053
1054     return ERROR_SUCCESS;
1055 }
1056
1057 static UINT msi_stream_name( const MSITABLEVIEW *tv, UINT row, LPWSTR *pstname )
1058 {
1059     LPWSTR p, stname = NULL;
1060     UINT i, r, type, ival;
1061     DWORD len;
1062     LPCWSTR sval;
1063     MSIVIEW *view = (MSIVIEW *) tv;
1064
1065     TRACE("%p %d\n", tv, row);
1066
1067     len = lstrlenW( tv->name ) + 1;
1068     stname = msi_alloc( len*sizeof(WCHAR) );
1069     if ( !stname )
1070     {
1071        r = ERROR_OUTOFMEMORY;
1072        goto err;
1073     }
1074
1075     lstrcpyW( stname, tv->name );
1076
1077     for ( i = 0; i < tv->num_cols; i++ )
1078     {
1079         type = tv->columns[i].type;
1080         if ( type & MSITYPE_KEY )
1081         {
1082             WCHAR number[0x20];
1083
1084             r = TABLE_fetch_int( view, row, i+1, &ival );
1085             if ( r != ERROR_SUCCESS )
1086                 goto err;
1087
1088             if ( tv->columns[i].type & MSITYPE_STRING )
1089             {
1090                 sval = msi_string_lookup_id( tv->db->strings, ival );
1091                 if ( !sval )
1092                 {
1093                     r = ERROR_INVALID_PARAMETER;
1094                     goto err;
1095                 }
1096             }
1097             else
1098             {
1099                 static const WCHAR fmt[] = { '%','d',0 };
1100                 UINT n = bytes_per_column( tv->db, &tv->columns[i], LONG_STR_BYTES );
1101
1102                 switch( n )
1103                 {
1104                 case 2:
1105                     sprintfW( number, fmt, ival-0x8000 );
1106                     break;
1107                 case 4:
1108                     sprintfW( number, fmt, ival^0x80000000 );
1109                     break;
1110                 default:
1111                     ERR( "oops - unknown column width %d\n", n );
1112                     r = ERROR_FUNCTION_FAILED;
1113                     goto err;
1114                 }
1115                 sval = number;
1116             }
1117
1118             len += lstrlenW( szDot ) + lstrlenW( sval );
1119             p = msi_realloc ( stname, len*sizeof(WCHAR) );
1120             if ( !p )
1121             {
1122                 r = ERROR_OUTOFMEMORY;
1123                 goto err;
1124             }
1125             stname = p;
1126
1127             lstrcatW( stname, szDot );
1128             lstrcatW( stname, sval );
1129         }
1130         else
1131            continue;
1132     }
1133
1134     *pstname = stname;
1135     return ERROR_SUCCESS;
1136
1137 err:
1138     msi_free( stname );
1139     *pstname = NULL;
1140     return r;
1141 }
1142
1143 /*
1144  * We need a special case for streams, as we need to reference column with
1145  * the name of the stream in the same table, and the table name
1146  * which may not be available at higher levels of the query
1147  */
1148 static UINT TABLE_fetch_stream( struct tagMSIVIEW *view, UINT row, UINT col, IStream **stm )
1149 {
1150     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1151     UINT r;
1152     LPWSTR encname, full_name = NULL;
1153
1154     if( !view->ops->fetch_int )
1155         return ERROR_INVALID_PARAMETER;
1156
1157     r = msi_stream_name( tv, row, &full_name );
1158     if ( r != ERROR_SUCCESS )
1159     {
1160         ERR("fetching stream, error = %d\n", r);
1161         return r;
1162     }
1163
1164     encname = encode_streamname( FALSE, full_name );
1165     r = msi_get_raw_stream( tv->db, encname, stm );
1166     if( r )
1167         ERR("fetching stream %s, error = %d\n",debugstr_w(full_name), r);
1168
1169     msi_free( full_name );
1170     msi_free( encname );
1171     return r;
1172 }
1173
1174 static UINT TABLE_set_int( MSITABLEVIEW *tv, UINT row, UINT col, UINT val )
1175 {
1176     UINT offset, n, i;
1177
1178     if( !tv->table )
1179         return ERROR_INVALID_PARAMETER;
1180
1181     if( (col==0) || (col>tv->num_cols) )
1182         return ERROR_INVALID_PARAMETER;
1183
1184     if( row >= tv->table->row_count )
1185         return ERROR_INVALID_PARAMETER;
1186
1187     if( tv->columns[col-1].offset >= tv->row_size )
1188     {
1189         ERR("Stuffed up %d >= %d\n", tv->columns[col-1].offset, tv->row_size );
1190         ERR("%p %p\n", tv, tv->columns );
1191         return ERROR_FUNCTION_FAILED;
1192     }
1193
1194     msi_free( tv->columns[col-1].hash_table );
1195     tv->columns[col-1].hash_table = NULL;
1196
1197     n = bytes_per_column( tv->db, &tv->columns[col - 1], LONG_STR_BYTES );
1198     if ( n != 2 && n != 3 && n != 4 )
1199     {
1200         ERR("oops! what is %d bytes per column?\n", n );
1201         return ERROR_FUNCTION_FAILED;
1202     }
1203
1204     offset = tv->columns[col-1].offset;
1205     for ( i = 0; i < n; i++ )
1206         tv->table->data[row][offset + i] = (val >> i * 8) & 0xff;
1207
1208     return ERROR_SUCCESS;
1209 }
1210
1211 static UINT TABLE_get_row( struct tagMSIVIEW *view, UINT row, MSIRECORD **rec )
1212 {
1213     MSITABLEVIEW *tv = (MSITABLEVIEW *)view;
1214
1215     if (!tv->table)
1216         return ERROR_INVALID_PARAMETER;
1217
1218     return msi_view_get_row(tv->db, view, row, rec);
1219 }
1220
1221 static UINT msi_addstreamW( MSIDATABASE *db, LPCWSTR name, IStream *data )
1222 {
1223     static const WCHAR insert[] = {
1224         'I','N','S','E','R','T',' ','I','N','T','O',' ',
1225         '`','_','S','t','r','e','a','m','s','`',' ',
1226         '(','`','N','a','m','e','`',',','`','D','a','t','a','`',')',' ',
1227         'V','A','L','U','E','S',' ','(','?',',','?',')',0};
1228     MSIQUERY *query = NULL;
1229     MSIRECORD *rec;
1230     UINT r;
1231
1232     TRACE("%p %s %p\n", db, debugstr_w(name), data);
1233
1234     rec = MSI_CreateRecord( 2 );
1235     if ( !rec )
1236         return ERROR_OUTOFMEMORY;
1237
1238     r = MSI_RecordSetStringW( rec, 1, name );
1239     if ( r != ERROR_SUCCESS )
1240        goto err;
1241
1242     r = MSI_RecordSetIStream( rec, 2, data );
1243     if ( r != ERROR_SUCCESS )
1244        goto err;
1245
1246     r = MSI_DatabaseOpenViewW( db, insert, &query );
1247     if ( r != ERROR_SUCCESS )
1248        goto err;
1249
1250     r = MSI_ViewExecute( query, rec );
1251
1252 err:
1253     msiobj_release( &query->hdr );
1254     msiobj_release( &rec->hdr );
1255     return r;
1256 }
1257
1258 static UINT get_table_value_from_record( MSITABLEVIEW *tv, MSIRECORD *rec, UINT iField, UINT *pvalue )
1259 {
1260     MSICOLUMNINFO columninfo;
1261     UINT r;
1262
1263     if ( (iField <= 0) ||
1264          (iField > tv->num_cols) ||
1265           MSI_RecordIsNull( rec, iField ) )
1266         return ERROR_FUNCTION_FAILED;
1267
1268     columninfo = tv->columns[ iField - 1 ];
1269
1270     if ( MSITYPE_IS_BINARY(columninfo.type) )
1271     {
1272         *pvalue = 1; /* refers to the first key column */
1273     }
1274     else if ( columninfo.type & MSITYPE_STRING )
1275     {
1276         LPCWSTR sval = MSI_RecordGetString( rec, iField );
1277         if (sval)
1278         {
1279             r = msi_string2idW(tv->db->strings, sval, pvalue);
1280             if (r != ERROR_SUCCESS)
1281                 return ERROR_NOT_FOUND;
1282         }
1283         else *pvalue = 0;
1284     }
1285     else if ( bytes_per_column( tv->db, &columninfo, LONG_STR_BYTES ) == 2 )
1286     {
1287         *pvalue = 0x8000 + MSI_RecordGetInteger( rec, iField );
1288         if ( *pvalue & 0xffff0000 )
1289         {
1290             ERR("field %u value %d out of range\n", iField, *pvalue - 0x8000);
1291             return ERROR_FUNCTION_FAILED;
1292         }
1293     }
1294     else
1295     {
1296         INT ival = MSI_RecordGetInteger( rec, iField );
1297         *pvalue = ival ^ 0x80000000;
1298     }
1299
1300     return ERROR_SUCCESS;
1301 }
1302
1303 static UINT TABLE_set_row( struct tagMSIVIEW *view, UINT row, MSIRECORD *rec, UINT mask )
1304 {
1305     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1306     UINT i, val, r = ERROR_SUCCESS;
1307
1308     if ( !tv->table )
1309         return ERROR_INVALID_PARAMETER;
1310
1311     /* test if any of the mask bits are invalid */
1312     if ( mask >= (1<<tv->num_cols) )
1313         return ERROR_INVALID_PARAMETER;
1314
1315     for ( i = 0; i < tv->num_cols; i++ )
1316     {
1317         BOOL persistent;
1318
1319         /* only update the fields specified in the mask */
1320         if ( !(mask&(1<<i)) )
1321             continue;
1322
1323         persistent = (tv->table->persistent != MSICONDITION_FALSE) &&
1324                      (tv->table->data_persistent[row]);
1325         /* FIXME: should we allow updating keys? */
1326
1327         val = 0;
1328         if ( !MSI_RecordIsNull( rec, i + 1 ) )
1329         {
1330             r = get_table_value_from_record (tv, rec, i + 1, &val);
1331             if ( MSITYPE_IS_BINARY(tv->columns[ i ].type) )
1332             {
1333                 IStream *stm;
1334                 LPWSTR stname;
1335
1336                 if ( r != ERROR_SUCCESS )
1337                     return ERROR_FUNCTION_FAILED;
1338
1339                 r = MSI_RecordGetIStream( rec, i + 1, &stm );
1340                 if ( r != ERROR_SUCCESS )
1341                     return r;
1342
1343                 r = msi_stream_name( tv, row, &stname );
1344                 if ( r != ERROR_SUCCESS )
1345                 {
1346                     IStream_Release( stm );
1347                     return r;
1348                 }
1349
1350                 r = msi_addstreamW( tv->db, stname, stm );
1351                 IStream_Release( stm );
1352                 msi_free ( stname );
1353
1354                 if ( r != ERROR_SUCCESS )
1355                     return r;
1356             }
1357             else if ( tv->columns[i].type & MSITYPE_STRING )
1358             {
1359                 UINT x;
1360
1361                 if ( r != ERROR_SUCCESS )
1362                 {
1363                     LPCWSTR sval = MSI_RecordGetString( rec, i + 1 );
1364                     val = msi_addstringW( tv->db->strings, sval, -1, 1,
1365                       persistent ? StringPersistent : StringNonPersistent );
1366                 }
1367                 else
1368                 {
1369                     TABLE_fetch_int(&tv->view, row, i + 1, &x);
1370                     if (val == x)
1371                         continue;
1372                 }
1373             }
1374             else
1375             {
1376                 if ( r != ERROR_SUCCESS )
1377                     return ERROR_FUNCTION_FAILED;
1378             }
1379         }
1380
1381         r = TABLE_set_int( tv, row, i+1, val );
1382         if ( r != ERROR_SUCCESS )
1383             break;
1384     }
1385     return r;
1386 }
1387
1388 static UINT table_create_new_row( struct tagMSIVIEW *view, UINT *num, BOOL temporary )
1389 {
1390     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1391     BYTE **p, *row;
1392     BOOL *b;
1393     UINT sz;
1394     BYTE ***data_ptr;
1395     BOOL **data_persist_ptr;
1396     UINT *row_count;
1397
1398     TRACE("%p %s\n", view, temporary ? "TRUE" : "FALSE");
1399
1400     if( !tv->table )
1401         return ERROR_INVALID_PARAMETER;
1402
1403     row = msi_alloc_zero( tv->row_size );
1404     if( !row )
1405         return ERROR_NOT_ENOUGH_MEMORY;
1406
1407     row_count = &tv->table->row_count;
1408     data_ptr = &tv->table->data;
1409     data_persist_ptr = &tv->table->data_persistent;
1410     if (*num == -1)
1411         *num = tv->table->row_count;
1412
1413     sz = (*row_count + 1) * sizeof (BYTE*);
1414     if( *data_ptr )
1415         p = msi_realloc( *data_ptr, sz );
1416     else
1417         p = msi_alloc( sz );
1418     if( !p )
1419     {
1420         msi_free( row );
1421         return ERROR_NOT_ENOUGH_MEMORY;
1422     }
1423
1424     sz = (*row_count + 1) * sizeof (BOOL);
1425     if( *data_persist_ptr )
1426         b = msi_realloc( *data_persist_ptr, sz );
1427     else
1428         b = msi_alloc( sz );
1429     if( !b )
1430     {
1431         msi_free( row );
1432         msi_free( p );
1433         return ERROR_NOT_ENOUGH_MEMORY;
1434     }
1435
1436     *data_ptr = p;
1437     (*data_ptr)[*row_count] = row;
1438
1439     *data_persist_ptr = b;
1440     (*data_persist_ptr)[*row_count] = !temporary;
1441
1442     (*row_count)++;
1443
1444     return ERROR_SUCCESS;
1445 }
1446
1447 static UINT TABLE_execute( struct tagMSIVIEW *view, MSIRECORD *record )
1448 {
1449     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1450
1451     TRACE("%p %p\n", tv, record);
1452
1453     TRACE("There are %d columns\n", tv->num_cols );
1454
1455     return ERROR_SUCCESS;
1456 }
1457
1458 static UINT TABLE_close( struct tagMSIVIEW *view )
1459 {
1460     TRACE("%p\n", view );
1461
1462     return ERROR_SUCCESS;
1463 }
1464
1465 static UINT TABLE_get_dimensions( struct tagMSIVIEW *view, UINT *rows, UINT *cols)
1466 {
1467     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1468
1469     TRACE("%p %p %p\n", view, rows, cols );
1470
1471     if( cols )
1472         *cols = tv->num_cols;
1473     if( rows )
1474     {
1475         if( !tv->table )
1476             return ERROR_INVALID_PARAMETER;
1477         *rows = tv->table->row_count;
1478     }
1479
1480     return ERROR_SUCCESS;
1481 }
1482
1483 static UINT TABLE_get_column_info( struct tagMSIVIEW *view,
1484                 UINT n, LPCWSTR *name, UINT *type, BOOL *temporary,
1485                 LPCWSTR *table_name )
1486 {
1487     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1488
1489     TRACE("%p %d %p %p\n", tv, n, name, type );
1490
1491     if( ( n == 0 ) || ( n > tv->num_cols ) )
1492         return ERROR_INVALID_PARAMETER;
1493
1494     if( name )
1495     {
1496         *name = tv->columns[n-1].colname;
1497         if( !*name )
1498             return ERROR_FUNCTION_FAILED;
1499     }
1500
1501     if( table_name )
1502     {
1503         *table_name = tv->columns[n-1].tablename;
1504         if( !*table_name )
1505             return ERROR_FUNCTION_FAILED;
1506     }
1507
1508     if( type )
1509         *type = tv->columns[n-1].type;
1510
1511     if( temporary )
1512         *temporary = tv->columns[n-1].temporary;
1513
1514     return ERROR_SUCCESS;
1515 }
1516
1517 static UINT msi_table_find_row( MSITABLEVIEW *tv, MSIRECORD *rec, UINT *row, UINT *column );
1518
1519 static UINT table_validate_new( MSITABLEVIEW *tv, MSIRECORD *rec, UINT *column )
1520 {
1521     UINT r, row, i;
1522
1523     /* check there's no null values where they're not allowed */
1524     for( i = 0; i < tv->num_cols; i++ )
1525     {
1526         if ( tv->columns[i].type & MSITYPE_NULLABLE )
1527             continue;
1528
1529         if ( MSITYPE_IS_BINARY(tv->columns[i].type) )
1530             TRACE("skipping binary column\n");
1531         else if ( tv->columns[i].type & MSITYPE_STRING )
1532         {
1533             LPCWSTR str;
1534
1535             str = MSI_RecordGetString( rec, i+1 );
1536             if (str == NULL || str[0] == 0)
1537             {
1538                 if (column) *column = i;
1539                 return ERROR_INVALID_DATA;
1540             }
1541         }
1542         else
1543         {
1544             UINT n;
1545
1546             n = MSI_RecordGetInteger( rec, i+1 );
1547             if (n == MSI_NULL_INTEGER)
1548             {
1549                 if (column) *column = i;
1550                 return ERROR_INVALID_DATA;
1551             }
1552         }
1553     }
1554
1555     /* check there's no duplicate keys */
1556     r = msi_table_find_row( tv, rec, &row, column );
1557     if (r == ERROR_SUCCESS)
1558         return ERROR_FUNCTION_FAILED;
1559
1560     return ERROR_SUCCESS;
1561 }
1562
1563 static int compare_record( MSITABLEVIEW *tv, UINT row, MSIRECORD *rec )
1564 {
1565     UINT r, i, ivalue, x;
1566
1567     for (i = 0; i < tv->num_cols; i++ )
1568     {
1569         if (!(tv->columns[i].type & MSITYPE_KEY)) continue;
1570
1571         r = get_table_value_from_record( tv, rec, i + 1, &ivalue );
1572         if (r != ERROR_SUCCESS)
1573             return 1;
1574
1575         r = TABLE_fetch_int( &tv->view, row, i + 1, &x );
1576         if (r != ERROR_SUCCESS)
1577         {
1578             WARN("TABLE_fetch_int should not fail here %u\n", r);
1579             return -1;
1580         }
1581         if (ivalue > x)
1582         {
1583             return 1;
1584         }
1585         else if (ivalue == x)
1586         {
1587             if (i < tv->num_cols - 1) continue;
1588             return 0;
1589         }
1590         else
1591             return -1;
1592     }
1593     return 1;
1594 }
1595
1596 static int find_insert_index( MSITABLEVIEW *tv, MSIRECORD *rec )
1597 {
1598     int idx, c, low = 0, high = tv->table->row_count - 1;
1599
1600     TRACE("%p %p\n", tv, rec);
1601
1602     while (low <= high)
1603     {
1604         idx = (low + high) / 2;
1605         c = compare_record( tv, idx, rec );
1606
1607         if (c < 0)
1608             high = idx - 1;
1609         else if (c > 0)
1610             low = idx + 1;
1611         else
1612         {
1613             TRACE("found %u\n", idx);
1614             return idx;
1615         }
1616     }
1617     TRACE("found %u\n", high + 1);
1618     return high + 1;
1619 }
1620
1621 static UINT TABLE_insert_row( struct tagMSIVIEW *view, MSIRECORD *rec, UINT row, BOOL temporary )
1622 {
1623     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1624     UINT i, r;
1625
1626     TRACE("%p %p %s\n", tv, rec, temporary ? "TRUE" : "FALSE" );
1627
1628     /* check that the key is unique - can we find a matching row? */
1629     r = table_validate_new( tv, rec, NULL );
1630     if( r != ERROR_SUCCESS )
1631         return ERROR_FUNCTION_FAILED;
1632
1633     if (row == -1)
1634         row = find_insert_index( tv, rec );
1635
1636     r = table_create_new_row( view, &row, temporary );
1637     TRACE("insert_row returned %08x\n", r);
1638     if( r != ERROR_SUCCESS )
1639         return r;
1640
1641     /* shift the rows to make room for the new row */
1642     for (i = tv->table->row_count - 1; i > row; i--)
1643     {
1644         memmove(&(tv->table->data[i][0]),
1645                 &(tv->table->data[i - 1][0]), tv->row_size);
1646         tv->table->data_persistent[i] = tv->table->data_persistent[i - 1];
1647     }
1648
1649     /* Re-set the persistence flag */
1650     tv->table->data_persistent[row] = !temporary;
1651     return TABLE_set_row( view, row, rec, (1<<tv->num_cols) - 1 );
1652 }
1653
1654 static UINT TABLE_delete_row( struct tagMSIVIEW *view, UINT row )
1655 {
1656     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1657     UINT r, num_rows, num_cols, i;
1658
1659     TRACE("%p %d\n", tv, row);
1660
1661     if ( !tv->table )
1662         return ERROR_INVALID_PARAMETER;
1663
1664     r = TABLE_get_dimensions( view, &num_rows, &num_cols );
1665     if ( r != ERROR_SUCCESS )
1666         return r;
1667
1668     if ( row >= num_rows )
1669         return ERROR_FUNCTION_FAILED;
1670
1671     num_rows = tv->table->row_count;
1672     tv->table->row_count--;
1673
1674     /* reset the hash tables */
1675     for (i = 0; i < tv->num_cols; i++)
1676     {
1677         msi_free( tv->columns[i].hash_table );
1678         tv->columns[i].hash_table = NULL;
1679     }
1680
1681     for (i = row + 1; i < num_rows; i++)
1682     {
1683         memcpy(tv->table->data[i - 1], tv->table->data[i], tv->row_size);
1684         tv->table->data_persistent[i - 1] = tv->table->data_persistent[i];
1685     }
1686
1687     msi_free(tv->table->data[num_rows - 1]);
1688
1689     return ERROR_SUCCESS;
1690 }
1691
1692 static UINT msi_table_update(struct tagMSIVIEW *view, MSIRECORD *rec, UINT row)
1693 {
1694     MSITABLEVIEW *tv = (MSITABLEVIEW *)view;
1695     UINT r, new_row;
1696
1697     /* FIXME: MsiViewFetch should set rec index 0 to some ID that
1698      * sets the fetched record apart from other records
1699      */
1700
1701     if (!tv->table)
1702         return ERROR_INVALID_PARAMETER;
1703
1704     r = msi_table_find_row(tv, rec, &new_row, NULL);
1705     if (r != ERROR_SUCCESS)
1706     {
1707         ERR("can't find row to modify\n");
1708         return ERROR_FUNCTION_FAILED;
1709     }
1710
1711     /* the row cannot be changed */
1712     if (row != new_row + 1)
1713         return ERROR_FUNCTION_FAILED;
1714
1715     return TABLE_set_row(view, new_row, rec, (1 << tv->num_cols) - 1);
1716 }
1717
1718 static UINT msi_table_assign(struct tagMSIVIEW *view, MSIRECORD *rec)
1719 {
1720     MSITABLEVIEW *tv = (MSITABLEVIEW *)view;
1721     UINT r, row;
1722
1723     if (!tv->table)
1724         return ERROR_INVALID_PARAMETER;
1725
1726     r = msi_table_find_row(tv, rec, &row, NULL);
1727     if (r == ERROR_SUCCESS)
1728         return TABLE_set_row(view, row, rec, (1 << tv->num_cols) - 1);
1729     else
1730         return TABLE_insert_row( view, rec, -1, FALSE );
1731 }
1732
1733 static UINT modify_delete_row( struct tagMSIVIEW *view, MSIRECORD *rec )
1734 {
1735     MSITABLEVIEW *tv = (MSITABLEVIEW *)view;
1736     UINT row, r;
1737
1738     r = msi_table_find_row(tv, rec, &row, NULL);
1739     if (r != ERROR_SUCCESS)
1740         return r;
1741
1742     return TABLE_delete_row(view, row);
1743 }
1744
1745 static UINT msi_refresh_record( struct tagMSIVIEW *view, MSIRECORD *rec, UINT row )
1746 {
1747     MSIRECORD *curr;
1748     UINT r, i, count;
1749
1750     r = TABLE_get_row(view, row - 1, &curr);
1751     if (r != ERROR_SUCCESS)
1752         return r;
1753
1754     /* Close the original record */
1755     MSI_CloseRecord(&rec->hdr);
1756
1757     count = MSI_RecordGetFieldCount(rec);
1758     for (i = 0; i < count; i++)
1759         MSI_RecordCopyField(curr, i + 1, rec, i + 1);
1760
1761     msiobj_release(&curr->hdr);
1762     return ERROR_SUCCESS;
1763 }
1764
1765 static UINT TABLE_modify( struct tagMSIVIEW *view, MSIMODIFY eModifyMode,
1766                           MSIRECORD *rec, UINT row)
1767 {
1768     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1769     UINT r, frow, column;
1770
1771     TRACE("%p %d %p\n", view, eModifyMode, rec );
1772
1773     switch (eModifyMode)
1774     {
1775     case MSIMODIFY_DELETE:
1776         r = modify_delete_row( view, rec );
1777         break;
1778     case MSIMODIFY_VALIDATE_NEW:
1779         r = table_validate_new( tv, rec, &column );
1780         if (r != ERROR_SUCCESS)
1781         {
1782             tv->view.error = MSIDBERROR_DUPLICATEKEY;
1783             tv->view.error_column = tv->columns[column].colname;
1784             r = ERROR_INVALID_DATA;
1785         }
1786         break;
1787
1788     case MSIMODIFY_INSERT:
1789         r = table_validate_new( tv, rec, NULL );
1790         if (r != ERROR_SUCCESS)
1791             break;
1792         r = TABLE_insert_row( view, rec, -1, FALSE );
1793         break;
1794
1795     case MSIMODIFY_INSERT_TEMPORARY:
1796         r = table_validate_new( tv, rec, NULL );
1797         if (r != ERROR_SUCCESS)
1798             break;
1799         r = TABLE_insert_row( view, rec, -1, TRUE );
1800         break;
1801
1802     case MSIMODIFY_REFRESH:
1803         r = msi_refresh_record( view, rec, row );
1804         break;
1805
1806     case MSIMODIFY_UPDATE:
1807         r = msi_table_update( view, rec, row );
1808         break;
1809
1810     case MSIMODIFY_ASSIGN:
1811         r = msi_table_assign( view, rec );
1812         break;
1813
1814     case MSIMODIFY_MERGE:
1815         /* check row that matches this record */
1816         r = msi_table_find_row( tv, rec, &frow, &column );
1817         if (r != ERROR_SUCCESS)
1818         {
1819             r = table_validate_new( tv, rec, NULL );
1820             if (r == ERROR_SUCCESS)
1821                 r = TABLE_insert_row( view, rec, -1, FALSE );
1822         }
1823         break;
1824
1825     case MSIMODIFY_REPLACE:
1826     case MSIMODIFY_VALIDATE:
1827     case MSIMODIFY_VALIDATE_FIELD:
1828     case MSIMODIFY_VALIDATE_DELETE:
1829         FIXME("%p %d %p - mode not implemented\n", view, eModifyMode, rec );
1830         r = ERROR_CALL_NOT_IMPLEMENTED;
1831         break;
1832
1833     default:
1834         r = ERROR_INVALID_DATA;
1835     }
1836
1837     return r;
1838 }
1839
1840 static UINT TABLE_delete( struct tagMSIVIEW *view )
1841 {
1842     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1843
1844     TRACE("%p\n", view );
1845
1846     tv->table = NULL;
1847     tv->columns = NULL;
1848
1849     msi_free( tv );
1850
1851     return ERROR_SUCCESS;
1852 }
1853
1854 static UINT TABLE_find_matching_rows( struct tagMSIVIEW *view, UINT col,
1855     UINT val, UINT *row, MSIITERHANDLE *handle )
1856 {
1857     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1858     const MSICOLUMNHASHENTRY *entry;
1859
1860     TRACE("%p, %d, %u, %p\n", view, col, val, *handle);
1861
1862     if( !tv->table )
1863         return ERROR_INVALID_PARAMETER;
1864
1865     if( (col==0) || (col > tv->num_cols) )
1866         return ERROR_INVALID_PARAMETER;
1867
1868     if( !tv->columns[col-1].hash_table )
1869     {
1870         UINT i;
1871         UINT num_rows = tv->table->row_count;
1872         MSICOLUMNHASHENTRY **hash_table;
1873         MSICOLUMNHASHENTRY *new_entry;
1874
1875         if( tv->columns[col-1].offset >= tv->row_size )
1876         {
1877             ERR("Stuffed up %d >= %d\n", tv->columns[col-1].offset, tv->row_size );
1878             ERR("%p %p\n", tv, tv->columns );
1879             return ERROR_FUNCTION_FAILED;
1880         }
1881
1882         /* allocate contiguous memory for the table and its entries so we
1883          * don't have to do an expensive cleanup */
1884         hash_table = msi_alloc(MSITABLE_HASH_TABLE_SIZE * sizeof(MSICOLUMNHASHENTRY*) +
1885             num_rows * sizeof(MSICOLUMNHASHENTRY));
1886         if (!hash_table)
1887             return ERROR_OUTOFMEMORY;
1888
1889         memset(hash_table, 0, MSITABLE_HASH_TABLE_SIZE * sizeof(MSICOLUMNHASHENTRY*));
1890         tv->columns[col-1].hash_table = hash_table;
1891
1892         new_entry = (MSICOLUMNHASHENTRY *)(hash_table + MSITABLE_HASH_TABLE_SIZE);
1893
1894         for (i = 0; i < num_rows; i++, new_entry++)
1895         {
1896             UINT row_value;
1897
1898             if (view->ops->fetch_int( view, i, col, &row_value ) != ERROR_SUCCESS)
1899                 continue;
1900
1901             new_entry->next = NULL;
1902             new_entry->value = row_value;
1903             new_entry->row = i;
1904             if (hash_table[row_value % MSITABLE_HASH_TABLE_SIZE])
1905             {
1906                 MSICOLUMNHASHENTRY *prev_entry = hash_table[row_value % MSITABLE_HASH_TABLE_SIZE];
1907                 while (prev_entry->next)
1908                     prev_entry = prev_entry->next;
1909                 prev_entry->next = new_entry;
1910             }
1911             else
1912                 hash_table[row_value % MSITABLE_HASH_TABLE_SIZE] = new_entry;
1913         }
1914     }
1915
1916     if( !*handle )
1917         entry = tv->columns[col-1].hash_table[val % MSITABLE_HASH_TABLE_SIZE];
1918     else
1919         entry = (*handle)->next;
1920
1921     while (entry && entry->value != val)
1922         entry = entry->next;
1923
1924     *handle = entry;
1925     if (!entry)
1926         return ERROR_NO_MORE_ITEMS;
1927
1928     *row = entry->row;
1929
1930     return ERROR_SUCCESS;
1931 }
1932
1933 static UINT TABLE_add_ref(struct tagMSIVIEW *view)
1934 {
1935     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1936     UINT i;
1937
1938     TRACE("%p %d\n", view, tv->table->ref_count);
1939
1940     for (i = 0; i < tv->table->col_count; i++)
1941     {
1942         if (tv->table->colinfo[i].type & MSITYPE_TEMPORARY)
1943             InterlockedIncrement(&tv->table->colinfo[i].ref_count);
1944     }
1945
1946     return InterlockedIncrement(&tv->table->ref_count);
1947 }
1948
1949 static UINT TABLE_remove_column(struct tagMSIVIEW *view, LPCWSTR table, UINT number)
1950 {
1951     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1952     MSIRECORD *rec = NULL;
1953     MSIVIEW *columns = NULL;
1954     UINT row, r;
1955
1956     rec = MSI_CreateRecord(2);
1957     if (!rec)
1958         return ERROR_OUTOFMEMORY;
1959
1960     MSI_RecordSetStringW(rec, 1, table);
1961     MSI_RecordSetInteger(rec, 2, number);
1962
1963     r = TABLE_CreateView(tv->db, szColumns, &columns);
1964     if (r != ERROR_SUCCESS)
1965         return r;
1966
1967     r = msi_table_find_row((MSITABLEVIEW *)columns, rec, &row, NULL);
1968     if (r != ERROR_SUCCESS)
1969         goto done;
1970
1971     r = TABLE_delete_row(columns, row);
1972     if (r != ERROR_SUCCESS)
1973         goto done;
1974
1975     msi_update_table_columns(tv->db, table);
1976
1977 done:
1978     msiobj_release(&rec->hdr);
1979     columns->ops->delete(columns);
1980     return r;
1981 }
1982
1983 static UINT TABLE_release(struct tagMSIVIEW *view)
1984 {
1985     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1986     INT ref = tv->table->ref_count;
1987     UINT i, r;
1988
1989     TRACE("%p %d\n", view, ref);
1990
1991     for (i = 0; i < tv->table->col_count; i++)
1992     {
1993         if (tv->table->colinfo[i].type & MSITYPE_TEMPORARY)
1994         {
1995             ref = InterlockedDecrement(&tv->table->colinfo[i].ref_count);
1996             if (ref == 0)
1997             {
1998                 r = TABLE_remove_column(view, tv->table->colinfo[i].tablename,
1999                                         tv->table->colinfo[i].number);
2000                 if (r != ERROR_SUCCESS)
2001                     break;
2002             }
2003         }
2004     }
2005
2006     ref = InterlockedDecrement(&tv->table->ref_count);
2007     if (ref == 0)
2008     {
2009         if (!tv->table->row_count)
2010         {
2011             list_remove(&tv->table->entry);
2012             free_table(tv->table);
2013             TABLE_delete(view);
2014         }
2015     }
2016
2017     return ref;
2018 }
2019
2020 static UINT TABLE_add_column(struct tagMSIVIEW *view, LPCWSTR table, UINT number,
2021                              LPCWSTR column, UINT type, BOOL hold)
2022 {
2023     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
2024     MSITABLE *msitable;
2025     MSIRECORD *rec;
2026     UINT r, i;
2027
2028     rec = MSI_CreateRecord(4);
2029     if (!rec)
2030         return ERROR_OUTOFMEMORY;
2031
2032     MSI_RecordSetStringW(rec, 1, table);
2033     MSI_RecordSetInteger(rec, 2, number);
2034     MSI_RecordSetStringW(rec, 3, column);
2035     MSI_RecordSetInteger(rec, 4, type);
2036
2037     r = TABLE_insert_row(&tv->view, rec, -1, FALSE);
2038     if (r != ERROR_SUCCESS)
2039         goto done;
2040
2041     msi_update_table_columns(tv->db, table);
2042
2043     if (!hold)
2044         goto done;
2045
2046     msitable = find_cached_table(tv->db, table);
2047     for (i = 0; i < msitable->col_count; i++)
2048     {
2049         if (!strcmpW( msitable->colinfo[i].colname, column ))
2050         {
2051             InterlockedIncrement(&msitable->colinfo[i].ref_count);
2052             break;
2053         }
2054     }
2055
2056 done:
2057     msiobj_release(&rec->hdr);
2058     return r;
2059 }
2060
2061 static UINT TABLE_drop(struct tagMSIVIEW *view)
2062 {
2063     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
2064     MSIVIEW *tables = NULL;
2065     MSIRECORD *rec = NULL;
2066     UINT r, row;
2067     INT i;
2068
2069     TRACE("dropping table %s\n", debugstr_w(tv->name));
2070
2071     for (i = tv->table->col_count - 1; i >= 0; i--)
2072     {
2073         r = TABLE_remove_column(view, tv->table->colinfo[i].tablename,
2074                                 tv->table->colinfo[i].number);
2075         if (r != ERROR_SUCCESS)
2076             return r;
2077     }
2078
2079     rec = MSI_CreateRecord(1);
2080     if (!rec)
2081         return ERROR_OUTOFMEMORY;
2082
2083     MSI_RecordSetStringW(rec, 1, tv->name);
2084
2085     r = TABLE_CreateView(tv->db, szTables, &tables);
2086     if (r != ERROR_SUCCESS)
2087         return r;
2088
2089     r = msi_table_find_row((MSITABLEVIEW *)tables, rec, &row, NULL);
2090     if (r != ERROR_SUCCESS)
2091         goto done;
2092
2093     r = TABLE_delete_row(tables, row);
2094     if (r != ERROR_SUCCESS)
2095         goto done;
2096
2097     list_remove(&tv->table->entry);
2098     free_table(tv->table);
2099
2100 done:
2101     msiobj_release(&rec->hdr);
2102     tables->ops->delete(tables);
2103
2104     return r;
2105 }
2106
2107 static const MSIVIEWOPS table_ops =
2108 {
2109     TABLE_fetch_int,
2110     TABLE_fetch_stream,
2111     TABLE_get_row,
2112     TABLE_set_row,
2113     TABLE_insert_row,
2114     TABLE_delete_row,
2115     TABLE_execute,
2116     TABLE_close,
2117     TABLE_get_dimensions,
2118     TABLE_get_column_info,
2119     TABLE_modify,
2120     TABLE_delete,
2121     TABLE_find_matching_rows,
2122     TABLE_add_ref,
2123     TABLE_release,
2124     TABLE_add_column,
2125     TABLE_remove_column,
2126     NULL,
2127     TABLE_drop,
2128 };
2129
2130 UINT TABLE_CreateView( MSIDATABASE *db, LPCWSTR name, MSIVIEW **view )
2131 {
2132     MSITABLEVIEW *tv ;
2133     UINT r, sz;
2134
2135     TRACE("%p %s %p\n", db, debugstr_w(name), view );
2136
2137     if ( !strcmpW( name, szStreams ) )
2138         return STREAMS_CreateView( db, view );
2139     else if ( !strcmpW( name, szStorages ) )
2140         return STORAGES_CreateView( db, view );
2141
2142     sz = sizeof *tv + lstrlenW(name)*sizeof name[0] ;
2143     tv = msi_alloc_zero( sz );
2144     if( !tv )
2145         return ERROR_FUNCTION_FAILED;
2146
2147     r = get_table( db, name, &tv->table );
2148     if( r != ERROR_SUCCESS )
2149     {
2150         msi_free( tv );
2151         WARN("table not found\n");
2152         return r;
2153     }
2154
2155     TRACE("table %p found with %d columns\n", tv->table, tv->table->col_count);
2156
2157     /* fill the structure */
2158     tv->view.ops = &table_ops;
2159     tv->db = db;
2160     tv->columns = tv->table->colinfo;
2161     tv->num_cols = tv->table->col_count;
2162     tv->row_size = msi_table_get_row_size( db, tv->table->colinfo, tv->table->col_count, LONG_STR_BYTES );
2163
2164     TRACE("%s one row is %d bytes\n", debugstr_w(name), tv->row_size );
2165
2166     *view = (MSIVIEW*) tv;
2167     lstrcpyW( tv->name, name );
2168
2169     return ERROR_SUCCESS;
2170 }
2171
2172 UINT MSI_CommitTables( MSIDATABASE *db )
2173 {
2174     UINT r, bytes_per_strref;
2175     HRESULT hr;
2176     MSITABLE *table = NULL;
2177
2178     TRACE("%p\n",db);
2179
2180     r = msi_save_string_table( db->strings, db->storage, &bytes_per_strref );
2181     if( r != ERROR_SUCCESS )
2182     {
2183         WARN("failed to save string table r=%08x\n",r);
2184         return r;
2185     }
2186
2187     LIST_FOR_EACH_ENTRY( table, &db->tables, MSITABLE, entry )
2188     {
2189         r = save_table( db, table, bytes_per_strref );
2190         if( r != ERROR_SUCCESS )
2191         {
2192             WARN("failed to save table %s (r=%08x)\n",
2193                   debugstr_w(table->name), r);
2194             return r;
2195         }
2196     }
2197
2198     hr = IStorage_Commit( db->storage, 0 );
2199     if (FAILED( hr ))
2200     {
2201         WARN("failed to commit changes 0x%08x\n", hr);
2202         r = ERROR_FUNCTION_FAILED;
2203     }
2204     return r;
2205 }
2206
2207 MSICONDITION MSI_DatabaseIsTablePersistent( MSIDATABASE *db, LPCWSTR table )
2208 {
2209     MSITABLE *t;
2210     UINT r;
2211
2212     TRACE("%p %s\n", db, debugstr_w(table));
2213
2214     if (!table)
2215         return MSICONDITION_ERROR;
2216
2217     r = get_table( db, table, &t );
2218     if (r != ERROR_SUCCESS)
2219         return MSICONDITION_NONE;
2220
2221     return t->persistent;
2222 }
2223
2224 static UINT read_raw_int(const BYTE *data, UINT col, UINT bytes)
2225 {
2226     UINT ret = 0, i;
2227
2228     for (i = 0; i < bytes; i++)
2229         ret += (data[col + i] << i * 8);
2230
2231     return ret;
2232 }
2233
2234 static UINT msi_record_encoded_stream_name( const MSITABLEVIEW *tv, MSIRECORD *rec, LPWSTR *pstname )
2235 {
2236     LPWSTR stname = NULL, sval, p;
2237     DWORD len;
2238     UINT i, r;
2239
2240     TRACE("%p %p\n", tv, rec);
2241
2242     len = lstrlenW( tv->name ) + 1;
2243     stname = msi_alloc( len*sizeof(WCHAR) );
2244     if ( !stname )
2245     {
2246        r = ERROR_OUTOFMEMORY;
2247        goto err;
2248     }
2249
2250     lstrcpyW( stname, tv->name );
2251
2252     for ( i = 0; i < tv->num_cols; i++ )
2253     {
2254         if ( tv->columns[i].type & MSITYPE_KEY )
2255         {
2256             sval = msi_dup_record_field( rec, i + 1 );
2257             if ( !sval )
2258             {
2259                 r = ERROR_OUTOFMEMORY;
2260                 goto err;
2261             }
2262
2263             len += lstrlenW( szDot ) + lstrlenW ( sval );
2264             p = msi_realloc ( stname, len*sizeof(WCHAR) );
2265             if ( !p )
2266             {
2267                 r = ERROR_OUTOFMEMORY;
2268                 goto err;
2269             }
2270             stname = p;
2271
2272             lstrcatW( stname, szDot );
2273             lstrcatW( stname, sval );
2274
2275             msi_free( sval );
2276         }
2277         else
2278             continue;
2279     }
2280
2281     *pstname = encode_streamname( FALSE, stname );
2282     msi_free( stname );
2283
2284     return ERROR_SUCCESS;
2285
2286 err:
2287     msi_free ( stname );
2288     *pstname = NULL;
2289     return r;
2290 }
2291
2292 static MSIRECORD *msi_get_transform_record( const MSITABLEVIEW *tv, const string_table *st,
2293                                             IStorage *stg,
2294                                             const BYTE *rawdata, UINT bytes_per_strref )
2295 {
2296     UINT i, val, ofs = 0;
2297     USHORT mask;
2298     MSICOLUMNINFO *columns = tv->columns;
2299     MSIRECORD *rec;
2300
2301     mask = rawdata[0] | (rawdata[1] << 8);
2302     rawdata += 2;
2303
2304     rec = MSI_CreateRecord( tv->num_cols );
2305     if( !rec )
2306         return rec;
2307
2308     TRACE("row ->\n");
2309     for( i=0; i<tv->num_cols; i++ )
2310     {
2311         if ( (mask&1) && (i>=(mask>>8)) )
2312             break;
2313         /* all keys must be present */
2314         if ( (~mask&1) && (~columns[i].type & MSITYPE_KEY) && ((1<<i) & ~mask) )
2315             continue;
2316
2317         if( MSITYPE_IS_BINARY(tv->columns[i].type) )
2318         {
2319             LPWSTR encname;
2320             IStream *stm = NULL;
2321             UINT r;
2322
2323             ofs += bytes_per_column( tv->db, &columns[i], bytes_per_strref );
2324
2325             r = msi_record_encoded_stream_name( tv, rec, &encname );
2326             if ( r != ERROR_SUCCESS )
2327                 return NULL;
2328
2329             r = IStorage_OpenStream( stg, encname, NULL,
2330                      STGM_READ | STGM_SHARE_EXCLUSIVE, 0, &stm );
2331             if ( r != ERROR_SUCCESS )
2332             {
2333                 msi_free( encname );
2334                 return NULL;
2335             }
2336
2337             MSI_RecordSetStream( rec, i+1, stm );
2338             TRACE(" field %d [%s]\n", i+1, debugstr_w(encname));
2339             msi_free( encname );
2340         }
2341         else if( columns[i].type & MSITYPE_STRING )
2342         {
2343             LPCWSTR sval;
2344
2345             val = read_raw_int(rawdata, ofs, bytes_per_strref);
2346             sval = msi_string_lookup_id( st, val );
2347             MSI_RecordSetStringW( rec, i+1, sval );
2348             TRACE(" field %d [%s]\n", i+1, debugstr_w(sval));
2349             ofs += bytes_per_strref;
2350         }
2351         else
2352         {
2353             UINT n = bytes_per_column( tv->db, &columns[i], bytes_per_strref );
2354             switch( n )
2355             {
2356             case 2:
2357                 val = read_raw_int(rawdata, ofs, n);
2358                 if (val)
2359                     MSI_RecordSetInteger( rec, i+1, val-0x8000 );
2360                 TRACE(" field %d [0x%04x]\n", i+1, val );
2361                 break;
2362             case 4:
2363                 val = read_raw_int(rawdata, ofs, n);
2364                 if (val)
2365                     MSI_RecordSetInteger( rec, i+1, val^0x80000000 );
2366                 TRACE(" field %d [0x%08x]\n", i+1, val );
2367                 break;
2368             default:
2369                 ERR("oops - unknown column width %d\n", n);
2370                 break;
2371             }
2372             ofs += n;
2373         }
2374     }
2375     return rec;
2376 }
2377
2378 static void dump_record( MSIRECORD *rec )
2379 {
2380     UINT i, n;
2381
2382     n = MSI_RecordGetFieldCount( rec );
2383     for( i=1; i<=n; i++ )
2384     {
2385         LPCWSTR sval;
2386
2387         if( MSI_RecordIsNull( rec, i ) )
2388             TRACE("row -> []\n");
2389         else if( (sval = MSI_RecordGetString( rec, i )) )
2390             TRACE("row -> [%s]\n", debugstr_w(sval));
2391         else
2392             TRACE("row -> [0x%08x]\n", MSI_RecordGetInteger( rec, i ) );
2393     }
2394 }
2395
2396 static void dump_table( const string_table *st, const USHORT *rawdata, UINT rawsize )
2397 {
2398     LPCWSTR sval;
2399     UINT i;
2400
2401     for( i=0; i<(rawsize/2); i++ )
2402     {
2403         sval = msi_string_lookup_id( st, rawdata[i] );
2404         MESSAGE(" %04x %s\n", rawdata[i], debugstr_w(sval) );
2405     }
2406 }
2407
2408 static UINT* msi_record_to_row( const MSITABLEVIEW *tv, MSIRECORD *rec )
2409 {
2410     LPCWSTR str;
2411     UINT i, r, *data;
2412
2413     data = msi_alloc( tv->num_cols *sizeof (UINT) );
2414     for( i=0; i<tv->num_cols; i++ )
2415     {
2416         data[i] = 0;
2417
2418         if ( ~tv->columns[i].type & MSITYPE_KEY )
2419             continue;
2420
2421         /* turn the transform column value into a row value */
2422         if ( ( tv->columns[i].type & MSITYPE_STRING ) &&
2423              ! MSITYPE_IS_BINARY(tv->columns[i].type) )
2424         {
2425             str = MSI_RecordGetString( rec, i+1 );
2426             if (str)
2427             {
2428                 r = msi_string2idW( tv->db->strings, str, &data[i] );
2429
2430                 /* if there's no matching string in the string table,
2431                    these keys can't match any record, so fail now. */
2432                 if (r != ERROR_SUCCESS)
2433                 {
2434                     msi_free( data );
2435                     return NULL;
2436                 }
2437             }
2438             else data[i] = 0;
2439         }
2440         else
2441         {
2442             data[i] = MSI_RecordGetInteger( rec, i+1 );
2443
2444             if (data[i] == MSI_NULL_INTEGER)
2445                 data[i] = 0;
2446             else if ((tv->columns[i].type&0xff) == 2)
2447                 data[i] += 0x8000;
2448             else
2449                 data[i] += 0x80000000;
2450         }
2451     }
2452     return data;
2453 }
2454
2455 static UINT msi_row_matches( MSITABLEVIEW *tv, UINT row, const UINT *data, UINT *column )
2456 {
2457     UINT i, r, x, ret = ERROR_FUNCTION_FAILED;
2458
2459     for( i=0; i<tv->num_cols; i++ )
2460     {
2461         if ( ~tv->columns[i].type & MSITYPE_KEY )
2462             continue;
2463
2464         /* turn the transform column value into a row value */
2465         r = TABLE_fetch_int( &tv->view, row, i+1, &x );
2466         if ( r != ERROR_SUCCESS )
2467         {
2468             ERR("TABLE_fetch_int shouldn't fail here\n");
2469             break;
2470         }
2471
2472         /* if this key matches, move to the next column */
2473         if ( x != data[i] )
2474         {
2475             ret = ERROR_FUNCTION_FAILED;
2476             break;
2477         }
2478         if (column) *column = i;
2479         ret = ERROR_SUCCESS;
2480     }
2481     return ret;
2482 }
2483
2484 static UINT msi_table_find_row( MSITABLEVIEW *tv, MSIRECORD *rec, UINT *row, UINT *column )
2485 {
2486     UINT i, r = ERROR_FUNCTION_FAILED, *data;
2487
2488     data = msi_record_to_row( tv, rec );
2489     if( !data )
2490         return r;
2491     for( i = 0; i < tv->table->row_count; i++ )
2492     {
2493         r = msi_row_matches( tv, i, data, column );
2494         if( r == ERROR_SUCCESS )
2495         {
2496             *row = i;
2497             break;
2498         }
2499     }
2500     msi_free( data );
2501     return r;
2502 }
2503
2504 typedef struct
2505 {
2506     struct list entry;
2507     LPWSTR name;
2508 } TRANSFORMDATA;
2509
2510 static UINT msi_table_load_transform( MSIDATABASE *db, IStorage *stg,
2511                                       string_table *st, TRANSFORMDATA *transform,
2512                                       UINT bytes_per_strref )
2513 {
2514     BYTE *rawdata = NULL;
2515     MSITABLEVIEW *tv = NULL;
2516     UINT r, n, sz, i, mask, num_cols, colcol = 0, rawsize = 0;
2517     MSIRECORD *rec = NULL;
2518     WCHAR coltable[32];
2519     const WCHAR *name;
2520
2521     if (!transform)
2522         return ERROR_SUCCESS;
2523
2524     name = transform->name;
2525
2526     coltable[0] = 0;
2527     TRACE("%p %p %p %s\n", db, stg, st, debugstr_w(name) );
2528
2529     /* read the transform data */
2530     read_stream_data( stg, name, TRUE, &rawdata, &rawsize );
2531     if ( !rawdata )
2532     {
2533         TRACE("table %s empty\n", debugstr_w(name) );
2534         return ERROR_INVALID_TABLE;
2535     }
2536
2537     /* create a table view */
2538     r = TABLE_CreateView( db, name, (MSIVIEW**) &tv );
2539     if( r != ERROR_SUCCESS )
2540         goto err;
2541
2542     r = tv->view.ops->execute( &tv->view, NULL );
2543     if( r != ERROR_SUCCESS )
2544         goto err;
2545
2546     TRACE("name = %s columns = %u row_size = %u raw size = %u\n",
2547           debugstr_w(name), tv->num_cols, tv->row_size, rawsize );
2548
2549     /* interpret the data */
2550     for (n = 0; n < rawsize;)
2551     {
2552         mask = rawdata[n] | (rawdata[n + 1] << 8);
2553         if (mask & 1)
2554         {
2555             /*
2556              * if the low bit is set, columns are continuous and
2557              * the number of columns is specified in the high byte
2558              */
2559             sz = 2;
2560             num_cols = mask >> 8;
2561             for (i = 0; i < num_cols; i++)
2562             {
2563                 if( (tv->columns[i].type & MSITYPE_STRING) &&
2564                     ! MSITYPE_IS_BINARY(tv->columns[i].type) )
2565                     sz += bytes_per_strref;
2566                 else
2567                     sz += bytes_per_column( tv->db, &tv->columns[i], bytes_per_strref );
2568             }
2569         }
2570         else
2571         {
2572             /*
2573              * If the low bit is not set, mask is a bitmask.
2574              * Excepting for key fields, which are always present,
2575              *  each bit indicates that a field is present in the transform record.
2576              *
2577              * mask == 0 is a special case ... only the keys will be present
2578              * and it means that this row should be deleted.
2579              */
2580             sz = 2;
2581             num_cols = tv->num_cols;
2582             for (i = 0; i < num_cols; i++)
2583             {
2584                 if ((tv->columns[i].type & MSITYPE_KEY) || ((1 << i) & mask))
2585                 {
2586                     if ((tv->columns[i].type & MSITYPE_STRING) &&
2587                         !MSITYPE_IS_BINARY(tv->columns[i].type))
2588                         sz += bytes_per_strref;
2589                     else
2590                         sz += bytes_per_column( tv->db, &tv->columns[i], bytes_per_strref );
2591                 }
2592             }
2593         }
2594
2595         /* check we didn't run of the end of the table */
2596         if (n + sz > rawsize)
2597         {
2598             ERR("borked.\n");
2599             dump_table( st, (USHORT *)rawdata, rawsize );
2600             break;
2601         }
2602
2603         rec = msi_get_transform_record( tv, st, stg, &rawdata[n], bytes_per_strref );
2604         if (rec)
2605         {
2606             WCHAR table[32];
2607             DWORD sz = 32;
2608             UINT number = MSI_NULL_INTEGER;
2609             UINT row = 0;
2610
2611             if (!strcmpW( name, szColumns ))
2612             {
2613                 MSI_RecordGetStringW( rec, 1, table, &sz );
2614                 number = MSI_RecordGetInteger( rec, 2 );
2615
2616                 /*
2617                  * Native msi seems writes nul into the Number (2nd) column of
2618                  * the _Columns table, only when the columns are from a new table
2619                  */
2620                 if ( number == MSI_NULL_INTEGER )
2621                 {
2622                     /* reset the column number on a new table */
2623                     if (strcmpW( coltable, table ))
2624                     {
2625                         colcol = 0;
2626                         lstrcpyW( coltable, table );
2627                     }
2628
2629                     /* fix nul column numbers */
2630                     MSI_RecordSetInteger( rec, 2, ++colcol );
2631                 }
2632             }
2633
2634             if (TRACE_ON(msidb)) dump_record( rec );
2635
2636             r = msi_table_find_row( tv, rec, &row, NULL );
2637             if (r == ERROR_SUCCESS)
2638             {
2639                 if (!mask)
2640                 {
2641                     TRACE("deleting row [%d]:\n", row);
2642                     r = TABLE_delete_row( &tv->view, row );
2643                     if (r != ERROR_SUCCESS)
2644                         WARN("failed to delete row %u\n", r);
2645                 }
2646                 else if (mask & 1)
2647                 {
2648                     TRACE("modifying full row [%d]:\n", row);
2649                     r = TABLE_set_row( &tv->view, row, rec, (1 << tv->num_cols) - 1 );
2650                     if (r != ERROR_SUCCESS)
2651                         WARN("failed to modify row %u\n", r);
2652                 }
2653                 else
2654                 {
2655                     TRACE("modifying masked row [%d]:\n", row);
2656                     r = TABLE_set_row( &tv->view, row, rec, mask );
2657                     if (r != ERROR_SUCCESS)
2658                         WARN("failed to modify row %u\n", r);
2659                 }
2660             }
2661             else
2662             {
2663                 TRACE("inserting row\n");
2664                 r = TABLE_insert_row( &tv->view, rec, -1, FALSE );
2665                 if (r != ERROR_SUCCESS)
2666                     WARN("failed to insert row %u\n", r);
2667             }
2668
2669             if (number != MSI_NULL_INTEGER && !strcmpW( name, szColumns ))
2670                 msi_update_table_columns( db, table );
2671
2672             msiobj_release( &rec->hdr );
2673         }
2674
2675         n += sz;
2676     }
2677
2678 err:
2679     /* no need to free the table, it's associated with the database */
2680     msi_free( rawdata );
2681     if( tv )
2682         tv->view.ops->delete( &tv->view );
2683
2684     return ERROR_SUCCESS;
2685 }
2686
2687 /*
2688  * msi_table_apply_transform
2689  *
2690  * Enumerate the table transforms in a transform storage and apply each one.
2691  */
2692 UINT msi_table_apply_transform( MSIDATABASE *db, IStorage *stg )
2693 {
2694     struct list transforms;
2695     IEnumSTATSTG *stgenum = NULL;
2696     TRANSFORMDATA *transform;
2697     TRANSFORMDATA *tables = NULL, *columns = NULL;
2698     HRESULT r;
2699     STATSTG stat;
2700     string_table *strings;
2701     UINT ret = ERROR_FUNCTION_FAILED;
2702     UINT bytes_per_strref;
2703
2704     TRACE("%p %p\n", db, stg );
2705
2706     strings = msi_load_string_table( stg, &bytes_per_strref );
2707     if( !strings )
2708         goto end;
2709
2710     r = IStorage_EnumElements( stg, 0, NULL, 0, &stgenum );
2711     if( FAILED( r ) )
2712         goto end;
2713
2714     list_init(&transforms);
2715
2716     while ( TRUE )
2717     {
2718         MSITABLEVIEW *tv = NULL;
2719         WCHAR name[0x40];
2720         ULONG count = 0;
2721
2722         r = IEnumSTATSTG_Next( stgenum, 1, &stat, &count );
2723         if ( FAILED( r ) || !count )
2724             break;
2725
2726         decode_streamname( stat.pwcsName, name );
2727         CoTaskMemFree( stat.pwcsName );
2728         if ( name[0] != 0x4840 )
2729             continue;
2730
2731         if ( !strcmpW( name+1, szStringPool ) ||
2732              !strcmpW( name+1, szStringData ) )
2733             continue;
2734
2735         transform = msi_alloc_zero( sizeof(TRANSFORMDATA) );
2736         if ( !transform )
2737             break;
2738
2739         list_add_tail( &transforms, &transform->entry );
2740
2741         transform->name = strdupW( name + 1 );
2742
2743         if ( !strcmpW( transform->name, szTables ) )
2744             tables = transform;
2745         else if (!strcmpW( transform->name, szColumns ) )
2746             columns = transform;
2747
2748         TRACE("transform contains stream %s\n", debugstr_w(name));
2749
2750         /* load the table */
2751         r = TABLE_CreateView( db, transform->name, (MSIVIEW**) &tv );
2752         if( r != ERROR_SUCCESS )
2753             continue;
2754
2755         r = tv->view.ops->execute( &tv->view, NULL );
2756         if( r != ERROR_SUCCESS )
2757         {
2758             tv->view.ops->delete( &tv->view );
2759             continue;
2760         }
2761
2762         tv->view.ops->delete( &tv->view );
2763     }
2764
2765     /*
2766      * Apply _Tables and _Columns transforms first so that
2767      * the table metadata is correct, and empty tables exist.
2768      */
2769     ret = msi_table_load_transform( db, stg, strings, tables, bytes_per_strref );
2770     if (ret != ERROR_SUCCESS && ret != ERROR_INVALID_TABLE)
2771         goto end;
2772
2773     ret = msi_table_load_transform( db, stg, strings, columns, bytes_per_strref );
2774     if (ret != ERROR_SUCCESS && ret != ERROR_INVALID_TABLE)
2775         goto end;
2776
2777     ret = ERROR_SUCCESS;
2778
2779     while ( !list_empty( &transforms ) )
2780     {
2781         transform = LIST_ENTRY( list_head( &transforms ), TRANSFORMDATA, entry );
2782
2783         if ( strcmpW( transform->name, szColumns ) &&
2784              strcmpW( transform->name, szTables ) &&
2785              ret == ERROR_SUCCESS )
2786         {
2787             ret = msi_table_load_transform( db, stg, strings, transform, bytes_per_strref );
2788         }
2789
2790         list_remove( &transform->entry );
2791         msi_free( transform->name );
2792         msi_free( transform );
2793     }
2794
2795     if ( ret == ERROR_SUCCESS )
2796         append_storage_to_db( db, stg );
2797
2798 end:
2799     if ( stgenum )
2800         IEnumSTATSTG_Release( stgenum );
2801     if ( strings )
2802         msi_destroy_stringtable( strings );
2803
2804     return ret;
2805 }