git.oblomov.eu Git - wine/blob - dlls/msi/table.c

   1 /*
   2  * Implementation of the Microsoft Installer (msi.dll)
   3  *
   4  * Copyright 2002-2005 Mike McCormack for CodeWeavers
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with this library; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
  19  */
  20
  21 #include <stdarg.h>
  22 #include <assert.h>
  23
  24 #define COBJMACROS
  25 #define NONAMELESSUNION
  26 #define NONAMELESSSTRUCT
  27
  28 #include "windef.h"
  29 #include "winbase.h"
  30 #include "winerror.h"
  31 #include "msi.h"
  32 #include "msiquery.h"
  33 #include "objbase.h"
  34 #include "objidl.h"
  35 #include "winnls.h"
  36 #include "msipriv.h"
  37 #include "query.h"
  38
  39 #include "wine/debug.h"
  40 #include "wine/unicode.h"
  41
  42 WINE_DEFAULT_DEBUG_CHANNEL(msidb);
  43
  44 #define MSITABLE_HASH_TABLE_SIZE 37
  45
  46 typedef struct tagMSICOLUMNHASHENTRY
  47 {
  48     struct tagMSICOLUMNHASHENTRY *next;
  49     UINT value;
  50     UINT row;
  51 } MSICOLUMNHASHENTRY;
  52
  53 typedef struct tagMSICOLUMNINFO
  54 {
  55     LPCWSTR tablename;
  56     UINT    number;
  57     LPCWSTR colname;
  58     UINT    type;
  59     UINT    offset;
  60     INT     ref_count;
  61     BOOL    temporary;
  62     MSICOLUMNHASHENTRY **hash_table;
  63 } MSICOLUMNINFO;
  64
  65 struct tagMSITABLE
  66 {
  67     BYTE **data;
  68     BOOL *data_persistent;
  69     UINT row_count;
  70     struct list entry;
  71     MSICOLUMNINFO *colinfo;
  72     UINT col_count;
  73     MSICONDITION persistent;
  74     INT ref_count;
  75     WCHAR name[1];
  76 };
  77
  78 /* information for default tables */
  79 static const WCHAR szTables[]  = {'_','T','a','b','l','e','s',0};
  80 static const WCHAR szTable[]   = {'T','a','b','l','e',0};
  81 static const WCHAR szColumns[] = {'_','C','o','l','u','m','n','s',0};
  82 static const WCHAR szNumber[]  = {'N','u','m','b','e','r',0};
  83 static const WCHAR szType[]    = {'T','y','p','e',0};
  84
  85 static const MSICOLUMNINFO _Columns_cols[4] = {
  86     { szColumns, 1, szTable,  MSITYPE_VALID | MSITYPE_STRING | MSITYPE_KEY | 64, 0, 0, 0, NULL },
  87     { szColumns, 2, szNumber, MSITYPE_VALID | MSITYPE_KEY | 2,     2, 0, 0, NULL },
  88     { szColumns, 3, szName,   MSITYPE_VALID | MSITYPE_STRING | 64, 4, 0, 0, NULL },
  89     { szColumns, 4, szType,   MSITYPE_VALID | 2,                   6, 0, 0, NULL },
  90 };
  91
  92 static const MSICOLUMNINFO _Tables_cols[1] = {
  93     { szTables,  1, szName,   MSITYPE_VALID | MSITYPE_STRING | MSITYPE_KEY | 64, 0, 0, 0, NULL },
  94 };
  95
  96 #define MAX_STREAM_NAME 0x1f
  97
  98 static inline UINT bytes_per_column( MSIDATABASE *db, const MSICOLUMNINFO *col, UINT bytes_per_strref )
  99 {
 100     if( MSITYPE_IS_BINARY(col->type) )
 101         return 2;
 102
 103     if( col->type & MSITYPE_STRING )
 104         return bytes_per_strref;
 105
 106     if( (col->type & 0xff) <= 2)
 107         return 2;
 108
 109     if( (col->type & 0xff) != 4 )
 110         ERR("Invalid column size!\n");
 111
 112     return 4;
 113 }
 114
 115 static int utf2mime(int x)
 116 {
 117     if( (x>='0') && (x<='9') )
 118         return x-'0';
 119     if( (x>='A') && (x<='Z') )
 120         return x-'A'+10;
 121     if( (x>='a') && (x<='z') )
 122         return x-'a'+10+26;
 123     if( x=='.' )
 124         return 10+26+26;
 125     if( x=='_' )
 126         return 10+26+26+1;
 127     return -1;
 128 }
 129
 130 LPWSTR encode_streamname(BOOL bTable, LPCWSTR in)
 131 {
 132     DWORD count = MAX_STREAM_NAME;
 133     DWORD ch, next;
 134     LPWSTR out, p;
 135
 136     if( !bTable )
 137         count = lstrlenW( in )+2;
 138     if (!(out = msi_alloc( count*sizeof(WCHAR) ))) return NULL;
 139     p = out;
 140
 141     if( bTable )
 142     {
 143          *p++ = 0x4840;
 144          count --;
 145     }
 146     while( count -- )
 147     {
 148         ch = *in++;
 149         if( !ch )
 150         {
 151             *p = ch;
 152             return out;
 153         }
 154         if( ( ch < 0x80 ) && ( utf2mime(ch) >= 0 ) )
 155         {
 156             ch = utf2mime(ch) + 0x4800;
 157             next = *in;
 158             if( next && (next<0x80) )
 159             {
 160                 next = utf2mime(next);
 161                 if( next != -1 )
 162                 {
 163                      next += 0x3ffffc0;
 164                      ch += (next<<6);
 165                      in++;
 166                 }
 167             }
 168         }
 169         *p++ = ch;
 170     }
 171     ERR("Failed to encode stream name (%s)\n",debugstr_w(in));
 172     msi_free( out );
 173     return NULL;
 174 }
 175
 176 static int mime2utf(int x)
 177 {
 178     if( x<10 )
 179         return x + '0';
 180     if( x<(10+26))
 181         return x - 10 + 'A';
 182     if( x<(10+26+26))
 183         return x - 10 - 26 + 'a';
 184     if( x == (10+26+26) )
 185         return '.';
 186     return '_';
 187 }
 188
 189 BOOL decode_streamname(LPCWSTR in, LPWSTR out)
 190 {
 191     WCHAR ch;
 192     DWORD count = 0;
 193
 194     while ( (ch = *in++) )
 195     {
 196         if( (ch >= 0x3800 ) && (ch < 0x4840 ) )
 197         {
 198             if( ch >= 0x4800 )
 199                 ch = mime2utf(ch-0x4800);
 200             else
 201             {
 202                 ch -= 0x3800;
 203                 *out++ = mime2utf(ch&0x3f);
 204                 count++;
 205                 ch = mime2utf((ch>>6)&0x3f);
 206             }
 207         }
 208         *out++ = ch;
 209         count++;
 210     }
 211     *out = 0;
 212     return count;
 213 }
 214
 215 void enum_stream_names( IStorage *stg )
 216 {
 217     IEnumSTATSTG *stgenum = NULL;
 218     HRESULT r;
 219     STATSTG stat;
 220     ULONG n, count;
 221     WCHAR name[0x40];
 222
 223     r = IStorage_EnumElements( stg, 0, NULL, 0, &stgenum );
 224     if( FAILED( r ) )
 225         return;
 226
 227     n = 0;
 228     while( 1 )
 229     {
 230         count = 0;
 231         r = IEnumSTATSTG_Next( stgenum, 1, &stat, &count );
 232         if( FAILED( r ) || !count )
 233             break;
 234         decode_streamname( stat.pwcsName, name );
 235         TRACE("stream %2d -> %s %s\n", n,
 236               debugstr_w(stat.pwcsName), debugstr_w(name) );
 237         CoTaskMemFree( stat.pwcsName );
 238         n++;
 239     }
 240
 241     IEnumSTATSTG_Release( stgenum );
 242 }
 243
 244 UINT read_stream_data( IStorage *stg, LPCWSTR stname, BOOL table,
 245                        BYTE **pdata, UINT *psz )
 246 {
 247     HRESULT r;
 248     UINT ret = ERROR_FUNCTION_FAILED;
 249     VOID *data;
 250     ULONG sz, count;
 251     IStream *stm = NULL;
 252     STATSTG stat;
 253     LPWSTR encname;
 254
 255     encname = encode_streamname(table, stname);
 256
 257     TRACE("%s -> %s\n",debugstr_w(stname),debugstr_w(encname));
 258
 259     r = IStorage_OpenStream(stg, encname, NULL,
 260             STGM_READ | STGM_SHARE_EXCLUSIVE, 0, &stm);
 261     msi_free( encname );
 262     if( FAILED( r ) )
 263     {
 264         WARN("open stream failed r = %08x - empty table?\n", r);
 265         return ret;
 266     }
 267
 268     r = IStream_Stat(stm, &stat, STATFLAG_NONAME );
 269     if( FAILED( r ) )
 270     {
 271         WARN("open stream failed r = %08x!\n", r);
 272         goto end;
 273     }
 274
 275     if( stat.cbSize.QuadPart >> 32 )
 276     {
 277         WARN("Too big!\n");
 278         goto end;
 279     }
 280
 281     sz = stat.cbSize.QuadPart;
 282     data = msi_alloc( sz );
 283     if( !data )
 284     {
 285         WARN("couldn't allocate memory r=%08x!\n", r);
 286         ret = ERROR_NOT_ENOUGH_MEMORY;
 287         goto end;
 288     }
 289
 290     r = IStream_Read(stm, data, sz, &count );
 291     if( FAILED( r ) || ( count != sz ) )
 292     {
 293         msi_free( data );
 294         WARN("read stream failed r = %08x!\n", r);
 295         goto end;
 296     }
 297
 298     *pdata = data;
 299     *psz = sz;
 300     ret = ERROR_SUCCESS;
 301
 302 end:
 303     IStream_Release( stm );
 304
 305     return ret;
 306 }
 307
 308 UINT write_stream_data( IStorage *stg, LPCWSTR stname,
 309                         LPCVOID data, UINT sz, BOOL bTable )
 310 {
 311     HRESULT r;
 312     UINT ret = ERROR_FUNCTION_FAILED;
 313     ULONG count;
 314     IStream *stm = NULL;
 315     ULARGE_INTEGER size;
 316     LARGE_INTEGER pos;
 317     LPWSTR encname;
 318
 319     encname = encode_streamname(bTable, stname );
 320     r = IStorage_OpenStream( stg, encname, NULL,
 321             STGM_WRITE | STGM_SHARE_EXCLUSIVE, 0, &stm);
 322     if( FAILED(r) )
 323     {
 324         r = IStorage_CreateStream( stg, encname,
 325                 STGM_WRITE | STGM_SHARE_EXCLUSIVE, 0, 0, &stm);
 326     }
 327     msi_free( encname );
 328     if( FAILED( r ) )
 329     {
 330         WARN("open stream failed r = %08x\n", r);
 331         return ret;
 332     }
 333
 334     size.QuadPart = sz;
 335     r = IStream_SetSize( stm, size );
 336     if( FAILED( r ) )
 337     {
 338         WARN("Failed to SetSize\n");
 339         goto end;
 340     }
 341
 342     pos.QuadPart = 0;
 343     r = IStream_Seek( stm, pos, STREAM_SEEK_SET, NULL );
 344     if( FAILED( r ) )
 345     {
 346         WARN("Failed to Seek\n");
 347         goto end;
 348     }
 349
 350     if (sz)
 351     {
 352         r = IStream_Write(stm, data, sz, &count );
 353         if( FAILED( r ) || ( count != sz ) )
 354         {
 355             WARN("Failed to Write\n");
 356             goto end;
 357         }
 358     }
 359
 360     ret = ERROR_SUCCESS;
 361
 362 end:
 363     IStream_Release( stm );
 364
 365     return ret;
 366 }
 367
 368 static void msi_free_colinfo( MSICOLUMNINFO *colinfo, UINT count )
 369 {
 370     UINT i;
 371     for (i = 0; i < count; i++) msi_free( colinfo[i].hash_table );
 372 }
 373
 374 static void free_table( MSITABLE *table )
 375 {
 376     UINT i;
 377     for( i=0; i<table->row_count; i++ )
 378         msi_free( table->data[i] );
 379     msi_free( table->data );
 380     msi_free( table->data_persistent );
 381     msi_free_colinfo( table->colinfo, table->col_count );
 382     msi_free( table->colinfo );
 383     msi_free( table );
 384 }
 385
 386 static UINT msi_table_get_row_size( MSIDATABASE *db, const MSICOLUMNINFO *cols, UINT count, UINT bytes_per_strref )
 387 {
 388     const MSICOLUMNINFO *last_col;
 389
 390     if (!count)
 391         return 0;
 392
 393     if (bytes_per_strref != LONG_STR_BYTES)
 394     {
 395         UINT i, size = 0;
 396         for (i = 0; i < count; i++) size += bytes_per_column( db, &cols[i], bytes_per_strref );
 397         return size;
 398     }
 399     last_col = &cols[count - 1];
 400     return last_col->offset + bytes_per_column( db, last_col, bytes_per_strref );
 401 }
 402
 403 /* add this table to the list of cached tables in the database */
 404 static UINT read_table_from_storage( MSIDATABASE *db, MSITABLE *t, IStorage *stg )
 405 {
 406     BYTE *rawdata = NULL;
 407     UINT rawsize = 0, i, j, row_size, row_size_mem;
 408
 409     TRACE("%s\n",debugstr_w(t->name));
 410
 411     row_size = msi_table_get_row_size( db, t->colinfo, t->col_count, db->bytes_per_strref );
 412     row_size_mem = msi_table_get_row_size( db, t->colinfo, t->col_count, LONG_STR_BYTES );
 413
 414     /* if we can't read the table, just assume that it's empty */
 415     read_stream_data( stg, t->name, TRUE, &rawdata, &rawsize );
 416     if( !rawdata )
 417         return ERROR_SUCCESS;
 418
 419     TRACE("Read %d bytes\n", rawsize );
 420
 421     if( rawsize % row_size )
 422     {
 423         WARN("Table size is invalid %d/%d\n", rawsize, row_size );
 424         goto err;
 425     }
 426
 427     t->row_count = rawsize / row_size;
 428     t->data = msi_alloc_zero( t->row_count * sizeof (USHORT*) );
 429     if( !t->data )
 430         goto err;
 431     t->data_persistent = msi_alloc_zero( t->row_count * sizeof(BOOL));
 432     if ( !t->data_persistent )
 433         goto err;
 434
 435     /* transpose all the data */
 436     TRACE("Transposing data from %d rows\n", t->row_count );
 437     for (i = 0; i < t->row_count; i++)
 438     {
 439         UINT ofs = 0, ofs_mem = 0;
 440
 441         t->data[i] = msi_alloc( row_size_mem );
 442         if( !t->data[i] )
 443             goto err;
 444         t->data_persistent[i] = TRUE;
 445
 446         for (j = 0; j < t->col_count; j++)
 447         {
 448             UINT m = bytes_per_column( db, &t->colinfo[j], LONG_STR_BYTES );
 449             UINT n = bytes_per_column( db, &t->colinfo[j], db->bytes_per_strref );
 450             UINT k;
 451
 452             if ( n != 2 && n != 3 && n != 4 )
 453             {
 454                 ERR("oops - unknown column width %d\n", n);
 455                 goto err;
 456             }
 457             if (t->colinfo[j].type & MSITYPE_STRING && n < m)
 458             {
 459                 for (k = 0; k < m; k++)
 460                 {
 461                     if (k < n)
 462                         t->data[i][ofs_mem + k] = rawdata[ofs * t->row_count + i * n + k];
 463                     else
 464                         t->data[i][ofs_mem + k] = 0;
 465                 }
 466             }
 467             else
 468             {
 469                 for (k = 0; k < n; k++)
 470                     t->data[i][ofs_mem + k] = rawdata[ofs * t->row_count + i * n + k];
 471             }
 472             ofs_mem += m;
 473             ofs += n;
 474         }
 475     }
 476
 477     msi_free( rawdata );
 478     return ERROR_SUCCESS;
 479 err:
 480     msi_free( rawdata );
 481     return ERROR_FUNCTION_FAILED;
 482 }
 483
 484 void free_cached_tables( MSIDATABASE *db )
 485 {
 486     while( !list_empty( &db->tables ) )
 487     {
 488         MSITABLE *t = LIST_ENTRY( list_head( &db->tables ), MSITABLE, entry );
 489
 490         list_remove( &t->entry );
 491         free_table( t );
 492     }
 493 }
 494
 495 static MSITABLE *find_cached_table( MSIDATABASE *db, LPCWSTR name )
 496 {
 497     MSITABLE *t;
 498
 499     LIST_FOR_EACH_ENTRY( t, &db->tables, MSITABLE, entry )
 500         if( !strcmpW( name, t->name ) )
 501             return t;
 502
 503     return NULL;
 504 }
 505
 506 static void table_calc_column_offsets( MSIDATABASE *db, MSICOLUMNINFO *colinfo, DWORD count )
 507 {
 508     DWORD i;
 509
 510     for (i = 0; colinfo && i < count; i++)
 511     {
 512          assert( i + 1 == colinfo[i].number );
 513          if (i) colinfo[i].offset = colinfo[i - 1].offset +
 514                                     bytes_per_column( db, &colinfo[i - 1], LONG_STR_BYTES );
 515          else colinfo[i].offset = 0;
 516
 517          TRACE("column %d is [%s] with type %08x ofs %d\n",
 518                colinfo[i].number, debugstr_w(colinfo[i].colname),
 519                colinfo[i].type, colinfo[i].offset);
 520     }
 521 }
 522
 523 static UINT get_defaulttablecolumns( MSIDATABASE *db, LPCWSTR name, MSICOLUMNINFO *colinfo, UINT *sz )
 524 {
 525     const MSICOLUMNINFO *p;
 526     DWORD i, n;
 527
 528     TRACE("%s\n", debugstr_w(name));
 529
 530     if (!strcmpW( name, szTables ))
 531     {
 532         p = _Tables_cols;
 533         n = 1;
 534     }
 535     else if (!strcmpW( name, szColumns ))
 536     {
 537         p = _Columns_cols;
 538         n = 4;
 539     }
 540     else return ERROR_FUNCTION_FAILED;
 541
 542     for (i = 0; i < n; i++)
 543     {
 544         if (colinfo && i < *sz) colinfo[i] = p[i];
 545         if (colinfo && i >= *sz) break;
 546     }
 547     table_calc_column_offsets( db, colinfo, n );
 548     *sz = n;
 549     return ERROR_SUCCESS;
 550 }
 551
 552 static UINT get_tablecolumns( MSIDATABASE *db, LPCWSTR szTableName, MSICOLUMNINFO *colinfo, UINT *sz );
 553
 554 static UINT table_get_column_info( MSIDATABASE *db, LPCWSTR name, MSICOLUMNINFO **pcols, UINT *pcount )
 555 {
 556     UINT r, column_count = 0;
 557     MSICOLUMNINFO *columns;
 558
 559     /* get the number of columns in this table */
 560     column_count = 0;
 561     r = get_tablecolumns( db, name, NULL, &column_count );
 562     if (r != ERROR_SUCCESS)
 563         return r;
 564
 565     *pcount = column_count;
 566
 567     /* if there's no columns, there's no table */
 568     if (!column_count)
 569         return ERROR_INVALID_PARAMETER;
 570
 571     TRACE("table %s found\n", debugstr_w(name));
 572
 573     columns = msi_alloc( column_count * sizeof(MSICOLUMNINFO) );
 574     if (!columns)
 575         return ERROR_FUNCTION_FAILED;
 576
 577     r = get_tablecolumns( db, name, columns, &column_count );
 578     if (r != ERROR_SUCCESS)
 579     {
 580         msi_free( columns );
 581         return ERROR_FUNCTION_FAILED;
 582     }
 583     *pcols = columns;
 584     return r;
 585 }
 586
 587 static UINT get_table( MSIDATABASE *db, LPCWSTR name, MSITABLE **table_ret )
 588 {
 589     MSITABLE *table;
 590     UINT r;
 591
 592     /* first, see if the table is cached */
 593     table = find_cached_table( db, name );
 594     if (table)
 595     {
 596         *table_ret = table;
 597         return ERROR_SUCCESS;
 598     }
 599
 600     /* nonexistent tables should be interpreted as empty tables */
 601     table = msi_alloc( sizeof(MSITABLE) + lstrlenW( name ) * sizeof(WCHAR) );
 602     if (!table)
 603         return ERROR_FUNCTION_FAILED;
 604
 605     table->row_count = 0;
 606     table->data = NULL;
 607     table->data_persistent = NULL;
 608     table->colinfo = NULL;
 609     table->col_count = 0;
 610     table->persistent = MSICONDITION_TRUE;
 611     lstrcpyW( table->name, name );
 612
 613     if (!strcmpW( name, szTables ) || !strcmpW( name, szColumns ))
 614         table->persistent = MSICONDITION_NONE;
 615
 616     r = table_get_column_info( db, name, &table->colinfo, &table->col_count );
 617     if (r != ERROR_SUCCESS)
 618     {
 619         free_table( table );
 620         return r;
 621     }
 622     r = read_table_from_storage( db, table, db->storage );
 623     if (r != ERROR_SUCCESS)
 624     {
 625         free_table( table );
 626         return r;
 627     }
 628     list_add_head( &db->tables, &table->entry );
 629     *table_ret = table;
 630     return ERROR_SUCCESS;
 631 }
 632
 633 static UINT read_table_int( BYTE *const *data, UINT row, UINT col, UINT bytes )
 634 {
 635     UINT ret = 0, i;
 636
 637     for (i = 0; i < bytes; i++)
 638         ret += data[row][col + i] << i * 8;
 639
 640     return ret;
 641 }
 642
 643 static UINT get_tablecolumns( MSIDATABASE *db, LPCWSTR szTableName, MSICOLUMNINFO *colinfo, UINT *sz )
 644 {
 645     UINT r, i, n = 0, table_id, count, maxcount = *sz;
 646     MSITABLE *table = NULL;
 647
 648     TRACE("%s\n", debugstr_w(szTableName));
 649
 650     /* first check if there is a default table with that name */
 651     r = get_defaulttablecolumns( db, szTableName, colinfo, sz );
 652     if (r == ERROR_SUCCESS && *sz)
 653         return r;
 654
 655     r = get_table( db, szColumns, &table );
 656     if (r != ERROR_SUCCESS)
 657     {
 658         ERR("couldn't load _Columns table\n");
 659         return ERROR_FUNCTION_FAILED;
 660     }
 661
 662     /* convert table and column names to IDs from the string table */
 663     r = msi_string2idW( db->strings, szTableName, &table_id );
 664     if (r != ERROR_SUCCESS)
 665     {
 666         WARN("Couldn't find id for %s\n", debugstr_w(szTableName));
 667         return r;
 668     }
 669     TRACE("Table id is %d, row count is %d\n", table_id, table->row_count);
 670
 671     /* Note: _Columns table doesn't have non-persistent data */
 672
 673     /* if maxcount is non-zero, assume it's exactly right for this table */
 674     memset( colinfo, 0, maxcount * sizeof(*colinfo) );
 675     count = table->row_count;
 676     for (i = 0; i < count; i++)
 677     {
 678         if (read_table_int( table->data, i, 0, LONG_STR_BYTES) != table_id) continue;
 679         if (colinfo)
 680         {
 681             UINT id = read_table_int( table->data, i, table->colinfo[2].offset, LONG_STR_BYTES );
 682             UINT col = read_table_int( table->data, i, table->colinfo[1].offset, sizeof(USHORT) ) - (1 << 15);
 683
 684             /* check the column number is in range */
 685             if (col < 1 || col > maxcount)
 686             {
 687                 ERR("column %d out of range\n", col);
 688                 continue;
 689             }
 690             /* check if this column was already set */
 691             if (colinfo[col - 1].number)
 692             {
 693                 ERR("duplicate column %d\n", col);
 694                 continue;
 695             }
 696             colinfo[col - 1].tablename = msi_string_lookup_id( db->strings, table_id );
 697             colinfo[col - 1].number = col;
 698             colinfo[col - 1].colname = msi_string_lookup_id( db->strings, id );
 699             colinfo[col - 1].type = read_table_int( table->data, i, table->colinfo[3].offset,
 700                                                     sizeof(USHORT) ) - (1 << 15);
 701             colinfo[col - 1].offset = 0;
 702             colinfo[col - 1].ref_count = 0;
 703             colinfo[col - 1].hash_table = NULL;
 704         }
 705         n++;
 706     }
 707     TRACE("%s has %d columns\n", debugstr_w(szTableName), n);
 708
 709     if (colinfo && n != maxcount)
 710     {
 711         ERR("missing column in table %s\n", debugstr_w(szTableName));
 712         msi_free_colinfo( colinfo, maxcount );
 713         return ERROR_FUNCTION_FAILED;
 714     }
 715     table_calc_column_offsets( db, colinfo, n );
 716     *sz = n;
 717     return ERROR_SUCCESS;
 718 }
 719
 720 UINT msi_create_table( MSIDATABASE *db, LPCWSTR name, column_info *col_info,
 721                        MSICONDITION persistent )
 722 {
 723     enum StringPersistence string_persistence = (persistent) ? StringPersistent : StringNonPersistent;
 724     UINT r, nField;
 725     MSIVIEW *tv = NULL;
 726     MSIRECORD *rec = NULL;
 727     column_info *col;
 728     MSITABLE *table;
 729     UINT i;
 730
 731     /* only add tables that don't exist already */
 732     if( TABLE_Exists(db, name ) )
 733     {
 734         WARN("table %s exists\n", debugstr_w(name));
 735         return ERROR_BAD_QUERY_SYNTAX;
 736     }
 737
 738     table = msi_alloc( sizeof (MSITABLE) + lstrlenW(name)*sizeof (WCHAR) );
 739     if( !table )
 740         return ERROR_FUNCTION_FAILED;
 741
 742     table->ref_count = 1;
 743     table->row_count = 0;
 744     table->data = NULL;
 745     table->data_persistent = NULL;
 746     table->colinfo = NULL;
 747     table->col_count = 0;
 748     table->persistent = persistent;
 749     lstrcpyW( table->name, name );
 750
 751     for( col = col_info; col; col = col->next )
 752         table->col_count++;
 753
 754     table->colinfo = msi_alloc( table->col_count * sizeof(MSICOLUMNINFO) );
 755     if (!table->colinfo)
 756     {
 757         free_table( table );
 758         return ERROR_FUNCTION_FAILED;
 759     }
 760
 761     for( i = 0, col = col_info; col; i++, col = col->next )
 762     {
 763         UINT table_id = msi_addstringW( db->strings, col->table, -1, 1, string_persistence );
 764         UINT col_id = msi_addstringW( db->strings, col->column, -1, 1, string_persistence );
 765
 766         table->colinfo[ i ].tablename = msi_string_lookup_id( db->strings, table_id );
 767         table->colinfo[ i ].number = i + 1;
 768         table->colinfo[ i ].colname = msi_string_lookup_id( db->strings, col_id );
 769         table->colinfo[ i ].type = col->type;
 770         table->colinfo[ i ].offset = 0;
 771         table->colinfo[ i ].ref_count = 0;
 772         table->colinfo[ i ].hash_table = NULL;
 773         table->colinfo[ i ].temporary = col->temporary;
 774     }
 775     table_calc_column_offsets( db, table->colinfo, table->col_count);
 776
 777     r = TABLE_CreateView( db, szTables, &tv );
 778     TRACE("CreateView returned %x\n", r);
 779     if( r )
 780     {
 781         free_table( table );
 782         return r;
 783     }
 784
 785     r = tv->ops->execute( tv, 0 );
 786     TRACE("tv execute returned %x\n", r);
 787     if( r )
 788         goto err;
 789
 790     rec = MSI_CreateRecord( 1 );
 791     if( !rec )
 792         goto err;
 793
 794     r = MSI_RecordSetStringW( rec, 1, name );
 795     if( r )
 796         goto err;
 797
 798     r = tv->ops->insert_row( tv, rec, -1, persistent == MSICONDITION_FALSE );
 799     TRACE("insert_row returned %x\n", r);
 800     if( r )
 801         goto err;
 802
 803     tv->ops->delete( tv );
 804     tv = NULL;
 805
 806     msiobj_release( &rec->hdr );
 807     rec = NULL;
 808
 809     if( persistent != MSICONDITION_FALSE )
 810     {
 811         /* add each column to the _Columns table */
 812         r = TABLE_CreateView( db, szColumns, &tv );
 813         if( r )
 814             return r;
 815
 816         r = tv->ops->execute( tv, 0 );
 817         TRACE("tv execute returned %x\n", r);
 818         if( r )
 819             goto err;
 820
 821         rec = MSI_CreateRecord( 4 );
 822         if( !rec )
 823             goto err;
 824
 825         r = MSI_RecordSetStringW( rec, 1, name );
 826         if( r )
 827             goto err;
 828
 829         /*
 830          * need to set the table, column number, col name and type
 831          * for each column we enter in the table
 832          */
 833         nField = 1;
 834         for( col = col_info; col; col = col->next )
 835         {
 836             r = MSI_RecordSetInteger( rec, 2, nField );
 837             if( r )
 838                 goto err;
 839
 840             r = MSI_RecordSetStringW( rec, 3, col->column );
 841             if( r )
 842                 goto err;
 843
 844             r = MSI_RecordSetInteger( rec, 4, col->type );
 845             if( r )
 846                 goto err;
 847
 848             r = tv->ops->insert_row( tv, rec, -1, FALSE );
 849             if( r )
 850                 goto err;
 851
 852             nField++;
 853         }
 854         if( !col )
 855             r = ERROR_SUCCESS;
 856     }
 857
 858 err:
 859     if (rec)
 860         msiobj_release( &rec->hdr );
 861     /* FIXME: remove values from the string table on error */
 862     if( tv )
 863         tv->ops->delete( tv );
 864
 865     if (r == ERROR_SUCCESS)
 866         list_add_head( &db->tables, &table->entry );
 867     else
 868         free_table( table );
 869
 870     return r;
 871 }
 872
 873 static UINT save_table( MSIDATABASE *db, const MSITABLE *t, UINT bytes_per_strref )
 874 {
 875     BYTE *rawdata = NULL;
 876     UINT rawsize, i, j, row_size, row_count;
 877     UINT r = ERROR_FUNCTION_FAILED;
 878
 879     /* Nothing to do for non-persistent tables */
 880     if( t->persistent == MSICONDITION_FALSE )
 881         return ERROR_SUCCESS;
 882
 883     TRACE("Saving %s\n", debugstr_w( t->name ) );
 884
 885     row_size = msi_table_get_row_size( db, t->colinfo, t->col_count, bytes_per_strref );
 886     row_count = t->row_count;
 887     for (i = 0; i < t->row_count; i++)
 888     {
 889         if (!t->data_persistent[i])
 890         {
 891             row_count = 1; /* yes, this is bizarre */
 892             break;
 893         }
 894     }
 895     rawsize = row_count * row_size;
 896     rawdata = msi_alloc_zero( rawsize );
 897     if( !rawdata )
 898     {
 899         r = ERROR_NOT_ENOUGH_MEMORY;
 900         goto err;
 901     }
 902
 903     rawsize = 0;
 904     for (i = 0; i < t->row_count; i++)
 905     {
 906         UINT ofs = 0, ofs_mem = 0;
 907
 908         if (!t->data_persistent[i]) break;
 909
 910         for (j = 0; j < t->col_count; j++)
 911         {
 912             UINT m = bytes_per_column( db, &t->colinfo[j], LONG_STR_BYTES );
 913             UINT n = bytes_per_column( db, &t->colinfo[j], bytes_per_strref );
 914             UINT k;
 915
 916             if (n != 2 && n != 3 && n != 4)
 917             {
 918                 ERR("oops - unknown column width %d\n", n);
 919                 goto err;
 920             }
 921             if (t->colinfo[j].type & MSITYPE_STRING && n < m)
 922             {
 923                 UINT id = read_table_int( t->data, i, ofs_mem, LONG_STR_BYTES );
 924                 if (id > 1 << bytes_per_strref * 8)
 925                 {
 926                     ERR("string id %u out of range\n", id);
 927                     goto err;
 928                 }
 929             }
 930             for (k = 0; k < n; k++)
 931             {
 932                 rawdata[ofs * row_count + i * n + k] = t->data[i][ofs_mem + k];
 933             }
 934             ofs_mem += m;
 935             ofs += n;
 936         }
 937         rawsize += row_size;
 938     }
 939
 940     TRACE("writing %d bytes\n", rawsize);
 941     r = write_stream_data( db->storage, t->name, rawdata, rawsize, TRUE );
 942
 943 err:
 944     msi_free( rawdata );
 945     return r;
 946 }
 947
 948 static void msi_update_table_columns( MSIDATABASE *db, LPCWSTR name )
 949 {
 950     MSITABLE *table;
 951     UINT size, offset, old_count;
 952     UINT n;
 953
 954     table = find_cached_table( db, name );
 955     old_count = table->col_count;
 956     msi_free_colinfo( table->colinfo, table->col_count );
 957     msi_free( table->colinfo );
 958     table->colinfo = NULL;
 959
 960     table_get_column_info( db, name, &table->colinfo, &table->col_count );
 961     if (!table->col_count) return;
 962
 963     size = msi_table_get_row_size( db, table->colinfo, table->col_count, LONG_STR_BYTES );
 964     offset = table->colinfo[table->col_count - 1].offset;
 965
 966     for ( n = 0; n < table->row_count; n++ )
 967     {
 968         table->data[n] = msi_realloc( table->data[n], size );
 969         if (old_count < table->col_count)
 970             memset( &table->data[n][offset], 0, size - offset );
 971     }
 972 }
 973
 974 /* try to find the table name in the _Tables table */
 975 BOOL TABLE_Exists( MSIDATABASE *db, LPCWSTR name )
 976 {
 977     UINT r, table_id, i;
 978     MSITABLE *table;
 979
 980     if( !strcmpW( name, szTables ) || !strcmpW( name, szColumns ) ||
 981         !strcmpW( name, szStreams ) || !strcmpW( name, szStorages ) )
 982         return TRUE;
 983
 984     r = msi_string2idW( db->strings, name, &table_id );
 985     if( r != ERROR_SUCCESS )
 986     {
 987         TRACE("Couldn't find id for %s\n", debugstr_w(name));
 988         return FALSE;
 989     }
 990
 991     r = get_table( db, szTables, &table );
 992     if( r != ERROR_SUCCESS )
 993     {
 994         ERR("table %s not available\n", debugstr_w(szTables));
 995         return FALSE;
 996     }
 997
 998     for( i = 0; i < table->row_count; i++ )
 999     {
1000         if( read_table_int( table->data, i, 0, LONG_STR_BYTES ) == table_id )
1001             return TRUE;
1002     }
1003
1004     return FALSE;
1005 }
1006
1007 /* below is the query interface to a table */
1008
1009 typedef struct tagMSITABLEVIEW
1010 {
1011     MSIVIEW        view;
1012     MSIDATABASE   *db;
1013     MSITABLE      *table;
1014     MSICOLUMNINFO *columns;
1015     UINT           num_cols;
1016     UINT           row_size;
1017     WCHAR          name[1];
1018 } MSITABLEVIEW;
1019
1020 static UINT TABLE_fetch_int( struct tagMSIVIEW *view, UINT row, UINT col, UINT *val )
1021 {
1022     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1023     UINT offset, n;
1024
1025     if( !tv->table )
1026         return ERROR_INVALID_PARAMETER;
1027
1028     if( (col==0) || (col>tv->num_cols) )
1029         return ERROR_INVALID_PARAMETER;
1030
1031     /* how many rows are there ? */
1032     if( row >= tv->table->row_count )
1033         return ERROR_NO_MORE_ITEMS;
1034
1035     if( tv->columns[col-1].offset >= tv->row_size )
1036     {
1037         ERR("Stuffed up %d >= %d\n", tv->columns[col-1].offset, tv->row_size );
1038         ERR("%p %p\n", tv, tv->columns );
1039         return ERROR_FUNCTION_FAILED;
1040     }
1041
1042     n = bytes_per_column( tv->db, &tv->columns[col - 1], LONG_STR_BYTES );
1043     if (n != 2 && n != 3 && n != 4)
1044     {
1045         ERR("oops! what is %d bytes per column?\n", n );
1046         return ERROR_FUNCTION_FAILED;
1047     }
1048
1049     offset = tv->columns[col-1].offset;
1050     *val = read_table_int(tv->table->data, row, offset, n);
1051
1052     /* TRACE("Data [%d][%d] = %d\n", row, col, *val ); */
1053
1054     return ERROR_SUCCESS;
1055 }
1056
1057 static UINT msi_stream_name( const MSITABLEVIEW *tv, UINT row, LPWSTR *pstname )
1058 {
1059     LPWSTR p, stname = NULL;
1060     UINT i, r, type, ival;
1061     DWORD len;
1062     LPCWSTR sval;
1063     MSIVIEW *view = (MSIVIEW *) tv;
1064
1065     TRACE("%p %d\n", tv, row);
1066
1067     len = lstrlenW( tv->name ) + 1;
1068     stname = msi_alloc( len*sizeof(WCHAR) );
1069     if ( !stname )
1070     {
1071        r = ERROR_OUTOFMEMORY;
1072        goto err;
1073     }
1074
1075     lstrcpyW( stname, tv->name );
1076
1077     for ( i = 0; i < tv->num_cols; i++ )
1078     {
1079         type = tv->columns[i].type;
1080         if ( type & MSITYPE_KEY )
1081         {
1082             WCHAR number[0x20];
1083
1084             r = TABLE_fetch_int( view, row, i+1, &ival );
1085             if ( r != ERROR_SUCCESS )
1086                 goto err;
1087
1088             if ( tv->columns[i].type & MSITYPE_STRING )
1089             {
1090                 sval = msi_string_lookup_id( tv->db->strings, ival );
1091                 if ( !sval )
1092                 {
1093                     r = ERROR_INVALID_PARAMETER;
1094                     goto err;
1095                 }
1096             }
1097             else
1098             {
1099                 static const WCHAR fmt[] = { '%','d',0 };
1100                 UINT n = bytes_per_column( tv->db, &tv->columns[i], LONG_STR_BYTES );
1101
1102                 switch( n )
1103                 {
1104                 case 2:
1105                     sprintfW( number, fmt, ival-0x8000 );
1106                     break;
1107                 case 4:
1108                     sprintfW( number, fmt, ival^0x80000000 );
1109                     break;
1110                 default:
1111                     ERR( "oops - unknown column width %d\n", n );
1112                     r = ERROR_FUNCTION_FAILED;
1113                     goto err;
1114                 }
1115                 sval = number;
1116             }
1117
1118             len += lstrlenW( szDot ) + lstrlenW( sval );
1119             p = msi_realloc ( stname, len*sizeof(WCHAR) );
1120             if ( !p )
1121             {
1122                 r = ERROR_OUTOFMEMORY;
1123                 goto err;
1124             }
1125             stname = p;
1126
1127             lstrcatW( stname, szDot );
1128             lstrcatW( stname, sval );
1129         }
1130         else
1131            continue;
1132     }
1133
1134     *pstname = stname;
1135     return ERROR_SUCCESS;
1136
1137 err:
1138     msi_free( stname );
1139     *pstname = NULL;
1140     return r;
1141 }
1142
1143 /*
1144  * We need a special case for streams, as we need to reference column with
1145  * the name of the stream in the same table, and the table name
1146  * which may not be available at higher levels of the query
1147  */
1148 static UINT TABLE_fetch_stream( struct tagMSIVIEW *view, UINT row, UINT col, IStream **stm )
1149 {
1150     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1151     UINT r;
1152     LPWSTR encname, full_name = NULL;
1153
1154     if( !view->ops->fetch_int )
1155         return ERROR_INVALID_PARAMETER;
1156
1157     r = msi_stream_name( tv, row, &full_name );
1158     if ( r != ERROR_SUCCESS )
1159     {
1160         ERR("fetching stream, error = %d\n", r);
1161         return r;
1162     }
1163
1164     encname = encode_streamname( FALSE, full_name );
1165     r = msi_get_raw_stream( tv->db, encname, stm );
1166     if( r )
1167         ERR("fetching stream %s, error = %d\n",debugstr_w(full_name), r);
1168
1169     msi_free( full_name );
1170     msi_free( encname );
1171     return r;
1172 }
1173
1174 static UINT TABLE_set_int( MSITABLEVIEW *tv, UINT row, UINT col, UINT val )
1175 {
1176     UINT offset, n, i;
1177
1178     if( !tv->table )
1179         return ERROR_INVALID_PARAMETER;
1180
1181     if( (col==0) || (col>tv->num_cols) )
1182         return ERROR_INVALID_PARAMETER;
1183
1184     if( row >= tv->table->row_count )
1185         return ERROR_INVALID_PARAMETER;
1186
1187     if( tv->columns[col-1].offset >= tv->row_size )
1188     {
1189         ERR("Stuffed up %d >= %d\n", tv->columns[col-1].offset, tv->row_size );
1190         ERR("%p %p\n", tv, tv->columns );
1191         return ERROR_FUNCTION_FAILED;
1192     }
1193
1194     msi_free( tv->columns[col-1].hash_table );
1195     tv->columns[col-1].hash_table = NULL;
1196
1197     n = bytes_per_column( tv->db, &tv->columns[col - 1], LONG_STR_BYTES );
1198     if ( n != 2 && n != 3 && n != 4 )
1199     {
1200         ERR("oops! what is %d bytes per column?\n", n );
1201         return ERROR_FUNCTION_FAILED;
1202     }
1203
1204     offset = tv->columns[col-1].offset;
1205     for ( i = 0; i < n; i++ )
1206         tv->table->data[row][offset + i] = (val >> i * 8) & 0xff;
1207
1208     return ERROR_SUCCESS;
1209 }
1210
1211 static UINT TABLE_get_row( struct tagMSIVIEW *view, UINT row, MSIRECORD **rec )
1212 {
1213     MSITABLEVIEW *tv = (MSITABLEVIEW *)view;
1214
1215     if (!tv->table)
1216         return ERROR_INVALID_PARAMETER;
1217
1218     return msi_view_get_row(tv->db, view, row, rec);
1219 }
1220
1221 static UINT msi_addstreamW( MSIDATABASE *db, LPCWSTR name, IStream *data )
1222 {
1223     static const WCHAR insert[] = {
1224         'I','N','S','E','R','T',' ','I','N','T','O',' ',
1225         '`','_','S','t','r','e','a','m','s','`',' ',
1226         '(','`','N','a','m','e','`',',','`','D','a','t','a','`',')',' ',
1227         'V','A','L','U','E','S',' ','(','?',',','?',')',0};
1228     MSIQUERY *query = NULL;
1229     MSIRECORD *rec;
1230     UINT r;
1231
1232     TRACE("%p %s %p\n", db, debugstr_w(name), data);
1233
1234     rec = MSI_CreateRecord( 2 );
1235     if ( !rec )
1236         return ERROR_OUTOFMEMORY;
1237
1238     r = MSI_RecordSetStringW( rec, 1, name );
1239     if ( r != ERROR_SUCCESS )
1240        goto err;
1241
1242     r = MSI_RecordSetIStream( rec, 2, data );
1243     if ( r != ERROR_SUCCESS )
1244        goto err;
1245
1246     r = MSI_DatabaseOpenViewW( db, insert, &query );
1247     if ( r != ERROR_SUCCESS )
1248        goto err;
1249
1250     r = MSI_ViewExecute( query, rec );
1251
1252 err:
1253     msiobj_release( &query->hdr );
1254     msiobj_release( &rec->hdr );
1255     return r;
1256 }
1257
1258 static UINT get_table_value_from_record( MSITABLEVIEW *tv, MSIRECORD *rec, UINT iField, UINT *pvalue )
1259 {
1260     MSICOLUMNINFO columninfo;
1261     UINT r;
1262
1263     if ( (iField <= 0) ||
1264          (iField > tv->num_cols) ||
1265           MSI_RecordIsNull( rec, iField ) )
1266         return ERROR_FUNCTION_FAILED;
1267
1268     columninfo = tv->columns[ iField - 1 ];
1269
1270     if ( MSITYPE_IS_BINARY(columninfo.type) )
1271     {
1272         *pvalue = 1; /* refers to the first key column */
1273     }
1274     else if ( columninfo.type & MSITYPE_STRING )
1275     {
1276         LPCWSTR sval = MSI_RecordGetString( rec, iField );
1277         if (sval)
1278         {
1279             r = msi_string2idW(tv->db->strings, sval, pvalue);
1280             if (r != ERROR_SUCCESS)
1281                 return ERROR_NOT_FOUND;
1282         }
1283         else *pvalue = 0;
1284     }
1285     else if ( bytes_per_column( tv->db, &columninfo, LONG_STR_BYTES ) == 2 )
1286     {
1287         *pvalue = 0x8000 + MSI_RecordGetInteger( rec, iField );
1288         if ( *pvalue & 0xffff0000 )
1289         {
1290             ERR("field %u value %d out of range\n", iField, *pvalue - 0x8000);
1291             return ERROR_FUNCTION_FAILED;
1292         }
1293     }
1294     else
1295     {
1296         INT ival = MSI_RecordGetInteger( rec, iField );
1297         *pvalue = ival ^ 0x80000000;
1298     }
1299
1300     return ERROR_SUCCESS;
1301 }
1302
1303 static UINT TABLE_set_row( struct tagMSIVIEW *view, UINT row, MSIRECORD *rec, UINT mask )
1304 {
1305     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1306     UINT i, val, r = ERROR_SUCCESS;
1307
1308     if ( !tv->table )
1309         return ERROR_INVALID_PARAMETER;
1310
1311     /* test if any of the mask bits are invalid */
1312     if ( mask >= (1<<tv->num_cols) )
1313         return ERROR_INVALID_PARAMETER;
1314
1315     for ( i = 0; i < tv->num_cols; i++ )
1316     {
1317         BOOL persistent;
1318
1319         /* only update the fields specified in the mask */
1320         if ( !(mask&(1<<i)) )
1321             continue;
1322
1323         persistent = (tv->table->persistent != MSICONDITION_FALSE) &&
1324                      (tv->table->data_persistent[row]);
1325         /* FIXME: should we allow updating keys? */
1326
1327         val = 0;
1328         if ( !MSI_RecordIsNull( rec, i + 1 ) )
1329         {
1330             r = get_table_value_from_record (tv, rec, i + 1, &val);
1331             if ( MSITYPE_IS_BINARY(tv->columns[ i ].type) )
1332             {
1333                 IStream *stm;
1334                 LPWSTR stname;
1335
1336                 if ( r != ERROR_SUCCESS )
1337                     return ERROR_FUNCTION_FAILED;
1338
1339                 r = MSI_RecordGetIStream( rec, i + 1, &stm );
1340                 if ( r != ERROR_SUCCESS )
1341                     return r;
1342
1343                 r = msi_stream_name( tv, row, &stname );
1344                 if ( r != ERROR_SUCCESS )
1345                 {
1346                     IStream_Release( stm );
1347                     return r;
1348                 }
1349
1350                 r = msi_addstreamW( tv->db, stname, stm );
1351                 IStream_Release( stm );
1352                 msi_free ( stname );
1353
1354                 if ( r != ERROR_SUCCESS )
1355                     return r;
1356             }
1357             else if ( tv->columns[i].type & MSITYPE_STRING )
1358             {
1359                 UINT x;
1360
1361                 if ( r != ERROR_SUCCESS )
1362                 {
1363                     LPCWSTR sval = MSI_RecordGetString( rec, i + 1 );
1364                     val = msi_addstringW( tv->db->strings, sval, -1, 1,
1365                       persistent ? StringPersistent : StringNonPersistent );
1366                 }
1367                 else
1368                 {
1369                     TABLE_fetch_int(&tv->view, row, i + 1, &x);
1370                     if (val == x)
1371                         continue;
1372                 }
1373             }
1374             else
1375             {
1376                 if ( r != ERROR_SUCCESS )
1377                     return ERROR_FUNCTION_FAILED;
1378             }
1379         }
1380
1381         r = TABLE_set_int( tv, row, i+1, val );
1382         if ( r != ERROR_SUCCESS )
1383             break;
1384     }
1385     return r;
1386 }
1387
1388 static UINT table_create_new_row( struct tagMSIVIEW *view, UINT *num, BOOL temporary )
1389 {
1390     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1391     BYTE **p, *row;
1392     BOOL *b;
1393     UINT sz;
1394     BYTE ***data_ptr;
1395     BOOL **data_persist_ptr;
1396     UINT *row_count;
1397
1398     TRACE("%p %s\n", view, temporary ? "TRUE" : "FALSE");
1399
1400     if( !tv->table )
1401         return ERROR_INVALID_PARAMETER;
1402
1403     row = msi_alloc_zero( tv->row_size );
1404     if( !row )
1405         return ERROR_NOT_ENOUGH_MEMORY;
1406
1407     row_count = &tv->table->row_count;
1408     data_ptr = &tv->table->data;
1409     data_persist_ptr = &tv->table->data_persistent;
1410     if (*num == -1)
1411         *num = tv->table->row_count;
1412
1413     sz = (*row_count + 1) * sizeof (BYTE*);
1414     if( *data_ptr )
1415         p = msi_realloc( *data_ptr, sz );
1416     else
1417         p = msi_alloc( sz );
1418     if( !p )
1419     {
1420         msi_free( row );
1421         return ERROR_NOT_ENOUGH_MEMORY;
1422     }
1423
1424     sz = (*row_count + 1) * sizeof (BOOL);
1425     if( *data_persist_ptr )
1426         b = msi_realloc( *data_persist_ptr, sz );
1427     else
1428         b = msi_alloc( sz );
1429     if( !b )
1430     {
1431         msi_free( row );
1432         msi_free( p );
1433         return ERROR_NOT_ENOUGH_MEMORY;
1434     }
1435
1436     *data_ptr = p;
1437     (*data_ptr)[*row_count] = row;
1438
1439     *data_persist_ptr = b;
1440     (*data_persist_ptr)[*row_count] = !temporary;
1441
1442     (*row_count)++;
1443
1444     return ERROR_SUCCESS;
1445 }
1446
1447 static UINT TABLE_execute( struct tagMSIVIEW *view, MSIRECORD *record )
1448 {
1449     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1450
1451     TRACE("%p %p\n", tv, record);
1452
1453     TRACE("There are %d columns\n", tv->num_cols );
1454
1455     return ERROR_SUCCESS;
1456 }
1457
1458 static UINT TABLE_close( struct tagMSIVIEW *view )
1459 {
1460     TRACE("%p\n", view );
1461
1462     return ERROR_SUCCESS;
1463 }
1464
1465 static UINT TABLE_get_dimensions( struct tagMSIVIEW *view, UINT *rows, UINT *cols)
1466 {
1467     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1468
1469     TRACE("%p %p %p\n", view, rows, cols );
1470
1471     if( cols )
1472         *cols = tv->num_cols;
1473     if( rows )
1474     {
1475         if( !tv->table )
1476             return ERROR_INVALID_PARAMETER;
1477         *rows = tv->table->row_count;
1478     }
1479
1480     return ERROR_SUCCESS;
1481 }
1482
1483 static UINT TABLE_get_column_info( struct tagMSIVIEW *view,
1484                 UINT n, LPCWSTR *name, UINT *type, BOOL *temporary,
1485                 LPCWSTR *table_name )
1486 {
1487     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1488
1489     TRACE("%p %d %p %p\n", tv, n, name, type );
1490
1491     if( ( n == 0 ) || ( n > tv->num_cols ) )
1492         return ERROR_INVALID_PARAMETER;
1493
1494     if( name )
1495     {
1496         *name = tv->columns[n-1].colname;
1497         if( !*name )
1498             return ERROR_FUNCTION_FAILED;
1499     }
1500
1501     if( table_name )
1502     {
1503         *table_name = tv->columns[n-1].tablename;
1504         if( !*table_name )
1505             return ERROR_FUNCTION_FAILED;
1506     }
1507
1508     if( type )
1509         *type = tv->columns[n-1].type;
1510
1511     if( temporary )
1512         *temporary = tv->columns[n-1].temporary;
1513
1514     return ERROR_SUCCESS;
1515 }
1516
1517 static UINT msi_table_find_row( MSITABLEVIEW *tv, MSIRECORD *rec, UINT *row, UINT *column );
1518
1519 static UINT table_validate_new( MSITABLEVIEW *tv, MSIRECORD *rec, UINT *column )
1520 {
1521     UINT r, row, i;
1522
1523     /* check there's no null values where they're not allowed */
1524     for( i = 0; i < tv->num_cols; i++ )
1525     {
1526         if ( tv->columns[i].type & MSITYPE_NULLABLE )
1527             continue;
1528
1529         if ( MSITYPE_IS_BINARY(tv->columns[i].type) )
1530             TRACE("skipping binary column\n");
1531         else if ( tv->columns[i].type & MSITYPE_STRING )
1532         {
1533             LPCWSTR str;
1534
1535             str = MSI_RecordGetString( rec, i+1 );
1536             if (str == NULL || str[0] == 0)
1537             {
1538                 if (column) *column = i;
1539                 return ERROR_INVALID_DATA;
1540             }
1541         }
1542         else
1543         {
1544             UINT n;
1545
1546             n = MSI_RecordGetInteger( rec, i+1 );
1547             if (n == MSI_NULL_INTEGER)
1548             {
1549                 if (column) *column = i;
1550                 return ERROR_INVALID_DATA;
1551             }
1552         }
1553     }
1554
1555     /* check there's no duplicate keys */
1556     r = msi_table_find_row( tv, rec, &row, column );
1557     if (r == ERROR_SUCCESS)
1558         return ERROR_FUNCTION_FAILED;
1559
1560     return ERROR_SUCCESS;
1561 }
1562
1563 static int compare_record( MSITABLEVIEW *tv, UINT row, MSIRECORD *rec )
1564 {
1565     UINT r, i, ivalue, x;
1566
1567     for (i = 0; i < tv->num_cols; i++ )
1568     {
1569         if (!(tv->columns[i].type & MSITYPE_KEY)) continue;
1570
1571         r = get_table_value_from_record( tv, rec, i + 1, &ivalue );
1572         if (r != ERROR_SUCCESS)
1573             return 1;
1574
1575         r = TABLE_fetch_int( &tv->view, row, i + 1, &x );
1576         if (r != ERROR_SUCCESS)
1577         {
1578             WARN("TABLE_fetch_int should not fail here %u\n", r);
1579             return -1;
1580         }
1581         if (ivalue > x)
1582         {
1583             return 1;
1584         }
1585         else if (ivalue == x)
1586         {
1587             if (i < tv->num_cols - 1) continue;
1588             return 0;
1589         }
1590         else
1591             return -1;
1592     }
1593     return 1;
1594 }
1595
1596 static int find_insert_index( MSITABLEVIEW *tv, MSIRECORD *rec )
1597 {
1598     int idx, c, low = 0, high = tv->table->row_count - 1;
1599
1600     TRACE("%p %p\n", tv, rec);
1601
1602     while (low <= high)
1603     {
1604         idx = (low + high) / 2;
1605         c = compare_record( tv, idx, rec );
1606
1607         if (c < 0)
1608             high = idx - 1;
1609         else if (c > 0)
1610             low = idx + 1;
1611         else
1612         {
1613             TRACE("found %u\n", idx);
1614             return idx;
1615         }
1616     }
1617     TRACE("found %u\n", high + 1);
1618     return high + 1;
1619 }
1620
1621 static UINT TABLE_insert_row( struct tagMSIVIEW *view, MSIRECORD *rec, UINT row, BOOL temporary )
1622 {
1623     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1624     UINT i, r;
1625
1626     TRACE("%p %p %s\n", tv, rec, temporary ? "TRUE" : "FALSE" );
1627
1628     /* check that the key is unique - can we find a matching row? */
1629     r = table_validate_new( tv, rec, NULL );
1630     if( r != ERROR_SUCCESS )
1631         return ERROR_FUNCTION_FAILED;
1632
1633     if (row == -1)
1634         row = find_insert_index( tv, rec );
1635
1636     r = table_create_new_row( view, &row, temporary );
1637     TRACE("insert_row returned %08x\n", r);
1638     if( r != ERROR_SUCCESS )
1639         return r;
1640
1641     /* shift the rows to make room for the new row */
1642     for (i = tv->table->row_count - 1; i > row; i--)
1643     {
1644         memmove(&(tv->table->data[i][0]),
1645                 &(tv->table->data[i - 1][0]), tv->row_size);
1646         tv->table->data_persistent[i] = tv->table->data_persistent[i - 1];
1647     }
1648
1649     /* Re-set the persistence flag */
1650     tv->table->data_persistent[row] = !temporary;
1651     return TABLE_set_row( view, row, rec, (1<<tv->num_cols) - 1 );
1652 }
1653
1654 static UINT TABLE_delete_row( struct tagMSIVIEW *view, UINT row )
1655 {
1656     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1657     UINT r, num_rows, num_cols, i;
1658
1659     TRACE("%p %d\n", tv, row);
1660
1661     if ( !tv->table )
1662         return ERROR_INVALID_PARAMETER;
1663
1664     r = TABLE_get_dimensions( view, &num_rows, &num_cols );
1665     if ( r != ERROR_SUCCESS )
1666         return r;
1667
1668     if ( row >= num_rows )
1669         return ERROR_FUNCTION_FAILED;
1670
1671     num_rows = tv->table->row_count;
1672     tv->table->row_count--;
1673
1674     /* reset the hash tables */
1675     for (i = 0; i < tv->num_cols; i++)
1676     {
1677         msi_free( tv->columns[i].hash_table );
1678         tv->columns[i].hash_table = NULL;
1679     }
1680
1681     for (i = row + 1; i < num_rows; i++)
1682     {
1683         memcpy(tv->table->data[i - 1], tv->table->data[i], tv->row_size);
1684         tv->table->data_persistent[i - 1] = tv->table->data_persistent[i];
1685     }
1686
1687     msi_free(tv->table->data[num_rows - 1]);
1688
1689     return ERROR_SUCCESS;
1690 }
1691
1692 static UINT msi_table_update(struct tagMSIVIEW *view, MSIRECORD *rec, UINT row)
1693 {
1694     MSITABLEVIEW *tv = (MSITABLEVIEW *)view;
1695     UINT r, new_row;
1696
1697     /* FIXME: MsiViewFetch should set rec index 0 to some ID that
1698      * sets the fetched record apart from other records
1699      */
1700
1701     if (!tv->table)
1702         return ERROR_INVALID_PARAMETER;
1703
1704     r = msi_table_find_row(tv, rec, &new_row, NULL);
1705     if (r != ERROR_SUCCESS)
1706     {
1707         ERR("can't find row to modify\n");
1708         return ERROR_FUNCTION_FAILED;
1709     }
1710
1711     /* the row cannot be changed */
1712     if (row != new_row + 1)
1713         return ERROR_FUNCTION_FAILED;
1714
1715     return TABLE_set_row(view, new_row, rec, (1 << tv->num_cols) - 1);
1716 }
1717
1718 static UINT msi_table_assign(struct tagMSIVIEW *view, MSIRECORD *rec)
1719 {
1720     MSITABLEVIEW *tv = (MSITABLEVIEW *)view;
1721     UINT r, row;
1722
1723     if (!tv->table)
1724         return ERROR_INVALID_PARAMETER;
1725
1726     r = msi_table_find_row(tv, rec, &row, NULL);
1727     if (r == ERROR_SUCCESS)
1728         return TABLE_set_row(view, row, rec, (1 << tv->num_cols) - 1);
1729     else
1730         return TABLE_insert_row( view, rec, -1, FALSE );
1731 }
1732
1733 static UINT modify_delete_row( struct tagMSIVIEW *view, MSIRECORD *rec )
1734 {
1735     MSITABLEVIEW *tv = (MSITABLEVIEW *)view;
1736     UINT row, r;
1737
1738     r = msi_table_find_row(tv, rec, &row, NULL);
1739     if (r != ERROR_SUCCESS)
1740         return r;
1741
1742     return TABLE_delete_row(view, row);
1743 }
1744
1745 static UINT msi_refresh_record( struct tagMSIVIEW *view, MSIRECORD *rec, UINT row )
1746 {
1747     MSIRECORD *curr;
1748     UINT r, i, count;
1749
1750     r = TABLE_get_row(view, row - 1, &curr);
1751     if (r != ERROR_SUCCESS)
1752         return r;
1753
1754     /* Close the original record */
1755     MSI_CloseRecord(&rec->hdr);
1756
1757     count = MSI_RecordGetFieldCount(rec);
1758     for (i = 0; i < count; i++)
1759         MSI_RecordCopyField(curr, i + 1, rec, i + 1);
1760
1761     msiobj_release(&curr->hdr);
1762     return ERROR_SUCCESS;
1763 }
1764
1765 static UINT TABLE_modify( struct tagMSIVIEW *view, MSIMODIFY eModifyMode,
1766                           MSIRECORD *rec, UINT row)
1767 {
1768     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1769     UINT r, column;
1770
1771     TRACE("%p %d %p\n", view, eModifyMode, rec );
1772
1773     switch (eModifyMode)
1774     {
1775     case MSIMODIFY_DELETE:
1776         r = modify_delete_row( view, rec );
1777         break;
1778     case MSIMODIFY_VALIDATE_NEW:
1779         r = table_validate_new( tv, rec, &column );
1780         if (r != ERROR_SUCCESS)
1781         {
1782             tv->view.error = MSIDBERROR_DUPLICATEKEY;
1783             tv->view.error_column = tv->columns[column].colname;
1784             r = ERROR_INVALID_DATA;
1785         }
1786         break;
1787
1788     case MSIMODIFY_INSERT:
1789         r = table_validate_new( tv, rec, NULL );
1790         if (r != ERROR_SUCCESS)
1791             break;
1792         r = TABLE_insert_row( view, rec, -1, FALSE );
1793         break;
1794
1795     case MSIMODIFY_INSERT_TEMPORARY:
1796         r = table_validate_new( tv, rec, NULL );
1797         if (r != ERROR_SUCCESS)
1798             break;
1799         r = TABLE_insert_row( view, rec, -1, TRUE );
1800         break;
1801
1802     case MSIMODIFY_REFRESH:
1803         r = msi_refresh_record( view, rec, row );
1804         break;
1805
1806     case MSIMODIFY_UPDATE:
1807         r = msi_table_update( view, rec, row );
1808         break;
1809
1810     case MSIMODIFY_ASSIGN:
1811         r = msi_table_assign( view, rec );
1812         break;
1813
1814     case MSIMODIFY_REPLACE:
1815     case MSIMODIFY_MERGE:
1816     case MSIMODIFY_VALIDATE:
1817     case MSIMODIFY_VALIDATE_FIELD:
1818     case MSIMODIFY_VALIDATE_DELETE:
1819         FIXME("%p %d %p - mode not implemented\n", view, eModifyMode, rec );
1820         r = ERROR_CALL_NOT_IMPLEMENTED;
1821         break;
1822
1823     default:
1824         r = ERROR_INVALID_DATA;
1825     }
1826
1827     return r;
1828 }
1829
1830 static UINT TABLE_delete( struct tagMSIVIEW *view )
1831 {
1832     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1833
1834     TRACE("%p\n", view );
1835
1836     tv->table = NULL;
1837     tv->columns = NULL;
1838
1839     msi_free( tv );
1840
1841     return ERROR_SUCCESS;
1842 }
1843
1844 static UINT TABLE_find_matching_rows( struct tagMSIVIEW *view, UINT col,
1845     UINT val, UINT *row, MSIITERHANDLE *handle )
1846 {
1847     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1848     const MSICOLUMNHASHENTRY *entry;
1849
1850     TRACE("%p, %d, %u, %p\n", view, col, val, *handle);
1851
1852     if( !tv->table )
1853         return ERROR_INVALID_PARAMETER;
1854
1855     if( (col==0) || (col > tv->num_cols) )
1856         return ERROR_INVALID_PARAMETER;
1857
1858     if( !tv->columns[col-1].hash_table )
1859     {
1860         UINT i;
1861         UINT num_rows = tv->table->row_count;
1862         MSICOLUMNHASHENTRY **hash_table;
1863         MSICOLUMNHASHENTRY *new_entry;
1864
1865         if( tv->columns[col-1].offset >= tv->row_size )
1866         {
1867             ERR("Stuffed up %d >= %d\n", tv->columns[col-1].offset, tv->row_size );
1868             ERR("%p %p\n", tv, tv->columns );
1869             return ERROR_FUNCTION_FAILED;
1870         }
1871
1872         /* allocate contiguous memory for the table and its entries so we
1873          * don't have to do an expensive cleanup */
1874         hash_table = msi_alloc(MSITABLE_HASH_TABLE_SIZE * sizeof(MSICOLUMNHASHENTRY*) +
1875             num_rows * sizeof(MSICOLUMNHASHENTRY));
1876         if (!hash_table)
1877             return ERROR_OUTOFMEMORY;
1878
1879         memset(hash_table, 0, MSITABLE_HASH_TABLE_SIZE * sizeof(MSICOLUMNHASHENTRY*));
1880         tv->columns[col-1].hash_table = hash_table;
1881
1882         new_entry = (MSICOLUMNHASHENTRY *)(hash_table + MSITABLE_HASH_TABLE_SIZE);
1883
1884         for (i = 0; i < num_rows; i++, new_entry++)
1885         {
1886             UINT row_value;
1887
1888             if (view->ops->fetch_int( view, i, col, &row_value ) != ERROR_SUCCESS)
1889                 continue;
1890
1891             new_entry->next = NULL;
1892             new_entry->value = row_value;
1893             new_entry->row = i;
1894             if (hash_table[row_value % MSITABLE_HASH_TABLE_SIZE])
1895             {
1896                 MSICOLUMNHASHENTRY *prev_entry = hash_table[row_value % MSITABLE_HASH_TABLE_SIZE];
1897                 while (prev_entry->next)
1898                     prev_entry = prev_entry->next;
1899                 prev_entry->next = new_entry;
1900             }
1901             else
1902                 hash_table[row_value % MSITABLE_HASH_TABLE_SIZE] = new_entry;
1903         }
1904     }
1905
1906     if( !*handle )
1907         entry = tv->columns[col-1].hash_table[val % MSITABLE_HASH_TABLE_SIZE];
1908     else
1909         entry = (*handle)->next;
1910
1911     while (entry && entry->value != val)
1912         entry = entry->next;
1913
1914     *handle = entry;
1915     if (!entry)
1916         return ERROR_NO_MORE_ITEMS;
1917
1918     *row = entry->row;
1919
1920     return ERROR_SUCCESS;
1921 }
1922
1923 static UINT TABLE_add_ref(struct tagMSIVIEW *view)
1924 {
1925     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1926     UINT i;
1927
1928     TRACE("%p %d\n", view, tv->table->ref_count);
1929
1930     for (i = 0; i < tv->table->col_count; i++)
1931     {
1932         if (tv->table->colinfo[i].type & MSITYPE_TEMPORARY)
1933             InterlockedIncrement(&tv->table->colinfo[i].ref_count);
1934     }
1935
1936     return InterlockedIncrement(&tv->table->ref_count);
1937 }
1938
1939 static UINT TABLE_remove_column(struct tagMSIVIEW *view, LPCWSTR table, UINT number)
1940 {
1941     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1942     MSIRECORD *rec = NULL;
1943     MSIVIEW *columns = NULL;
1944     UINT row, r;
1945
1946     rec = MSI_CreateRecord(2);
1947     if (!rec)
1948         return ERROR_OUTOFMEMORY;
1949
1950     MSI_RecordSetStringW(rec, 1, table);
1951     MSI_RecordSetInteger(rec, 2, number);
1952
1953     r = TABLE_CreateView(tv->db, szColumns, &columns);
1954     if (r != ERROR_SUCCESS)
1955         return r;
1956
1957     r = msi_table_find_row((MSITABLEVIEW *)columns, rec, &row, NULL);
1958     if (r != ERROR_SUCCESS)
1959         goto done;
1960
1961     r = TABLE_delete_row(columns, row);
1962     if (r != ERROR_SUCCESS)
1963         goto done;
1964
1965     msi_update_table_columns(tv->db, table);
1966
1967 done:
1968     msiobj_release(&rec->hdr);
1969     columns->ops->delete(columns);
1970     return r;
1971 }
1972
1973 static UINT TABLE_release(struct tagMSIVIEW *view)
1974 {
1975     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
1976     INT ref = tv->table->ref_count;
1977     UINT i, r;
1978
1979     TRACE("%p %d\n", view, ref);
1980
1981     for (i = 0; i < tv->table->col_count; i++)
1982     {
1983         if (tv->table->colinfo[i].type & MSITYPE_TEMPORARY)
1984         {
1985             ref = InterlockedDecrement(&tv->table->colinfo[i].ref_count);
1986             if (ref == 0)
1987             {
1988                 r = TABLE_remove_column(view, tv->table->colinfo[i].tablename,
1989                                         tv->table->colinfo[i].number);
1990                 if (r != ERROR_SUCCESS)
1991                     break;
1992             }
1993         }
1994     }
1995
1996     ref = InterlockedDecrement(&tv->table->ref_count);
1997     if (ref == 0)
1998     {
1999         if (!tv->table->row_count)
2000         {
2001             list_remove(&tv->table->entry);
2002             free_table(tv->table);
2003             TABLE_delete(view);
2004         }
2005     }
2006
2007     return ref;
2008 }
2009
2010 static UINT TABLE_add_column(struct tagMSIVIEW *view, LPCWSTR table, UINT number,
2011                              LPCWSTR column, UINT type, BOOL hold)
2012 {
2013     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
2014     MSITABLE *msitable;
2015     MSIRECORD *rec;
2016     UINT r, i;
2017
2018     rec = MSI_CreateRecord(4);
2019     if (!rec)
2020         return ERROR_OUTOFMEMORY;
2021
2022     MSI_RecordSetStringW(rec, 1, table);
2023     MSI_RecordSetInteger(rec, 2, number);
2024     MSI_RecordSetStringW(rec, 3, column);
2025     MSI_RecordSetInteger(rec, 4, type);
2026
2027     r = TABLE_insert_row(&tv->view, rec, -1, FALSE);
2028     if (r != ERROR_SUCCESS)
2029         goto done;
2030
2031     msi_update_table_columns(tv->db, table);
2032
2033     if (!hold)
2034         goto done;
2035
2036     msitable = find_cached_table(tv->db, table);
2037     for (i = 0; i < msitable->col_count; i++)
2038     {
2039         if (!strcmpW( msitable->colinfo[i].colname, column ))
2040         {
2041             InterlockedIncrement(&msitable->colinfo[i].ref_count);
2042             break;
2043         }
2044     }
2045
2046 done:
2047     msiobj_release(&rec->hdr);
2048     return r;
2049 }
2050
2051 static UINT TABLE_drop(struct tagMSIVIEW *view)
2052 {
2053     MSITABLEVIEW *tv = (MSITABLEVIEW*)view;
2054     MSIVIEW *tables = NULL;
2055     MSIRECORD *rec = NULL;
2056     UINT r, row;
2057     INT i;
2058
2059     TRACE("dropping table %s\n", debugstr_w(tv->name));
2060
2061     for (i = tv->table->col_count - 1; i >= 0; i--)
2062     {
2063         r = TABLE_remove_column(view, tv->table->colinfo[i].tablename,
2064                                 tv->table->colinfo[i].number);
2065         if (r != ERROR_SUCCESS)
2066             return r;
2067     }
2068
2069     rec = MSI_CreateRecord(1);
2070     if (!rec)
2071         return ERROR_OUTOFMEMORY;
2072
2073     MSI_RecordSetStringW(rec, 1, tv->name);
2074
2075     r = TABLE_CreateView(tv->db, szTables, &tables);
2076     if (r != ERROR_SUCCESS)
2077         return r;
2078
2079     r = msi_table_find_row((MSITABLEVIEW *)tables, rec, &row, NULL);
2080     if (r != ERROR_SUCCESS)
2081         goto done;
2082
2083     r = TABLE_delete_row(tables, row);
2084     if (r != ERROR_SUCCESS)
2085         goto done;
2086
2087     list_remove(&tv->table->entry);
2088     free_table(tv->table);
2089
2090 done:
2091     msiobj_release(&rec->hdr);
2092     tables->ops->delete(tables);
2093
2094     return r;
2095 }
2096
2097 static const MSIVIEWOPS table_ops =
2098 {
2099     TABLE_fetch_int,
2100     TABLE_fetch_stream,
2101     TABLE_get_row,
2102     TABLE_set_row,
2103     TABLE_insert_row,
2104     TABLE_delete_row,
2105     TABLE_execute,
2106     TABLE_close,
2107     TABLE_get_dimensions,
2108     TABLE_get_column_info,
2109     TABLE_modify,
2110     TABLE_delete,
2111     TABLE_find_matching_rows,
2112     TABLE_add_ref,
2113     TABLE_release,
2114     TABLE_add_column,
2115     TABLE_remove_column,
2116     NULL,
2117     TABLE_drop,
2118 };
2119
2120 UINT TABLE_CreateView( MSIDATABASE *db, LPCWSTR name, MSIVIEW **view )
2121 {
2122     MSITABLEVIEW *tv ;
2123     UINT r, sz;
2124
2125     TRACE("%p %s %p\n", db, debugstr_w(name), view );
2126
2127     if ( !strcmpW( name, szStreams ) )
2128         return STREAMS_CreateView( db, view );
2129     else if ( !strcmpW( name, szStorages ) )
2130         return STORAGES_CreateView( db, view );
2131
2132     sz = sizeof *tv + lstrlenW(name)*sizeof name[0] ;
2133     tv = msi_alloc_zero( sz );
2134     if( !tv )
2135         return ERROR_FUNCTION_FAILED;
2136
2137     r = get_table( db, name, &tv->table );
2138     if( r != ERROR_SUCCESS )
2139     {
2140         msi_free( tv );
2141         WARN("table not found\n");
2142         return r;
2143     }
2144
2145     TRACE("table %p found with %d columns\n", tv->table, tv->table->col_count);
2146
2147     /* fill the structure */
2148     tv->view.ops = &table_ops;
2149     tv->db = db;
2150     tv->columns = tv->table->colinfo;
2151     tv->num_cols = tv->table->col_count;
2152     tv->row_size = msi_table_get_row_size( db, tv->table->colinfo, tv->table->col_count, LONG_STR_BYTES );
2153
2154     TRACE("%s one row is %d bytes\n", debugstr_w(name), tv->row_size );
2155
2156     *view = (MSIVIEW*) tv;
2157     lstrcpyW( tv->name, name );
2158
2159     return ERROR_SUCCESS;
2160 }
2161
2162 UINT MSI_CommitTables( MSIDATABASE *db )
2163 {
2164     UINT r, bytes_per_strref;
2165     HRESULT hr;
2166     MSITABLE *table = NULL;
2167
2168     TRACE("%p\n",db);
2169
2170     r = msi_save_string_table( db->strings, db->storage, &bytes_per_strref );
2171     if( r != ERROR_SUCCESS )
2172     {
2173         WARN("failed to save string table r=%08x\n",r);
2174         return r;
2175     }
2176
2177     LIST_FOR_EACH_ENTRY( table, &db->tables, MSITABLE, entry )
2178     {
2179         r = save_table( db, table, bytes_per_strref );
2180         if( r != ERROR_SUCCESS )
2181         {
2182             WARN("failed to save table %s (r=%08x)\n",
2183                   debugstr_w(table->name), r);
2184             return r;
2185         }
2186     }
2187
2188     /* force everything to reload next time */
2189     free_cached_tables( db );
2190
2191     hr = IStorage_Commit( db->storage, 0 );
2192     if (FAILED( hr ))
2193     {
2194         WARN("failed to commit changes 0x%08x\n", hr);
2195         r = ERROR_FUNCTION_FAILED;
2196     }
2197     return r;
2198 }
2199
2200 MSICONDITION MSI_DatabaseIsTablePersistent( MSIDATABASE *db, LPCWSTR table )
2201 {
2202     MSITABLE *t;
2203     UINT r;
2204
2205     TRACE("%p %s\n", db, debugstr_w(table));
2206
2207     if (!table)
2208         return MSICONDITION_ERROR;
2209
2210     r = get_table( db, table, &t );
2211     if (r != ERROR_SUCCESS)
2212         return MSICONDITION_NONE;
2213
2214     return t->persistent;
2215 }
2216
2217 static UINT read_raw_int(const BYTE *data, UINT col, UINT bytes)
2218 {
2219     UINT ret = 0, i;
2220
2221     for (i = 0; i < bytes; i++)
2222         ret += (data[col + i] << i * 8);
2223
2224     return ret;
2225 }
2226
2227 static UINT msi_record_encoded_stream_name( const MSITABLEVIEW *tv, MSIRECORD *rec, LPWSTR *pstname )
2228 {
2229     LPWSTR stname = NULL, sval, p;
2230     DWORD len;
2231     UINT i, r;
2232
2233     TRACE("%p %p\n", tv, rec);
2234
2235     len = lstrlenW( tv->name ) + 1;
2236     stname = msi_alloc( len*sizeof(WCHAR) );
2237     if ( !stname )
2238     {
2239        r = ERROR_OUTOFMEMORY;
2240        goto err;
2241     }
2242
2243     lstrcpyW( stname, tv->name );
2244
2245     for ( i = 0; i < tv->num_cols; i++ )
2246     {
2247         if ( tv->columns[i].type & MSITYPE_KEY )
2248         {
2249             sval = msi_dup_record_field( rec, i + 1 );
2250             if ( !sval )
2251             {
2252                 r = ERROR_OUTOFMEMORY;
2253                 goto err;
2254             }
2255
2256             len += lstrlenW( szDot ) + lstrlenW ( sval );
2257             p = msi_realloc ( stname, len*sizeof(WCHAR) );
2258             if ( !p )
2259             {
2260                 r = ERROR_OUTOFMEMORY;
2261                 goto err;
2262             }
2263             stname = p;
2264
2265             lstrcatW( stname, szDot );
2266             lstrcatW( stname, sval );
2267
2268             msi_free( sval );
2269         }
2270         else
2271             continue;
2272     }
2273
2274     *pstname = encode_streamname( FALSE, stname );
2275     msi_free( stname );
2276
2277     return ERROR_SUCCESS;
2278
2279 err:
2280     msi_free ( stname );
2281     *pstname = NULL;
2282     return r;
2283 }
2284
2285 static MSIRECORD *msi_get_transform_record( const MSITABLEVIEW *tv, const string_table *st,
2286                                             IStorage *stg,
2287                                             const BYTE *rawdata, UINT bytes_per_strref )
2288 {
2289     UINT i, val, ofs = 0;
2290     USHORT mask;
2291     MSICOLUMNINFO *columns = tv->columns;
2292     MSIRECORD *rec;
2293
2294     mask = rawdata[0] | (rawdata[1] << 8);
2295     rawdata += 2;
2296
2297     rec = MSI_CreateRecord( tv->num_cols );
2298     if( !rec )
2299         return rec;
2300
2301     TRACE("row ->\n");
2302     for( i=0; i<tv->num_cols; i++ )
2303     {
2304         if ( (mask&1) && (i>=(mask>>8)) )
2305             break;
2306         /* all keys must be present */
2307         if ( (~mask&1) && (~columns[i].type & MSITYPE_KEY) && ((1<<i) & ~mask) )
2308             continue;
2309
2310         if( MSITYPE_IS_BINARY(tv->columns[i].type) )
2311         {
2312             LPWSTR encname;
2313             IStream *stm = NULL;
2314             UINT r;
2315
2316             ofs += bytes_per_column( tv->db, &columns[i], bytes_per_strref );
2317
2318             r = msi_record_encoded_stream_name( tv, rec, &encname );
2319             if ( r != ERROR_SUCCESS )
2320                 return NULL;
2321
2322             r = IStorage_OpenStream( stg, encname, NULL,
2323                      STGM_READ | STGM_SHARE_EXCLUSIVE, 0, &stm );
2324             msi_free( encname );
2325             if ( r != ERROR_SUCCESS )
2326                 return NULL;
2327
2328             MSI_RecordSetStream( rec, i+1, stm );
2329             TRACE(" field %d [%s]\n", i+1, debugstr_w(encname));
2330         }
2331         else if( columns[i].type & MSITYPE_STRING )
2332         {
2333             LPCWSTR sval;
2334
2335             val = read_raw_int(rawdata, ofs, bytes_per_strref);
2336             sval = msi_string_lookup_id( st, val );
2337             MSI_RecordSetStringW( rec, i+1, sval );
2338             TRACE(" field %d [%s]\n", i+1, debugstr_w(sval));
2339             ofs += bytes_per_strref;
2340         }
2341         else
2342         {
2343             UINT n = bytes_per_column( tv->db, &columns[i], bytes_per_strref );
2344             switch( n )
2345             {
2346             case 2:
2347                 val = read_raw_int(rawdata, ofs, n);
2348                 if (val)
2349                     MSI_RecordSetInteger( rec, i+1, val-0x8000 );
2350                 TRACE(" field %d [0x%04x]\n", i+1, val );
2351                 break;
2352             case 4:
2353                 val = read_raw_int(rawdata, ofs, n);
2354                 if (val)
2355                     MSI_RecordSetInteger( rec, i+1, val^0x80000000 );
2356                 TRACE(" field %d [0x%08x]\n", i+1, val );
2357                 break;
2358             default:
2359                 ERR("oops - unknown column width %d\n", n);
2360                 break;
2361             }
2362             ofs += n;
2363         }
2364     }
2365     return rec;
2366 }
2367
2368 static void dump_record( MSIRECORD *rec )
2369 {
2370     UINT i, n;
2371
2372     n = MSI_RecordGetFieldCount( rec );
2373     for( i=1; i<=n; i++ )
2374     {
2375         LPCWSTR sval;
2376
2377         if( MSI_RecordIsNull( rec, i ) )
2378             TRACE("row -> []\n");
2379         else if( (sval = MSI_RecordGetString( rec, i )) )
2380             TRACE("row -> [%s]\n", debugstr_w(sval));
2381         else
2382             TRACE("row -> [0x%08x]\n", MSI_RecordGetInteger( rec, i ) );
2383     }
2384 }
2385
2386 static void dump_table( const string_table *st, const USHORT *rawdata, UINT rawsize )
2387 {
2388     LPCWSTR sval;
2389     UINT i;
2390
2391     for( i=0; i<(rawsize/2); i++ )
2392     {
2393         sval = msi_string_lookup_id( st, rawdata[i] );
2394         MESSAGE(" %04x %s\n", rawdata[i], debugstr_w(sval) );
2395     }
2396 }
2397
2398 static UINT* msi_record_to_row( const MSITABLEVIEW *tv, MSIRECORD *rec )
2399 {
2400     LPCWSTR str;
2401     UINT i, r, *data;
2402
2403     data = msi_alloc( tv->num_cols *sizeof (UINT) );
2404     for( i=0; i<tv->num_cols; i++ )
2405     {
2406         data[i] = 0;
2407
2408         if ( ~tv->columns[i].type & MSITYPE_KEY )
2409             continue;
2410
2411         /* turn the transform column value into a row value */
2412         if ( ( tv->columns[i].type & MSITYPE_STRING ) &&
2413              ! MSITYPE_IS_BINARY(tv->columns[i].type) )
2414         {
2415             str = MSI_RecordGetString( rec, i+1 );
2416             if (str)
2417             {
2418                 r = msi_string2idW( tv->db->strings, str, &data[i] );
2419
2420                 /* if there's no matching string in the string table,
2421                    these keys can't match any record, so fail now. */
2422                 if (r != ERROR_SUCCESS)
2423                 {
2424                     msi_free( data );
2425                     return NULL;
2426                 }
2427             }
2428             else data[i] = 0;
2429         }
2430         else
2431         {
2432             data[i] = MSI_RecordGetInteger( rec, i+1 );
2433
2434             if (data[i] == MSI_NULL_INTEGER)
2435                 data[i] = 0;
2436             else if ((tv->columns[i].type&0xff) == 2)
2437                 data[i] += 0x8000;
2438             else
2439                 data[i] += 0x80000000;
2440         }
2441     }
2442     return data;
2443 }
2444
2445 static UINT msi_row_matches( MSITABLEVIEW *tv, UINT row, const UINT *data, UINT *column )
2446 {
2447     UINT i, r, x, ret = ERROR_FUNCTION_FAILED;
2448
2449     for( i=0; i<tv->num_cols; i++ )
2450     {
2451         if ( ~tv->columns[i].type & MSITYPE_KEY )
2452             continue;
2453
2454         /* turn the transform column value into a row value */
2455         r = TABLE_fetch_int( &tv->view, row, i+1, &x );
2456         if ( r != ERROR_SUCCESS )
2457         {
2458             ERR("TABLE_fetch_int shouldn't fail here\n");
2459             break;
2460         }
2461
2462         /* if this key matches, move to the next column */
2463         if ( x != data[i] )
2464         {
2465             ret = ERROR_FUNCTION_FAILED;
2466             break;
2467         }
2468         if (column) *column = i;
2469         ret = ERROR_SUCCESS;
2470     }
2471     return ret;
2472 }
2473
2474 static UINT msi_table_find_row( MSITABLEVIEW *tv, MSIRECORD *rec, UINT *row, UINT *column )
2475 {
2476     UINT i, r = ERROR_FUNCTION_FAILED, *data;
2477
2478     data = msi_record_to_row( tv, rec );
2479     if( !data )
2480         return r;
2481     for( i = 0; i < tv->table->row_count; i++ )
2482     {
2483         r = msi_row_matches( tv, i, data, column );
2484         if( r == ERROR_SUCCESS )
2485         {
2486             *row = i;
2487             break;
2488         }
2489     }
2490     msi_free( data );
2491     return r;
2492 }
2493
2494 typedef struct
2495 {
2496     struct list entry;
2497     LPWSTR name;
2498 } TRANSFORMDATA;
2499
2500 static UINT msi_table_load_transform( MSIDATABASE *db, IStorage *stg,
2501                                       string_table *st, TRANSFORMDATA *transform,
2502                                       UINT bytes_per_strref )
2503 {
2504     BYTE *rawdata = NULL;
2505     MSITABLEVIEW *tv = NULL;
2506     UINT r, n, sz, i, mask, num_cols, colcol = 0, rawsize = 0;
2507     MSIRECORD *rec = NULL;
2508     WCHAR coltable[32];
2509     const WCHAR *name;
2510
2511     if (!transform)
2512         return ERROR_SUCCESS;
2513
2514     name = transform->name;
2515
2516     coltable[0] = 0;
2517     TRACE("%p %p %p %s\n", db, stg, st, debugstr_w(name) );
2518
2519     /* read the transform data */
2520     read_stream_data( stg, name, TRUE, &rawdata, &rawsize );
2521     if ( !rawdata )
2522     {
2523         TRACE("table %s empty\n", debugstr_w(name) );
2524         return ERROR_INVALID_TABLE;
2525     }
2526
2527     /* create a table view */
2528     r = TABLE_CreateView( db, name, (MSIVIEW**) &tv );
2529     if( r != ERROR_SUCCESS )
2530         goto err;
2531
2532     r = tv->view.ops->execute( &tv->view, NULL );
2533     if( r != ERROR_SUCCESS )
2534         goto err;
2535
2536     TRACE("name = %s columns = %u row_size = %u raw size = %u\n",
2537           debugstr_w(name), tv->num_cols, tv->row_size, rawsize );
2538
2539     /* interpret the data */
2540     for (n = 0; n < rawsize;)
2541     {
2542         mask = rawdata[n] | (rawdata[n + 1] << 8);
2543         if (mask & 1)
2544         {
2545             /*
2546              * if the low bit is set, columns are continuous and
2547              * the number of columns is specified in the high byte
2548              */
2549             sz = 2;
2550             num_cols = mask >> 8;
2551             for (i = 0; i < num_cols; i++)
2552             {
2553                 if( (tv->columns[i].type & MSITYPE_STRING) &&
2554                     ! MSITYPE_IS_BINARY(tv->columns[i].type) )
2555                     sz += bytes_per_strref;
2556                 else
2557                     sz += bytes_per_column( tv->db, &tv->columns[i], bytes_per_strref );
2558             }
2559         }
2560         else
2561         {
2562             /*
2563              * If the low bit is not set, mask is a bitmask.
2564              * Excepting for key fields, which are always present,
2565              *  each bit indicates that a field is present in the transform record.
2566              *
2567              * mask == 0 is a special case ... only the keys will be present
2568              * and it means that this row should be deleted.
2569              */
2570             sz = 2;
2571             num_cols = tv->num_cols;
2572             for (i = 0; i < num_cols; i++)
2573             {
2574                 if ((tv->columns[i].type & MSITYPE_KEY) || ((1 << i) & mask))
2575                 {
2576                     if ((tv->columns[i].type & MSITYPE_STRING) &&
2577                         !MSITYPE_IS_BINARY(tv->columns[i].type))
2578                         sz += bytes_per_strref;
2579                     else
2580                         sz += bytes_per_column( tv->db, &tv->columns[i], bytes_per_strref );
2581                 }
2582             }
2583         }
2584
2585         /* check we didn't run of the end of the table */
2586         if (n + sz > rawsize)
2587         {
2588             ERR("borked.\n");
2589             dump_table( st, (USHORT *)rawdata, rawsize );
2590             break;
2591         }
2592
2593         rec = msi_get_transform_record( tv, st, stg, &rawdata[n], bytes_per_strref );
2594         if (rec)
2595         {
2596             WCHAR table[32];
2597             DWORD sz = 32;
2598             UINT number = MSI_NULL_INTEGER;
2599             UINT row = 0;
2600
2601             if (!strcmpW( name, szColumns ))
2602             {
2603                 MSI_RecordGetStringW( rec, 1, table, &sz );
2604                 number = MSI_RecordGetInteger( rec, 2 );
2605
2606                 /*
2607                  * Native msi seems writes nul into the Number (2nd) column of
2608                  * the _Columns table, only when the columns are from a new table
2609                  */
2610                 if ( number == MSI_NULL_INTEGER )
2611                 {
2612                     /* reset the column number on a new table */
2613                     if (strcmpW( coltable, table ))
2614                     {
2615                         colcol = 0;
2616                         lstrcpyW( coltable, table );
2617                     }
2618
2619                     /* fix nul column numbers */
2620                     MSI_RecordSetInteger( rec, 2, ++colcol );
2621                 }
2622             }
2623
2624             if (TRACE_ON(msidb)) dump_record( rec );
2625
2626             r = msi_table_find_row( tv, rec, &row, NULL );
2627             if (r == ERROR_SUCCESS)
2628             {
2629                 if (!mask)
2630                 {
2631                     TRACE("deleting row [%d]:\n", row);
2632                     r = TABLE_delete_row( &tv->view, row );
2633                     if (r != ERROR_SUCCESS)
2634                         WARN("failed to delete row %u\n", r);
2635                 }
2636                 else if (mask & 1)
2637                 {
2638                     TRACE("modifying full row [%d]:\n", row);
2639                     r = TABLE_set_row( &tv->view, row, rec, (1 << tv->num_cols) - 1 );
2640                     if (r != ERROR_SUCCESS)
2641                         WARN("failed to modify row %u\n", r);
2642                 }
2643                 else
2644                 {
2645                     TRACE("modifying masked row [%d]:\n", row);
2646                     r = TABLE_set_row( &tv->view, row, rec, mask );
2647                     if (r != ERROR_SUCCESS)
2648                         WARN("failed to modify row %u\n", r);
2649                 }
2650             }
2651             else
2652             {
2653                 TRACE("inserting row\n");
2654                 r = TABLE_insert_row( &tv->view, rec, -1, FALSE );
2655                 if (r != ERROR_SUCCESS)
2656                     WARN("failed to insert row %u\n", r);
2657             }
2658
2659             if (number != MSI_NULL_INTEGER && !strcmpW( name, szColumns ))
2660                 msi_update_table_columns( db, table );
2661
2662             msiobj_release( &rec->hdr );
2663         }
2664
2665         n += sz;
2666     }
2667
2668 err:
2669     /* no need to free the table, it's associated with the database */
2670     msi_free( rawdata );
2671     if( tv )
2672         tv->view.ops->delete( &tv->view );
2673
2674     return ERROR_SUCCESS;
2675 }
2676
2677 /*
2678  * msi_table_apply_transform
2679  *
2680  * Enumerate the table transforms in a transform storage and apply each one.
2681  */
2682 UINT msi_table_apply_transform( MSIDATABASE *db, IStorage *stg )
2683 {
2684     struct list transforms;
2685     IEnumSTATSTG *stgenum = NULL;
2686     TRANSFORMDATA *transform;
2687     TRANSFORMDATA *tables = NULL, *columns = NULL;
2688     HRESULT r;
2689     STATSTG stat;
2690     string_table *strings;
2691     UINT ret = ERROR_FUNCTION_FAILED;
2692     UINT bytes_per_strref;
2693
2694     TRACE("%p %p\n", db, stg );
2695
2696     strings = msi_load_string_table( stg, &bytes_per_strref );
2697     if( !strings )
2698         goto end;
2699
2700     r = IStorage_EnumElements( stg, 0, NULL, 0, &stgenum );
2701     if( FAILED( r ) )
2702         goto end;
2703
2704     list_init(&transforms);
2705
2706     while ( TRUE )
2707     {
2708         MSITABLEVIEW *tv = NULL;
2709         WCHAR name[0x40];
2710         ULONG count = 0;
2711
2712         r = IEnumSTATSTG_Next( stgenum, 1, &stat, &count );
2713         if ( FAILED( r ) || !count )
2714             break;
2715
2716         decode_streamname( stat.pwcsName, name );
2717         CoTaskMemFree( stat.pwcsName );
2718         if ( name[0] != 0x4840 )
2719             continue;
2720
2721         if ( !strcmpW( name+1, szStringPool ) ||
2722              !strcmpW( name+1, szStringData ) )
2723             continue;
2724
2725         transform = msi_alloc_zero( sizeof(TRANSFORMDATA) );
2726         if ( !transform )
2727             break;
2728
2729         list_add_tail( &transforms, &transform->entry );
2730
2731         transform->name = strdupW( name + 1 );
2732
2733         if ( !strcmpW( transform->name, szTables ) )
2734             tables = transform;
2735         else if (!strcmpW( transform->name, szColumns ) )
2736             columns = transform;
2737
2738         TRACE("transform contains stream %s\n", debugstr_w(name));
2739
2740         /* load the table */
2741         r = TABLE_CreateView( db, transform->name, (MSIVIEW**) &tv );
2742         if( r != ERROR_SUCCESS )
2743             continue;
2744
2745         r = tv->view.ops->execute( &tv->view, NULL );
2746         if( r != ERROR_SUCCESS )
2747         {
2748             tv->view.ops->delete( &tv->view );
2749             continue;
2750         }
2751
2752         tv->view.ops->delete( &tv->view );
2753     }
2754
2755     /*
2756      * Apply _Tables and _Columns transforms first so that
2757      * the table metadata is correct, and empty tables exist.
2758      */
2759     ret = msi_table_load_transform( db, stg, strings, tables, bytes_per_strref );
2760     if (ret != ERROR_SUCCESS && ret != ERROR_INVALID_TABLE)
2761         goto end;
2762
2763     ret = msi_table_load_transform( db, stg, strings, columns, bytes_per_strref );
2764     if (ret != ERROR_SUCCESS && ret != ERROR_INVALID_TABLE)
2765         goto end;
2766
2767     ret = ERROR_SUCCESS;
2768
2769     while ( !list_empty( &transforms ) )
2770     {
2771         transform = LIST_ENTRY( list_head( &transforms ), TRANSFORMDATA, entry );
2772
2773         if ( strcmpW( transform->name, szColumns ) &&
2774              strcmpW( transform->name, szTables ) &&
2775              ret == ERROR_SUCCESS )
2776         {
2777             ret = msi_table_load_transform( db, stg, strings, transform, bytes_per_strref );
2778         }
2779
2780         list_remove( &transform->entry );
2781         msi_free( transform->name );
2782         msi_free( transform );
2783     }
2784
2785     if ( ret == ERROR_SUCCESS )
2786         append_storage_to_db( db, stg );
2787
2788 end:
2789     if ( stgenum )
2790         IEnumSTATSTG_Release( stgenum );
2791     if ( strings )
2792         msi_destroy_stringtable( strings );
2793
2794     return ret;
2795 }