git.oblomov.eu Git - wine/blob - dlls/winhttp/request.c

   1 /*
   2  * Copyright 2004 Mike McCormack for CodeWeavers
   3  * Copyright 2006 Rob Shearman for CodeWeavers
   4  * Copyright 2008 Hans Leidekker for CodeWeavers
   5  * Copyright 2009 Juan Lang
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with this library; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
  20  */
  21
  22 #include "config.h"
  23 #include "wine/port.h"
  24 #include "wine/debug.h"
  25
  26 #include <stdarg.h>
  27 #ifdef HAVE_ARPA_INET_H
  28 # include <arpa/inet.h>
  29 #endif
  30
  31 #include "windef.h"
  32 #include "winbase.h"
  33 #include "winhttp.h"
  34
  35 #include "winhttp_private.h"
  36
  37 WINE_DEFAULT_DEBUG_CHANNEL(winhttp);
  38
  39 static const WCHAR attr_accept[] = {'A','c','c','e','p','t',0};
  40 static const WCHAR attr_accept_charset[] = {'A','c','c','e','p','t','-','C','h','a','r','s','e','t', 0};
  41 static const WCHAR attr_accept_encoding[] = {'A','c','c','e','p','t','-','E','n','c','o','d','i','n','g',0};
  42 static const WCHAR attr_accept_language[] = {'A','c','c','e','p','t','-','L','a','n','g','u','a','g','e',0};
  43 static const WCHAR attr_accept_ranges[] = {'A','c','c','e','p','t','-','R','a','n','g','e','s',0};
  44 static const WCHAR attr_age[] = {'A','g','e',0};
  45 static const WCHAR attr_allow[] = {'A','l','l','o','w',0};
  46 static const WCHAR attr_authorization[] = {'A','u','t','h','o','r','i','z','a','t','i','o','n',0};
  47 static const WCHAR attr_cache_control[] = {'C','a','c','h','e','-','C','o','n','t','r','o','l',0};
  48 static const WCHAR attr_connection[] = {'C','o','n','n','e','c','t','i','o','n',0};
  49 static const WCHAR attr_content_base[] = {'C','o','n','t','e','n','t','-','B','a','s','e',0};
  50 static const WCHAR attr_content_encoding[] = {'C','o','n','t','e','n','t','-','E','n','c','o','d','i','n','g',0};
  51 static const WCHAR attr_content_id[] = {'C','o','n','t','e','n','t','-','I','D',0};
  52 static const WCHAR attr_content_language[] = {'C','o','n','t','e','n','t','-','L','a','n','g','u','a','g','e',0};
  53 static const WCHAR attr_content_length[] = {'C','o','n','t','e','n','t','-','L','e','n','g','t','h',0};
  54 static const WCHAR attr_content_location[] = {'C','o','n','t','e','n','t','-','L','o','c','a','t','i','o','n',0};
  55 static const WCHAR attr_content_md5[] = {'C','o','n','t','e','n','t','-','M','D','5',0};
  56 static const WCHAR attr_content_range[] = {'C','o','n','t','e','n','t','-','R','a','n','g','e',0};
  57 static const WCHAR attr_content_transfer_encoding[] = {'C','o','n','t','e','n','t','-','T','r','a','n','s','f','e','r','-','E','n','c','o','d','i','n','g',0};
  58 static const WCHAR attr_content_type[] = {'C','o','n','t','e','n','t','-','T','y','p','e',0};
  59 static const WCHAR attr_cookie[] = {'C','o','o','k','i','e',0};
  60 static const WCHAR attr_date[] = {'D','a','t','e',0};
  61 static const WCHAR attr_from[] = {'F','r','o','m',0};
  62 static const WCHAR attr_etag[] = {'E','T','a','g',0};
  63 static const WCHAR attr_expect[] = {'E','x','p','e','c','t',0};
  64 static const WCHAR attr_expires[] = {'E','x','p','i','r','e','s',0};
  65 static const WCHAR attr_host[] = {'H','o','s','t',0};
  66 static const WCHAR attr_if_match[] = {'I','f','-','M','a','t','c','h',0};
  67 static const WCHAR attr_if_modified_since[] = {'I','f','-','M','o','d','i','f','i','e','d','-','S','i','n','c','e',0};
  68 static const WCHAR attr_if_none_match[] = {'I','f','-','N','o','n','e','-','M','a','t','c','h',0};
  69 static const WCHAR attr_if_range[] = {'I','f','-','R','a','n','g','e',0};
  70 static const WCHAR attr_if_unmodified_since[] = {'I','f','-','U','n','m','o','d','i','f','i','e','d','-','S','i','n','c','e',0};
  71 static const WCHAR attr_last_modified[] = {'L','a','s','t','-','M','o','d','i','f','i','e','d',0};
  72 static const WCHAR attr_location[] = {'L','o','c','a','t','i','o','n',0};
  73 static const WCHAR attr_max_forwards[] = {'M','a','x','-','F','o','r','w','a','r','d','s',0};
  74 static const WCHAR attr_mime_version[] = {'M','i','m','e','-','V','e','r','s','i','o','n',0};
  75 static const WCHAR attr_pragma[] = {'P','r','a','g','m','a',0};
  76 static const WCHAR attr_proxy_authenticate[] = {'P','r','o','x','y','-','A','u','t','h','e','n','t','i','c','a','t','e',0};
  77 static const WCHAR attr_proxy_authorization[] = {'P','r','o','x','y','-','A','u','t','h','o','r','i','z','a','t','i','o','n',0};
  78 static const WCHAR attr_proxy_connection[] = {'P','r','o','x','y','-','C','o','n','n','e','c','t','i','o','n',0};
  79 static const WCHAR attr_public[] = {'P','u','b','l','i','c',0};
  80 static const WCHAR attr_range[] = {'R','a','n','g','e',0};
  81 static const WCHAR attr_referer[] = {'R','e','f','e','r','e','r',0};
  82 static const WCHAR attr_retry_after[] = {'R','e','t','r','y','-','A','f','t','e','r',0};
  83 static const WCHAR attr_server[] = {'S','e','r','v','e','r',0};
  84 static const WCHAR attr_set_cookie[] = {'S','e','t','-','C','o','o','k','i','e',0};
  85 static const WCHAR attr_status[] = {'S','t','a','t','u','s',0};
  86 static const WCHAR attr_transfer_encoding[] = {'T','r','a','n','s','f','e','r','-','E','n','c','o','d','i','n','g',0};
  87 static const WCHAR attr_unless_modified_since[] = {'U','n','l','e','s','s','-','M','o','d','i','f','i','e','d','-','S','i','n','c','e',0};
  88 static const WCHAR attr_upgrade[] = {'U','p','g','r','a','d','e',0};
  89 static const WCHAR attr_uri[] = {'U','R','I',0};
  90 static const WCHAR attr_user_agent[] = {'U','s','e','r','-','A','g','e','n','t',0};
  91 static const WCHAR attr_vary[] = {'V','a','r','y',0};
  92 static const WCHAR attr_via[] = {'V','i','a',0};
  93 static const WCHAR attr_warning[] = {'W','a','r','n','i','n','g',0};
  94 static const WCHAR attr_www_authenticate[] = {'W','W','W','-','A','u','t','h','e','n','t','i','c','a','t','e',0};
  95
  96 static const WCHAR *attribute_table[] =
  97 {
  98     attr_mime_version,              /* WINHTTP_QUERY_MIME_VERSION               = 0  */
  99     attr_content_type,              /* WINHTTP_QUERY_CONTENT_TYPE               = 1  */
 100     attr_content_transfer_encoding, /* WINHTTP_QUERY_CONTENT_TRANSFER_ENCODING  = 2  */
 101     attr_content_id,                /* WINHTTP_QUERY_CONTENT_ID                 = 3  */
 102     NULL,                           /* WINHTTP_QUERY_CONTENT_DESCRIPTION        = 4  */
 103     attr_content_length,            /* WINHTTP_QUERY_CONTENT_LENGTH             = 5  */
 104     attr_content_language,          /* WINHTTP_QUERY_CONTENT_LANGUAGE           = 6  */
 105     attr_allow,                     /* WINHTTP_QUERY_ALLOW                      = 7  */
 106     attr_public,                    /* WINHTTP_QUERY_PUBLIC                     = 8  */
 107     attr_date,                      /* WINHTTP_QUERY_DATE                       = 9  */
 108     attr_expires,                   /* WINHTTP_QUERY_EXPIRES                    = 10 */
 109     attr_last_modified,             /* WINHTTP_QUERY_LAST_MODIFIEDcw            = 11 */
 110     NULL,                           /* WINHTTP_QUERY_MESSAGE_ID                 = 12 */
 111     attr_uri,                       /* WINHTTP_QUERY_URI                        = 13 */
 112     attr_from,                      /* WINHTTP_QUERY_DERIVED_FROM               = 14 */
 113     NULL,                           /* WINHTTP_QUERY_COST                       = 15 */
 114     NULL,                           /* WINHTTP_QUERY_LINK                       = 16 */
 115     attr_pragma,                    /* WINHTTP_QUERY_PRAGMA                     = 17 */
 116     NULL,                           /* WINHTTP_QUERY_VERSION                    = 18 */
 117     attr_status,                    /* WINHTTP_QUERY_STATUS_CODE                = 19 */
 118     NULL,                           /* WINHTTP_QUERY_STATUS_TEXT                = 20 */
 119     NULL,                           /* WINHTTP_QUERY_RAW_HEADERS                = 21 */
 120     NULL,                           /* WINHTTP_QUERY_RAW_HEADERS_CRLF           = 22 */
 121     attr_connection,                /* WINHTTP_QUERY_CONNECTION                 = 23 */
 122     attr_accept,                    /* WINHTTP_QUERY_ACCEPT                     = 24 */
 123     attr_accept_charset,            /* WINHTTP_QUERY_ACCEPT_CHARSET             = 25 */
 124     attr_accept_encoding,           /* WINHTTP_QUERY_ACCEPT_ENCODING            = 26 */
 125     attr_accept_language,           /* WINHTTP_QUERY_ACCEPT_LANGUAGE            = 27 */
 126     attr_authorization,             /* WINHTTP_QUERY_AUTHORIZATION              = 28 */
 127     attr_content_encoding,          /* WINHTTP_QUERY_CONTENT_ENCODING           = 29 */
 128     NULL,                           /* WINHTTP_QUERY_FORWARDED                  = 30 */
 129     NULL,                           /* WINHTTP_QUERY_FROM                       = 31 */
 130     attr_if_modified_since,         /* WINHTTP_QUERY_IF_MODIFIED_SINCE          = 32 */
 131     attr_location,                  /* WINHTTP_QUERY_LOCATION                   = 33 */
 132     NULL,                           /* WINHTTP_QUERY_ORIG_URI                   = 34 */
 133     attr_referer,                   /* WINHTTP_QUERY_REFERER                    = 35 */
 134     attr_retry_after,               /* WINHTTP_QUERY_RETRY_AFTER                = 36 */
 135     attr_server,                    /* WINHTTP_QUERY_SERVER                     = 37 */
 136     NULL,                           /* WINHTTP_TITLE                            = 38 */
 137     attr_user_agent,                /* WINHTTP_QUERY_USER_AGENT                 = 39 */
 138     attr_www_authenticate,          /* WINHTTP_QUERY_WWW_AUTHENTICATE           = 40 */
 139     attr_proxy_authenticate,        /* WINHTTP_QUERY_PROXY_AUTHENTICATE         = 41 */
 140     attr_accept_ranges,             /* WINHTTP_QUERY_ACCEPT_RANGES              = 42 */
 141     attr_set_cookie,                /* WINHTTP_QUERY_SET_COOKIE                 = 43 */
 142     attr_cookie,                    /* WINHTTP_QUERY_COOKIE                     = 44 */
 143     NULL,                           /* WINHTTP_QUERY_REQUEST_METHOD             = 45 */
 144     NULL,                           /* WINHTTP_QUERY_REFRESH                    = 46 */
 145     NULL,                           /* WINHTTP_QUERY_CONTENT_DISPOSITION        = 47 */
 146     attr_age,                       /* WINHTTP_QUERY_AGE                        = 48 */
 147     attr_cache_control,             /* WINHTTP_QUERY_CACHE_CONTROL              = 49 */
 148     attr_content_base,              /* WINHTTP_QUERY_CONTENT_BASE               = 50 */
 149     attr_content_location,          /* WINHTTP_QUERY_CONTENT_LOCATION           = 51 */
 150     attr_content_md5,               /* WINHTTP_QUERY_CONTENT_MD5                = 52 */
 151     attr_content_range,             /* WINHTTP_QUERY_CONTENT_RANGE              = 53 */
 152     attr_etag,                      /* WINHTTP_QUERY_ETAG                       = 54 */
 153     attr_host,                      /* WINHTTP_QUERY_HOST                       = 55 */
 154     attr_if_match,                  /* WINHTTP_QUERY_IF_MATCH                   = 56 */
 155     attr_if_none_match,             /* WINHTTP_QUERY_IF_NONE_MATCH              = 57 */
 156     attr_if_range,                  /* WINHTTP_QUERY_IF_RANGE                   = 58 */
 157     attr_if_unmodified_since,       /* WINHTTP_QUERY_IF_UNMODIFIED_SINCE        = 59 */
 158     attr_max_forwards,              /* WINHTTP_QUERY_MAX_FORWARDS               = 60 */
 159     attr_proxy_authorization,       /* WINHTTP_QUERY_PROXY_AUTHORIZATION        = 61 */
 160     attr_range,                     /* WINHTTP_QUERY_RANGE                      = 62 */
 161     attr_transfer_encoding,         /* WINHTTP_QUERY_TRANSFER_ENCODING          = 63 */
 162     attr_upgrade,                   /* WINHTTP_QUERY_UPGRADE                    = 64 */
 163     attr_vary,                      /* WINHTTP_QUERY_VARY                       = 65 */
 164     attr_via,                       /* WINHTTP_QUERY_VIA                        = 66 */
 165     attr_warning,                   /* WINHTTP_QUERY_WARNING                    = 67 */
 166     attr_expect,                    /* WINHTTP_QUERY_EXPECT                     = 68 */
 167     attr_proxy_connection,          /* WINHTTP_QUERY_PROXY_CONNECTION           = 69 */
 168     attr_unless_modified_since,     /* WINHTTP_QUERY_UNLESS_MODIFIED_SINCE      = 70 */
 169     NULL,                           /* WINHTTP_QUERY_PROXY_SUPPORT              = 75 */
 170     NULL,                           /* WINHTTP_QUERY_AUTHENTICATION_INFO        = 76 */
 171     NULL,                           /* WINHTTP_QUERY_PASSPORT_URLS              = 77 */
 172     NULL                            /* WINHTTP_QUERY_PASSPORT_CONFIG            = 78 */
 173 };
 174
 175 static DWORD CALLBACK task_thread( LPVOID param )
 176 {
 177     task_header_t *task = param;
 178
 179     task->proc( task );
 180
 181     release_object( &task->request->hdr );
 182     heap_free( task );
 183     return ERROR_SUCCESS;
 184 }
 185
 186 static BOOL queue_task( task_header_t *task )
 187 {
 188     return QueueUserWorkItem( task_thread, task, WT_EXECUTELONGFUNCTION );
 189 }
 190
 191 static void free_header( header_t *header )
 192 {
 193     heap_free( header->field );
 194     heap_free( header->value );
 195     heap_free( header );
 196 }
 197
 198 static BOOL valid_token_char( WCHAR c )
 199 {
 200     if (c < 32 || c == 127) return FALSE;
 201     switch (c)
 202     {
 203     case '(': case ')':
 204     case '<': case '>':
 205     case '@': case ',':
 206     case ';': case ':':
 207     case '\\': case '\"':
 208     case '/': case '[':
 209     case ']': case '?':
 210     case '=': case '{':
 211     case '}': case ' ':
 212     case '\t':
 213         return FALSE;
 214     default:
 215         return TRUE;
 216     }
 217 }
 218
 219 static header_t *parse_header( LPCWSTR string )
 220 {
 221     const WCHAR *p, *q;
 222     header_t *header;
 223     int len;
 224
 225     p = string;
 226     if (!(q = strchrW( p, ':' )))
 227     {
 228         WARN("no ':' in line %s\n", debugstr_w(string));
 229         return NULL;
 230     }
 231     if (q == string)
 232     {
 233         WARN("empty field name in line %s\n", debugstr_w(string));
 234         return NULL;
 235     }
 236     while (*p != ':')
 237     {
 238         if (!valid_token_char( *p ))
 239         {
 240             WARN("invalid character in field name %s\n", debugstr_w(string));
 241             return NULL;
 242         }
 243         p++;
 244     }
 245     len = q - string;
 246     if (!(header = heap_alloc_zero( sizeof(header_t) ))) return NULL;
 247     if (!(header->field = heap_alloc( (len + 1) * sizeof(WCHAR) )))
 248     {
 249         heap_free( header );
 250         return NULL;
 251     }
 252     memcpy( header->field, string, len * sizeof(WCHAR) );
 253     header->field[len] = 0;
 254
 255     q++; /* skip past colon */
 256     while (*q == ' ') q++;
 257     if (!*q)
 258     {
 259         WARN("no value in line %s\n", debugstr_w(string));
 260         return header;
 261     }
 262     len = strlenW( q );
 263     if (!(header->value = heap_alloc( (len + 1) * sizeof(WCHAR) )))
 264     {
 265         free_header( header );
 266         return NULL;
 267     }
 268     memcpy( header->value, q, len * sizeof(WCHAR) );
 269     header->value[len] = 0;
 270
 271     return header;
 272 }
 273
 274 static int get_header_index( request_t *request, LPCWSTR field, int requested_index, BOOL request_only )
 275 {
 276     int index;
 277
 278     TRACE("%s\n", debugstr_w(field));
 279
 280     for (index = 0; index < request->num_headers; index++)
 281     {
 282         if (strcmpiW( request->headers[index].field, field )) continue;
 283         if (request_only && !request->headers[index].is_request) continue;
 284         if (!request_only && request->headers[index].is_request) continue;
 285
 286         if (!requested_index) break;
 287         requested_index--;
 288     }
 289     if (index >= request->num_headers) index = -1;
 290     TRACE("returning %d\n", index);
 291     return index;
 292 }
 293
 294 static BOOL insert_header( request_t *request, header_t *header )
 295 {
 296     DWORD count;
 297     header_t *hdrs;
 298
 299     count = request->num_headers + 1;
 300     if (count > 1)
 301         hdrs = heap_realloc_zero( request->headers, sizeof(header_t) * count );
 302     else
 303         hdrs = heap_alloc_zero( sizeof(header_t) * count );
 304
 305     if (hdrs)
 306     {
 307         request->headers = hdrs;
 308         request->headers[count - 1].field = strdupW( header->field );
 309         request->headers[count - 1].value = strdupW( header->value );
 310         request->headers[count - 1].is_request = header->is_request;
 311         request->num_headers++;
 312         return TRUE;
 313     }
 314     return FALSE;
 315 }
 316
 317 static BOOL delete_header( request_t *request, DWORD index )
 318 {
 319     if (!request->num_headers) return FALSE;
 320     if (index >= request->num_headers) return FALSE;
 321     request->num_headers--;
 322
 323     heap_free( request->headers[index].field );
 324     heap_free( request->headers[index].value );
 325
 326     memmove( &request->headers[index], &request->headers[index + 1], (request->num_headers - index) * sizeof(header_t) );
 327     memset( &request->headers[request->num_headers], 0, sizeof(header_t) );
 328     return TRUE;
 329 }
 330
 331 static BOOL process_header( request_t *request, LPCWSTR field, LPCWSTR value, DWORD flags, BOOL request_only )
 332 {
 333     int index;
 334     header_t *header;
 335
 336     TRACE("%s: %s 0x%08x\n", debugstr_w(field), debugstr_w(value), flags);
 337
 338     /* replace wins out over add */
 339     if (flags & WINHTTP_ADDREQ_FLAG_REPLACE) flags &= ~WINHTTP_ADDREQ_FLAG_ADD;
 340
 341     if (flags & WINHTTP_ADDREQ_FLAG_ADD) index = -1;
 342     else
 343         index = get_header_index( request, field, 0, request_only );
 344
 345     if (index >= 0)
 346     {
 347         if (flags & WINHTTP_ADDREQ_FLAG_ADD_IF_NEW) return FALSE;
 348         header = &request->headers[index];
 349     }
 350     else if (value)
 351     {
 352         header_t hdr;
 353
 354         hdr.field = (LPWSTR)field;
 355         hdr.value = (LPWSTR)value;
 356         hdr.is_request = request_only;
 357
 358         return insert_header( request, &hdr );
 359     }
 360     /* no value to delete */
 361     else return TRUE;
 362
 363     if (flags & WINHTTP_ADDREQ_FLAG_REPLACE)
 364     {
 365         delete_header( request, index );
 366         if (value)
 367         {
 368             header_t hdr;
 369
 370             hdr.field = (LPWSTR)field;
 371             hdr.value = (LPWSTR)value;
 372             hdr.is_request = request_only;
 373
 374             return insert_header( request, &hdr );
 375         }
 376         return TRUE;
 377     }
 378     else if (flags & (WINHTTP_ADDREQ_FLAG_COALESCE_WITH_COMMA | WINHTTP_ADDREQ_FLAG_COALESCE_WITH_SEMICOLON))
 379     {
 380         WCHAR sep, *tmp;
 381         int len, orig_len, value_len;
 382
 383         orig_len = strlenW( header->value );
 384         value_len = strlenW( value );
 385
 386         if (flags & WINHTTP_ADDREQ_FLAG_COALESCE_WITH_COMMA) sep = ',';
 387         else sep = ';';
 388
 389         len = orig_len + value_len + 2;
 390         if ((tmp = heap_realloc( header->value, (len + 1) * sizeof(WCHAR) )))
 391         {
 392             header->value = tmp;
 393
 394             header->value[orig_len] = sep;
 395             orig_len++;
 396             header->value[orig_len] = ' ';
 397             orig_len++;
 398
 399             memcpy( &header->value[orig_len], value, value_len * sizeof(WCHAR) );
 400             header->value[len] = 0;
 401             return TRUE;
 402         }
 403     }
 404     return TRUE;
 405 }
 406
 407 BOOL add_request_headers( request_t *request, LPCWSTR headers, DWORD len, DWORD flags )
 408 {
 409     BOOL ret = FALSE;
 410     WCHAR *buffer, *p, *q;
 411     header_t *header;
 412
 413     if (len == ~0u) len = strlenW( headers );
 414     if (!len) return TRUE;
 415     if (!(buffer = heap_alloc( (len + 1) * sizeof(WCHAR) ))) return FALSE;
 416     strcpyW( buffer, headers );
 417
 418     p = buffer;
 419     do
 420     {
 421         q = p;
 422         while (*q)
 423         {
 424             if (q[0] == '\r' && q[1] == '\n') break;
 425             q++;
 426         }
 427         if (!*p) break;
 428         if (*q == '\r')
 429         {
 430             *q = 0;
 431             q += 2; /* jump over \r\n */
 432         }
 433         if ((header = parse_header( p )))
 434         {
 435             ret = process_header( request, header->field, header->value, flags, TRUE );
 436             free_header( header );
 437         }
 438         p = q;
 439     } while (ret);
 440
 441     heap_free( buffer );
 442     return ret;
 443 }
 444
 445 /***********************************************************************
 446  *          WinHttpAddRequestHeaders (winhttp.@)
 447  */
 448 BOOL WINAPI WinHttpAddRequestHeaders( HINTERNET hrequest, LPCWSTR headers, DWORD len, DWORD flags )
 449 {
 450     BOOL ret;
 451     request_t *request;
 452
 453     TRACE("%p, %s, 0x%x, 0x%08x\n", hrequest, debugstr_w(headers), len, flags);
 454
 455     if (!headers)
 456     {
 457         set_last_error( ERROR_INVALID_PARAMETER );
 458         return FALSE;
 459     }
 460     if (!(request = (request_t *)grab_object( hrequest )))
 461     {
 462         set_last_error( ERROR_INVALID_HANDLE );
 463         return FALSE;
 464     }
 465     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
 466     {
 467         release_object( &request->hdr );
 468         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
 469         return FALSE;
 470     }
 471
 472     ret = add_request_headers( request, headers, len, flags );
 473
 474     release_object( &request->hdr );
 475     return ret;
 476 }
 477
 478 static WCHAR *build_request_path( request_t *request )
 479 {
 480     WCHAR *ret;
 481
 482     if (strcmpiW( request->connect->hostname, request->connect->servername ))
 483     {
 484         static const WCHAR http[] = { 'h','t','t','p',0 };
 485         static const WCHAR https[] = { 'h','t','t','p','s',0 };
 486         static const WCHAR fmt[] = { '%','s',':','/','/','%','s',0 };
 487         LPCWSTR scheme = request->netconn.secure ? https : http;
 488         int len;
 489
 490         len = strlenW( scheme ) + strlenW( request->connect->hostname );
 491         /* 3 characters for '://', 1 for NUL. */
 492         len += 4;
 493         if (request->connect->hostport)
 494         {
 495             /* 1 for ':' between host and port, up to 5 for port */
 496             len += 6;
 497         }
 498         if (request->path)
 499             len += strlenW( request->path );
 500         if ((ret = heap_alloc( len * sizeof(WCHAR) )))
 501         {
 502             sprintfW( ret, fmt, scheme, request->connect->hostname );
 503             if (request->connect->hostport)
 504             {
 505                 static const WCHAR colonFmt[] = { ':','%','d',0 };
 506
 507                 sprintfW( ret + strlenW( ret ), colonFmt,
 508                     request->connect->hostport );
 509             }
 510             if (request->path)
 511                 strcatW( ret, request->path );
 512         }
 513     }
 514     else
 515         ret = request->path;
 516     return ret;
 517 }
 518
 519 static WCHAR *build_request_string( request_t *request )
 520 {
 521     static const WCHAR space[]   = {' ',0};
 522     static const WCHAR crlf[]    = {'\r','\n',0};
 523     static const WCHAR colon[]   = {':',' ',0};
 524     static const WCHAR twocrlf[] = {'\r','\n','\r','\n',0};
 525
 526     WCHAR *path, *ret;
 527     const WCHAR **headers, **p;
 528     unsigned int len, i = 0, j;
 529
 530     /* allocate space for an array of all the string pointers to be added */
 531     len = request->num_headers * 4 + 7;
 532     if (!(headers = heap_alloc( len * sizeof(LPCWSTR) ))) return NULL;
 533
 534     path = build_request_path( request );
 535     headers[i++] = request->verb;
 536     headers[i++] = space;
 537     headers[i++] = path;
 538     headers[i++] = space;
 539     headers[i++] = request->version;
 540
 541     for (j = 0; j < request->num_headers; j++)
 542     {
 543         if (request->headers[j].is_request)
 544         {
 545             headers[i++] = crlf;
 546             headers[i++] = request->headers[j].field;
 547             headers[i++] = colon;
 548             headers[i++] = request->headers[j].value;
 549
 550             TRACE("adding header %s (%s)\n", debugstr_w(request->headers[j].field),
 551                   debugstr_w(request->headers[j].value));
 552         }
 553     }
 554     headers[i++] = twocrlf;
 555     headers[i] = NULL;
 556
 557     len = 0;
 558     for (p = headers; *p; p++) len += strlenW( *p );
 559     len++;
 560
 561     if (!(ret = heap_alloc( len * sizeof(WCHAR) )))
 562         goto out;
 563     *ret = 0;
 564     for (p = headers; *p; p++) strcatW( ret, *p );
 565
 566 out:
 567     if (path != request->path)
 568         heap_free( path );
 569     heap_free( headers );
 570     return ret;
 571 }
 572
 573 #define QUERY_MODIFIER_MASK (WINHTTP_QUERY_FLAG_REQUEST_HEADERS | WINHTTP_QUERY_FLAG_SYSTEMTIME | WINHTTP_QUERY_FLAG_NUMBER)
 574
 575 static BOOL query_headers( request_t *request, DWORD level, LPCWSTR name, LPVOID buffer, LPDWORD buflen, LPDWORD index )
 576 {
 577     header_t *header = NULL;
 578     BOOL request_only, ret = FALSE;
 579     int requested_index, header_index = -1;
 580     DWORD attr, len;
 581
 582     request_only = level & WINHTTP_QUERY_FLAG_REQUEST_HEADERS;
 583     requested_index = index ? *index : 0;
 584
 585     attr = level & ~QUERY_MODIFIER_MASK;
 586     switch (attr)
 587     {
 588     case WINHTTP_QUERY_CUSTOM:
 589     {
 590         header_index = get_header_index( request, name, requested_index, request_only );
 591         break;
 592     }
 593     case WINHTTP_QUERY_RAW_HEADERS:
 594     {
 595         WCHAR *headers, *p, *q;
 596
 597         if (request_only)
 598             headers = build_request_string( request );
 599         else
 600             headers = request->raw_headers;
 601
 602         if (!(p = headers)) return FALSE;
 603         for (len = 0; *p; p++) if (*p != '\r') len++;
 604
 605         if ((len + 1) * sizeof(WCHAR) > *buflen || !buffer)
 606         {
 607             len++;
 608             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 609         }
 610         else if (buffer)
 611         {
 612             for (p = headers, q = buffer; *p; p++, q++)
 613             {
 614                 if (*p != '\r') *q = *p;
 615                 else
 616                 {
 617                     *q = 0;
 618                     p++; /* skip '\n' */
 619                 }
 620             }
 621             *q = 0;
 622             TRACE("returning data: %s\n", debugstr_wn(buffer, len));
 623             ret = TRUE;
 624         }
 625         *buflen = len * sizeof(WCHAR);
 626         if (request_only) heap_free( headers );
 627         return ret;
 628     }
 629     case WINHTTP_QUERY_RAW_HEADERS_CRLF:
 630     {
 631         WCHAR *headers;
 632
 633         if (request_only)
 634             headers = build_request_string( request );
 635         else
 636             headers = request->raw_headers;
 637
 638         if (!headers) return FALSE;
 639         len = strlenW( headers ) * sizeof(WCHAR);
 640         if (len + sizeof(WCHAR) > *buflen || !buffer)
 641         {
 642             len += sizeof(WCHAR);
 643             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 644         }
 645         else if (buffer)
 646         {
 647             memcpy( buffer, headers, len + sizeof(WCHAR) );
 648             TRACE("returning data: %s\n", debugstr_wn(buffer, len / sizeof(WCHAR)));
 649             ret = TRUE;
 650         }
 651         *buflen = len;
 652         if (request_only) heap_free( headers );
 653         return ret;
 654     }
 655     case WINHTTP_QUERY_VERSION:
 656     {
 657         DWORD len = (strlenW( request->version ) + 1) * sizeof(WCHAR);
 658         if (len > *buflen)
 659         {
 660             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 661             *buflen = len;
 662             return FALSE;
 663         }
 664         else if (buffer)
 665         {
 666             strcpyW( buffer, request->version );
 667             TRACE("returning string: %s\n", debugstr_w(buffer));
 668             ret = TRUE;
 669         }
 670         *buflen = len - sizeof(WCHAR);
 671         return ret;
 672     }
 673     default:
 674     {
 675         if (attr >= sizeof(attribute_table)/sizeof(attribute_table[0]) || !attribute_table[attr])
 676         {
 677             FIXME("attribute %u not implemented\n", attr);
 678             return FALSE;
 679         }
 680         TRACE("attribute %s\n", debugstr_w(attribute_table[attr]));
 681         header_index = get_header_index( request, attribute_table[attr], requested_index, request_only );
 682     }
 683     }
 684
 685     if (header_index >= 0)
 686     {
 687         header = &request->headers[header_index];
 688     }
 689     if (!header || (request_only && !header->is_request))
 690     {
 691         set_last_error( ERROR_WINHTTP_HEADER_NOT_FOUND );
 692         return FALSE;
 693     }
 694     if (index) *index += 1;
 695     if (level & WINHTTP_QUERY_FLAG_NUMBER)
 696     {
 697         int *number = buffer;
 698         if (sizeof(int) > *buflen)
 699         {
 700             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 701         }
 702         else if (number)
 703         {
 704             *number = atoiW( header->value );
 705             TRACE("returning number: %d\n", *number);
 706             ret = TRUE;
 707         }
 708         *buflen = sizeof(int);
 709     }
 710     else if (level & WINHTTP_QUERY_FLAG_SYSTEMTIME)
 711     {
 712         SYSTEMTIME *st = buffer;
 713         if (sizeof(SYSTEMTIME) > *buflen)
 714         {
 715             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 716         }
 717         else if (st && (ret = WinHttpTimeToSystemTime( header->value, st )))
 718         {
 719             TRACE("returning time: %04d/%02d/%02d - %d - %02d:%02d:%02d.%02d\n",
 720                   st->wYear, st->wMonth, st->wDay, st->wDayOfWeek,
 721                   st->wHour, st->wMinute, st->wSecond, st->wMilliseconds);
 722         }
 723         *buflen = sizeof(SYSTEMTIME);
 724     }
 725     else if (header->value)
 726     {
 727         WCHAR *string = buffer;
 728         DWORD len = (strlenW( header->value ) + 1) * sizeof(WCHAR);
 729         if (len > *buflen)
 730         {
 731             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 732             *buflen = len;
 733             return FALSE;
 734         }
 735         else if (string)
 736         {
 737             strcpyW( string, header->value );
 738             TRACE("returning string: %s\n", debugstr_w(string));
 739             ret = TRUE;
 740         }
 741         *buflen = len - sizeof(WCHAR);
 742     }
 743     return ret;
 744 }
 745
 746 /***********************************************************************
 747  *          WinHttpQueryHeaders (winhttp.@)
 748  */
 749 BOOL WINAPI WinHttpQueryHeaders( HINTERNET hrequest, DWORD level, LPCWSTR name, LPVOID buffer, LPDWORD buflen, LPDWORD index )
 750 {
 751     BOOL ret;
 752     request_t *request;
 753
 754     TRACE("%p, 0x%08x, %s, %p, %p, %p\n", hrequest, level, debugstr_w(name), buffer, buflen, index);
 755
 756     if (!(request = (request_t *)grab_object( hrequest )))
 757     {
 758         set_last_error( ERROR_INVALID_HANDLE );
 759         return FALSE;
 760     }
 761     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
 762     {
 763         release_object( &request->hdr );
 764         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
 765         return FALSE;
 766     }
 767
 768     ret = query_headers( request, level, name, buffer, buflen, index );
 769
 770     release_object( &request->hdr );
 771     return ret;
 772 }
 773
 774 static LPWSTR concatenate_string_list( LPCWSTR *list, int len )
 775 {
 776     LPCWSTR *t;
 777     LPWSTR str;
 778
 779     for( t = list; *t ; t++  )
 780         len += strlenW( *t );
 781     len++;
 782
 783     str = heap_alloc( len * sizeof(WCHAR) );
 784     if (!str) return NULL;
 785     *str = 0;
 786
 787     for( t = list; *t ; t++ )
 788         strcatW( str, *t );
 789
 790     return str;
 791 }
 792
 793 static LPWSTR build_header_request_string( request_t *request, LPCWSTR verb,
 794     LPCWSTR path, LPCWSTR version )
 795 {
 796     static const WCHAR crlf[] = {'\r','\n',0};
 797     static const WCHAR space[] = { ' ',0 };
 798     static const WCHAR colon[] = { ':',' ',0 };
 799     static const WCHAR twocrlf[] = {'\r','\n','\r','\n', 0};
 800     LPWSTR requestString;
 801     DWORD len, n;
 802     LPCWSTR *req;
 803     UINT i;
 804     LPWSTR p;
 805
 806     /* allocate space for an array of all the string pointers to be added */
 807     len = (request->num_headers) * 4 + 10;
 808     req = heap_alloc( len * sizeof(LPCWSTR) );
 809     if (!req) return NULL;
 810
 811     /* add the verb, path and HTTP version string */
 812     n = 0;
 813     req[n++] = verb;
 814     req[n++] = space;
 815     req[n++] = path;
 816     req[n++] = space;
 817     req[n++] = version;
 818
 819     /* Append custom request headers */
 820     for (i = 0; i < request->num_headers; i++)
 821     {
 822         if (request->headers[i].is_request)
 823         {
 824             req[n++] = crlf;
 825             req[n++] = request->headers[i].field;
 826             req[n++] = colon;
 827             req[n++] = request->headers[i].value;
 828
 829             TRACE("Adding custom header %s (%s)\n",
 830                    debugstr_w(request->headers[i].field),
 831                    debugstr_w(request->headers[i].value));
 832         }
 833     }
 834
 835     if( n >= len )
 836         ERR("oops. buffer overrun\n");
 837
 838     req[n] = NULL;
 839     requestString = concatenate_string_list( req, 4 );
 840     heap_free( req );
 841     if (!requestString) return NULL;
 842
 843     /*
 844      * Set (header) termination string for request
 845      * Make sure there's exactly two new lines at the end of the request
 846      */
 847     p = &requestString[strlenW(requestString)-1];
 848     while ( (*p == '\n') || (*p == '\r') )
 849        p--;
 850     strcpyW( p+1, twocrlf );
 851
 852     return requestString;
 853 }
 854
 855 static BOOL read_reply( request_t *request );
 856
 857 static BOOL secure_proxy_connect( request_t *request )
 858 {
 859     static const WCHAR verbConnect[] = {'C','O','N','N','E','C','T',0};
 860     static const WCHAR fmt[] = {'%','s',':','%','d',0};
 861     BOOL ret = FALSE;
 862     LPWSTR path;
 863     connect_t *connect = request->connect;
 864
 865     path = heap_alloc( (strlenW( connect->hostname ) + 13) * sizeof(WCHAR) );
 866     if (path)
 867     {
 868         LPWSTR requestString;
 869
 870         sprintfW( path, fmt, connect->hostname, connect->hostport );
 871         requestString = build_header_request_string( request, verbConnect,
 872             path, http1_1 );
 873         heap_free( path );
 874         if (requestString)
 875         {
 876             LPSTR req_ascii = strdupWA( requestString );
 877
 878             heap_free( requestString );
 879             if (req_ascii)
 880             {
 881                 int len = strlen( req_ascii ), bytes_sent;
 882
 883                 ret = netconn_send( &request->netconn, req_ascii, len, 0, &bytes_sent );
 884                 heap_free( req_ascii );
 885                 if (ret)
 886                     ret = read_reply( request );
 887             }
 888         }
 889     }
 890     return ret;
 891 }
 892
 893 #ifndef INET6_ADDRSTRLEN
 894 #define INET6_ADDRSTRLEN 46
 895 #endif
 896
 897 static BOOL open_connection( request_t *request )
 898 {
 899     connect_t *connect;
 900     const void *addr;
 901     char address[INET6_ADDRSTRLEN];
 902     WCHAR *addressW;
 903     INTERNET_PORT port;
 904     socklen_t slen;
 905
 906     if (netconn_connected( &request->netconn )) return TRUE;
 907
 908     connect = request->connect;
 909     port = connect->serverport ? connect->serverport : (request->hdr.flags & WINHTTP_FLAG_SECURE ? 443 : 80);
 910
 911     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_RESOLVING_NAME, connect->servername, strlenW(connect->servername) + 1 );
 912
 913     slen = sizeof(connect->sockaddr);
 914     if (!netconn_resolve( connect->servername, port, (struct sockaddr *)&connect->sockaddr, &slen )) return FALSE;
 915     switch (connect->sockaddr.ss_family)
 916     {
 917     case AF_INET:
 918         addr = &((struct sockaddr_in *)&connect->sockaddr)->sin_addr;
 919         break;
 920     case AF_INET6:
 921         addr = &((struct sockaddr_in6 *)&connect->sockaddr)->sin6_addr;
 922         break;
 923     default:
 924         WARN("unsupported address family %d\n", connect->sockaddr.ss_family);
 925         return FALSE;
 926     }
 927     inet_ntop( connect->sockaddr.ss_family, addr, address, sizeof(address) );
 928     addressW = strdupAW( address );
 929
 930     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_NAME_RESOLVED, addressW, strlenW(addressW) + 1 );
 931
 932     TRACE("connecting to %s:%u\n", address, port);
 933
 934     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CONNECTING_TO_SERVER, addressW, 0 );
 935
 936     if (!netconn_create( &request->netconn, connect->sockaddr.ss_family, SOCK_STREAM, 0 ))
 937     {
 938         heap_free( addressW );
 939         return FALSE;
 940     }
 941     netconn_set_timeout( &request->netconn, TRUE, request->send_timeout );
 942     netconn_set_timeout( &request->netconn, FALSE, request->recv_timeout );
 943     if (!netconn_connect( &request->netconn, (struct sockaddr *)&connect->sockaddr, slen, request->connect_timeout ))
 944     {
 945         netconn_close( &request->netconn );
 946         heap_free( addressW );
 947         return FALSE;
 948     }
 949     if (request->hdr.flags & WINHTTP_FLAG_SECURE)
 950     {
 951         if (connect->session->proxy_server &&
 952             strcmpiW( connect->hostname, connect->servername ))
 953         {
 954             if (!secure_proxy_connect( request ))
 955             {
 956                 heap_free( addressW );
 957                 return FALSE;
 958             }
 959         }
 960         if (!netconn_secure_connect( &request->netconn ))
 961         {
 962             netconn_close( &request->netconn );
 963             heap_free( addressW );
 964             return FALSE;
 965         }
 966     }
 967
 968     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CONNECTED_TO_SERVER, addressW, strlenW(addressW) + 1 );
 969
 970     heap_free( addressW );
 971     return TRUE;
 972 }
 973
 974 void close_connection( request_t *request )
 975 {
 976     if (!netconn_connected( &request->netconn )) return;
 977
 978     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CLOSING_CONNECTION, 0, 0 );
 979     netconn_close( &request->netconn );
 980     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CONNECTION_CLOSED, 0, 0 );
 981 }
 982
 983 static BOOL add_host_header( request_t *request, DWORD modifier )
 984 {
 985     BOOL ret;
 986     DWORD len;
 987     WCHAR *host;
 988     static const WCHAR fmt[] = {'%','s',':','%','u',0};
 989     connect_t *connect = request->connect;
 990     INTERNET_PORT port;
 991
 992     port = connect->hostport ? connect->hostport : (request->hdr.flags & WINHTTP_FLAG_SECURE ? 443 : 80);
 993
 994     if (port == INTERNET_DEFAULT_HTTP_PORT || port == INTERNET_DEFAULT_HTTPS_PORT)
 995     {
 996         return process_header( request, attr_host, connect->hostname, modifier, TRUE );
 997     }
 998     len = strlenW( connect->hostname ) + 7; /* sizeof(":65335") */
 999     if (!(host = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1000     sprintfW( host, fmt, connect->hostname, port );
1001     ret = process_header( request, attr_host, host, modifier, TRUE );
1002     heap_free( host );
1003     return ret;
1004 }
1005
1006 static BOOL send_request( request_t *request, LPCWSTR headers, DWORD headers_len, LPVOID optional,
1007                           DWORD optional_len, DWORD total_len, DWORD_PTR context, BOOL async )
1008 {
1009     static const WCHAR keep_alive[] = {'K','e','e','p','-','A','l','i','v','e',0};
1010     static const WCHAR no_cache[]   = {'n','o','-','c','a','c','h','e',0};
1011     static const WCHAR length_fmt[] = {'%','l','d',0};
1012
1013     BOOL ret = FALSE;
1014     connect_t *connect = request->connect;
1015     session_t *session = connect->session;
1016     WCHAR *req = NULL;
1017     char *req_ascii;
1018     int bytes_sent;
1019     DWORD len;
1020
1021     if (session->agent)
1022         process_header( request, attr_user_agent, session->agent, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1023
1024     if (connect->hostname)
1025         add_host_header( request, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW );
1026
1027     if (total_len || (request->verb && !strcmpW( request->verb, postW )))
1028     {
1029         WCHAR length[21]; /* decimal long int + null */
1030         sprintfW( length, length_fmt, total_len );
1031         process_header( request, attr_content_length, length, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1032     }
1033     if (!(request->hdr.disable_flags & WINHTTP_DISABLE_KEEP_ALIVE))
1034     {
1035         process_header( request, attr_connection, keep_alive, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1036     }
1037     if (request->hdr.flags & WINHTTP_FLAG_REFRESH)
1038     {
1039         process_header( request, attr_pragma, no_cache, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1040         process_header( request, attr_cache_control, no_cache, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1041     }
1042     if (headers && !add_request_headers( request, headers, headers_len, WINHTTP_ADDREQ_FLAG_ADD | WINHTTP_ADDREQ_FLAG_REPLACE ))
1043     {
1044         TRACE("failed to add request headers\n");
1045         return FALSE;
1046     }
1047     if (!(request->hdr.disable_flags & WINHTTP_DISABLE_COOKIES) && !add_cookie_headers( request ))
1048     {
1049         WARN("failed to add cookie headers\n");
1050         return FALSE;
1051     }
1052
1053     if (!(ret = open_connection( request ))) goto end;
1054     if (!(req = build_request_string( request ))) goto end;
1055
1056     if (!(req_ascii = strdupWA( req ))) goto end;
1057     TRACE("full request: %s\n", debugstr_a(req_ascii));
1058     len = strlen(req_ascii);
1059
1060     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_SENDING_REQUEST, NULL, 0 );
1061
1062     ret = netconn_send( &request->netconn, req_ascii, len, 0, &bytes_sent );
1063     heap_free( req_ascii );
1064     if (!ret) goto end;
1065
1066     if (optional_len && !netconn_send( &request->netconn, optional, optional_len, 0, &bytes_sent )) goto end;
1067     len += optional_len;
1068
1069     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_SENT, &len, sizeof(DWORD) );
1070
1071 end:
1072     if (async)
1073     {
1074         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_SENDREQUEST_COMPLETE, NULL, 0 );
1075         else
1076         {
1077             WINHTTP_ASYNC_RESULT result;
1078             result.dwResult = API_SEND_REQUEST;
1079             result.dwError  = get_last_error();
1080             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1081         }
1082     }
1083     heap_free( req );
1084     return ret;
1085 }
1086
1087 static void task_send_request( task_header_t *task )
1088 {
1089     send_request_t *s = (send_request_t *)task;
1090     send_request( s->hdr.request, s->headers, s->headers_len, s->optional, s->optional_len, s->total_len, s->context, TRUE );
1091     heap_free( s->headers );
1092 }
1093
1094 /***********************************************************************
1095  *          WinHttpSendRequest (winhttp.@)
1096  */
1097 BOOL WINAPI WinHttpSendRequest( HINTERNET hrequest, LPCWSTR headers, DWORD headers_len,
1098                                 LPVOID optional, DWORD optional_len, DWORD total_len, DWORD_PTR context )
1099 {
1100     BOOL ret;
1101     request_t *request;
1102
1103     TRACE("%p, %s, 0x%x, %u, %u, %lx\n",
1104           hrequest, debugstr_w(headers), headers_len, optional_len, total_len, context);
1105
1106     if (!(request = (request_t *)grab_object( hrequest )))
1107     {
1108         set_last_error( ERROR_INVALID_HANDLE );
1109         return FALSE;
1110     }
1111     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1112     {
1113         release_object( &request->hdr );
1114         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1115         return FALSE;
1116     }
1117
1118     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1119     {
1120         send_request_t *s;
1121
1122         if (!(s = heap_alloc( sizeof(send_request_t) ))) return FALSE;
1123         s->hdr.request  = request;
1124         s->hdr.proc     = task_send_request;
1125         s->headers      = strdupW( headers );
1126         s->headers_len  = headers_len;
1127         s->optional     = optional;
1128         s->optional_len = optional_len;
1129         s->total_len    = total_len;
1130         s->context      = context;
1131
1132         addref_object( &request->hdr );
1133         ret = queue_task( (task_header_t *)s );
1134     }
1135     else
1136         ret = send_request( request, headers, headers_len, optional, optional_len, total_len, context, FALSE );
1137
1138     release_object( &request->hdr );
1139     return ret;
1140 }
1141
1142 static void clear_response_headers( request_t *request )
1143 {
1144     unsigned int i;
1145
1146     for (i = 0; i < request->num_headers; i++)
1147     {
1148         if (!request->headers[i].field) continue;
1149         if (!request->headers[i].value) continue;
1150         if (request->headers[i].is_request) continue;
1151         delete_header( request, i );
1152         i--;
1153     }
1154 }
1155
1156 #define MAX_REPLY_LEN   1460
1157 #define INITIAL_HEADER_BUFFER_LEN  512
1158
1159 static BOOL read_reply( request_t *request )
1160 {
1161     static const WCHAR crlf[] = {'\r','\n',0};
1162
1163     char buffer[MAX_REPLY_LEN];
1164     DWORD buflen, len, offset, received_len, crlf_len = 2; /* strlenW(crlf) */
1165     char *status_code, *status_text;
1166     WCHAR *versionW, *status_textW, *raw_headers;
1167     WCHAR status_codeW[4]; /* sizeof("nnn") */
1168
1169     if (!netconn_connected( &request->netconn )) return FALSE;
1170
1171     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_RECEIVING_RESPONSE, NULL, 0 );
1172
1173     received_len = 0;
1174     do
1175     {
1176         buflen = MAX_REPLY_LEN;
1177         if (!netconn_get_next_line( &request->netconn, buffer, &buflen )) return FALSE;
1178         received_len += buflen;
1179
1180         /* first line should look like 'HTTP/1.x nnn OK' where nnn is the status code */
1181         if (!(status_code = strchr( buffer, ' ' ))) return FALSE;
1182         status_code++;
1183         if (!(status_text = strchr( status_code, ' ' ))) return FALSE;
1184         if ((len = status_text - status_code) != sizeof("nnn") - 1) return FALSE;
1185         status_text++;
1186
1187         TRACE("version [%s] status code [%s] status text [%s]\n",
1188               debugstr_an(buffer, status_code - buffer - 1),
1189               debugstr_an(status_code, len),
1190               debugstr_a(status_text));
1191
1192     } while (!memcmp( status_code, "100", len )); /* ignore "100 Continue" responses */
1193
1194     /*  we rely on the fact that the protocol is ascii */
1195     MultiByteToWideChar( CP_ACP, 0, status_code, len, status_codeW, len );
1196     status_codeW[len] = 0;
1197     if (!(process_header( request, attr_status, status_codeW, WINHTTP_ADDREQ_FLAG_REPLACE, FALSE ))) return FALSE;
1198
1199     len = status_code - buffer;
1200     if (!(versionW = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1201     MultiByteToWideChar( CP_ACP, 0, buffer, len - 1, versionW, len -1 );
1202     versionW[len - 1] = 0;
1203
1204     heap_free( request->version );
1205     request->version = versionW;
1206
1207     len = buflen - (status_text - buffer);
1208     if (!(status_textW = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1209     MultiByteToWideChar( CP_ACP, 0, status_text, len, status_textW, len );
1210
1211     heap_free( request->status_text );
1212     request->status_text = status_textW;
1213
1214     len = max( buflen + crlf_len, INITIAL_HEADER_BUFFER_LEN );
1215     if (!(raw_headers = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1216     MultiByteToWideChar( CP_ACP, 0, buffer, buflen, raw_headers, buflen );
1217     memcpy( raw_headers + buflen - 1, crlf, sizeof(crlf) );
1218
1219     heap_free( request->raw_headers );
1220     request->raw_headers = raw_headers;
1221
1222     offset = buflen + crlf_len - 1;
1223     for (;;)
1224     {
1225         header_t *header;
1226
1227         buflen = MAX_REPLY_LEN;
1228         if (!netconn_get_next_line( &request->netconn, buffer, &buflen )) goto end;
1229         received_len += buflen;
1230         if (!*buffer) break;
1231
1232         while (len - offset < buflen + crlf_len)
1233         {
1234             WCHAR *tmp;
1235             len *= 2;
1236             if (!(tmp = heap_realloc( raw_headers, len * sizeof(WCHAR) ))) return FALSE;
1237             request->raw_headers = raw_headers = tmp;
1238         }
1239         MultiByteToWideChar( CP_ACP, 0, buffer, buflen, raw_headers + offset, buflen );
1240
1241         if (!(header = parse_header( raw_headers + offset ))) break;
1242         if (!(process_header( request, header->field, header->value, WINHTTP_ADDREQ_FLAG_ADD, FALSE )))
1243         {
1244             free_header( header );
1245             break;
1246         }
1247         free_header( header );
1248         memcpy( raw_headers + offset + buflen - 1, crlf, sizeof(crlf) );
1249         offset += buflen + crlf_len - 1;
1250     }
1251
1252     TRACE("raw headers: %s\n", debugstr_w(raw_headers));
1253
1254 end:
1255     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_RESPONSE_RECEIVED, &received_len, sizeof(DWORD) );
1256     return TRUE;
1257 }
1258
1259 static BOOL handle_redirect( request_t *request )
1260 {
1261     BOOL ret = FALSE;
1262     DWORD size, len;
1263     URL_COMPONENTS uc;
1264     connect_t *connect = request->connect;
1265     INTERNET_PORT port;
1266     WCHAR *hostname = NULL, *location = NULL;
1267     int index;
1268
1269     size = 0;
1270     query_headers( request, WINHTTP_QUERY_LOCATION, NULL, NULL, &size, NULL );
1271     if (!(location = heap_alloc( size ))) return FALSE;
1272     if (!query_headers( request, WINHTTP_QUERY_LOCATION, NULL, location, &size, NULL )) goto end;
1273
1274     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REDIRECT, location, size / sizeof(WCHAR) + 1 );
1275
1276     memset( &uc, 0, sizeof(uc) );
1277     uc.dwStructSize = sizeof(uc);
1278     uc.dwSchemeLength = uc.dwHostNameLength = uc.dwUrlPathLength = uc.dwExtraInfoLength = ~0u;
1279
1280     if (!WinHttpCrackUrl( location, size / sizeof(WCHAR), 0, &uc )) /* assume relative redirect */
1281     {
1282         WCHAR *path, *p;
1283
1284         len = strlenW( location ) + 1;
1285         if (location[0] != '/') len++;
1286         if (!(p = path = heap_alloc( len * sizeof(WCHAR) ))) goto end;
1287
1288         if (location[0] != '/') *p++ = '/';
1289         strcpyW( p, location );
1290
1291         heap_free( request->path );
1292         request->path = path;
1293     }
1294     else
1295     {
1296         if (uc.nScheme == INTERNET_SCHEME_HTTP && request->hdr.flags & WINHTTP_FLAG_SECURE)
1297         {
1298             TRACE("redirect from secure page to non-secure page\n");
1299             request->hdr.flags &= ~WINHTTP_FLAG_SECURE;
1300         }
1301         else if (uc.nScheme == INTERNET_SCHEME_HTTPS && !(request->hdr.flags & WINHTTP_FLAG_SECURE))
1302         {
1303             TRACE("redirect from non-secure page to secure page\n");
1304             request->hdr.flags |= WINHTTP_FLAG_SECURE;
1305         }
1306
1307         len = uc.dwHostNameLength;
1308         if (!(hostname = heap_alloc( (len + 1) * sizeof(WCHAR) ))) goto end;
1309         memcpy( hostname, uc.lpszHostName, len * sizeof(WCHAR) );
1310         hostname[len] = 0;
1311
1312         port = uc.nPort ? uc.nPort : (uc.nScheme == INTERNET_SCHEME_HTTPS ? 443 : 80);
1313         if (strcmpiW( connect->hostname, hostname ) || connect->serverport != port)
1314         {
1315             heap_free( connect->hostname );
1316             connect->hostname = hostname;
1317             connect->hostport = port;
1318             if (!(ret = set_server_for_hostname( connect, hostname, port ))) goto end;
1319
1320             netconn_close( &request->netconn );
1321             if (!(ret = netconn_init( &request->netconn, request->hdr.flags & WINHTTP_FLAG_SECURE ))) goto end;
1322         }
1323         if (!(ret = add_host_header( request, WINHTTP_ADDREQ_FLAG_REPLACE ))) goto end;
1324         if (!(ret = open_connection( request ))) goto end;
1325
1326         heap_free( request->path );
1327         request->path = NULL;
1328         if (uc.dwUrlPathLength)
1329         {
1330             len = uc.dwUrlPathLength + uc.dwExtraInfoLength;
1331             if (!(request->path = heap_alloc( (len + 1) * sizeof(WCHAR) ))) goto end;
1332             strcpyW( request->path, uc.lpszUrlPath );
1333         }
1334         else request->path = strdupW( slashW );
1335     }
1336
1337     /* remove content-type/length headers */
1338     if ((index = get_header_index( request, attr_content_type, 0, TRUE )) >= 0) delete_header( request, index );
1339     if ((index = get_header_index( request, attr_content_length, 0, TRUE )) >= 0 ) delete_header( request, index );
1340
1341     /* redirects are always GET requests */
1342     heap_free( request->verb );
1343     request->verb = strdupW( getW );
1344     ret = TRUE;
1345
1346 end:
1347     if (!ret) heap_free( hostname );
1348     heap_free( location );
1349     return ret;
1350 }
1351
1352 static BOOL receive_data( request_t *request, void *buffer, DWORD size, DWORD *read, BOOL async )
1353 {
1354     DWORD to_read;
1355     int bytes_read;
1356
1357     to_read = min( size, request->content_length - request->content_read );
1358     if (!netconn_recv( &request->netconn, buffer, to_read, async ? 0 : MSG_WAITALL, &bytes_read ))
1359     {
1360         if (bytes_read != to_read)
1361         {
1362             ERR("not all data received %d/%d\n", bytes_read, to_read);
1363         }
1364         /* always return success, even if the network layer returns an error */
1365         *read = 0;
1366         return TRUE;
1367     }
1368     request->content_read += bytes_read;
1369     *read = bytes_read;
1370     return TRUE;
1371 }
1372
1373 static DWORD get_chunk_size( const char *buffer )
1374 {
1375     const char *p;
1376     DWORD size = 0;
1377
1378     for (p = buffer; *p; p++)
1379     {
1380         if (*p >= '0' && *p <= '9') size = size * 16 + *p - '0';
1381         else if (*p >= 'a' && *p <= 'f') size = size * 16 + *p - 'a' + 10;
1382         else if (*p >= 'A' && *p <= 'F') size = size * 16 + *p - 'A' + 10;
1383         else if (*p == ';') break;
1384     }
1385     return size;
1386 }
1387
1388 static BOOL receive_data_chunked( request_t *request, void *buffer, DWORD size, DWORD *read, BOOL async )
1389 {
1390     char reply[MAX_REPLY_LEN], *p = buffer;
1391     DWORD buflen, to_read, to_write = size;
1392     int bytes_read;
1393
1394     *read = 0;
1395     for (;;)
1396     {
1397         if (*read == size) break;
1398
1399         if (request->content_length == ~0u) /* new chunk */
1400         {
1401             buflen = sizeof(reply);
1402             if (!netconn_get_next_line( &request->netconn, reply, &buflen )) break;
1403
1404             if (!(request->content_length = get_chunk_size( reply )))
1405             {
1406                 /* zero sized chunk marks end of transfer; read any trailing headers and return */
1407                 read_reply( request );
1408                 break;
1409             }
1410         }
1411         to_read = min( to_write, request->content_length - request->content_read );
1412
1413         if (!netconn_recv( &request->netconn, p, to_read, async ? 0 : MSG_WAITALL, &bytes_read ))
1414         {
1415             if (bytes_read != to_read)
1416             {
1417                 ERR("Not all data received %d/%d\n", bytes_read, to_read);
1418             }
1419             /* always return success, even if the network layer returns an error */
1420             *read = 0;
1421             break;
1422         }
1423         if (!bytes_read) break;
1424
1425         request->content_read += bytes_read;
1426         to_write -= bytes_read;
1427         *read += bytes_read;
1428         p += bytes_read;
1429
1430         if (request->content_read == request->content_length) /* chunk complete */
1431         {
1432             request->content_read = 0;
1433             request->content_length = ~0u;
1434
1435             buflen = sizeof(reply);
1436             if (!netconn_get_next_line( &request->netconn, reply, &buflen ))
1437             {
1438                 ERR("Malformed chunk\n");
1439                 *read = 0;
1440                 break;
1441             }
1442         }
1443     }
1444     return TRUE;
1445 }
1446
1447 static void finished_reading( request_t *request )
1448 {
1449     static const WCHAR closeW[] = {'c','l','o','s','e',0};
1450
1451     BOOL close = FALSE;
1452     WCHAR connection[20];
1453     DWORD size = sizeof(connection);
1454
1455     if (request->hdr.disable_flags & WINHTTP_DISABLE_KEEP_ALIVE) close = TRUE;
1456     else if (query_headers( request, WINHTTP_QUERY_CONNECTION, NULL, connection, &size, NULL ) ||
1457              query_headers( request, WINHTTP_QUERY_PROXY_CONNECTION, NULL, connection, &size, NULL ))
1458     {
1459         if (!strcmpiW( connection, closeW )) close = TRUE;
1460     }
1461     else if (!strcmpW( request->version, http1_0 )) close = TRUE;
1462
1463     if (close) close_connection( request );
1464     request->content_length = ~0u;
1465     request->content_read = 0;
1466 }
1467
1468 static BOOL read_data( request_t *request, void *buffer, DWORD to_read, DWORD *read, BOOL async )
1469 {
1470     static const WCHAR chunked[] = {'c','h','u','n','k','e','d',0};
1471
1472     BOOL ret;
1473     WCHAR encoding[20];
1474     DWORD num_bytes, buflen = sizeof(encoding);
1475
1476     if (query_headers( request, WINHTTP_QUERY_TRANSFER_ENCODING, NULL, encoding, &buflen, NULL ) &&
1477         !strcmpiW( encoding, chunked ))
1478     {
1479         ret = receive_data_chunked( request, buffer, to_read, &num_bytes, async );
1480     }
1481     else
1482         ret = receive_data( request, buffer, to_read, &num_bytes, async );
1483
1484     if (async)
1485     {
1486         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_READ_COMPLETE, buffer, num_bytes );
1487         else
1488         {
1489             WINHTTP_ASYNC_RESULT result;
1490             result.dwResult = API_READ_DATA;
1491             result.dwError  = get_last_error();
1492             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1493         }
1494     }
1495     if (ret)
1496     {
1497         if (read) *read = num_bytes;
1498         if (!num_bytes) finished_reading( request );
1499     }
1500     return ret;
1501 }
1502
1503 /* read any content returned by the server so that the connection can be reused */
1504 static void drain_content( request_t *request )
1505 {
1506     DWORD bytes_read;
1507     char buffer[2048];
1508
1509     if (!request->content_length) return;
1510     for (;;)
1511     {
1512         if (!read_data( request, buffer, sizeof(buffer), &bytes_read, FALSE ) || !bytes_read) return;
1513     }
1514 }
1515
1516 static void record_cookies( request_t *request )
1517 {
1518     unsigned int i;
1519
1520     for (i = 0; i < request->num_headers; i++)
1521     {
1522         header_t *set_cookie = &request->headers[i];
1523         if (!strcmpiW( set_cookie->field, attr_set_cookie ) && !set_cookie->is_request)
1524         {
1525             set_cookies( request, set_cookie->value );
1526         }
1527     }
1528 }
1529
1530 static BOOL receive_response( request_t *request, BOOL async )
1531 {
1532     BOOL ret;
1533     DWORD size, query, status;
1534
1535     for (;;)
1536     {
1537         if (!(ret = read_reply( request ))) break;
1538
1539         size = sizeof(DWORD);
1540         query = WINHTTP_QUERY_STATUS_CODE | WINHTTP_QUERY_FLAG_NUMBER;
1541         if (!(ret = query_headers( request, query, NULL, &status, &size, NULL ))) break;
1542
1543         size = sizeof(DWORD);
1544         query = WINHTTP_QUERY_CONTENT_LENGTH | WINHTTP_QUERY_FLAG_NUMBER;
1545         if (!query_headers( request, query, NULL, &request->content_length, &size, NULL ))
1546             request->content_length = ~0u;
1547
1548         if (!(request->hdr.disable_flags & WINHTTP_DISABLE_COOKIES)) record_cookies( request );
1549
1550         if (status == 301 || status == 302)
1551         {
1552             if (request->hdr.disable_flags & WINHTTP_DISABLE_REDIRECTS) break;
1553
1554             drain_content( request );
1555             if (!(ret = handle_redirect( request ))) break;
1556
1557             clear_response_headers( request );
1558             ret = send_request( request, NULL, 0, NULL, 0, 0, 0, FALSE ); /* recurse synchronously */
1559             continue;
1560         }
1561         if (status == 401) FIXME("authentication not supported\n");
1562         break;
1563     }
1564
1565     if (async)
1566     {
1567         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_HEADERS_AVAILABLE, NULL, 0 );
1568         else
1569         {
1570             WINHTTP_ASYNC_RESULT result;
1571             result.dwResult = API_RECEIVE_RESPONSE;
1572             result.dwError  = get_last_error();
1573             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1574         }
1575     }
1576     return ret;
1577 }
1578
1579 static void task_receive_response( task_header_t *task )
1580 {
1581     receive_response_t *r = (receive_response_t *)task;
1582     receive_response( r->hdr.request, TRUE );
1583 }
1584
1585 /***********************************************************************
1586  *          WinHttpReceiveResponse (winhttp.@)
1587  */
1588 BOOL WINAPI WinHttpReceiveResponse( HINTERNET hrequest, LPVOID reserved )
1589 {
1590     BOOL ret;
1591     request_t *request;
1592
1593     TRACE("%p, %p\n", hrequest, reserved);
1594
1595     if (!(request = (request_t *)grab_object( hrequest )))
1596     {
1597         set_last_error( ERROR_INVALID_HANDLE );
1598         return FALSE;
1599     }
1600     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1601     {
1602         release_object( &request->hdr );
1603         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1604         return FALSE;
1605     }
1606
1607     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1608     {
1609         receive_response_t *r;
1610
1611         if (!(r = heap_alloc( sizeof(receive_response_t) ))) return FALSE;
1612         r->hdr.request = request;
1613         r->hdr.proc    = task_receive_response;
1614
1615         addref_object( &request->hdr );
1616         ret = queue_task( (task_header_t *)r );
1617     }
1618     else
1619         ret = receive_response( request, FALSE );
1620
1621     release_object( &request->hdr );
1622     return ret;
1623 }
1624
1625 static BOOL query_data( request_t *request, LPDWORD available, BOOL async )
1626 {
1627     BOOL ret;
1628     DWORD num_bytes;
1629
1630     if ((ret = netconn_query_data_available( &request->netconn, &num_bytes )))
1631     {
1632         if (request->content_read < request->content_length)
1633         {
1634             if (!num_bytes)
1635             {
1636                 char buffer[4096];
1637                 size_t to_read = min( sizeof(buffer), request->content_length - request->content_read );
1638
1639                 ret = netconn_recv( &request->netconn, buffer, to_read, MSG_PEEK, (int *)&num_bytes );
1640                 if (ret && !num_bytes) WARN("expected more data to be available\n");
1641             }
1642         }
1643         else if (num_bytes)
1644         {
1645             WARN("extra data available %u\n", num_bytes);
1646             ret = FALSE;
1647         }
1648     }
1649     TRACE("%u bytes available\n", num_bytes);
1650
1651     if (async)
1652     {
1653         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_DATA_AVAILABLE, &num_bytes, sizeof(DWORD) );
1654         else
1655         {
1656             WINHTTP_ASYNC_RESULT result;
1657             result.dwResult = API_QUERY_DATA_AVAILABLE;
1658             result.dwError  = get_last_error();
1659             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1660         }
1661     }
1662     if (ret && available) *available = num_bytes;
1663     return ret;
1664 }
1665
1666 static void task_query_data( task_header_t *task )
1667 {
1668     query_data_t *q = (query_data_t *)task;
1669     query_data( q->hdr.request, q->available, TRUE );
1670 }
1671
1672 /***********************************************************************
1673  *          WinHttpQueryDataAvailable (winhttp.@)
1674  */
1675 BOOL WINAPI WinHttpQueryDataAvailable( HINTERNET hrequest, LPDWORD available )
1676 {
1677     BOOL ret;
1678     request_t *request;
1679
1680     TRACE("%p, %p\n", hrequest, available);
1681
1682     if (!(request = (request_t *)grab_object( hrequest )))
1683     {
1684         set_last_error( ERROR_INVALID_HANDLE );
1685         return FALSE;
1686     }
1687     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1688     {
1689         release_object( &request->hdr );
1690         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1691         return FALSE;
1692     }
1693
1694     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1695     {
1696         query_data_t *q;
1697
1698         if (!(q = heap_alloc( sizeof(query_data_t) ))) return FALSE;
1699         q->hdr.request = request;
1700         q->hdr.proc    = task_query_data;
1701         q->available   = available;
1702
1703         addref_object( &request->hdr );
1704         ret = queue_task( (task_header_t *)q );
1705     }
1706     else
1707         ret = query_data( request, available, FALSE );
1708
1709     release_object( &request->hdr );
1710     return ret;
1711 }
1712
1713 static void task_read_data( task_header_t *task )
1714 {
1715     read_data_t *r = (read_data_t *)task;
1716     read_data( r->hdr.request, r->buffer, r->to_read, r->read, TRUE );
1717 }
1718
1719 /***********************************************************************
1720  *          WinHttpReadData (winhttp.@)
1721  */
1722 BOOL WINAPI WinHttpReadData( HINTERNET hrequest, LPVOID buffer, DWORD to_read, LPDWORD read )
1723 {
1724     BOOL ret;
1725     request_t *request;
1726
1727     TRACE("%p, %p, %d, %p\n", hrequest, buffer, to_read, read);
1728
1729     if (!(request = (request_t *)grab_object( hrequest )))
1730     {
1731         set_last_error( ERROR_INVALID_HANDLE );
1732         return FALSE;
1733     }
1734     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1735     {
1736         release_object( &request->hdr );
1737         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1738         return FALSE;
1739     }
1740
1741     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1742     {
1743         read_data_t *r;
1744
1745         if (!(r = heap_alloc( sizeof(read_data_t) ))) return FALSE;
1746         r->hdr.request = request;
1747         r->hdr.proc    = task_read_data;
1748         r->buffer      = buffer;
1749         r->to_read     = to_read;
1750         r->read        = read;
1751
1752         addref_object( &request->hdr );
1753         ret = queue_task( (task_header_t *)r );
1754     }
1755     else
1756         ret = read_data( request, buffer, to_read, read, FALSE );
1757
1758     release_object( &request->hdr );
1759     return ret;
1760 }
1761
1762 static BOOL write_data( request_t *request, LPCVOID buffer, DWORD to_write, LPDWORD written, BOOL async )
1763 {
1764     BOOL ret;
1765     int num_bytes;
1766
1767     ret = netconn_send( &request->netconn, buffer, to_write, 0, &num_bytes );
1768
1769     if (async)
1770     {
1771         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_WRITE_COMPLETE, &num_bytes, sizeof(DWORD) );
1772         else
1773         {
1774             WINHTTP_ASYNC_RESULT result;
1775             result.dwResult = API_WRITE_DATA;
1776             result.dwError  = get_last_error();
1777             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1778         }
1779     }
1780     if (ret && written) *written = num_bytes;
1781     return ret;
1782 }
1783
1784 static void task_write_data( task_header_t *task )
1785 {
1786     write_data_t *w = (write_data_t *)task;
1787     write_data( w->hdr.request, w->buffer, w->to_write, w->written, TRUE );
1788 }
1789
1790 /***********************************************************************
1791  *          WinHttpWriteData (winhttp.@)
1792  */
1793 BOOL WINAPI WinHttpWriteData( HINTERNET hrequest, LPCVOID buffer, DWORD to_write, LPDWORD written )
1794 {
1795     BOOL ret;
1796     request_t *request;
1797
1798     TRACE("%p, %p, %d, %p\n", hrequest, buffer, to_write, written);
1799
1800     if (!(request = (request_t *)grab_object( hrequest )))
1801     {
1802         set_last_error( ERROR_INVALID_HANDLE );
1803         return FALSE;
1804     }
1805     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1806     {
1807         release_object( &request->hdr );
1808         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1809         return FALSE;
1810     }
1811
1812     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1813     {
1814         write_data_t *w;
1815
1816         if (!(w = heap_alloc( sizeof(write_data_t) ))) return FALSE;
1817         w->hdr.request = request;
1818         w->hdr.proc    = task_write_data;
1819         w->buffer      = buffer;
1820         w->to_write    = to_write;
1821         w->written     = written;
1822
1823         addref_object( &request->hdr );
1824         ret = queue_task( (task_header_t *)w );
1825     }
1826     else
1827         ret = write_data( request, buffer, to_write, written, FALSE );
1828
1829     release_object( &request->hdr );
1830     return ret;
1831 }
1832
1833 #define ARRAYSIZE(array) (sizeof(array) / sizeof((array)[0]))
1834
1835 static DWORD auth_scheme_from_header( WCHAR *header )
1836 {
1837     static const WCHAR basic[]     = {'B','a','s','i','c'};
1838     static const WCHAR ntlm[]      = {'N','T','L','M'};
1839     static const WCHAR passport[]  = {'P','a','s','s','p','o','r','t'};
1840     static const WCHAR digest[]    = {'D','i','g','e','s','t'};
1841     static const WCHAR negotiate[] = {'N','e','g','o','t','i','a','t','e'};
1842
1843     if (!strncmpiW( header, basic, ARRAYSIZE(basic) ) &&
1844         (header[ARRAYSIZE(basic)] == ' ' || !header[ARRAYSIZE(basic)])) return WINHTTP_AUTH_SCHEME_BASIC;
1845
1846     if (!strncmpiW( header, ntlm, ARRAYSIZE(ntlm) ) &&
1847         (header[ARRAYSIZE(ntlm)] == ' ' || !header[ARRAYSIZE(ntlm)])) return WINHTTP_AUTH_SCHEME_NTLM;
1848
1849     if (!strncmpiW( header, passport, ARRAYSIZE(passport) ) &&
1850         (header[ARRAYSIZE(passport)] == ' ' || !header[ARRAYSIZE(passport)])) return WINHTTP_AUTH_SCHEME_PASSPORT;
1851
1852     if (!strncmpiW( header, digest, ARRAYSIZE(digest) ) &&
1853         (header[ARRAYSIZE(digest)] == ' ' || !header[ARRAYSIZE(digest)])) return WINHTTP_AUTH_SCHEME_DIGEST;
1854
1855     if (!strncmpiW( header, negotiate, ARRAYSIZE(negotiate) ) &&
1856         (header[ARRAYSIZE(negotiate)] == ' ' || !header[ARRAYSIZE(negotiate)])) return WINHTTP_AUTH_SCHEME_NEGOTIATE;
1857
1858     return 0;
1859 }
1860
1861 static BOOL query_auth_schemes( request_t *request, DWORD level, LPDWORD supported, LPDWORD first )
1862 {
1863     DWORD index = 0;
1864     BOOL ret = FALSE;
1865
1866     for (;;)
1867     {
1868         WCHAR *buffer;
1869         DWORD size, scheme;
1870
1871         size = 0;
1872         query_headers( request, level, NULL, NULL, &size, &index );
1873         if (GetLastError() != ERROR_INSUFFICIENT_BUFFER) break;
1874
1875         index--;
1876         if (!(buffer = heap_alloc( size ))) return FALSE;
1877         if (!query_headers( request, level, NULL, buffer, &size, &index ))
1878         {
1879             heap_free( buffer );
1880             return FALSE;
1881         }
1882         scheme = auth_scheme_from_header( buffer );
1883         if (index == 1) *first = scheme;
1884         *supported |= scheme;
1885
1886         heap_free( buffer );
1887         ret = TRUE;
1888     }
1889     return ret;
1890 }
1891
1892 /***********************************************************************
1893  *          WinHttpQueryAuthSchemes (winhttp.@)
1894  */
1895 BOOL WINAPI WinHttpQueryAuthSchemes( HINTERNET hrequest, LPDWORD supported, LPDWORD first, LPDWORD target )
1896 {
1897     BOOL ret = FALSE;
1898     request_t *request;
1899
1900     TRACE("%p, %p, %p, %p\n", hrequest, supported, first, target);
1901
1902     if (!(request = (request_t *)grab_object( hrequest )))
1903     {
1904         set_last_error( ERROR_INVALID_HANDLE );
1905         return FALSE;
1906     }
1907     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1908     {
1909         release_object( &request->hdr );
1910         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1911         return FALSE;
1912     }
1913
1914     if (query_auth_schemes( request, WINHTTP_QUERY_WWW_AUTHENTICATE, supported, first ))
1915     {
1916         *target = WINHTTP_AUTH_TARGET_SERVER;
1917         ret = TRUE;
1918     }
1919     else if (query_auth_schemes( request, WINHTTP_QUERY_PROXY_AUTHENTICATE, supported, first ))
1920     {
1921         *target = WINHTTP_AUTH_TARGET_PROXY;
1922         ret = TRUE;
1923     }
1924
1925     release_object( &request->hdr );
1926     return ret;
1927 }
1928
1929 static UINT encode_base64( const char *bin, unsigned int len, WCHAR *base64 )
1930 {
1931     UINT n = 0, x;
1932     static const char base64enc[] =
1933         "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/";
1934
1935     while (len > 0)
1936     {
1937         /* first 6 bits, all from bin[0] */
1938         base64[n++] = base64enc[(bin[0] & 0xfc) >> 2];
1939         x = (bin[0] & 3) << 4;
1940
1941         /* next 6 bits, 2 from bin[0] and 4 from bin[1] */
1942         if (len == 1)
1943         {
1944             base64[n++] = base64enc[x];
1945             base64[n++] = '=';
1946             base64[n++] = '=';
1947             break;
1948         }
1949         base64[n++] = base64enc[x | ((bin[1] & 0xf0) >> 4)];
1950         x = (bin[1] & 0x0f) << 2;
1951
1952         /* next 6 bits 4 from bin[1] and 2 from bin[2] */
1953         if (len == 2)
1954         {
1955             base64[n++] = base64enc[x];
1956             base64[n++] = '=';
1957             break;
1958         }
1959         base64[n++] = base64enc[x | ((bin[2] & 0xc0) >> 6)];
1960
1961         /* last 6 bits, all from bin [2] */
1962         base64[n++] = base64enc[bin[2] & 0x3f];
1963         bin += 3;
1964         len -= 3;
1965     }
1966     base64[n] = 0;
1967     return n;
1968 }
1969
1970 static BOOL set_credentials( request_t *request, DWORD target, DWORD scheme, LPCWSTR username, LPCWSTR password )
1971 {
1972     static const WCHAR basic[] = {'B','a','s','i','c',' ',0};
1973
1974     const WCHAR *auth_scheme, *auth_target;
1975     WCHAR *auth_header;
1976     DWORD len, auth_data_len;
1977     char *auth_data;
1978     BOOL ret;
1979
1980     switch (target)
1981     {
1982     case WINHTTP_AUTH_TARGET_SERVER: auth_target = attr_authorization; break;
1983     case WINHTTP_AUTH_TARGET_PROXY:  auth_target = attr_proxy_authorization; break;
1984     default:
1985         WARN("unknown target %x\n", target);
1986         return FALSE;
1987     }
1988     switch (scheme)
1989     {
1990     case WINHTTP_AUTH_SCHEME_BASIC:
1991     {
1992         int userlen = WideCharToMultiByte( CP_UTF8, 0, username, strlenW( username ), NULL, 0, NULL, NULL );
1993         int passlen = WideCharToMultiByte( CP_UTF8, 0, password, strlenW( password ), NULL, 0, NULL, NULL );
1994
1995         TRACE("basic authentication\n");
1996
1997         auth_scheme = basic;
1998         auth_data_len = userlen + 1 + passlen;
1999         if (!(auth_data = heap_alloc( auth_data_len ))) return FALSE;
2000
2001         WideCharToMultiByte( CP_UTF8, 0, username, -1, auth_data, userlen, NULL, NULL );
2002         auth_data[userlen] = ':';
2003         WideCharToMultiByte( CP_UTF8, 0, password, -1, auth_data + userlen + 1, passlen, NULL, NULL );
2004         break;
2005     }
2006     case WINHTTP_AUTH_SCHEME_NTLM:
2007     case WINHTTP_AUTH_SCHEME_PASSPORT:
2008     case WINHTTP_AUTH_SCHEME_DIGEST:
2009     case WINHTTP_AUTH_SCHEME_NEGOTIATE:
2010         FIXME("unimplemented authentication scheme %x\n", scheme);
2011         return FALSE;
2012     default:
2013         WARN("unknown authentication scheme %x\n", scheme);
2014         return FALSE;
2015     }
2016
2017     len = strlenW( auth_scheme ) + ((auth_data_len + 2) * 4) / 3;
2018     if (!(auth_header = heap_alloc( (len + 1) * sizeof(WCHAR) )))
2019     {
2020         heap_free( auth_data );
2021         return FALSE;
2022     }
2023     strcpyW( auth_header, auth_scheme );
2024     encode_base64( auth_data, auth_data_len, auth_header + strlenW( auth_header ) );
2025
2026     ret = process_header( request, auth_target, auth_header, WINHTTP_ADDREQ_FLAG_ADD | WINHTTP_ADDREQ_FLAG_REPLACE, TRUE );
2027
2028     heap_free( auth_data );
2029     heap_free( auth_header );
2030     return ret;
2031 }
2032
2033 /***********************************************************************
2034  *          WinHttpSetCredentials (winhttp.@)
2035  */
2036 BOOL WINAPI WinHttpSetCredentials( HINTERNET hrequest, DWORD target, DWORD scheme, LPCWSTR username,
2037                                    LPCWSTR password, LPVOID params )
2038 {
2039     BOOL ret;
2040     request_t *request;
2041
2042     TRACE("%p, %x, 0x%08x, %s, %p, %p\n", hrequest, target, scheme, debugstr_w(username), password, params);
2043
2044     if (!(request = (request_t *)grab_object( hrequest )))
2045     {
2046         set_last_error( ERROR_INVALID_HANDLE );
2047         return FALSE;
2048     }
2049     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
2050     {
2051         release_object( &request->hdr );
2052         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
2053         return FALSE;
2054     }
2055
2056     ret = set_credentials( request, target, scheme, username, password );
2057
2058     release_object( &request->hdr );
2059     return ret;
2060 }