git.oblomov.eu Git - wine/blob - dlls/winhttp/request.c

   1 /*
   2  * Copyright 2004 Mike McCormack for CodeWeavers
   3  * Copyright 2006 Rob Shearman for CodeWeavers
   4  * Copyright 2008 Hans Leidekker for CodeWeavers
   5  * Copyright 2009 Juan Lang
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with this library; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
  20  */
  21
  22 #include "config.h"
  23 #include "wine/port.h"
  24 #include "wine/debug.h"
  25
  26 #include <stdarg.h>
  27 #ifdef HAVE_ARPA_INET_H
  28 # include <arpa/inet.h>
  29 #endif
  30
  31 #include "windef.h"
  32 #include "winbase.h"
  33 #include "winhttp.h"
  34
  35 #include "winhttp_private.h"
  36
  37 WINE_DEFAULT_DEBUG_CHANNEL(winhttp);
  38
  39 static const WCHAR attr_accept[] = {'A','c','c','e','p','t',0};
  40 static const WCHAR attr_accept_charset[] = {'A','c','c','e','p','t','-','C','h','a','r','s','e','t', 0};
  41 static const WCHAR attr_accept_encoding[] = {'A','c','c','e','p','t','-','E','n','c','o','d','i','n','g',0};
  42 static const WCHAR attr_accept_language[] = {'A','c','c','e','p','t','-','L','a','n','g','u','a','g','e',0};
  43 static const WCHAR attr_accept_ranges[] = {'A','c','c','e','p','t','-','R','a','n','g','e','s',0};
  44 static const WCHAR attr_age[] = {'A','g','e',0};
  45 static const WCHAR attr_allow[] = {'A','l','l','o','w',0};
  46 static const WCHAR attr_authorization[] = {'A','u','t','h','o','r','i','z','a','t','i','o','n',0};
  47 static const WCHAR attr_cache_control[] = {'C','a','c','h','e','-','C','o','n','t','r','o','l',0};
  48 static const WCHAR attr_connection[] = {'C','o','n','n','e','c','t','i','o','n',0};
  49 static const WCHAR attr_content_base[] = {'C','o','n','t','e','n','t','-','B','a','s','e',0};
  50 static const WCHAR attr_content_encoding[] = {'C','o','n','t','e','n','t','-','E','n','c','o','d','i','n','g',0};
  51 static const WCHAR attr_content_id[] = {'C','o','n','t','e','n','t','-','I','D',0};
  52 static const WCHAR attr_content_language[] = {'C','o','n','t','e','n','t','-','L','a','n','g','u','a','g','e',0};
  53 static const WCHAR attr_content_length[] = {'C','o','n','t','e','n','t','-','L','e','n','g','t','h',0};
  54 static const WCHAR attr_content_location[] = {'C','o','n','t','e','n','t','-','L','o','c','a','t','i','o','n',0};
  55 static const WCHAR attr_content_md5[] = {'C','o','n','t','e','n','t','-','M','D','5',0};
  56 static const WCHAR attr_content_range[] = {'C','o','n','t','e','n','t','-','R','a','n','g','e',0};
  57 static const WCHAR attr_content_transfer_encoding[] = {'C','o','n','t','e','n','t','-','T','r','a','n','s','f','e','r','-','E','n','c','o','d','i','n','g',0};
  58 static const WCHAR attr_content_type[] = {'C','o','n','t','e','n','t','-','T','y','p','e',0};
  59 static const WCHAR attr_cookie[] = {'C','o','o','k','i','e',0};
  60 static const WCHAR attr_date[] = {'D','a','t','e',0};
  61 static const WCHAR attr_from[] = {'F','r','o','m',0};
  62 static const WCHAR attr_etag[] = {'E','T','a','g',0};
  63 static const WCHAR attr_expect[] = {'E','x','p','e','c','t',0};
  64 static const WCHAR attr_expires[] = {'E','x','p','i','r','e','s',0};
  65 static const WCHAR attr_host[] = {'H','o','s','t',0};
  66 static const WCHAR attr_if_match[] = {'I','f','-','M','a','t','c','h',0};
  67 static const WCHAR attr_if_modified_since[] = {'I','f','-','M','o','d','i','f','i','e','d','-','S','i','n','c','e',0};
  68 static const WCHAR attr_if_none_match[] = {'I','f','-','N','o','n','e','-','M','a','t','c','h',0};
  69 static const WCHAR attr_if_range[] = {'I','f','-','R','a','n','g','e',0};
  70 static const WCHAR attr_if_unmodified_since[] = {'I','f','-','U','n','m','o','d','i','f','i','e','d','-','S','i','n','c','e',0};
  71 static const WCHAR attr_last_modified[] = {'L','a','s','t','-','M','o','d','i','f','i','e','d',0};
  72 static const WCHAR attr_location[] = {'L','o','c','a','t','i','o','n',0};
  73 static const WCHAR attr_max_forwards[] = {'M','a','x','-','F','o','r','w','a','r','d','s',0};
  74 static const WCHAR attr_mime_version[] = {'M','i','m','e','-','V','e','r','s','i','o','n',0};
  75 static const WCHAR attr_pragma[] = {'P','r','a','g','m','a',0};
  76 static const WCHAR attr_proxy_authenticate[] = {'P','r','o','x','y','-','A','u','t','h','e','n','t','i','c','a','t','e',0};
  77 static const WCHAR attr_proxy_authorization[] = {'P','r','o','x','y','-','A','u','t','h','o','r','i','z','a','t','i','o','n',0};
  78 static const WCHAR attr_proxy_connection[] = {'P','r','o','x','y','-','C','o','n','n','e','c','t','i','o','n',0};
  79 static const WCHAR attr_public[] = {'P','u','b','l','i','c',0};
  80 static const WCHAR attr_range[] = {'R','a','n','g','e',0};
  81 static const WCHAR attr_referer[] = {'R','e','f','e','r','e','r',0};
  82 static const WCHAR attr_retry_after[] = {'R','e','t','r','y','-','A','f','t','e','r',0};
  83 static const WCHAR attr_server[] = {'S','e','r','v','e','r',0};
  84 static const WCHAR attr_set_cookie[] = {'S','e','t','-','C','o','o','k','i','e',0};
  85 static const WCHAR attr_status[] = {'S','t','a','t','u','s',0};
  86 static const WCHAR attr_transfer_encoding[] = {'T','r','a','n','s','f','e','r','-','E','n','c','o','d','i','n','g',0};
  87 static const WCHAR attr_unless_modified_since[] = {'U','n','l','e','s','s','-','M','o','d','i','f','i','e','d','-','S','i','n','c','e',0};
  88 static const WCHAR attr_upgrade[] = {'U','p','g','r','a','d','e',0};
  89 static const WCHAR attr_uri[] = {'U','R','I',0};
  90 static const WCHAR attr_user_agent[] = {'U','s','e','r','-','A','g','e','n','t',0};
  91 static const WCHAR attr_vary[] = {'V','a','r','y',0};
  92 static const WCHAR attr_via[] = {'V','i','a',0};
  93 static const WCHAR attr_warning[] = {'W','a','r','n','i','n','g',0};
  94 static const WCHAR attr_www_authenticate[] = {'W','W','W','-','A','u','t','h','e','n','t','i','c','a','t','e',0};
  95
  96 static const WCHAR *attribute_table[] =
  97 {
  98     attr_mime_version,              /* WINHTTP_QUERY_MIME_VERSION               = 0  */
  99     attr_content_type,              /* WINHTTP_QUERY_CONTENT_TYPE               = 1  */
 100     attr_content_transfer_encoding, /* WINHTTP_QUERY_CONTENT_TRANSFER_ENCODING  = 2  */
 101     attr_content_id,                /* WINHTTP_QUERY_CONTENT_ID                 = 3  */
 102     NULL,                           /* WINHTTP_QUERY_CONTENT_DESCRIPTION        = 4  */
 103     attr_content_length,            /* WINHTTP_QUERY_CONTENT_LENGTH             = 5  */
 104     attr_content_language,          /* WINHTTP_QUERY_CONTENT_LANGUAGE           = 6  */
 105     attr_allow,                     /* WINHTTP_QUERY_ALLOW                      = 7  */
 106     attr_public,                    /* WINHTTP_QUERY_PUBLIC                     = 8  */
 107     attr_date,                      /* WINHTTP_QUERY_DATE                       = 9  */
 108     attr_expires,                   /* WINHTTP_QUERY_EXPIRES                    = 10 */
 109     attr_last_modified,             /* WINHTTP_QUERY_LAST_MODIFIEDcw            = 11 */
 110     NULL,                           /* WINHTTP_QUERY_MESSAGE_ID                 = 12 */
 111     attr_uri,                       /* WINHTTP_QUERY_URI                        = 13 */
 112     attr_from,                      /* WINHTTP_QUERY_DERIVED_FROM               = 14 */
 113     NULL,                           /* WINHTTP_QUERY_COST                       = 15 */
 114     NULL,                           /* WINHTTP_QUERY_LINK                       = 16 */
 115     attr_pragma,                    /* WINHTTP_QUERY_PRAGMA                     = 17 */
 116     NULL,                           /* WINHTTP_QUERY_VERSION                    = 18 */
 117     attr_status,                    /* WINHTTP_QUERY_STATUS_CODE                = 19 */
 118     NULL,                           /* WINHTTP_QUERY_STATUS_TEXT                = 20 */
 119     NULL,                           /* WINHTTP_QUERY_RAW_HEADERS                = 21 */
 120     NULL,                           /* WINHTTP_QUERY_RAW_HEADERS_CRLF           = 22 */
 121     attr_connection,                /* WINHTTP_QUERY_CONNECTION                 = 23 */
 122     attr_accept,                    /* WINHTTP_QUERY_ACCEPT                     = 24 */
 123     attr_accept_charset,            /* WINHTTP_QUERY_ACCEPT_CHARSET             = 25 */
 124     attr_accept_encoding,           /* WINHTTP_QUERY_ACCEPT_ENCODING            = 26 */
 125     attr_accept_language,           /* WINHTTP_QUERY_ACCEPT_LANGUAGE            = 27 */
 126     attr_authorization,             /* WINHTTP_QUERY_AUTHORIZATION              = 28 */
 127     attr_content_encoding,          /* WINHTTP_QUERY_CONTENT_ENCODING           = 29 */
 128     NULL,                           /* WINHTTP_QUERY_FORWARDED                  = 30 */
 129     NULL,                           /* WINHTTP_QUERY_FROM                       = 31 */
 130     attr_if_modified_since,         /* WINHTTP_QUERY_IF_MODIFIED_SINCE          = 32 */
 131     attr_location,                  /* WINHTTP_QUERY_LOCATION                   = 33 */
 132     NULL,                           /* WINHTTP_QUERY_ORIG_URI                   = 34 */
 133     attr_referer,                   /* WINHTTP_QUERY_REFERER                    = 35 */
 134     attr_retry_after,               /* WINHTTP_QUERY_RETRY_AFTER                = 36 */
 135     attr_server,                    /* WINHTTP_QUERY_SERVER                     = 37 */
 136     NULL,                           /* WINHTTP_TITLE                            = 38 */
 137     attr_user_agent,                /* WINHTTP_QUERY_USER_AGENT                 = 39 */
 138     attr_www_authenticate,          /* WINHTTP_QUERY_WWW_AUTHENTICATE           = 40 */
 139     attr_proxy_authenticate,        /* WINHTTP_QUERY_PROXY_AUTHENTICATE         = 41 */
 140     attr_accept_ranges,             /* WINHTTP_QUERY_ACCEPT_RANGES              = 42 */
 141     attr_set_cookie,                /* WINHTTP_QUERY_SET_COOKIE                 = 43 */
 142     attr_cookie,                    /* WINHTTP_QUERY_COOKIE                     = 44 */
 143     NULL,                           /* WINHTTP_QUERY_REQUEST_METHOD             = 45 */
 144     NULL,                           /* WINHTTP_QUERY_REFRESH                    = 46 */
 145     NULL,                           /* WINHTTP_QUERY_CONTENT_DISPOSITION        = 47 */
 146     attr_age,                       /* WINHTTP_QUERY_AGE                        = 48 */
 147     attr_cache_control,             /* WINHTTP_QUERY_CACHE_CONTROL              = 49 */
 148     attr_content_base,              /* WINHTTP_QUERY_CONTENT_BASE               = 50 */
 149     attr_content_location,          /* WINHTTP_QUERY_CONTENT_LOCATION           = 51 */
 150     attr_content_md5,               /* WINHTTP_QUERY_CONTENT_MD5                = 52 */
 151     attr_content_range,             /* WINHTTP_QUERY_CONTENT_RANGE              = 53 */
 152     attr_etag,                      /* WINHTTP_QUERY_ETAG                       = 54 */
 153     attr_host,                      /* WINHTTP_QUERY_HOST                       = 55 */
 154     attr_if_match,                  /* WINHTTP_QUERY_IF_MATCH                   = 56 */
 155     attr_if_none_match,             /* WINHTTP_QUERY_IF_NONE_MATCH              = 57 */
 156     attr_if_range,                  /* WINHTTP_QUERY_IF_RANGE                   = 58 */
 157     attr_if_unmodified_since,       /* WINHTTP_QUERY_IF_UNMODIFIED_SINCE        = 59 */
 158     attr_max_forwards,              /* WINHTTP_QUERY_MAX_FORWARDS               = 60 */
 159     attr_proxy_authorization,       /* WINHTTP_QUERY_PROXY_AUTHORIZATION        = 61 */
 160     attr_range,                     /* WINHTTP_QUERY_RANGE                      = 62 */
 161     attr_transfer_encoding,         /* WINHTTP_QUERY_TRANSFER_ENCODING          = 63 */
 162     attr_upgrade,                   /* WINHTTP_QUERY_UPGRADE                    = 64 */
 163     attr_vary,                      /* WINHTTP_QUERY_VARY                       = 65 */
 164     attr_via,                       /* WINHTTP_QUERY_VIA                        = 66 */
 165     attr_warning,                   /* WINHTTP_QUERY_WARNING                    = 67 */
 166     attr_expect,                    /* WINHTTP_QUERY_EXPECT                     = 68 */
 167     attr_proxy_connection,          /* WINHTTP_QUERY_PROXY_CONNECTION           = 69 */
 168     attr_unless_modified_since,     /* WINHTTP_QUERY_UNLESS_MODIFIED_SINCE      = 70 */
 169     NULL,                           /* WINHTTP_QUERY_PROXY_SUPPORT              = 75 */
 170     NULL,                           /* WINHTTP_QUERY_AUTHENTICATION_INFO        = 76 */
 171     NULL,                           /* WINHTTP_QUERY_PASSPORT_URLS              = 77 */
 172     NULL                            /* WINHTTP_QUERY_PASSPORT_CONFIG            = 78 */
 173 };
 174
 175 static DWORD CALLBACK task_thread( LPVOID param )
 176 {
 177     task_header_t *task = param;
 178
 179     task->proc( task );
 180
 181     release_object( &task->request->hdr );
 182     heap_free( task );
 183     return ERROR_SUCCESS;
 184 }
 185
 186 static BOOL queue_task( task_header_t *task )
 187 {
 188     return QueueUserWorkItem( task_thread, task, WT_EXECUTELONGFUNCTION );
 189 }
 190
 191 static void free_header( header_t *header )
 192 {
 193     heap_free( header->field );
 194     heap_free( header->value );
 195     heap_free( header );
 196 }
 197
 198 static BOOL valid_token_char( WCHAR c )
 199 {
 200     if (c < 32 || c == 127) return FALSE;
 201     switch (c)
 202     {
 203     case '(': case ')':
 204     case '<': case '>':
 205     case '@': case ',':
 206     case ';': case ':':
 207     case '\\': case '\"':
 208     case '/': case '[':
 209     case ']': case '?':
 210     case '=': case '{':
 211     case '}': case ' ':
 212     case '\t':
 213         return FALSE;
 214     default:
 215         return TRUE;
 216     }
 217 }
 218
 219 static header_t *parse_header( LPCWSTR string )
 220 {
 221     const WCHAR *p, *q;
 222     header_t *header;
 223     int len;
 224
 225     p = string;
 226     if (!(q = strchrW( p, ':' )))
 227     {
 228         WARN("no ':' in line %s\n", debugstr_w(string));
 229         return NULL;
 230     }
 231     if (q == string)
 232     {
 233         WARN("empty field name in line %s\n", debugstr_w(string));
 234         return NULL;
 235     }
 236     while (*p != ':')
 237     {
 238         if (!valid_token_char( *p ))
 239         {
 240             WARN("invalid character in field name %s\n", debugstr_w(string));
 241             return NULL;
 242         }
 243         p++;
 244     }
 245     len = q - string;
 246     if (!(header = heap_alloc_zero( sizeof(header_t) ))) return NULL;
 247     if (!(header->field = heap_alloc( (len + 1) * sizeof(WCHAR) )))
 248     {
 249         heap_free( header );
 250         return NULL;
 251     }
 252     memcpy( header->field, string, len * sizeof(WCHAR) );
 253     header->field[len] = 0;
 254
 255     q++; /* skip past colon */
 256     while (*q == ' ') q++;
 257     if (!*q)
 258     {
 259         WARN("no value in line %s\n", debugstr_w(string));
 260         return header;
 261     }
 262     len = strlenW( q );
 263     if (!(header->value = heap_alloc( (len + 1) * sizeof(WCHAR) )))
 264     {
 265         free_header( header );
 266         return NULL;
 267     }
 268     memcpy( header->value, q, len * sizeof(WCHAR) );
 269     header->value[len] = 0;
 270
 271     return header;
 272 }
 273
 274 static int get_header_index( request_t *request, LPCWSTR field, int requested_index, BOOL request_only )
 275 {
 276     int index;
 277
 278     TRACE("%s\n", debugstr_w(field));
 279
 280     for (index = 0; index < request->num_headers; index++)
 281     {
 282         if (strcmpiW( request->headers[index].field, field )) continue;
 283         if (request_only && !request->headers[index].is_request) continue;
 284         if (!request_only && request->headers[index].is_request) continue;
 285
 286         if (!requested_index) break;
 287         requested_index--;
 288     }
 289     if (index >= request->num_headers) index = -1;
 290     TRACE("returning %d\n", index);
 291     return index;
 292 }
 293
 294 static BOOL insert_header( request_t *request, header_t *header )
 295 {
 296     DWORD count;
 297     header_t *hdrs;
 298
 299     count = request->num_headers + 1;
 300     if (count > 1)
 301         hdrs = heap_realloc_zero( request->headers, sizeof(header_t) * count );
 302     else
 303         hdrs = heap_alloc_zero( sizeof(header_t) * count );
 304
 305     if (hdrs)
 306     {
 307         request->headers = hdrs;
 308         request->headers[count - 1].field = strdupW( header->field );
 309         request->headers[count - 1].value = strdupW( header->value );
 310         request->headers[count - 1].is_request = header->is_request;
 311         request->num_headers++;
 312         return TRUE;
 313     }
 314     return FALSE;
 315 }
 316
 317 static BOOL delete_header( request_t *request, DWORD index )
 318 {
 319     if (!request->num_headers) return FALSE;
 320     if (index >= request->num_headers) return FALSE;
 321     request->num_headers--;
 322
 323     heap_free( request->headers[index].field );
 324     heap_free( request->headers[index].value );
 325
 326     memmove( &request->headers[index], &request->headers[index + 1], (request->num_headers - index) * sizeof(header_t) );
 327     memset( &request->headers[request->num_headers], 0, sizeof(header_t) );
 328     return TRUE;
 329 }
 330
 331 static BOOL process_header( request_t *request, LPCWSTR field, LPCWSTR value, DWORD flags, BOOL request_only )
 332 {
 333     int index;
 334     header_t *header;
 335
 336     TRACE("%s: %s 0x%08x\n", debugstr_w(field), debugstr_w(value), flags);
 337
 338     /* replace wins out over add */
 339     if (flags & WINHTTP_ADDREQ_FLAG_REPLACE) flags &= ~WINHTTP_ADDREQ_FLAG_ADD;
 340
 341     if (flags & WINHTTP_ADDREQ_FLAG_ADD) index = -1;
 342     else
 343         index = get_header_index( request, field, 0, request_only );
 344
 345     if (index >= 0)
 346     {
 347         if (flags & WINHTTP_ADDREQ_FLAG_ADD_IF_NEW) return FALSE;
 348         header = &request->headers[index];
 349     }
 350     else if (value)
 351     {
 352         header_t hdr;
 353
 354         hdr.field = (LPWSTR)field;
 355         hdr.value = (LPWSTR)value;
 356         hdr.is_request = request_only;
 357
 358         return insert_header( request, &hdr );
 359     }
 360     /* no value to delete */
 361     else return TRUE;
 362
 363     if (flags & WINHTTP_ADDREQ_FLAG_REPLACE)
 364     {
 365         delete_header( request, index );
 366         if (value)
 367         {
 368             header_t hdr;
 369
 370             hdr.field = (LPWSTR)field;
 371             hdr.value = (LPWSTR)value;
 372             hdr.is_request = request_only;
 373
 374             return insert_header( request, &hdr );
 375         }
 376         return TRUE;
 377     }
 378     else if (flags & (WINHTTP_ADDREQ_FLAG_COALESCE_WITH_COMMA | WINHTTP_ADDREQ_FLAG_COALESCE_WITH_SEMICOLON))
 379     {
 380         WCHAR sep, *tmp;
 381         int len, orig_len, value_len;
 382
 383         orig_len = strlenW( header->value );
 384         value_len = strlenW( value );
 385
 386         if (flags & WINHTTP_ADDREQ_FLAG_COALESCE_WITH_COMMA) sep = ',';
 387         else sep = ';';
 388
 389         len = orig_len + value_len + 2;
 390         if ((tmp = heap_realloc( header->value, (len + 1) * sizeof(WCHAR) )))
 391         {
 392             header->value = tmp;
 393
 394             header->value[orig_len] = sep;
 395             orig_len++;
 396             header->value[orig_len] = ' ';
 397             orig_len++;
 398
 399             memcpy( &header->value[orig_len], value, value_len * sizeof(WCHAR) );
 400             header->value[len] = 0;
 401             return TRUE;
 402         }
 403     }
 404     return TRUE;
 405 }
 406
 407 BOOL add_request_headers( request_t *request, LPCWSTR headers, DWORD len, DWORD flags )
 408 {
 409     BOOL ret = FALSE;
 410     WCHAR *buffer, *p, *q;
 411     header_t *header;
 412
 413     if (len == ~0u) len = strlenW( headers );
 414     if (!len) return TRUE;
 415     if (!(buffer = heap_alloc( (len + 1) * sizeof(WCHAR) ))) return FALSE;
 416     strcpyW( buffer, headers );
 417
 418     p = buffer;
 419     do
 420     {
 421         q = p;
 422         while (*q)
 423         {
 424             if (q[0] == '\r' && q[1] == '\n') break;
 425             q++;
 426         }
 427         if (!*p) break;
 428         if (*q == '\r')
 429         {
 430             *q = 0;
 431             q += 2; /* jump over \r\n */
 432         }
 433         if ((header = parse_header( p )))
 434         {
 435             ret = process_header( request, header->field, header->value, flags, TRUE );
 436             free_header( header );
 437         }
 438         p = q;
 439     } while (ret);
 440
 441     heap_free( buffer );
 442     return ret;
 443 }
 444
 445 /***********************************************************************
 446  *          WinHttpAddRequestHeaders (winhttp.@)
 447  */
 448 BOOL WINAPI WinHttpAddRequestHeaders( HINTERNET hrequest, LPCWSTR headers, DWORD len, DWORD flags )
 449 {
 450     BOOL ret;
 451     request_t *request;
 452
 453     TRACE("%p, %s, 0x%x, 0x%08x\n", hrequest, debugstr_w(headers), len, flags);
 454
 455     if (!headers)
 456     {
 457         set_last_error( ERROR_INVALID_PARAMETER );
 458         return FALSE;
 459     }
 460     if (!(request = (request_t *)grab_object( hrequest )))
 461     {
 462         set_last_error( ERROR_INVALID_HANDLE );
 463         return FALSE;
 464     }
 465     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
 466     {
 467         release_object( &request->hdr );
 468         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
 469         return FALSE;
 470     }
 471
 472     ret = add_request_headers( request, headers, len, flags );
 473
 474     release_object( &request->hdr );
 475     return ret;
 476 }
 477
 478 static WCHAR *build_request_path( request_t *request )
 479 {
 480     WCHAR *ret;
 481
 482     if (strcmpiW( request->connect->hostname, request->connect->servername ))
 483     {
 484         static const WCHAR http[] = { 'h','t','t','p',0 };
 485         static const WCHAR https[] = { 'h','t','t','p','s',0 };
 486         static const WCHAR fmt[] = { '%','s',':','/','/','%','s',0 };
 487         LPCWSTR scheme = request->netconn.secure ? https : http;
 488         int len;
 489
 490         len = strlenW( scheme ) + strlenW( request->connect->hostname );
 491         /* 3 characters for '://', 1 for NUL. */
 492         len += 4;
 493         if (request->connect->hostport)
 494         {
 495             /* 1 for ':' between host and port, up to 5 for port */
 496             len += 6;
 497         }
 498         if (request->path)
 499             len += strlenW( request->path );
 500         if ((ret = heap_alloc( len * sizeof(WCHAR) )))
 501         {
 502             sprintfW( ret, fmt, scheme, request->connect->hostname );
 503             if (request->connect->hostport)
 504             {
 505                 static const WCHAR colonFmt[] = { ':','%','u',0 };
 506
 507                 sprintfW( ret + strlenW( ret ), colonFmt,
 508                     request->connect->hostport );
 509             }
 510             if (request->path)
 511                 strcatW( ret, request->path );
 512         }
 513     }
 514     else
 515         ret = request->path;
 516     return ret;
 517 }
 518
 519 static WCHAR *build_request_string( request_t *request )
 520 {
 521     static const WCHAR space[]   = {' ',0};
 522     static const WCHAR crlf[]    = {'\r','\n',0};
 523     static const WCHAR colon[]   = {':',' ',0};
 524     static const WCHAR twocrlf[] = {'\r','\n','\r','\n',0};
 525
 526     WCHAR *path, *ret;
 527     const WCHAR **headers, **p;
 528     unsigned int len, i = 0, j;
 529
 530     /* allocate space for an array of all the string pointers to be added */
 531     len = request->num_headers * 4 + 7;
 532     if (!(headers = heap_alloc( len * sizeof(LPCWSTR) ))) return NULL;
 533
 534     path = build_request_path( request );
 535     headers[i++] = request->verb;
 536     headers[i++] = space;
 537     headers[i++] = path;
 538     headers[i++] = space;
 539     headers[i++] = request->version;
 540
 541     for (j = 0; j < request->num_headers; j++)
 542     {
 543         if (request->headers[j].is_request)
 544         {
 545             headers[i++] = crlf;
 546             headers[i++] = request->headers[j].field;
 547             headers[i++] = colon;
 548             headers[i++] = request->headers[j].value;
 549
 550             TRACE("adding header %s (%s)\n", debugstr_w(request->headers[j].field),
 551                   debugstr_w(request->headers[j].value));
 552         }
 553     }
 554     headers[i++] = twocrlf;
 555     headers[i] = NULL;
 556
 557     len = 0;
 558     for (p = headers; *p; p++) len += strlenW( *p );
 559     len++;
 560
 561     if (!(ret = heap_alloc( len * sizeof(WCHAR) )))
 562         goto out;
 563     *ret = 0;
 564     for (p = headers; *p; p++) strcatW( ret, *p );
 565
 566 out:
 567     if (path != request->path)
 568         heap_free( path );
 569     heap_free( headers );
 570     return ret;
 571 }
 572
 573 #define QUERY_MODIFIER_MASK (WINHTTP_QUERY_FLAG_REQUEST_HEADERS | WINHTTP_QUERY_FLAG_SYSTEMTIME | WINHTTP_QUERY_FLAG_NUMBER)
 574
 575 static BOOL query_headers( request_t *request, DWORD level, LPCWSTR name, LPVOID buffer, LPDWORD buflen, LPDWORD index )
 576 {
 577     header_t *header = NULL;
 578     BOOL request_only, ret = FALSE;
 579     int requested_index, header_index = -1;
 580     DWORD attr, len;
 581
 582     request_only = level & WINHTTP_QUERY_FLAG_REQUEST_HEADERS;
 583     requested_index = index ? *index : 0;
 584
 585     attr = level & ~QUERY_MODIFIER_MASK;
 586     switch (attr)
 587     {
 588     case WINHTTP_QUERY_CUSTOM:
 589     {
 590         header_index = get_header_index( request, name, requested_index, request_only );
 591         break;
 592     }
 593     case WINHTTP_QUERY_RAW_HEADERS:
 594     {
 595         WCHAR *headers, *p, *q;
 596
 597         if (request_only)
 598             headers = build_request_string( request );
 599         else
 600             headers = request->raw_headers;
 601
 602         if (!(p = headers)) return FALSE;
 603         for (len = 0; *p; p++) if (*p != '\r') len++;
 604
 605         if (!buffer || (len + 1) * sizeof(WCHAR) > *buflen)
 606         {
 607             len++;
 608             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 609         }
 610         else
 611         {
 612             for (p = headers, q = buffer; *p; p++, q++)
 613             {
 614                 if (*p != '\r') *q = *p;
 615                 else
 616                 {
 617                     *q = 0;
 618                     p++; /* skip '\n' */
 619                 }
 620             }
 621             *q = 0;
 622             TRACE("returning data: %s\n", debugstr_wn(buffer, len));
 623             ret = TRUE;
 624         }
 625         *buflen = len * sizeof(WCHAR);
 626         if (request_only) heap_free( headers );
 627         return ret;
 628     }
 629     case WINHTTP_QUERY_RAW_HEADERS_CRLF:
 630     {
 631         WCHAR *headers;
 632
 633         if (request_only)
 634             headers = build_request_string( request );
 635         else
 636             headers = request->raw_headers;
 637
 638         if (!headers) return FALSE;
 639         len = strlenW( headers ) * sizeof(WCHAR);
 640         if (!buffer || len + sizeof(WCHAR) > *buflen)
 641         {
 642             len += sizeof(WCHAR);
 643             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 644         }
 645         else
 646         {
 647             memcpy( buffer, headers, len + sizeof(WCHAR) );
 648             TRACE("returning data: %s\n", debugstr_wn(buffer, len / sizeof(WCHAR)));
 649             ret = TRUE;
 650         }
 651         *buflen = len;
 652         if (request_only) heap_free( headers );
 653         return ret;
 654     }
 655     case WINHTTP_QUERY_VERSION:
 656         len = strlenW( request->version ) * sizeof(WCHAR);
 657         if (!buffer || len + sizeof(WCHAR) > *buflen)
 658         {
 659             len += sizeof(WCHAR);
 660             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 661         }
 662         else
 663         {
 664             strcpyW( buffer, request->version );
 665             TRACE("returning string: %s\n", debugstr_w(buffer));
 666             ret = TRUE;
 667         }
 668         *buflen = len;
 669         return ret;
 670
 671     case WINHTTP_QUERY_STATUS_TEXT:
 672         len = strlenW( request->status_text ) * sizeof(WCHAR);
 673         if (!buffer || len + sizeof(WCHAR) > *buflen)
 674         {
 675             len += sizeof(WCHAR);
 676             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 677         }
 678         else
 679         {
 680             strcpyW( buffer, request->status_text );
 681             TRACE("returning string: %s\n", debugstr_w(buffer));
 682             ret = TRUE;
 683         }
 684         *buflen = len;
 685         return ret;
 686
 687     default:
 688         if (attr >= sizeof(attribute_table)/sizeof(attribute_table[0]) || !attribute_table[attr])
 689         {
 690             FIXME("attribute %u not implemented\n", attr);
 691             return FALSE;
 692         }
 693         TRACE("attribute %s\n", debugstr_w(attribute_table[attr]));
 694         header_index = get_header_index( request, attribute_table[attr], requested_index, request_only );
 695         break;
 696     }
 697
 698     if (header_index >= 0)
 699     {
 700         header = &request->headers[header_index];
 701     }
 702     if (!header || (request_only && !header->is_request))
 703     {
 704         set_last_error( ERROR_WINHTTP_HEADER_NOT_FOUND );
 705         return FALSE;
 706     }
 707     if (index) *index += 1;
 708     if (level & WINHTTP_QUERY_FLAG_NUMBER)
 709     {
 710         if (!buffer || sizeof(int) > *buflen)
 711         {
 712             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 713         }
 714         else
 715         {
 716             int *number = buffer;
 717             *number = atoiW( header->value );
 718             TRACE("returning number: %d\n", *number);
 719             ret = TRUE;
 720         }
 721         *buflen = sizeof(int);
 722     }
 723     else if (level & WINHTTP_QUERY_FLAG_SYSTEMTIME)
 724     {
 725         SYSTEMTIME *st = buffer;
 726         if (!buffer || sizeof(SYSTEMTIME) > *buflen)
 727         {
 728             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 729         }
 730         else if ((ret = WinHttpTimeToSystemTime( header->value, st )))
 731         {
 732             TRACE("returning time: %04d/%02d/%02d - %d - %02d:%02d:%02d.%02d\n",
 733                   st->wYear, st->wMonth, st->wDay, st->wDayOfWeek,
 734                   st->wHour, st->wMinute, st->wSecond, st->wMilliseconds);
 735         }
 736         *buflen = sizeof(SYSTEMTIME);
 737     }
 738     else if (header->value)
 739     {
 740         len = strlenW( header->value ) * sizeof(WCHAR);
 741         if (!buffer || len + sizeof(WCHAR) > *buflen)
 742         {
 743             len += sizeof(WCHAR);
 744             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 745         }
 746         else
 747         {
 748             strcpyW( buffer, header->value );
 749             TRACE("returning string: %s\n", debugstr_w(buffer));
 750             ret = TRUE;
 751         }
 752         *buflen = len;
 753     }
 754     return ret;
 755 }
 756
 757 /***********************************************************************
 758  *          WinHttpQueryHeaders (winhttp.@)
 759  */
 760 BOOL WINAPI WinHttpQueryHeaders( HINTERNET hrequest, DWORD level, LPCWSTR name, LPVOID buffer, LPDWORD buflen, LPDWORD index )
 761 {
 762     BOOL ret;
 763     request_t *request;
 764
 765     TRACE("%p, 0x%08x, %s, %p, %p, %p\n", hrequest, level, debugstr_w(name), buffer, buflen, index);
 766
 767     if (!(request = (request_t *)grab_object( hrequest )))
 768     {
 769         set_last_error( ERROR_INVALID_HANDLE );
 770         return FALSE;
 771     }
 772     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
 773     {
 774         release_object( &request->hdr );
 775         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
 776         return FALSE;
 777     }
 778
 779     ret = query_headers( request, level, name, buffer, buflen, index );
 780
 781     release_object( &request->hdr );
 782     return ret;
 783 }
 784
 785 static LPWSTR concatenate_string_list( LPCWSTR *list, int len )
 786 {
 787     LPCWSTR *t;
 788     LPWSTR str;
 789
 790     for( t = list; *t ; t++  )
 791         len += strlenW( *t );
 792     len++;
 793
 794     str = heap_alloc( len * sizeof(WCHAR) );
 795     if (!str) return NULL;
 796     *str = 0;
 797
 798     for( t = list; *t ; t++ )
 799         strcatW( str, *t );
 800
 801     return str;
 802 }
 803
 804 static LPWSTR build_header_request_string( request_t *request, LPCWSTR verb,
 805     LPCWSTR path, LPCWSTR version )
 806 {
 807     static const WCHAR crlf[] = {'\r','\n',0};
 808     static const WCHAR space[] = { ' ',0 };
 809     static const WCHAR colon[] = { ':',' ',0 };
 810     static const WCHAR twocrlf[] = {'\r','\n','\r','\n', 0};
 811     LPWSTR requestString;
 812     DWORD len, n;
 813     LPCWSTR *req;
 814     UINT i;
 815     LPWSTR p;
 816
 817     /* allocate space for an array of all the string pointers to be added */
 818     len = (request->num_headers) * 4 + 10;
 819     req = heap_alloc( len * sizeof(LPCWSTR) );
 820     if (!req) return NULL;
 821
 822     /* add the verb, path and HTTP version string */
 823     n = 0;
 824     req[n++] = verb;
 825     req[n++] = space;
 826     req[n++] = path;
 827     req[n++] = space;
 828     req[n++] = version;
 829
 830     /* Append custom request headers */
 831     for (i = 0; i < request->num_headers; i++)
 832     {
 833         if (request->headers[i].is_request)
 834         {
 835             req[n++] = crlf;
 836             req[n++] = request->headers[i].field;
 837             req[n++] = colon;
 838             req[n++] = request->headers[i].value;
 839
 840             TRACE("Adding custom header %s (%s)\n",
 841                    debugstr_w(request->headers[i].field),
 842                    debugstr_w(request->headers[i].value));
 843         }
 844     }
 845
 846     if( n >= len )
 847         ERR("oops. buffer overrun\n");
 848
 849     req[n] = NULL;
 850     requestString = concatenate_string_list( req, 4 );
 851     heap_free( req );
 852     if (!requestString) return NULL;
 853
 854     /*
 855      * Set (header) termination string for request
 856      * Make sure there's exactly two new lines at the end of the request
 857      */
 858     p = &requestString[strlenW(requestString)-1];
 859     while ( (*p == '\n') || (*p == '\r') )
 860        p--;
 861     strcpyW( p+1, twocrlf );
 862
 863     return requestString;
 864 }
 865
 866 static BOOL read_reply( request_t *request );
 867
 868 static BOOL secure_proxy_connect( request_t *request )
 869 {
 870     static const WCHAR verbConnect[] = {'C','O','N','N','E','C','T',0};
 871     static const WCHAR fmt[] = {'%','s',':','%','u',0};
 872     BOOL ret = FALSE;
 873     LPWSTR path;
 874     connect_t *connect = request->connect;
 875
 876     path = heap_alloc( (strlenW( connect->hostname ) + 13) * sizeof(WCHAR) );
 877     if (path)
 878     {
 879         LPWSTR requestString;
 880
 881         sprintfW( path, fmt, connect->hostname, connect->hostport );
 882         requestString = build_header_request_string( request, verbConnect,
 883             path, http1_1 );
 884         heap_free( path );
 885         if (requestString)
 886         {
 887             LPSTR req_ascii = strdupWA( requestString );
 888
 889             heap_free( requestString );
 890             if (req_ascii)
 891             {
 892                 int len = strlen( req_ascii ), bytes_sent;
 893
 894                 ret = netconn_send( &request->netconn, req_ascii, len, 0, &bytes_sent );
 895                 heap_free( req_ascii );
 896                 if (ret)
 897                     ret = read_reply( request );
 898             }
 899         }
 900     }
 901     return ret;
 902 }
 903
 904 #ifndef INET6_ADDRSTRLEN
 905 #define INET6_ADDRSTRLEN 46
 906 #endif
 907
 908 static BOOL open_connection( request_t *request )
 909 {
 910     connect_t *connect;
 911     const void *addr;
 912     char address[INET6_ADDRSTRLEN];
 913     WCHAR *addressW;
 914     INTERNET_PORT port;
 915     socklen_t slen;
 916
 917     if (netconn_connected( &request->netconn )) return TRUE;
 918
 919     connect = request->connect;
 920     port = connect->serverport ? connect->serverport : (request->hdr.flags & WINHTTP_FLAG_SECURE ? 443 : 80);
 921
 922     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_RESOLVING_NAME, connect->servername, strlenW(connect->servername) + 1 );
 923
 924     slen = sizeof(connect->sockaddr);
 925     if (!netconn_resolve( connect->servername, port, (struct sockaddr *)&connect->sockaddr, &slen, request->resolve_timeout )) return FALSE;
 926     switch (connect->sockaddr.ss_family)
 927     {
 928     case AF_INET:
 929         addr = &((struct sockaddr_in *)&connect->sockaddr)->sin_addr;
 930         break;
 931     case AF_INET6:
 932         addr = &((struct sockaddr_in6 *)&connect->sockaddr)->sin6_addr;
 933         break;
 934     default:
 935         WARN("unsupported address family %d\n", connect->sockaddr.ss_family);
 936         return FALSE;
 937     }
 938     inet_ntop( connect->sockaddr.ss_family, addr, address, sizeof(address) );
 939     addressW = strdupAW( address );
 940
 941     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_NAME_RESOLVED, addressW, strlenW(addressW) + 1 );
 942
 943     TRACE("connecting to %s:%u\n", address, port);
 944
 945     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CONNECTING_TO_SERVER, addressW, 0 );
 946
 947     if (!netconn_create( &request->netconn, connect->sockaddr.ss_family, SOCK_STREAM, 0 ))
 948     {
 949         heap_free( addressW );
 950         return FALSE;
 951     }
 952     netconn_set_timeout( &request->netconn, TRUE, request->send_timeout );
 953     netconn_set_timeout( &request->netconn, FALSE, request->recv_timeout );
 954     if (!netconn_connect( &request->netconn, (struct sockaddr *)&connect->sockaddr, slen, request->connect_timeout ))
 955     {
 956         netconn_close( &request->netconn );
 957         heap_free( addressW );
 958         return FALSE;
 959     }
 960     if (request->hdr.flags & WINHTTP_FLAG_SECURE)
 961     {
 962         if (connect->session->proxy_server &&
 963             strcmpiW( connect->hostname, connect->servername ))
 964         {
 965             if (!secure_proxy_connect( request ))
 966             {
 967                 heap_free( addressW );
 968                 return FALSE;
 969             }
 970         }
 971         if (!netconn_secure_connect( &request->netconn, connect->servername ))
 972         {
 973             netconn_close( &request->netconn );
 974             heap_free( addressW );
 975             return FALSE;
 976         }
 977     }
 978
 979     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CONNECTED_TO_SERVER, addressW, strlenW(addressW) + 1 );
 980
 981     heap_free( addressW );
 982     return TRUE;
 983 }
 984
 985 void close_connection( request_t *request )
 986 {
 987     if (!netconn_connected( &request->netconn )) return;
 988
 989     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CLOSING_CONNECTION, 0, 0 );
 990     netconn_close( &request->netconn );
 991     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CONNECTION_CLOSED, 0, 0 );
 992 }
 993
 994 static BOOL add_host_header( request_t *request, DWORD modifier )
 995 {
 996     BOOL ret;
 997     DWORD len;
 998     WCHAR *host;
 999     static const WCHAR fmt[] = {'%','s',':','%','u',0};
1000     connect_t *connect = request->connect;
1001     INTERNET_PORT port;
1002
1003     port = connect->hostport ? connect->hostport : (request->hdr.flags & WINHTTP_FLAG_SECURE ? 443 : 80);
1004
1005     if (port == INTERNET_DEFAULT_HTTP_PORT || port == INTERNET_DEFAULT_HTTPS_PORT)
1006     {
1007         return process_header( request, attr_host, connect->hostname, modifier, TRUE );
1008     }
1009     len = strlenW( connect->hostname ) + 7; /* sizeof(":65335") */
1010     if (!(host = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1011     sprintfW( host, fmt, connect->hostname, port );
1012     ret = process_header( request, attr_host, host, modifier, TRUE );
1013     heap_free( host );
1014     return ret;
1015 }
1016
1017 static BOOL send_request( request_t *request, LPCWSTR headers, DWORD headers_len, LPVOID optional,
1018                           DWORD optional_len, DWORD total_len, DWORD_PTR context, BOOL async )
1019 {
1020     static const WCHAR keep_alive[] = {'K','e','e','p','-','A','l','i','v','e',0};
1021     static const WCHAR no_cache[]   = {'n','o','-','c','a','c','h','e',0};
1022     static const WCHAR length_fmt[] = {'%','l','d',0};
1023
1024     BOOL ret = FALSE;
1025     connect_t *connect = request->connect;
1026     session_t *session = connect->session;
1027     WCHAR *req = NULL;
1028     char *req_ascii;
1029     int bytes_sent;
1030     DWORD len;
1031
1032     if (session->agent)
1033         process_header( request, attr_user_agent, session->agent, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1034
1035     if (connect->hostname)
1036         add_host_header( request, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW );
1037
1038     if (total_len || (request->verb && !strcmpW( request->verb, postW )))
1039     {
1040         WCHAR length[21]; /* decimal long int + null */
1041         sprintfW( length, length_fmt, total_len );
1042         process_header( request, attr_content_length, length, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1043     }
1044     if (!(request->hdr.disable_flags & WINHTTP_DISABLE_KEEP_ALIVE))
1045     {
1046         process_header( request, attr_connection, keep_alive, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1047     }
1048     if (request->hdr.flags & WINHTTP_FLAG_REFRESH)
1049     {
1050         process_header( request, attr_pragma, no_cache, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1051         process_header( request, attr_cache_control, no_cache, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1052     }
1053     if (headers && !add_request_headers( request, headers, headers_len, WINHTTP_ADDREQ_FLAG_ADD | WINHTTP_ADDREQ_FLAG_REPLACE ))
1054     {
1055         TRACE("failed to add request headers\n");
1056         return FALSE;
1057     }
1058     if (!(request->hdr.disable_flags & WINHTTP_DISABLE_COOKIES) && !add_cookie_headers( request ))
1059     {
1060         WARN("failed to add cookie headers\n");
1061         return FALSE;
1062     }
1063
1064     if (!(ret = open_connection( request ))) goto end;
1065     if (!(req = build_request_string( request ))) goto end;
1066
1067     if (!(req_ascii = strdupWA( req ))) goto end;
1068     TRACE("full request: %s\n", debugstr_a(req_ascii));
1069     len = strlen(req_ascii);
1070
1071     if (context) request->hdr.context = context;
1072     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_SENDING_REQUEST, NULL, 0 );
1073
1074     ret = netconn_send( &request->netconn, req_ascii, len, 0, &bytes_sent );
1075     heap_free( req_ascii );
1076     if (!ret) goto end;
1077
1078     if (optional_len && !netconn_send( &request->netconn, optional, optional_len, 0, &bytes_sent )) goto end;
1079     len += optional_len;
1080
1081     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_SENT, &len, sizeof(DWORD) );
1082
1083 end:
1084     if (async)
1085     {
1086         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_SENDREQUEST_COMPLETE, NULL, 0 );
1087         else
1088         {
1089             WINHTTP_ASYNC_RESULT result;
1090             result.dwResult = API_SEND_REQUEST;
1091             result.dwError  = get_last_error();
1092             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1093         }
1094     }
1095     heap_free( req );
1096     return ret;
1097 }
1098
1099 static void task_send_request( task_header_t *task )
1100 {
1101     send_request_t *s = (send_request_t *)task;
1102     send_request( s->hdr.request, s->headers, s->headers_len, s->optional, s->optional_len, s->total_len, s->context, TRUE );
1103     heap_free( s->headers );
1104 }
1105
1106 /***********************************************************************
1107  *          WinHttpSendRequest (winhttp.@)
1108  */
1109 BOOL WINAPI WinHttpSendRequest( HINTERNET hrequest, LPCWSTR headers, DWORD headers_len,
1110                                 LPVOID optional, DWORD optional_len, DWORD total_len, DWORD_PTR context )
1111 {
1112     BOOL ret;
1113     request_t *request;
1114
1115     TRACE("%p, %s, 0x%x, %u, %u, %lx\n",
1116           hrequest, debugstr_w(headers), headers_len, optional_len, total_len, context);
1117
1118     if (!(request = (request_t *)grab_object( hrequest )))
1119     {
1120         set_last_error( ERROR_INVALID_HANDLE );
1121         return FALSE;
1122     }
1123     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1124     {
1125         release_object( &request->hdr );
1126         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1127         return FALSE;
1128     }
1129
1130     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1131     {
1132         send_request_t *s;
1133
1134         if (!(s = heap_alloc( sizeof(send_request_t) ))) return FALSE;
1135         s->hdr.request  = request;
1136         s->hdr.proc     = task_send_request;
1137         s->headers      = strdupW( headers );
1138         s->headers_len  = headers_len;
1139         s->optional     = optional;
1140         s->optional_len = optional_len;
1141         s->total_len    = total_len;
1142         s->context      = context;
1143
1144         addref_object( &request->hdr );
1145         ret = queue_task( (task_header_t *)s );
1146     }
1147     else
1148         ret = send_request( request, headers, headers_len, optional, optional_len, total_len, context, FALSE );
1149
1150     release_object( &request->hdr );
1151     return ret;
1152 }
1153
1154 #define ARRAYSIZE(array) (sizeof(array) / sizeof((array)[0]))
1155
1156 static DWORD auth_scheme_from_header( WCHAR *header )
1157 {
1158     static const WCHAR basic[]     = {'B','a','s','i','c'};
1159     static const WCHAR ntlm[]      = {'N','T','L','M'};
1160     static const WCHAR passport[]  = {'P','a','s','s','p','o','r','t'};
1161     static const WCHAR digest[]    = {'D','i','g','e','s','t'};
1162     static const WCHAR negotiate[] = {'N','e','g','o','t','i','a','t','e'};
1163
1164     if (!strncmpiW( header, basic, ARRAYSIZE(basic) ) &&
1165         (header[ARRAYSIZE(basic)] == ' ' || !header[ARRAYSIZE(basic)])) return WINHTTP_AUTH_SCHEME_BASIC;
1166
1167     if (!strncmpiW( header, ntlm, ARRAYSIZE(ntlm) ) &&
1168         (header[ARRAYSIZE(ntlm)] == ' ' || !header[ARRAYSIZE(ntlm)])) return WINHTTP_AUTH_SCHEME_NTLM;
1169
1170     if (!strncmpiW( header, passport, ARRAYSIZE(passport) ) &&
1171         (header[ARRAYSIZE(passport)] == ' ' || !header[ARRAYSIZE(passport)])) return WINHTTP_AUTH_SCHEME_PASSPORT;
1172
1173     if (!strncmpiW( header, digest, ARRAYSIZE(digest) ) &&
1174         (header[ARRAYSIZE(digest)] == ' ' || !header[ARRAYSIZE(digest)])) return WINHTTP_AUTH_SCHEME_DIGEST;
1175
1176     if (!strncmpiW( header, negotiate, ARRAYSIZE(negotiate) ) &&
1177         (header[ARRAYSIZE(negotiate)] == ' ' || !header[ARRAYSIZE(negotiate)])) return WINHTTP_AUTH_SCHEME_NEGOTIATE;
1178
1179     return 0;
1180 }
1181
1182 static BOOL query_auth_schemes( request_t *request, DWORD level, LPDWORD supported, LPDWORD first )
1183 {
1184     DWORD index = 0;
1185     BOOL ret = FALSE;
1186
1187     for (;;)
1188     {
1189         WCHAR *buffer;
1190         DWORD size, scheme;
1191
1192         size = 0;
1193         query_headers( request, level, NULL, NULL, &size, &index );
1194         if (GetLastError() != ERROR_INSUFFICIENT_BUFFER) break;
1195
1196         index--;
1197         if (!(buffer = heap_alloc( size ))) return FALSE;
1198         if (!query_headers( request, level, NULL, buffer, &size, &index ))
1199         {
1200             heap_free( buffer );
1201             return FALSE;
1202         }
1203         scheme = auth_scheme_from_header( buffer );
1204         if (first && index == 1) *first = scheme;
1205         *supported |= scheme;
1206
1207         heap_free( buffer );
1208         ret = TRUE;
1209     }
1210     return ret;
1211 }
1212
1213 /***********************************************************************
1214  *          WinHttpQueryAuthSchemes (winhttp.@)
1215  */
1216 BOOL WINAPI WinHttpQueryAuthSchemes( HINTERNET hrequest, LPDWORD supported, LPDWORD first, LPDWORD target )
1217 {
1218     BOOL ret = FALSE;
1219     request_t *request;
1220
1221     TRACE("%p, %p, %p, %p\n", hrequest, supported, first, target);
1222
1223     if (!(request = (request_t *)grab_object( hrequest )))
1224     {
1225         set_last_error( ERROR_INVALID_HANDLE );
1226         return FALSE;
1227     }
1228     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1229     {
1230         release_object( &request->hdr );
1231         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1232         return FALSE;
1233     }
1234
1235     if (query_auth_schemes( request, WINHTTP_QUERY_WWW_AUTHENTICATE, supported, first ))
1236     {
1237         *target = WINHTTP_AUTH_TARGET_SERVER;
1238         ret = TRUE;
1239     }
1240     else if (query_auth_schemes( request, WINHTTP_QUERY_PROXY_AUTHENTICATE, supported, first ))
1241     {
1242         *target = WINHTTP_AUTH_TARGET_PROXY;
1243         ret = TRUE;
1244     }
1245
1246     release_object( &request->hdr );
1247     return ret;
1248 }
1249
1250 static UINT encode_base64( const char *bin, unsigned int len, WCHAR *base64 )
1251 {
1252     UINT n = 0, x;
1253     static const char base64enc[] =
1254         "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/";
1255
1256     while (len > 0)
1257     {
1258         /* first 6 bits, all from bin[0] */
1259         base64[n++] = base64enc[(bin[0] & 0xfc) >> 2];
1260         x = (bin[0] & 3) << 4;
1261
1262         /* next 6 bits, 2 from bin[0] and 4 from bin[1] */
1263         if (len == 1)
1264         {
1265             base64[n++] = base64enc[x];
1266             base64[n++] = '=';
1267             base64[n++] = '=';
1268             break;
1269         }
1270         base64[n++] = base64enc[x | ((bin[1] & 0xf0) >> 4)];
1271         x = (bin[1] & 0x0f) << 2;
1272
1273         /* next 6 bits 4 from bin[1] and 2 from bin[2] */
1274         if (len == 2)
1275         {
1276             base64[n++] = base64enc[x];
1277             base64[n++] = '=';
1278             break;
1279         }
1280         base64[n++] = base64enc[x | ((bin[2] & 0xc0) >> 6)];
1281
1282         /* last 6 bits, all from bin [2] */
1283         base64[n++] = base64enc[bin[2] & 0x3f];
1284         bin += 3;
1285         len -= 3;
1286     }
1287     base64[n] = 0;
1288     return n;
1289 }
1290
1291 static BOOL set_credentials( request_t *request, DWORD target, DWORD scheme, LPCWSTR username, LPCWSTR password )
1292 {
1293     static const WCHAR basic[] = {'B','a','s','i','c',' ',0};
1294     const WCHAR *auth_scheme, *auth_target;
1295     WCHAR *auth_header;
1296     DWORD len, auth_data_len;
1297     char *auth_data;
1298     BOOL ret;
1299
1300     if (!username || !password)
1301     {
1302         set_last_error( ERROR_INVALID_PARAMETER );
1303         return FALSE;
1304     }
1305
1306     switch (target)
1307     {
1308     case WINHTTP_AUTH_TARGET_SERVER: auth_target = attr_authorization; break;
1309     case WINHTTP_AUTH_TARGET_PROXY:  auth_target = attr_proxy_authorization; break;
1310     default:
1311         WARN("unknown target %x\n", target);
1312         return FALSE;
1313     }
1314     switch (scheme)
1315     {
1316     case WINHTTP_AUTH_SCHEME_BASIC:
1317     {
1318         int userlen = WideCharToMultiByte( CP_UTF8, 0, username, strlenW( username ), NULL, 0, NULL, NULL );
1319         int passlen = WideCharToMultiByte( CP_UTF8, 0, password, strlenW( password ), NULL, 0, NULL, NULL );
1320
1321         TRACE("basic authentication\n");
1322
1323         auth_scheme = basic;
1324         auth_data_len = userlen + 1 + passlen;
1325         if (!(auth_data = heap_alloc( auth_data_len ))) return FALSE;
1326
1327         WideCharToMultiByte( CP_UTF8, 0, username, -1, auth_data, userlen, NULL, NULL );
1328         auth_data[userlen] = ':';
1329         WideCharToMultiByte( CP_UTF8, 0, password, -1, auth_data + userlen + 1, passlen, NULL, NULL );
1330         break;
1331     }
1332     case WINHTTP_AUTH_SCHEME_NTLM:
1333     case WINHTTP_AUTH_SCHEME_PASSPORT:
1334     case WINHTTP_AUTH_SCHEME_DIGEST:
1335     case WINHTTP_AUTH_SCHEME_NEGOTIATE:
1336         FIXME("unimplemented authentication scheme %x\n", scheme);
1337         return FALSE;
1338     default:
1339         WARN("unknown authentication scheme %x\n", scheme);
1340         return FALSE;
1341     }
1342
1343     len = strlenW( auth_scheme ) + ((auth_data_len + 2) * 4) / 3;
1344     if (!(auth_header = heap_alloc( (len + 1) * sizeof(WCHAR) )))
1345     {
1346         heap_free( auth_data );
1347         return FALSE;
1348     }
1349     strcpyW( auth_header, auth_scheme );
1350     encode_base64( auth_data, auth_data_len, auth_header + strlenW( auth_header ) );
1351
1352     ret = process_header( request, auth_target, auth_header, WINHTTP_ADDREQ_FLAG_ADD | WINHTTP_ADDREQ_FLAG_REPLACE, TRUE );
1353
1354     heap_free( auth_data );
1355     heap_free( auth_header );
1356     return ret;
1357 }
1358
1359 /***********************************************************************
1360  *          WinHttpSetCredentials (winhttp.@)
1361  */
1362 BOOL WINAPI WinHttpSetCredentials( HINTERNET hrequest, DWORD target, DWORD scheme, LPCWSTR username,
1363                                    LPCWSTR password, LPVOID params )
1364 {
1365     BOOL ret;
1366     request_t *request;
1367
1368     TRACE("%p, %x, 0x%08x, %s, %p, %p\n", hrequest, target, scheme, debugstr_w(username), password, params);
1369
1370     if (!(request = (request_t *)grab_object( hrequest )))
1371     {
1372         set_last_error( ERROR_INVALID_HANDLE );
1373         return FALSE;
1374     }
1375     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1376     {
1377         release_object( &request->hdr );
1378         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1379         return FALSE;
1380     }
1381
1382     ret = set_credentials( request, target, scheme, username, password );
1383
1384     release_object( &request->hdr );
1385     return ret;
1386 }
1387
1388 static BOOL handle_authorization( request_t *request, DWORD status )
1389 {
1390     DWORD schemes, level, target;
1391     const WCHAR *username, *password;
1392
1393     switch (status)
1394     {
1395     case 401:
1396         target = WINHTTP_AUTH_TARGET_SERVER;
1397         level  = WINHTTP_QUERY_WWW_AUTHENTICATE;
1398         break;
1399
1400     case 407:
1401         target = WINHTTP_AUTH_TARGET_PROXY;
1402         level  = WINHTTP_QUERY_PROXY_AUTHENTICATE;
1403         break;
1404
1405     default:
1406         WARN("unhandled status %u\n", status);
1407         return FALSE;
1408     }
1409
1410     if (!query_auth_schemes( request, level, &schemes, NULL )) return FALSE;
1411
1412     if (target == WINHTTP_AUTH_TARGET_SERVER)
1413     {
1414         username = request->connect->username;
1415         password = request->connect->password;
1416     }
1417     else
1418     {
1419         username = request->connect->session->proxy_username;
1420         password = request->connect->session->proxy_password;
1421     }
1422
1423     if (schemes & WINHTTP_AUTH_SCHEME_BASIC)
1424         return set_credentials( request, target, WINHTTP_AUTH_SCHEME_BASIC, username, password );
1425
1426     FIXME("unsupported authentication scheme\n");
1427     return FALSE;
1428 }
1429
1430 static void clear_response_headers( request_t *request )
1431 {
1432     unsigned int i;
1433
1434     for (i = 0; i < request->num_headers; i++)
1435     {
1436         if (!request->headers[i].field) continue;
1437         if (!request->headers[i].value) continue;
1438         if (request->headers[i].is_request) continue;
1439         delete_header( request, i );
1440         i--;
1441     }
1442 }
1443
1444 #define MAX_REPLY_LEN   1460
1445 #define INITIAL_HEADER_BUFFER_LEN  512
1446
1447 static BOOL read_reply( request_t *request )
1448 {
1449     static const WCHAR crlf[] = {'\r','\n',0};
1450
1451     char buffer[MAX_REPLY_LEN];
1452     DWORD buflen, len, offset, received_len, crlf_len = 2; /* strlenW(crlf) */
1453     char *status_code, *status_text;
1454     WCHAR *versionW, *status_textW, *raw_headers;
1455     WCHAR status_codeW[4]; /* sizeof("nnn") */
1456
1457     if (!netconn_connected( &request->netconn )) return FALSE;
1458
1459     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_RECEIVING_RESPONSE, NULL, 0 );
1460
1461     received_len = 0;
1462     do
1463     {
1464         buflen = MAX_REPLY_LEN;
1465         if (!netconn_get_next_line( &request->netconn, buffer, &buflen )) return FALSE;
1466         received_len += buflen;
1467
1468         /* first line should look like 'HTTP/1.x nnn OK' where nnn is the status code */
1469         if (!(status_code = strchr( buffer, ' ' ))) return FALSE;
1470         status_code++;
1471         if (!(status_text = strchr( status_code, ' ' ))) return FALSE;
1472         if ((len = status_text - status_code) != sizeof("nnn") - 1) return FALSE;
1473         status_text++;
1474
1475         TRACE("version [%s] status code [%s] status text [%s]\n",
1476               debugstr_an(buffer, status_code - buffer - 1),
1477               debugstr_an(status_code, len),
1478               debugstr_a(status_text));
1479
1480     } while (!memcmp( status_code, "100", len )); /* ignore "100 Continue" responses */
1481
1482     /*  we rely on the fact that the protocol is ascii */
1483     MultiByteToWideChar( CP_ACP, 0, status_code, len, status_codeW, len );
1484     status_codeW[len] = 0;
1485     if (!(process_header( request, attr_status, status_codeW, WINHTTP_ADDREQ_FLAG_REPLACE, FALSE ))) return FALSE;
1486
1487     len = status_code - buffer;
1488     if (!(versionW = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1489     MultiByteToWideChar( CP_ACP, 0, buffer, len - 1, versionW, len -1 );
1490     versionW[len - 1] = 0;
1491
1492     heap_free( request->version );
1493     request->version = versionW;
1494
1495     len = buflen - (status_text - buffer);
1496     if (!(status_textW = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1497     MultiByteToWideChar( CP_ACP, 0, status_text, len, status_textW, len );
1498
1499     heap_free( request->status_text );
1500     request->status_text = status_textW;
1501
1502     len = max( buflen + crlf_len, INITIAL_HEADER_BUFFER_LEN );
1503     if (!(raw_headers = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1504     MultiByteToWideChar( CP_ACP, 0, buffer, buflen, raw_headers, buflen );
1505     memcpy( raw_headers + buflen - 1, crlf, sizeof(crlf) );
1506
1507     heap_free( request->raw_headers );
1508     request->raw_headers = raw_headers;
1509
1510     offset = buflen + crlf_len - 1;
1511     for (;;)
1512     {
1513         header_t *header;
1514
1515         buflen = MAX_REPLY_LEN;
1516         if (!netconn_get_next_line( &request->netconn, buffer, &buflen )) goto end;
1517         received_len += buflen;
1518         if (!*buffer) break;
1519
1520         while (len - offset < buflen + crlf_len)
1521         {
1522             WCHAR *tmp;
1523             len *= 2;
1524             if (!(tmp = heap_realloc( raw_headers, len * sizeof(WCHAR) ))) return FALSE;
1525             request->raw_headers = raw_headers = tmp;
1526         }
1527         MultiByteToWideChar( CP_ACP, 0, buffer, buflen, raw_headers + offset, buflen );
1528
1529         if (!(header = parse_header( raw_headers + offset ))) break;
1530         if (!(process_header( request, header->field, header->value, WINHTTP_ADDREQ_FLAG_ADD, FALSE )))
1531         {
1532             free_header( header );
1533             break;
1534         }
1535         free_header( header );
1536         memcpy( raw_headers + offset + buflen - 1, crlf, sizeof(crlf) );
1537         offset += buflen + crlf_len - 1;
1538     }
1539
1540     TRACE("raw headers: %s\n", debugstr_w(raw_headers));
1541
1542 end:
1543     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_RESPONSE_RECEIVED, &received_len, sizeof(DWORD) );
1544     return TRUE;
1545 }
1546
1547 static BOOL handle_redirect( request_t *request, DWORD status )
1548 {
1549     BOOL ret = FALSE;
1550     DWORD size, len;
1551     URL_COMPONENTS uc;
1552     connect_t *connect = request->connect;
1553     INTERNET_PORT port;
1554     WCHAR *hostname = NULL, *location = NULL;
1555     int index;
1556
1557     size = 0;
1558     query_headers( request, WINHTTP_QUERY_LOCATION, NULL, NULL, &size, NULL );
1559     if (!(location = heap_alloc( size ))) return FALSE;
1560     if (!query_headers( request, WINHTTP_QUERY_LOCATION, NULL, location, &size, NULL )) goto end;
1561
1562     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REDIRECT, location, size / sizeof(WCHAR) + 1 );
1563
1564     memset( &uc, 0, sizeof(uc) );
1565     uc.dwStructSize = sizeof(uc);
1566     uc.dwSchemeLength = uc.dwHostNameLength = uc.dwUrlPathLength = uc.dwExtraInfoLength = ~0u;
1567
1568     if (!WinHttpCrackUrl( location, size / sizeof(WCHAR), 0, &uc )) /* assume relative redirect */
1569     {
1570         WCHAR *path, *p;
1571
1572         len = strlenW( location ) + 1;
1573         if (location[0] != '/') len++;
1574         if (!(p = path = heap_alloc( len * sizeof(WCHAR) ))) goto end;
1575
1576         if (location[0] != '/') *p++ = '/';
1577         strcpyW( p, location );
1578
1579         heap_free( request->path );
1580         request->path = path;
1581     }
1582     else
1583     {
1584         if (uc.nScheme == INTERNET_SCHEME_HTTP && request->hdr.flags & WINHTTP_FLAG_SECURE)
1585         {
1586             TRACE("redirect from secure page to non-secure page\n");
1587             request->hdr.flags &= ~WINHTTP_FLAG_SECURE;
1588         }
1589         else if (uc.nScheme == INTERNET_SCHEME_HTTPS && !(request->hdr.flags & WINHTTP_FLAG_SECURE))
1590         {
1591             TRACE("redirect from non-secure page to secure page\n");
1592             request->hdr.flags |= WINHTTP_FLAG_SECURE;
1593         }
1594
1595         len = uc.dwHostNameLength;
1596         if (!(hostname = heap_alloc( (len + 1) * sizeof(WCHAR) ))) goto end;
1597         memcpy( hostname, uc.lpszHostName, len * sizeof(WCHAR) );
1598         hostname[len] = 0;
1599
1600         port = uc.nPort ? uc.nPort : (uc.nScheme == INTERNET_SCHEME_HTTPS ? 443 : 80);
1601         if (strcmpiW( connect->hostname, hostname ) || connect->serverport != port)
1602         {
1603             heap_free( connect->hostname );
1604             connect->hostname = hostname;
1605             connect->hostport = port;
1606             if (!(ret = set_server_for_hostname( connect, hostname, port ))) goto end;
1607
1608             netconn_close( &request->netconn );
1609             if (!(ret = netconn_init( &request->netconn, request->hdr.flags & WINHTTP_FLAG_SECURE ))) goto end;
1610         }
1611         if (!(ret = add_host_header( request, WINHTTP_ADDREQ_FLAG_REPLACE ))) goto end;
1612         if (!(ret = open_connection( request ))) goto end;
1613
1614         heap_free( request->path );
1615         request->path = NULL;
1616         if (uc.dwUrlPathLength)
1617         {
1618             len = uc.dwUrlPathLength + uc.dwExtraInfoLength;
1619             if (!(request->path = heap_alloc( (len + 1) * sizeof(WCHAR) ))) goto end;
1620             strcpyW( request->path, uc.lpszUrlPath );
1621         }
1622         else request->path = strdupW( slashW );
1623     }
1624
1625     /* remove content-type/length headers */
1626     if ((index = get_header_index( request, attr_content_type, 0, TRUE )) >= 0) delete_header( request, index );
1627     if ((index = get_header_index( request, attr_content_length, 0, TRUE )) >= 0 ) delete_header( request, index );
1628
1629     if (status != HTTP_STATUS_REDIRECT_KEEP_VERB)
1630     {
1631         heap_free( request->verb );
1632         request->verb = strdupW( getW );
1633     }
1634     ret = TRUE;
1635
1636 end:
1637     if (!ret) heap_free( hostname );
1638     heap_free( location );
1639     return ret;
1640 }
1641
1642 static BOOL receive_data( request_t *request, void *buffer, DWORD size, DWORD *read, BOOL async )
1643 {
1644     DWORD to_read;
1645     int bytes_read;
1646
1647     to_read = min( size, request->content_length - request->content_read );
1648     if (!netconn_recv( &request->netconn, buffer, to_read, async ? 0 : MSG_WAITALL, &bytes_read ))
1649     {
1650         if (bytes_read != to_read)
1651         {
1652             ERR("not all data received %d/%d\n", bytes_read, to_read);
1653         }
1654         /* always return success, even if the network layer returns an error */
1655         *read = 0;
1656         return TRUE;
1657     }
1658     request->content_read += bytes_read;
1659     *read = bytes_read;
1660     return TRUE;
1661 }
1662
1663 static DWORD get_chunk_size( const char *buffer )
1664 {
1665     const char *p;
1666     DWORD size = 0;
1667
1668     for (p = buffer; *p; p++)
1669     {
1670         if (*p >= '0' && *p <= '9') size = size * 16 + *p - '0';
1671         else if (*p >= 'a' && *p <= 'f') size = size * 16 + *p - 'a' + 10;
1672         else if (*p >= 'A' && *p <= 'F') size = size * 16 + *p - 'A' + 10;
1673         else if (*p == ';') break;
1674     }
1675     return size;
1676 }
1677
1678 static BOOL receive_data_chunked( request_t *request, void *buffer, DWORD size, DWORD *read, BOOL async )
1679 {
1680     char reply[MAX_REPLY_LEN], *p = buffer;
1681     DWORD buflen, to_read, to_write = size;
1682     int bytes_read;
1683
1684     *read = 0;
1685     for (;;)
1686     {
1687         if (*read == size) break;
1688
1689         if (request->content_length == ~0u) /* new chunk */
1690         {
1691             buflen = sizeof(reply);
1692             if (!netconn_get_next_line( &request->netconn, reply, &buflen )) break;
1693
1694             if (!(request->content_length = get_chunk_size( reply )))
1695             {
1696                 /* zero sized chunk marks end of transfer; read any trailing headers and return */
1697                 read_reply( request );
1698                 break;
1699             }
1700         }
1701         to_read = min( to_write, request->content_length - request->content_read );
1702
1703         if (!netconn_recv( &request->netconn, p, to_read, async ? 0 : MSG_WAITALL, &bytes_read ))
1704         {
1705             if (bytes_read != to_read)
1706             {
1707                 ERR("Not all data received %d/%d\n", bytes_read, to_read);
1708             }
1709             /* always return success, even if the network layer returns an error */
1710             *read = 0;
1711             break;
1712         }
1713         if (!bytes_read) break;
1714
1715         request->content_read += bytes_read;
1716         to_write -= bytes_read;
1717         *read += bytes_read;
1718         p += bytes_read;
1719
1720         if (request->content_read == request->content_length) /* chunk complete */
1721         {
1722             request->content_read = 0;
1723             request->content_length = ~0u;
1724
1725             buflen = sizeof(reply);
1726             if (!netconn_get_next_line( &request->netconn, reply, &buflen ))
1727             {
1728                 ERR("Malformed chunk\n");
1729                 *read = 0;
1730                 break;
1731             }
1732         }
1733     }
1734     return TRUE;
1735 }
1736
1737 static void finished_reading( request_t *request )
1738 {
1739     static const WCHAR closeW[] = {'c','l','o','s','e',0};
1740
1741     BOOL close = FALSE;
1742     WCHAR connection[20];
1743     DWORD size = sizeof(connection);
1744
1745     if (request->hdr.disable_flags & WINHTTP_DISABLE_KEEP_ALIVE) close = TRUE;
1746     else if (query_headers( request, WINHTTP_QUERY_CONNECTION, NULL, connection, &size, NULL ) ||
1747              query_headers( request, WINHTTP_QUERY_PROXY_CONNECTION, NULL, connection, &size, NULL ))
1748     {
1749         if (!strcmpiW( connection, closeW )) close = TRUE;
1750     }
1751     else if (!strcmpW( request->version, http1_0 )) close = TRUE;
1752
1753     if (close) close_connection( request );
1754     request->content_length = ~0u;
1755     request->content_read = 0;
1756 }
1757
1758 static BOOL read_data( request_t *request, void *buffer, DWORD to_read, DWORD *read, BOOL async )
1759 {
1760     static const WCHAR chunked[] = {'c','h','u','n','k','e','d',0};
1761
1762     BOOL ret;
1763     WCHAR encoding[20];
1764     DWORD num_bytes, buflen = sizeof(encoding);
1765
1766     if (query_headers( request, WINHTTP_QUERY_TRANSFER_ENCODING, NULL, encoding, &buflen, NULL ) &&
1767         !strcmpiW( encoding, chunked ))
1768     {
1769         ret = receive_data_chunked( request, buffer, to_read, &num_bytes, async );
1770     }
1771     else
1772         ret = receive_data( request, buffer, to_read, &num_bytes, async );
1773
1774     if (async)
1775     {
1776         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_READ_COMPLETE, buffer, num_bytes );
1777         else
1778         {
1779             WINHTTP_ASYNC_RESULT result;
1780             result.dwResult = API_READ_DATA;
1781             result.dwError  = get_last_error();
1782             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1783         }
1784     }
1785     if (ret)
1786     {
1787         if (read) *read = num_bytes;
1788         if (!num_bytes) finished_reading( request );
1789     }
1790     return ret;
1791 }
1792
1793 /* read any content returned by the server so that the connection can be reused */
1794 static void drain_content( request_t *request )
1795 {
1796     DWORD bytes_read;
1797     char buffer[2048];
1798
1799     if (!request->content_length) return;
1800     for (;;)
1801     {
1802         if (!read_data( request, buffer, sizeof(buffer), &bytes_read, FALSE ) || !bytes_read) return;
1803     }
1804 }
1805
1806 static void record_cookies( request_t *request )
1807 {
1808     unsigned int i;
1809
1810     for (i = 0; i < request->num_headers; i++)
1811     {
1812         header_t *set_cookie = &request->headers[i];
1813         if (!strcmpiW( set_cookie->field, attr_set_cookie ) && !set_cookie->is_request)
1814         {
1815             set_cookies( request, set_cookie->value );
1816         }
1817     }
1818 }
1819
1820 static BOOL receive_response( request_t *request, BOOL async )
1821 {
1822     BOOL ret;
1823     DWORD size, query, status;
1824
1825     for (;;)
1826     {
1827         if (!(ret = read_reply( request ))) break;
1828
1829         size = sizeof(DWORD);
1830         query = WINHTTP_QUERY_STATUS_CODE | WINHTTP_QUERY_FLAG_NUMBER;
1831         if (!(ret = query_headers( request, query, NULL, &status, &size, NULL ))) break;
1832
1833         size = sizeof(DWORD);
1834         query = WINHTTP_QUERY_CONTENT_LENGTH | WINHTTP_QUERY_FLAG_NUMBER;
1835         if (!query_headers( request, query, NULL, &request->content_length, &size, NULL ))
1836             request->content_length = ~0u;
1837
1838         if (!(request->hdr.disable_flags & WINHTTP_DISABLE_COOKIES)) record_cookies( request );
1839
1840         if (status == HTTP_STATUS_MOVED || status == HTTP_STATUS_REDIRECT || status == HTTP_STATUS_REDIRECT_KEEP_VERB)
1841         {
1842             if (request->hdr.disable_flags & WINHTTP_DISABLE_REDIRECTS) break;
1843
1844             drain_content( request );
1845             if (!(ret = handle_redirect( request, status ))) break;
1846
1847             clear_response_headers( request );
1848             ret = send_request( request, NULL, 0, NULL, 0, 0, 0, FALSE ); /* recurse synchronously */
1849             continue;
1850         }
1851         else if (status == 401 || status == 407)
1852         {
1853             if (request->hdr.disable_flags & WINHTTP_DISABLE_AUTHENTICATION) break;
1854
1855             drain_content( request );
1856             if (!handle_authorization( request, status ))
1857             {
1858                 ret = TRUE;
1859                 break;
1860             }
1861             clear_response_headers( request );
1862             ret = send_request( request, NULL, 0, NULL, 0, 0, 0, FALSE );
1863             continue;
1864         }
1865         break;
1866     }
1867
1868     if (async)
1869     {
1870         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_HEADERS_AVAILABLE, NULL, 0 );
1871         else
1872         {
1873             WINHTTP_ASYNC_RESULT result;
1874             result.dwResult = API_RECEIVE_RESPONSE;
1875             result.dwError  = get_last_error();
1876             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1877         }
1878     }
1879     return ret;
1880 }
1881
1882 static void task_receive_response( task_header_t *task )
1883 {
1884     receive_response_t *r = (receive_response_t *)task;
1885     receive_response( r->hdr.request, TRUE );
1886 }
1887
1888 /***********************************************************************
1889  *          WinHttpReceiveResponse (winhttp.@)
1890  */
1891 BOOL WINAPI WinHttpReceiveResponse( HINTERNET hrequest, LPVOID reserved )
1892 {
1893     BOOL ret;
1894     request_t *request;
1895
1896     TRACE("%p, %p\n", hrequest, reserved);
1897
1898     if (!(request = (request_t *)grab_object( hrequest )))
1899     {
1900         set_last_error( ERROR_INVALID_HANDLE );
1901         return FALSE;
1902     }
1903     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1904     {
1905         release_object( &request->hdr );
1906         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1907         return FALSE;
1908     }
1909
1910     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1911     {
1912         receive_response_t *r;
1913
1914         if (!(r = heap_alloc( sizeof(receive_response_t) ))) return FALSE;
1915         r->hdr.request = request;
1916         r->hdr.proc    = task_receive_response;
1917
1918         addref_object( &request->hdr );
1919         ret = queue_task( (task_header_t *)r );
1920     }
1921     else
1922         ret = receive_response( request, FALSE );
1923
1924     release_object( &request->hdr );
1925     return ret;
1926 }
1927
1928 static BOOL query_data( request_t *request, LPDWORD available, BOOL async )
1929 {
1930     BOOL ret;
1931     DWORD num_bytes;
1932
1933     if ((ret = netconn_query_data_available( &request->netconn, &num_bytes )))
1934     {
1935         if (request->content_read < request->content_length)
1936         {
1937             if (!num_bytes)
1938             {
1939                 char buffer[4096];
1940                 size_t to_read = min( sizeof(buffer), request->content_length - request->content_read );
1941
1942                 ret = netconn_recv( &request->netconn, buffer, to_read, MSG_PEEK, (int *)&num_bytes );
1943                 if (ret && !num_bytes) WARN("expected more data to be available\n");
1944             }
1945         }
1946         else if (num_bytes)
1947         {
1948             WARN("extra data available %u\n", num_bytes);
1949             ret = FALSE;
1950         }
1951     }
1952     TRACE("%u bytes available\n", num_bytes);
1953
1954     if (async)
1955     {
1956         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_DATA_AVAILABLE, &num_bytes, sizeof(DWORD) );
1957         else
1958         {
1959             WINHTTP_ASYNC_RESULT result;
1960             result.dwResult = API_QUERY_DATA_AVAILABLE;
1961             result.dwError  = get_last_error();
1962             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1963         }
1964     }
1965     if (ret && available) *available = num_bytes;
1966     return ret;
1967 }
1968
1969 static void task_query_data( task_header_t *task )
1970 {
1971     query_data_t *q = (query_data_t *)task;
1972     query_data( q->hdr.request, q->available, TRUE );
1973 }
1974
1975 /***********************************************************************
1976  *          WinHttpQueryDataAvailable (winhttp.@)
1977  */
1978 BOOL WINAPI WinHttpQueryDataAvailable( HINTERNET hrequest, LPDWORD available )
1979 {
1980     BOOL ret;
1981     request_t *request;
1982
1983     TRACE("%p, %p\n", hrequest, available);
1984
1985     if (!(request = (request_t *)grab_object( hrequest )))
1986     {
1987         set_last_error( ERROR_INVALID_HANDLE );
1988         return FALSE;
1989     }
1990     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1991     {
1992         release_object( &request->hdr );
1993         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1994         return FALSE;
1995     }
1996
1997     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1998     {
1999         query_data_t *q;
2000
2001         if (!(q = heap_alloc( sizeof(query_data_t) ))) return FALSE;
2002         q->hdr.request = request;
2003         q->hdr.proc    = task_query_data;
2004         q->available   = available;
2005
2006         addref_object( &request->hdr );
2007         ret = queue_task( (task_header_t *)q );
2008     }
2009     else
2010         ret = query_data( request, available, FALSE );
2011
2012     release_object( &request->hdr );
2013     return ret;
2014 }
2015
2016 static void task_read_data( task_header_t *task )
2017 {
2018     read_data_t *r = (read_data_t *)task;
2019     read_data( r->hdr.request, r->buffer, r->to_read, r->read, TRUE );
2020 }
2021
2022 /***********************************************************************
2023  *          WinHttpReadData (winhttp.@)
2024  */
2025 BOOL WINAPI WinHttpReadData( HINTERNET hrequest, LPVOID buffer, DWORD to_read, LPDWORD read )
2026 {
2027     BOOL ret;
2028     request_t *request;
2029
2030     TRACE("%p, %p, %d, %p\n", hrequest, buffer, to_read, read);
2031
2032     if (!(request = (request_t *)grab_object( hrequest )))
2033     {
2034         set_last_error( ERROR_INVALID_HANDLE );
2035         return FALSE;
2036     }
2037     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
2038     {
2039         release_object( &request->hdr );
2040         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
2041         return FALSE;
2042     }
2043
2044     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
2045     {
2046         read_data_t *r;
2047
2048         if (!(r = heap_alloc( sizeof(read_data_t) ))) return FALSE;
2049         r->hdr.request = request;
2050         r->hdr.proc    = task_read_data;
2051         r->buffer      = buffer;
2052         r->to_read     = to_read;
2053         r->read        = read;
2054
2055         addref_object( &request->hdr );
2056         ret = queue_task( (task_header_t *)r );
2057     }
2058     else
2059         ret = read_data( request, buffer, to_read, read, FALSE );
2060
2061     release_object( &request->hdr );
2062     return ret;
2063 }
2064
2065 static BOOL write_data( request_t *request, LPCVOID buffer, DWORD to_write, LPDWORD written, BOOL async )
2066 {
2067     BOOL ret;
2068     int num_bytes;
2069
2070     ret = netconn_send( &request->netconn, buffer, to_write, 0, &num_bytes );
2071
2072     if (async)
2073     {
2074         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_WRITE_COMPLETE, &num_bytes, sizeof(DWORD) );
2075         else
2076         {
2077             WINHTTP_ASYNC_RESULT result;
2078             result.dwResult = API_WRITE_DATA;
2079             result.dwError  = get_last_error();
2080             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
2081         }
2082     }
2083     if (ret && written) *written = num_bytes;
2084     return ret;
2085 }
2086
2087 static void task_write_data( task_header_t *task )
2088 {
2089     write_data_t *w = (write_data_t *)task;
2090     write_data( w->hdr.request, w->buffer, w->to_write, w->written, TRUE );
2091 }
2092
2093 /***********************************************************************
2094  *          WinHttpWriteData (winhttp.@)
2095  */
2096 BOOL WINAPI WinHttpWriteData( HINTERNET hrequest, LPCVOID buffer, DWORD to_write, LPDWORD written )
2097 {
2098     BOOL ret;
2099     request_t *request;
2100
2101     TRACE("%p, %p, %d, %p\n", hrequest, buffer, to_write, written);
2102
2103     if (!(request = (request_t *)grab_object( hrequest )))
2104     {
2105         set_last_error( ERROR_INVALID_HANDLE );
2106         return FALSE;
2107     }
2108     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
2109     {
2110         release_object( &request->hdr );
2111         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
2112         return FALSE;
2113     }
2114
2115     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
2116     {
2117         write_data_t *w;
2118
2119         if (!(w = heap_alloc( sizeof(write_data_t) ))) return FALSE;
2120         w->hdr.request = request;
2121         w->hdr.proc    = task_write_data;
2122         w->buffer      = buffer;
2123         w->to_write    = to_write;
2124         w->written     = written;
2125
2126         addref_object( &request->hdr );
2127         ret = queue_task( (task_header_t *)w );
2128     }
2129     else
2130         ret = write_data( request, buffer, to_write, written, FALSE );
2131
2132     release_object( &request->hdr );
2133     return ret;
2134 }