git.oblomov.eu Git - wine/blob - dlls/winhttp/request.c

   1 /*
   2  * Copyright 2004 Mike McCormack for CodeWeavers
   3  * Copyright 2006 Rob Shearman for CodeWeavers
   4  * Copyright 2008 Hans Leidekker for CodeWeavers
   5  * Copyright 2009 Juan Lang
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with this library; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
  20  */
  21
  22 #include "config.h"
  23 #include "wine/port.h"
  24 #include "wine/debug.h"
  25
  26 #include <stdarg.h>
  27 #ifdef HAVE_ARPA_INET_H
  28 # include <arpa/inet.h>
  29 #endif
  30
  31 #include "windef.h"
  32 #include "winbase.h"
  33 #include "winhttp.h"
  34
  35 #include "winhttp_private.h"
  36
  37 WINE_DEFAULT_DEBUG_CHANNEL(winhttp);
  38
  39 static const WCHAR attr_accept[] = {'A','c','c','e','p','t',0};
  40 static const WCHAR attr_accept_charset[] = {'A','c','c','e','p','t','-','C','h','a','r','s','e','t', 0};
  41 static const WCHAR attr_accept_encoding[] = {'A','c','c','e','p','t','-','E','n','c','o','d','i','n','g',0};
  42 static const WCHAR attr_accept_language[] = {'A','c','c','e','p','t','-','L','a','n','g','u','a','g','e',0};
  43 static const WCHAR attr_accept_ranges[] = {'A','c','c','e','p','t','-','R','a','n','g','e','s',0};
  44 static const WCHAR attr_age[] = {'A','g','e',0};
  45 static const WCHAR attr_allow[] = {'A','l','l','o','w',0};
  46 static const WCHAR attr_authorization[] = {'A','u','t','h','o','r','i','z','a','t','i','o','n',0};
  47 static const WCHAR attr_cache_control[] = {'C','a','c','h','e','-','C','o','n','t','r','o','l',0};
  48 static const WCHAR attr_connection[] = {'C','o','n','n','e','c','t','i','o','n',0};
  49 static const WCHAR attr_content_base[] = {'C','o','n','t','e','n','t','-','B','a','s','e',0};
  50 static const WCHAR attr_content_encoding[] = {'C','o','n','t','e','n','t','-','E','n','c','o','d','i','n','g',0};
  51 static const WCHAR attr_content_id[] = {'C','o','n','t','e','n','t','-','I','D',0};
  52 static const WCHAR attr_content_language[] = {'C','o','n','t','e','n','t','-','L','a','n','g','u','a','g','e',0};
  53 static const WCHAR attr_content_length[] = {'C','o','n','t','e','n','t','-','L','e','n','g','t','h',0};
  54 static const WCHAR attr_content_location[] = {'C','o','n','t','e','n','t','-','L','o','c','a','t','i','o','n',0};
  55 static const WCHAR attr_content_md5[] = {'C','o','n','t','e','n','t','-','M','D','5',0};
  56 static const WCHAR attr_content_range[] = {'C','o','n','t','e','n','t','-','R','a','n','g','e',0};
  57 static const WCHAR attr_content_transfer_encoding[] = {'C','o','n','t','e','n','t','-','T','r','a','n','s','f','e','r','-','E','n','c','o','d','i','n','g',0};
  58 static const WCHAR attr_content_type[] = {'C','o','n','t','e','n','t','-','T','y','p','e',0};
  59 static const WCHAR attr_cookie[] = {'C','o','o','k','i','e',0};
  60 static const WCHAR attr_date[] = {'D','a','t','e',0};
  61 static const WCHAR attr_from[] = {'F','r','o','m',0};
  62 static const WCHAR attr_etag[] = {'E','T','a','g',0};
  63 static const WCHAR attr_expect[] = {'E','x','p','e','c','t',0};
  64 static const WCHAR attr_expires[] = {'E','x','p','i','r','e','s',0};
  65 static const WCHAR attr_host[] = {'H','o','s','t',0};
  66 static const WCHAR attr_if_match[] = {'I','f','-','M','a','t','c','h',0};
  67 static const WCHAR attr_if_modified_since[] = {'I','f','-','M','o','d','i','f','i','e','d','-','S','i','n','c','e',0};
  68 static const WCHAR attr_if_none_match[] = {'I','f','-','N','o','n','e','-','M','a','t','c','h',0};
  69 static const WCHAR attr_if_range[] = {'I','f','-','R','a','n','g','e',0};
  70 static const WCHAR attr_if_unmodified_since[] = {'I','f','-','U','n','m','o','d','i','f','i','e','d','-','S','i','n','c','e',0};
  71 static const WCHAR attr_last_modified[] = {'L','a','s','t','-','M','o','d','i','f','i','e','d',0};
  72 static const WCHAR attr_location[] = {'L','o','c','a','t','i','o','n',0};
  73 static const WCHAR attr_max_forwards[] = {'M','a','x','-','F','o','r','w','a','r','d','s',0};
  74 static const WCHAR attr_mime_version[] = {'M','i','m','e','-','V','e','r','s','i','o','n',0};
  75 static const WCHAR attr_pragma[] = {'P','r','a','g','m','a',0};
  76 static const WCHAR attr_proxy_authenticate[] = {'P','r','o','x','y','-','A','u','t','h','e','n','t','i','c','a','t','e',0};
  77 static const WCHAR attr_proxy_authorization[] = {'P','r','o','x','y','-','A','u','t','h','o','r','i','z','a','t','i','o','n',0};
  78 static const WCHAR attr_proxy_connection[] = {'P','r','o','x','y','-','C','o','n','n','e','c','t','i','o','n',0};
  79 static const WCHAR attr_public[] = {'P','u','b','l','i','c',0};
  80 static const WCHAR attr_range[] = {'R','a','n','g','e',0};
  81 static const WCHAR attr_referer[] = {'R','e','f','e','r','e','r',0};
  82 static const WCHAR attr_retry_after[] = {'R','e','t','r','y','-','A','f','t','e','r',0};
  83 static const WCHAR attr_server[] = {'S','e','r','v','e','r',0};
  84 static const WCHAR attr_set_cookie[] = {'S','e','t','-','C','o','o','k','i','e',0};
  85 static const WCHAR attr_status[] = {'S','t','a','t','u','s',0};
  86 static const WCHAR attr_transfer_encoding[] = {'T','r','a','n','s','f','e','r','-','E','n','c','o','d','i','n','g',0};
  87 static const WCHAR attr_unless_modified_since[] = {'U','n','l','e','s','s','-','M','o','d','i','f','i','e','d','-','S','i','n','c','e',0};
  88 static const WCHAR attr_upgrade[] = {'U','p','g','r','a','d','e',0};
  89 static const WCHAR attr_uri[] = {'U','R','I',0};
  90 static const WCHAR attr_user_agent[] = {'U','s','e','r','-','A','g','e','n','t',0};
  91 static const WCHAR attr_vary[] = {'V','a','r','y',0};
  92 static const WCHAR attr_via[] = {'V','i','a',0};
  93 static const WCHAR attr_warning[] = {'W','a','r','n','i','n','g',0};
  94 static const WCHAR attr_www_authenticate[] = {'W','W','W','-','A','u','t','h','e','n','t','i','c','a','t','e',0};
  95
  96 static const WCHAR *attribute_table[] =
  97 {
  98     attr_mime_version,              /* WINHTTP_QUERY_MIME_VERSION               = 0  */
  99     attr_content_type,              /* WINHTTP_QUERY_CONTENT_TYPE               = 1  */
 100     attr_content_transfer_encoding, /* WINHTTP_QUERY_CONTENT_TRANSFER_ENCODING  = 2  */
 101     attr_content_id,                /* WINHTTP_QUERY_CONTENT_ID                 = 3  */
 102     NULL,                           /* WINHTTP_QUERY_CONTENT_DESCRIPTION        = 4  */
 103     attr_content_length,            /* WINHTTP_QUERY_CONTENT_LENGTH             = 5  */
 104     attr_content_language,          /* WINHTTP_QUERY_CONTENT_LANGUAGE           = 6  */
 105     attr_allow,                     /* WINHTTP_QUERY_ALLOW                      = 7  */
 106     attr_public,                    /* WINHTTP_QUERY_PUBLIC                     = 8  */
 107     attr_date,                      /* WINHTTP_QUERY_DATE                       = 9  */
 108     attr_expires,                   /* WINHTTP_QUERY_EXPIRES                    = 10 */
 109     attr_last_modified,             /* WINHTTP_QUERY_LAST_MODIFIEDcw            = 11 */
 110     NULL,                           /* WINHTTP_QUERY_MESSAGE_ID                 = 12 */
 111     attr_uri,                       /* WINHTTP_QUERY_URI                        = 13 */
 112     attr_from,                      /* WINHTTP_QUERY_DERIVED_FROM               = 14 */
 113     NULL,                           /* WINHTTP_QUERY_COST                       = 15 */
 114     NULL,                           /* WINHTTP_QUERY_LINK                       = 16 */
 115     attr_pragma,                    /* WINHTTP_QUERY_PRAGMA                     = 17 */
 116     NULL,                           /* WINHTTP_QUERY_VERSION                    = 18 */
 117     attr_status,                    /* WINHTTP_QUERY_STATUS_CODE                = 19 */
 118     NULL,                           /* WINHTTP_QUERY_STATUS_TEXT                = 20 */
 119     NULL,                           /* WINHTTP_QUERY_RAW_HEADERS                = 21 */
 120     NULL,                           /* WINHTTP_QUERY_RAW_HEADERS_CRLF           = 22 */
 121     attr_connection,                /* WINHTTP_QUERY_CONNECTION                 = 23 */
 122     attr_accept,                    /* WINHTTP_QUERY_ACCEPT                     = 24 */
 123     attr_accept_charset,            /* WINHTTP_QUERY_ACCEPT_CHARSET             = 25 */
 124     attr_accept_encoding,           /* WINHTTP_QUERY_ACCEPT_ENCODING            = 26 */
 125     attr_accept_language,           /* WINHTTP_QUERY_ACCEPT_LANGUAGE            = 27 */
 126     attr_authorization,             /* WINHTTP_QUERY_AUTHORIZATION              = 28 */
 127     attr_content_encoding,          /* WINHTTP_QUERY_CONTENT_ENCODING           = 29 */
 128     NULL,                           /* WINHTTP_QUERY_FORWARDED                  = 30 */
 129     NULL,                           /* WINHTTP_QUERY_FROM                       = 31 */
 130     attr_if_modified_since,         /* WINHTTP_QUERY_IF_MODIFIED_SINCE          = 32 */
 131     attr_location,                  /* WINHTTP_QUERY_LOCATION                   = 33 */
 132     NULL,                           /* WINHTTP_QUERY_ORIG_URI                   = 34 */
 133     attr_referer,                   /* WINHTTP_QUERY_REFERER                    = 35 */
 134     attr_retry_after,               /* WINHTTP_QUERY_RETRY_AFTER                = 36 */
 135     attr_server,                    /* WINHTTP_QUERY_SERVER                     = 37 */
 136     NULL,                           /* WINHTTP_TITLE                            = 38 */
 137     attr_user_agent,                /* WINHTTP_QUERY_USER_AGENT                 = 39 */
 138     attr_www_authenticate,          /* WINHTTP_QUERY_WWW_AUTHENTICATE           = 40 */
 139     attr_proxy_authenticate,        /* WINHTTP_QUERY_PROXY_AUTHENTICATE         = 41 */
 140     attr_accept_ranges,             /* WINHTTP_QUERY_ACCEPT_RANGES              = 42 */
 141     attr_set_cookie,                /* WINHTTP_QUERY_SET_COOKIE                 = 43 */
 142     attr_cookie,                    /* WINHTTP_QUERY_COOKIE                     = 44 */
 143     NULL,                           /* WINHTTP_QUERY_REQUEST_METHOD             = 45 */
 144     NULL,                           /* WINHTTP_QUERY_REFRESH                    = 46 */
 145     NULL,                           /* WINHTTP_QUERY_CONTENT_DISPOSITION        = 47 */
 146     attr_age,                       /* WINHTTP_QUERY_AGE                        = 48 */
 147     attr_cache_control,             /* WINHTTP_QUERY_CACHE_CONTROL              = 49 */
 148     attr_content_base,              /* WINHTTP_QUERY_CONTENT_BASE               = 50 */
 149     attr_content_location,          /* WINHTTP_QUERY_CONTENT_LOCATION           = 51 */
 150     attr_content_md5,               /* WINHTTP_QUERY_CONTENT_MD5                = 52 */
 151     attr_content_range,             /* WINHTTP_QUERY_CONTENT_RANGE              = 53 */
 152     attr_etag,                      /* WINHTTP_QUERY_ETAG                       = 54 */
 153     attr_host,                      /* WINHTTP_QUERY_HOST                       = 55 */
 154     attr_if_match,                  /* WINHTTP_QUERY_IF_MATCH                   = 56 */
 155     attr_if_none_match,             /* WINHTTP_QUERY_IF_NONE_MATCH              = 57 */
 156     attr_if_range,                  /* WINHTTP_QUERY_IF_RANGE                   = 58 */
 157     attr_if_unmodified_since,       /* WINHTTP_QUERY_IF_UNMODIFIED_SINCE        = 59 */
 158     attr_max_forwards,              /* WINHTTP_QUERY_MAX_FORWARDS               = 60 */
 159     attr_proxy_authorization,       /* WINHTTP_QUERY_PROXY_AUTHORIZATION        = 61 */
 160     attr_range,                     /* WINHTTP_QUERY_RANGE                      = 62 */
 161     attr_transfer_encoding,         /* WINHTTP_QUERY_TRANSFER_ENCODING          = 63 */
 162     attr_upgrade,                   /* WINHTTP_QUERY_UPGRADE                    = 64 */
 163     attr_vary,                      /* WINHTTP_QUERY_VARY                       = 65 */
 164     attr_via,                       /* WINHTTP_QUERY_VIA                        = 66 */
 165     attr_warning,                   /* WINHTTP_QUERY_WARNING                    = 67 */
 166     attr_expect,                    /* WINHTTP_QUERY_EXPECT                     = 68 */
 167     attr_proxy_connection,          /* WINHTTP_QUERY_PROXY_CONNECTION           = 69 */
 168     attr_unless_modified_since,     /* WINHTTP_QUERY_UNLESS_MODIFIED_SINCE      = 70 */
 169     NULL,                           /* WINHTTP_QUERY_PROXY_SUPPORT              = 75 */
 170     NULL,                           /* WINHTTP_QUERY_AUTHENTICATION_INFO        = 76 */
 171     NULL,                           /* WINHTTP_QUERY_PASSPORT_URLS              = 77 */
 172     NULL                            /* WINHTTP_QUERY_PASSPORT_CONFIG            = 78 */
 173 };
 174
 175 static DWORD CALLBACK task_thread( LPVOID param )
 176 {
 177     task_header_t *task = param;
 178
 179     task->proc( task );
 180
 181     release_object( &task->request->hdr );
 182     heap_free( task );
 183     return ERROR_SUCCESS;
 184 }
 185
 186 static BOOL queue_task( task_header_t *task )
 187 {
 188     return QueueUserWorkItem( task_thread, task, WT_EXECUTELONGFUNCTION );
 189 }
 190
 191 static void free_header( header_t *header )
 192 {
 193     heap_free( header->field );
 194     heap_free( header->value );
 195     heap_free( header );
 196 }
 197
 198 static BOOL valid_token_char( WCHAR c )
 199 {
 200     if (c < 32 || c == 127) return FALSE;
 201     switch (c)
 202     {
 203     case '(': case ')':
 204     case '<': case '>':
 205     case '@': case ',':
 206     case ';': case ':':
 207     case '\\': case '\"':
 208     case '/': case '[':
 209     case ']': case '?':
 210     case '=': case '{':
 211     case '}': case ' ':
 212     case '\t':
 213         return FALSE;
 214     default:
 215         return TRUE;
 216     }
 217 }
 218
 219 static header_t *parse_header( LPCWSTR string )
 220 {
 221     const WCHAR *p, *q;
 222     header_t *header;
 223     int len;
 224
 225     p = string;
 226     if (!(q = strchrW( p, ':' )))
 227     {
 228         WARN("no ':' in line %s\n", debugstr_w(string));
 229         return NULL;
 230     }
 231     if (q == string)
 232     {
 233         WARN("empty field name in line %s\n", debugstr_w(string));
 234         return NULL;
 235     }
 236     while (*p != ':')
 237     {
 238         if (!valid_token_char( *p ))
 239         {
 240             WARN("invalid character in field name %s\n", debugstr_w(string));
 241             return NULL;
 242         }
 243         p++;
 244     }
 245     len = q - string;
 246     if (!(header = heap_alloc_zero( sizeof(header_t) ))) return NULL;
 247     if (!(header->field = heap_alloc( (len + 1) * sizeof(WCHAR) )))
 248     {
 249         heap_free( header );
 250         return NULL;
 251     }
 252     memcpy( header->field, string, len * sizeof(WCHAR) );
 253     header->field[len] = 0;
 254
 255     q++; /* skip past colon */
 256     while (*q == ' ') q++;
 257     if (!*q)
 258     {
 259         WARN("no value in line %s\n", debugstr_w(string));
 260         return header;
 261     }
 262     len = strlenW( q );
 263     if (!(header->value = heap_alloc( (len + 1) * sizeof(WCHAR) )))
 264     {
 265         free_header( header );
 266         return NULL;
 267     }
 268     memcpy( header->value, q, len * sizeof(WCHAR) );
 269     header->value[len] = 0;
 270
 271     return header;
 272 }
 273
 274 static int get_header_index( request_t *request, LPCWSTR field, int requested_index, BOOL request_only )
 275 {
 276     int index;
 277
 278     TRACE("%s\n", debugstr_w(field));
 279
 280     for (index = 0; index < request->num_headers; index++)
 281     {
 282         if (strcmpiW( request->headers[index].field, field )) continue;
 283         if (request_only && !request->headers[index].is_request) continue;
 284         if (!request_only && request->headers[index].is_request) continue;
 285
 286         if (!requested_index) break;
 287         requested_index--;
 288     }
 289     if (index >= request->num_headers) index = -1;
 290     TRACE("returning %d\n", index);
 291     return index;
 292 }
 293
 294 static BOOL insert_header( request_t *request, header_t *header )
 295 {
 296     DWORD count;
 297     header_t *hdrs;
 298
 299     count = request->num_headers + 1;
 300     if (count > 1)
 301         hdrs = heap_realloc_zero( request->headers, sizeof(header_t) * count );
 302     else
 303         hdrs = heap_alloc_zero( sizeof(header_t) * count );
 304
 305     if (hdrs)
 306     {
 307         request->headers = hdrs;
 308         request->headers[count - 1].field = strdupW( header->field );
 309         request->headers[count - 1].value = strdupW( header->value );
 310         request->headers[count - 1].is_request = header->is_request;
 311         request->num_headers++;
 312         return TRUE;
 313     }
 314     return FALSE;
 315 }
 316
 317 static BOOL delete_header( request_t *request, DWORD index )
 318 {
 319     if (!request->num_headers) return FALSE;
 320     if (index >= request->num_headers) return FALSE;
 321     request->num_headers--;
 322
 323     heap_free( request->headers[index].field );
 324     heap_free( request->headers[index].value );
 325
 326     memmove( &request->headers[index], &request->headers[index + 1], (request->num_headers - index) * sizeof(header_t) );
 327     memset( &request->headers[request->num_headers], 0, sizeof(header_t) );
 328     return TRUE;
 329 }
 330
 331 static BOOL process_header( request_t *request, LPCWSTR field, LPCWSTR value, DWORD flags, BOOL request_only )
 332 {
 333     int index;
 334     header_t *header;
 335
 336     TRACE("%s: %s 0x%08x\n", debugstr_w(field), debugstr_w(value), flags);
 337
 338     /* replace wins out over add */
 339     if (flags & WINHTTP_ADDREQ_FLAG_REPLACE) flags &= ~WINHTTP_ADDREQ_FLAG_ADD;
 340
 341     if (flags & WINHTTP_ADDREQ_FLAG_ADD) index = -1;
 342     else
 343         index = get_header_index( request, field, 0, request_only );
 344
 345     if (index >= 0)
 346     {
 347         if (flags & WINHTTP_ADDREQ_FLAG_ADD_IF_NEW) return FALSE;
 348         header = &request->headers[index];
 349     }
 350     else if (value)
 351     {
 352         header_t hdr;
 353
 354         hdr.field = (LPWSTR)field;
 355         hdr.value = (LPWSTR)value;
 356         hdr.is_request = request_only;
 357
 358         return insert_header( request, &hdr );
 359     }
 360     /* no value to delete */
 361     else return TRUE;
 362
 363     if (flags & WINHTTP_ADDREQ_FLAG_REPLACE)
 364     {
 365         delete_header( request, index );
 366         if (value)
 367         {
 368             header_t hdr;
 369
 370             hdr.field = (LPWSTR)field;
 371             hdr.value = (LPWSTR)value;
 372             hdr.is_request = request_only;
 373
 374             return insert_header( request, &hdr );
 375         }
 376         return TRUE;
 377     }
 378     else if (flags & (WINHTTP_ADDREQ_FLAG_COALESCE_WITH_COMMA | WINHTTP_ADDREQ_FLAG_COALESCE_WITH_SEMICOLON))
 379     {
 380         WCHAR sep, *tmp;
 381         int len, orig_len, value_len;
 382
 383         orig_len = strlenW( header->value );
 384         value_len = strlenW( value );
 385
 386         if (flags & WINHTTP_ADDREQ_FLAG_COALESCE_WITH_COMMA) sep = ',';
 387         else sep = ';';
 388
 389         len = orig_len + value_len + 2;
 390         if ((tmp = heap_realloc( header->value, (len + 1) * sizeof(WCHAR) )))
 391         {
 392             header->value = tmp;
 393
 394             header->value[orig_len] = sep;
 395             orig_len++;
 396             header->value[orig_len] = ' ';
 397             orig_len++;
 398
 399             memcpy( &header->value[orig_len], value, value_len * sizeof(WCHAR) );
 400             header->value[len] = 0;
 401             return TRUE;
 402         }
 403     }
 404     return TRUE;
 405 }
 406
 407 BOOL add_request_headers( request_t *request, LPCWSTR headers, DWORD len, DWORD flags )
 408 {
 409     BOOL ret = FALSE;
 410     WCHAR *buffer, *p, *q;
 411     header_t *header;
 412
 413     if (len == ~0u) len = strlenW( headers );
 414     if (!len) return TRUE;
 415     if (!(buffer = heap_alloc( (len + 1) * sizeof(WCHAR) ))) return FALSE;
 416     strcpyW( buffer, headers );
 417
 418     p = buffer;
 419     do
 420     {
 421         q = p;
 422         while (*q)
 423         {
 424             if (q[0] == '\r' && q[1] == '\n') break;
 425             q++;
 426         }
 427         if (!*p) break;
 428         if (*q == '\r')
 429         {
 430             *q = 0;
 431             q += 2; /* jump over \r\n */
 432         }
 433         if ((header = parse_header( p )))
 434         {
 435             ret = process_header( request, header->field, header->value, flags, TRUE );
 436             free_header( header );
 437         }
 438         p = q;
 439     } while (ret);
 440
 441     heap_free( buffer );
 442     return ret;
 443 }
 444
 445 /***********************************************************************
 446  *          WinHttpAddRequestHeaders (winhttp.@)
 447  */
 448 BOOL WINAPI WinHttpAddRequestHeaders( HINTERNET hrequest, LPCWSTR headers, DWORD len, DWORD flags )
 449 {
 450     BOOL ret;
 451     request_t *request;
 452
 453     TRACE("%p, %s, 0x%x, 0x%08x\n", hrequest, debugstr_w(headers), len, flags);
 454
 455     if (!headers)
 456     {
 457         set_last_error( ERROR_INVALID_PARAMETER );
 458         return FALSE;
 459     }
 460     if (!(request = (request_t *)grab_object( hrequest )))
 461     {
 462         set_last_error( ERROR_INVALID_HANDLE );
 463         return FALSE;
 464     }
 465     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
 466     {
 467         release_object( &request->hdr );
 468         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
 469         return FALSE;
 470     }
 471
 472     ret = add_request_headers( request, headers, len, flags );
 473
 474     release_object( &request->hdr );
 475     return ret;
 476 }
 477
 478 static WCHAR *build_request_path( request_t *request )
 479 {
 480     WCHAR *ret;
 481
 482     if (strcmpiW( request->connect->hostname, request->connect->servername ))
 483     {
 484         static const WCHAR http[] = { 'h','t','t','p',0 };
 485         static const WCHAR https[] = { 'h','t','t','p','s',0 };
 486         static const WCHAR fmt[] = { '%','s',':','/','/','%','s',0 };
 487         LPCWSTR scheme = request->netconn.secure ? https : http;
 488         int len;
 489
 490         len = strlenW( scheme ) + strlenW( request->connect->hostname );
 491         /* 3 characters for '://', 1 for NUL. */
 492         len += 4;
 493         if (request->connect->hostport)
 494         {
 495             /* 1 for ':' between host and port, up to 5 for port */
 496             len += 6;
 497         }
 498         if (request->path)
 499             len += strlenW( request->path );
 500         if ((ret = heap_alloc( len * sizeof(WCHAR) )))
 501         {
 502             sprintfW( ret, fmt, scheme, request->connect->hostname );
 503             if (request->connect->hostport)
 504             {
 505                 static const WCHAR colonFmt[] = { ':','%','d',0 };
 506
 507                 sprintfW( ret + strlenW( ret ), colonFmt,
 508                     request->connect->hostport );
 509             }
 510             if (request->path)
 511                 strcatW( ret, request->path );
 512         }
 513     }
 514     else
 515         ret = request->path;
 516     return ret;
 517 }
 518
 519 static WCHAR *build_request_string( request_t *request )
 520 {
 521     static const WCHAR space[]   = {' ',0};
 522     static const WCHAR crlf[]    = {'\r','\n',0};
 523     static const WCHAR colon[]   = {':',' ',0};
 524     static const WCHAR twocrlf[] = {'\r','\n','\r','\n',0};
 525
 526     WCHAR *path, *ret;
 527     const WCHAR **headers, **p;
 528     unsigned int len, i = 0, j;
 529
 530     /* allocate space for an array of all the string pointers to be added */
 531     len = request->num_headers * 4 + 7;
 532     if (!(headers = heap_alloc( len * sizeof(LPCWSTR) ))) return NULL;
 533
 534     path = build_request_path( request );
 535     headers[i++] = request->verb;
 536     headers[i++] = space;
 537     headers[i++] = path;
 538     headers[i++] = space;
 539     headers[i++] = request->version;
 540
 541     for (j = 0; j < request->num_headers; j++)
 542     {
 543         if (request->headers[j].is_request)
 544         {
 545             headers[i++] = crlf;
 546             headers[i++] = request->headers[j].field;
 547             headers[i++] = colon;
 548             headers[i++] = request->headers[j].value;
 549
 550             TRACE("adding header %s (%s)\n", debugstr_w(request->headers[j].field),
 551                   debugstr_w(request->headers[j].value));
 552         }
 553     }
 554     headers[i++] = twocrlf;
 555     headers[i] = NULL;
 556
 557     len = 0;
 558     for (p = headers; *p; p++) len += strlenW( *p );
 559     len++;
 560
 561     if (!(ret = heap_alloc( len * sizeof(WCHAR) )))
 562         goto out;
 563     *ret = 0;
 564     for (p = headers; *p; p++) strcatW( ret, *p );
 565
 566 out:
 567     if (path != request->path)
 568         heap_free( path );
 569     heap_free( headers );
 570     return ret;
 571 }
 572
 573 #define QUERY_MODIFIER_MASK (WINHTTP_QUERY_FLAG_REQUEST_HEADERS | WINHTTP_QUERY_FLAG_SYSTEMTIME | WINHTTP_QUERY_FLAG_NUMBER)
 574
 575 static BOOL query_headers( request_t *request, DWORD level, LPCWSTR name, LPVOID buffer, LPDWORD buflen, LPDWORD index )
 576 {
 577     header_t *header = NULL;
 578     BOOL request_only, ret = FALSE;
 579     int requested_index, header_index = -1;
 580     DWORD attr, len;
 581
 582     request_only = level & WINHTTP_QUERY_FLAG_REQUEST_HEADERS;
 583     requested_index = index ? *index : 0;
 584
 585     attr = level & ~QUERY_MODIFIER_MASK;
 586     switch (attr)
 587     {
 588     case WINHTTP_QUERY_CUSTOM:
 589     {
 590         header_index = get_header_index( request, name, requested_index, request_only );
 591         break;
 592     }
 593     case WINHTTP_QUERY_RAW_HEADERS:
 594     {
 595         WCHAR *headers, *p, *q;
 596
 597         if (request_only)
 598             headers = build_request_string( request );
 599         else
 600             headers = request->raw_headers;
 601
 602         if (!(p = headers)) return FALSE;
 603         for (len = 0; *p; p++) if (*p != '\r') len++;
 604
 605         if ((len + 1) * sizeof(WCHAR) > *buflen || !buffer)
 606         {
 607             len++;
 608             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 609         }
 610         else if (buffer)
 611         {
 612             for (p = headers, q = buffer; *p; p++, q++)
 613             {
 614                 if (*p != '\r') *q = *p;
 615                 else
 616                 {
 617                     *q = 0;
 618                     p++; /* skip '\n' */
 619                 }
 620             }
 621             *q = 0;
 622             TRACE("returning data: %s\n", debugstr_wn(buffer, len));
 623             ret = TRUE;
 624         }
 625         *buflen = len * sizeof(WCHAR);
 626         if (request_only) heap_free( headers );
 627         return ret;
 628     }
 629     case WINHTTP_QUERY_RAW_HEADERS_CRLF:
 630     {
 631         WCHAR *headers;
 632
 633         if (request_only)
 634             headers = build_request_string( request );
 635         else
 636             headers = request->raw_headers;
 637
 638         if (!headers) return FALSE;
 639         len = strlenW( headers ) * sizeof(WCHAR);
 640         if (len + sizeof(WCHAR) > *buflen || !buffer)
 641         {
 642             len += sizeof(WCHAR);
 643             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 644         }
 645         else if (buffer)
 646         {
 647             memcpy( buffer, headers, len + sizeof(WCHAR) );
 648             TRACE("returning data: %s\n", debugstr_wn(buffer, len / sizeof(WCHAR)));
 649             ret = TRUE;
 650         }
 651         *buflen = len;
 652         if (request_only) heap_free( headers );
 653         return ret;
 654     }
 655     case WINHTTP_QUERY_VERSION:
 656     {
 657         DWORD len = (strlenW( request->version ) + 1) * sizeof(WCHAR);
 658         if (len > *buflen)
 659         {
 660             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 661             *buflen = len;
 662             return FALSE;
 663         }
 664         else if (buffer)
 665         {
 666             strcpyW( buffer, request->version );
 667             TRACE("returning string: %s\n", debugstr_w(buffer));
 668             ret = TRUE;
 669         }
 670         *buflen = len - sizeof(WCHAR);
 671         return ret;
 672     }
 673     case WINHTTP_QUERY_STATUS_TEXT:
 674     {
 675         DWORD len = (strlenW( request->status_text ) + 1) * sizeof(WCHAR);
 676         if (len > *buflen)
 677         {
 678             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 679             *buflen = len;
 680             return FALSE;
 681         }
 682         else if (buffer)
 683         {
 684             strcpyW( buffer, request->status_text );
 685             TRACE("returning string: %s\n", debugstr_w(buffer));
 686             ret = TRUE;
 687         }
 688         *buflen = len - sizeof(WCHAR);
 689         return ret;
 690     }
 691     default:
 692     {
 693         if (attr >= sizeof(attribute_table)/sizeof(attribute_table[0]) || !attribute_table[attr])
 694         {
 695             FIXME("attribute %u not implemented\n", attr);
 696             return FALSE;
 697         }
 698         TRACE("attribute %s\n", debugstr_w(attribute_table[attr]));
 699         header_index = get_header_index( request, attribute_table[attr], requested_index, request_only );
 700     }
 701     }
 702
 703     if (header_index >= 0)
 704     {
 705         header = &request->headers[header_index];
 706     }
 707     if (!header || (request_only && !header->is_request))
 708     {
 709         set_last_error( ERROR_WINHTTP_HEADER_NOT_FOUND );
 710         return FALSE;
 711     }
 712     if (index) *index += 1;
 713     if (level & WINHTTP_QUERY_FLAG_NUMBER)
 714     {
 715         int *number = buffer;
 716         if (sizeof(int) > *buflen)
 717         {
 718             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 719         }
 720         else if (number)
 721         {
 722             *number = atoiW( header->value );
 723             TRACE("returning number: %d\n", *number);
 724             ret = TRUE;
 725         }
 726         *buflen = sizeof(int);
 727     }
 728     else if (level & WINHTTP_QUERY_FLAG_SYSTEMTIME)
 729     {
 730         SYSTEMTIME *st = buffer;
 731         if (sizeof(SYSTEMTIME) > *buflen)
 732         {
 733             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 734         }
 735         else if (st && (ret = WinHttpTimeToSystemTime( header->value, st )))
 736         {
 737             TRACE("returning time: %04d/%02d/%02d - %d - %02d:%02d:%02d.%02d\n",
 738                   st->wYear, st->wMonth, st->wDay, st->wDayOfWeek,
 739                   st->wHour, st->wMinute, st->wSecond, st->wMilliseconds);
 740         }
 741         *buflen = sizeof(SYSTEMTIME);
 742     }
 743     else if (header->value)
 744     {
 745         WCHAR *string = buffer;
 746         DWORD len = (strlenW( header->value ) + 1) * sizeof(WCHAR);
 747         if (len > *buflen)
 748         {
 749             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 750             *buflen = len;
 751             return FALSE;
 752         }
 753         else if (string)
 754         {
 755             strcpyW( string, header->value );
 756             TRACE("returning string: %s\n", debugstr_w(string));
 757             ret = TRUE;
 758         }
 759         *buflen = len - sizeof(WCHAR);
 760     }
 761     return ret;
 762 }
 763
 764 /***********************************************************************
 765  *          WinHttpQueryHeaders (winhttp.@)
 766  */
 767 BOOL WINAPI WinHttpQueryHeaders( HINTERNET hrequest, DWORD level, LPCWSTR name, LPVOID buffer, LPDWORD buflen, LPDWORD index )
 768 {
 769     BOOL ret;
 770     request_t *request;
 771
 772     TRACE("%p, 0x%08x, %s, %p, %p, %p\n", hrequest, level, debugstr_w(name), buffer, buflen, index);
 773
 774     if (!(request = (request_t *)grab_object( hrequest )))
 775     {
 776         set_last_error( ERROR_INVALID_HANDLE );
 777         return FALSE;
 778     }
 779     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
 780     {
 781         release_object( &request->hdr );
 782         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
 783         return FALSE;
 784     }
 785
 786     ret = query_headers( request, level, name, buffer, buflen, index );
 787
 788     release_object( &request->hdr );
 789     return ret;
 790 }
 791
 792 static LPWSTR concatenate_string_list( LPCWSTR *list, int len )
 793 {
 794     LPCWSTR *t;
 795     LPWSTR str;
 796
 797     for( t = list; *t ; t++  )
 798         len += strlenW( *t );
 799     len++;
 800
 801     str = heap_alloc( len * sizeof(WCHAR) );
 802     if (!str) return NULL;
 803     *str = 0;
 804
 805     for( t = list; *t ; t++ )
 806         strcatW( str, *t );
 807
 808     return str;
 809 }
 810
 811 static LPWSTR build_header_request_string( request_t *request, LPCWSTR verb,
 812     LPCWSTR path, LPCWSTR version )
 813 {
 814     static const WCHAR crlf[] = {'\r','\n',0};
 815     static const WCHAR space[] = { ' ',0 };
 816     static const WCHAR colon[] = { ':',' ',0 };
 817     static const WCHAR twocrlf[] = {'\r','\n','\r','\n', 0};
 818     LPWSTR requestString;
 819     DWORD len, n;
 820     LPCWSTR *req;
 821     UINT i;
 822     LPWSTR p;
 823
 824     /* allocate space for an array of all the string pointers to be added */
 825     len = (request->num_headers) * 4 + 10;
 826     req = heap_alloc( len * sizeof(LPCWSTR) );
 827     if (!req) return NULL;
 828
 829     /* add the verb, path and HTTP version string */
 830     n = 0;
 831     req[n++] = verb;
 832     req[n++] = space;
 833     req[n++] = path;
 834     req[n++] = space;
 835     req[n++] = version;
 836
 837     /* Append custom request headers */
 838     for (i = 0; i < request->num_headers; i++)
 839     {
 840         if (request->headers[i].is_request)
 841         {
 842             req[n++] = crlf;
 843             req[n++] = request->headers[i].field;
 844             req[n++] = colon;
 845             req[n++] = request->headers[i].value;
 846
 847             TRACE("Adding custom header %s (%s)\n",
 848                    debugstr_w(request->headers[i].field),
 849                    debugstr_w(request->headers[i].value));
 850         }
 851     }
 852
 853     if( n >= len )
 854         ERR("oops. buffer overrun\n");
 855
 856     req[n] = NULL;
 857     requestString = concatenate_string_list( req, 4 );
 858     heap_free( req );
 859     if (!requestString) return NULL;
 860
 861     /*
 862      * Set (header) termination string for request
 863      * Make sure there's exactly two new lines at the end of the request
 864      */
 865     p = &requestString[strlenW(requestString)-1];
 866     while ( (*p == '\n') || (*p == '\r') )
 867        p--;
 868     strcpyW( p+1, twocrlf );
 869
 870     return requestString;
 871 }
 872
 873 static BOOL read_reply( request_t *request );
 874
 875 static BOOL secure_proxy_connect( request_t *request )
 876 {
 877     static const WCHAR verbConnect[] = {'C','O','N','N','E','C','T',0};
 878     static const WCHAR fmt[] = {'%','s',':','%','d',0};
 879     BOOL ret = FALSE;
 880     LPWSTR path;
 881     connect_t *connect = request->connect;
 882
 883     path = heap_alloc( (strlenW( connect->hostname ) + 13) * sizeof(WCHAR) );
 884     if (path)
 885     {
 886         LPWSTR requestString;
 887
 888         sprintfW( path, fmt, connect->hostname, connect->hostport );
 889         requestString = build_header_request_string( request, verbConnect,
 890             path, http1_1 );
 891         heap_free( path );
 892         if (requestString)
 893         {
 894             LPSTR req_ascii = strdupWA( requestString );
 895
 896             heap_free( requestString );
 897             if (req_ascii)
 898             {
 899                 int len = strlen( req_ascii ), bytes_sent;
 900
 901                 ret = netconn_send( &request->netconn, req_ascii, len, 0, &bytes_sent );
 902                 heap_free( req_ascii );
 903                 if (ret)
 904                     ret = read_reply( request );
 905             }
 906         }
 907     }
 908     return ret;
 909 }
 910
 911 #ifndef INET6_ADDRSTRLEN
 912 #define INET6_ADDRSTRLEN 46
 913 #endif
 914
 915 static BOOL open_connection( request_t *request )
 916 {
 917     connect_t *connect;
 918     const void *addr;
 919     char address[INET6_ADDRSTRLEN];
 920     WCHAR *addressW;
 921     INTERNET_PORT port;
 922     socklen_t slen;
 923
 924     if (netconn_connected( &request->netconn )) return TRUE;
 925
 926     connect = request->connect;
 927     port = connect->serverport ? connect->serverport : (request->hdr.flags & WINHTTP_FLAG_SECURE ? 443 : 80);
 928
 929     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_RESOLVING_NAME, connect->servername, strlenW(connect->servername) + 1 );
 930
 931     slen = sizeof(connect->sockaddr);
 932     if (!netconn_resolve( connect->servername, port, (struct sockaddr *)&connect->sockaddr, &slen, request->resolve_timeout )) return FALSE;
 933     switch (connect->sockaddr.ss_family)
 934     {
 935     case AF_INET:
 936         addr = &((struct sockaddr_in *)&connect->sockaddr)->sin_addr;
 937         break;
 938     case AF_INET6:
 939         addr = &((struct sockaddr_in6 *)&connect->sockaddr)->sin6_addr;
 940         break;
 941     default:
 942         WARN("unsupported address family %d\n", connect->sockaddr.ss_family);
 943         return FALSE;
 944     }
 945     inet_ntop( connect->sockaddr.ss_family, addr, address, sizeof(address) );
 946     addressW = strdupAW( address );
 947
 948     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_NAME_RESOLVED, addressW, strlenW(addressW) + 1 );
 949
 950     TRACE("connecting to %s:%u\n", address, port);
 951
 952     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CONNECTING_TO_SERVER, addressW, 0 );
 953
 954     if (!netconn_create( &request->netconn, connect->sockaddr.ss_family, SOCK_STREAM, 0 ))
 955     {
 956         heap_free( addressW );
 957         return FALSE;
 958     }
 959     netconn_set_timeout( &request->netconn, TRUE, request->send_timeout );
 960     netconn_set_timeout( &request->netconn, FALSE, request->recv_timeout );
 961     if (!netconn_connect( &request->netconn, (struct sockaddr *)&connect->sockaddr, slen, request->connect_timeout ))
 962     {
 963         netconn_close( &request->netconn );
 964         heap_free( addressW );
 965         return FALSE;
 966     }
 967     if (request->hdr.flags & WINHTTP_FLAG_SECURE)
 968     {
 969         if (connect->session->proxy_server &&
 970             strcmpiW( connect->hostname, connect->servername ))
 971         {
 972             if (!secure_proxy_connect( request ))
 973             {
 974                 heap_free( addressW );
 975                 return FALSE;
 976             }
 977         }
 978         if (!netconn_secure_connect( &request->netconn, connect->servername ))
 979         {
 980             netconn_close( &request->netconn );
 981             heap_free( addressW );
 982             return FALSE;
 983         }
 984     }
 985
 986     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CONNECTED_TO_SERVER, addressW, strlenW(addressW) + 1 );
 987
 988     heap_free( addressW );
 989     return TRUE;
 990 }
 991
 992 void close_connection( request_t *request )
 993 {
 994     if (!netconn_connected( &request->netconn )) return;
 995
 996     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CLOSING_CONNECTION, 0, 0 );
 997     netconn_close( &request->netconn );
 998     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CONNECTION_CLOSED, 0, 0 );
 999 }
1000
1001 static BOOL add_host_header( request_t *request, DWORD modifier )
1002 {
1003     BOOL ret;
1004     DWORD len;
1005     WCHAR *host;
1006     static const WCHAR fmt[] = {'%','s',':','%','u',0};
1007     connect_t *connect = request->connect;
1008     INTERNET_PORT port;
1009
1010     port = connect->hostport ? connect->hostport : (request->hdr.flags & WINHTTP_FLAG_SECURE ? 443 : 80);
1011
1012     if (port == INTERNET_DEFAULT_HTTP_PORT || port == INTERNET_DEFAULT_HTTPS_PORT)
1013     {
1014         return process_header( request, attr_host, connect->hostname, modifier, TRUE );
1015     }
1016     len = strlenW( connect->hostname ) + 7; /* sizeof(":65335") */
1017     if (!(host = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1018     sprintfW( host, fmt, connect->hostname, port );
1019     ret = process_header( request, attr_host, host, modifier, TRUE );
1020     heap_free( host );
1021     return ret;
1022 }
1023
1024 static BOOL send_request( request_t *request, LPCWSTR headers, DWORD headers_len, LPVOID optional,
1025                           DWORD optional_len, DWORD total_len, DWORD_PTR context, BOOL async )
1026 {
1027     static const WCHAR keep_alive[] = {'K','e','e','p','-','A','l','i','v','e',0};
1028     static const WCHAR no_cache[]   = {'n','o','-','c','a','c','h','e',0};
1029     static const WCHAR length_fmt[] = {'%','l','d',0};
1030
1031     BOOL ret = FALSE;
1032     connect_t *connect = request->connect;
1033     session_t *session = connect->session;
1034     WCHAR *req = NULL;
1035     char *req_ascii;
1036     int bytes_sent;
1037     DWORD len;
1038
1039     if (session->agent)
1040         process_header( request, attr_user_agent, session->agent, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1041
1042     if (connect->hostname)
1043         add_host_header( request, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW );
1044
1045     if (total_len || (request->verb && !strcmpW( request->verb, postW )))
1046     {
1047         WCHAR length[21]; /* decimal long int + null */
1048         sprintfW( length, length_fmt, total_len );
1049         process_header( request, attr_content_length, length, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1050     }
1051     if (!(request->hdr.disable_flags & WINHTTP_DISABLE_KEEP_ALIVE))
1052     {
1053         process_header( request, attr_connection, keep_alive, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1054     }
1055     if (request->hdr.flags & WINHTTP_FLAG_REFRESH)
1056     {
1057         process_header( request, attr_pragma, no_cache, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1058         process_header( request, attr_cache_control, no_cache, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1059     }
1060     if (headers && !add_request_headers( request, headers, headers_len, WINHTTP_ADDREQ_FLAG_ADD | WINHTTP_ADDREQ_FLAG_REPLACE ))
1061     {
1062         TRACE("failed to add request headers\n");
1063         return FALSE;
1064     }
1065     if (!(request->hdr.disable_flags & WINHTTP_DISABLE_COOKIES) && !add_cookie_headers( request ))
1066     {
1067         WARN("failed to add cookie headers\n");
1068         return FALSE;
1069     }
1070
1071     if (!(ret = open_connection( request ))) goto end;
1072     if (!(req = build_request_string( request ))) goto end;
1073
1074     if (!(req_ascii = strdupWA( req ))) goto end;
1075     TRACE("full request: %s\n", debugstr_a(req_ascii));
1076     len = strlen(req_ascii);
1077
1078     if (context) request->hdr.context = context;
1079     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_SENDING_REQUEST, NULL, 0 );
1080
1081     ret = netconn_send( &request->netconn, req_ascii, len, 0, &bytes_sent );
1082     heap_free( req_ascii );
1083     if (!ret) goto end;
1084
1085     if (optional_len && !netconn_send( &request->netconn, optional, optional_len, 0, &bytes_sent )) goto end;
1086     len += optional_len;
1087
1088     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_SENT, &len, sizeof(DWORD) );
1089
1090 end:
1091     if (async)
1092     {
1093         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_SENDREQUEST_COMPLETE, NULL, 0 );
1094         else
1095         {
1096             WINHTTP_ASYNC_RESULT result;
1097             result.dwResult = API_SEND_REQUEST;
1098             result.dwError  = get_last_error();
1099             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1100         }
1101     }
1102     heap_free( req );
1103     return ret;
1104 }
1105
1106 static void task_send_request( task_header_t *task )
1107 {
1108     send_request_t *s = (send_request_t *)task;
1109     send_request( s->hdr.request, s->headers, s->headers_len, s->optional, s->optional_len, s->total_len, s->context, TRUE );
1110     heap_free( s->headers );
1111 }
1112
1113 /***********************************************************************
1114  *          WinHttpSendRequest (winhttp.@)
1115  */
1116 BOOL WINAPI WinHttpSendRequest( HINTERNET hrequest, LPCWSTR headers, DWORD headers_len,
1117                                 LPVOID optional, DWORD optional_len, DWORD total_len, DWORD_PTR context )
1118 {
1119     BOOL ret;
1120     request_t *request;
1121
1122     TRACE("%p, %s, 0x%x, %u, %u, %lx\n",
1123           hrequest, debugstr_w(headers), headers_len, optional_len, total_len, context);
1124
1125     if (!(request = (request_t *)grab_object( hrequest )))
1126     {
1127         set_last_error( ERROR_INVALID_HANDLE );
1128         return FALSE;
1129     }
1130     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1131     {
1132         release_object( &request->hdr );
1133         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1134         return FALSE;
1135     }
1136
1137     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1138     {
1139         send_request_t *s;
1140
1141         if (!(s = heap_alloc( sizeof(send_request_t) ))) return FALSE;
1142         s->hdr.request  = request;
1143         s->hdr.proc     = task_send_request;
1144         s->headers      = strdupW( headers );
1145         s->headers_len  = headers_len;
1146         s->optional     = optional;
1147         s->optional_len = optional_len;
1148         s->total_len    = total_len;
1149         s->context      = context;
1150
1151         addref_object( &request->hdr );
1152         ret = queue_task( (task_header_t *)s );
1153     }
1154     else
1155         ret = send_request( request, headers, headers_len, optional, optional_len, total_len, context, FALSE );
1156
1157     release_object( &request->hdr );
1158     return ret;
1159 }
1160
1161 #define ARRAYSIZE(array) (sizeof(array) / sizeof((array)[0]))
1162
1163 static DWORD auth_scheme_from_header( WCHAR *header )
1164 {
1165     static const WCHAR basic[]     = {'B','a','s','i','c'};
1166     static const WCHAR ntlm[]      = {'N','T','L','M'};
1167     static const WCHAR passport[]  = {'P','a','s','s','p','o','r','t'};
1168     static const WCHAR digest[]    = {'D','i','g','e','s','t'};
1169     static const WCHAR negotiate[] = {'N','e','g','o','t','i','a','t','e'};
1170
1171     if (!strncmpiW( header, basic, ARRAYSIZE(basic) ) &&
1172         (header[ARRAYSIZE(basic)] == ' ' || !header[ARRAYSIZE(basic)])) return WINHTTP_AUTH_SCHEME_BASIC;
1173
1174     if (!strncmpiW( header, ntlm, ARRAYSIZE(ntlm) ) &&
1175         (header[ARRAYSIZE(ntlm)] == ' ' || !header[ARRAYSIZE(ntlm)])) return WINHTTP_AUTH_SCHEME_NTLM;
1176
1177     if (!strncmpiW( header, passport, ARRAYSIZE(passport) ) &&
1178         (header[ARRAYSIZE(passport)] == ' ' || !header[ARRAYSIZE(passport)])) return WINHTTP_AUTH_SCHEME_PASSPORT;
1179
1180     if (!strncmpiW( header, digest, ARRAYSIZE(digest) ) &&
1181         (header[ARRAYSIZE(digest)] == ' ' || !header[ARRAYSIZE(digest)])) return WINHTTP_AUTH_SCHEME_DIGEST;
1182
1183     if (!strncmpiW( header, negotiate, ARRAYSIZE(negotiate) ) &&
1184         (header[ARRAYSIZE(negotiate)] == ' ' || !header[ARRAYSIZE(negotiate)])) return WINHTTP_AUTH_SCHEME_NEGOTIATE;
1185
1186     return 0;
1187 }
1188
1189 static BOOL query_auth_schemes( request_t *request, DWORD level, LPDWORD supported, LPDWORD first )
1190 {
1191     DWORD index = 0;
1192     BOOL ret = FALSE;
1193
1194     for (;;)
1195     {
1196         WCHAR *buffer;
1197         DWORD size, scheme;
1198
1199         size = 0;
1200         query_headers( request, level, NULL, NULL, &size, &index );
1201         if (GetLastError() != ERROR_INSUFFICIENT_BUFFER) break;
1202
1203         index--;
1204         if (!(buffer = heap_alloc( size ))) return FALSE;
1205         if (!query_headers( request, level, NULL, buffer, &size, &index ))
1206         {
1207             heap_free( buffer );
1208             return FALSE;
1209         }
1210         scheme = auth_scheme_from_header( buffer );
1211         if (first && index == 1) *first = scheme;
1212         *supported |= scheme;
1213
1214         heap_free( buffer );
1215         ret = TRUE;
1216     }
1217     return ret;
1218 }
1219
1220 /***********************************************************************
1221  *          WinHttpQueryAuthSchemes (winhttp.@)
1222  */
1223 BOOL WINAPI WinHttpQueryAuthSchemes( HINTERNET hrequest, LPDWORD supported, LPDWORD first, LPDWORD target )
1224 {
1225     BOOL ret = FALSE;
1226     request_t *request;
1227
1228     TRACE("%p, %p, %p, %p\n", hrequest, supported, first, target);
1229
1230     if (!(request = (request_t *)grab_object( hrequest )))
1231     {
1232         set_last_error( ERROR_INVALID_HANDLE );
1233         return FALSE;
1234     }
1235     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1236     {
1237         release_object( &request->hdr );
1238         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1239         return FALSE;
1240     }
1241
1242     if (query_auth_schemes( request, WINHTTP_QUERY_WWW_AUTHENTICATE, supported, first ))
1243     {
1244         *target = WINHTTP_AUTH_TARGET_SERVER;
1245         ret = TRUE;
1246     }
1247     else if (query_auth_schemes( request, WINHTTP_QUERY_PROXY_AUTHENTICATE, supported, first ))
1248     {
1249         *target = WINHTTP_AUTH_TARGET_PROXY;
1250         ret = TRUE;
1251     }
1252
1253     release_object( &request->hdr );
1254     return ret;
1255 }
1256
1257 static UINT encode_base64( const char *bin, unsigned int len, WCHAR *base64 )
1258 {
1259     UINT n = 0, x;
1260     static const char base64enc[] =
1261         "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/";
1262
1263     while (len > 0)
1264     {
1265         /* first 6 bits, all from bin[0] */
1266         base64[n++] = base64enc[(bin[0] & 0xfc) >> 2];
1267         x = (bin[0] & 3) << 4;
1268
1269         /* next 6 bits, 2 from bin[0] and 4 from bin[1] */
1270         if (len == 1)
1271         {
1272             base64[n++] = base64enc[x];
1273             base64[n++] = '=';
1274             base64[n++] = '=';
1275             break;
1276         }
1277         base64[n++] = base64enc[x | ((bin[1] & 0xf0) >> 4)];
1278         x = (bin[1] & 0x0f) << 2;
1279
1280         /* next 6 bits 4 from bin[1] and 2 from bin[2] */
1281         if (len == 2)
1282         {
1283             base64[n++] = base64enc[x];
1284             base64[n++] = '=';
1285             break;
1286         }
1287         base64[n++] = base64enc[x | ((bin[2] & 0xc0) >> 6)];
1288
1289         /* last 6 bits, all from bin [2] */
1290         base64[n++] = base64enc[bin[2] & 0x3f];
1291         bin += 3;
1292         len -= 3;
1293     }
1294     base64[n] = 0;
1295     return n;
1296 }
1297
1298 static BOOL set_credentials( request_t *request, DWORD target, DWORD scheme, LPCWSTR username, LPCWSTR password )
1299 {
1300     static const WCHAR basic[] = {'B','a','s','i','c',' ',0};
1301     const WCHAR *auth_scheme, *auth_target;
1302     WCHAR *auth_header;
1303     DWORD len, auth_data_len;
1304     char *auth_data;
1305     BOOL ret;
1306
1307     if (!username || !password)
1308     {
1309         set_last_error( ERROR_INVALID_PARAMETER );
1310         return FALSE;
1311     }
1312
1313     switch (target)
1314     {
1315     case WINHTTP_AUTH_TARGET_SERVER: auth_target = attr_authorization; break;
1316     case WINHTTP_AUTH_TARGET_PROXY:  auth_target = attr_proxy_authorization; break;
1317     default:
1318         WARN("unknown target %x\n", target);
1319         return FALSE;
1320     }
1321     switch (scheme)
1322     {
1323     case WINHTTP_AUTH_SCHEME_BASIC:
1324     {
1325         int userlen = WideCharToMultiByte( CP_UTF8, 0, username, strlenW( username ), NULL, 0, NULL, NULL );
1326         int passlen = WideCharToMultiByte( CP_UTF8, 0, password, strlenW( password ), NULL, 0, NULL, NULL );
1327
1328         TRACE("basic authentication\n");
1329
1330         auth_scheme = basic;
1331         auth_data_len = userlen + 1 + passlen;
1332         if (!(auth_data = heap_alloc( auth_data_len ))) return FALSE;
1333
1334         WideCharToMultiByte( CP_UTF8, 0, username, -1, auth_data, userlen, NULL, NULL );
1335         auth_data[userlen] = ':';
1336         WideCharToMultiByte( CP_UTF8, 0, password, -1, auth_data + userlen + 1, passlen, NULL, NULL );
1337         break;
1338     }
1339     case WINHTTP_AUTH_SCHEME_NTLM:
1340     case WINHTTP_AUTH_SCHEME_PASSPORT:
1341     case WINHTTP_AUTH_SCHEME_DIGEST:
1342     case WINHTTP_AUTH_SCHEME_NEGOTIATE:
1343         FIXME("unimplemented authentication scheme %x\n", scheme);
1344         return FALSE;
1345     default:
1346         WARN("unknown authentication scheme %x\n", scheme);
1347         return FALSE;
1348     }
1349
1350     len = strlenW( auth_scheme ) + ((auth_data_len + 2) * 4) / 3;
1351     if (!(auth_header = heap_alloc( (len + 1) * sizeof(WCHAR) )))
1352     {
1353         heap_free( auth_data );
1354         return FALSE;
1355     }
1356     strcpyW( auth_header, auth_scheme );
1357     encode_base64( auth_data, auth_data_len, auth_header + strlenW( auth_header ) );
1358
1359     ret = process_header( request, auth_target, auth_header, WINHTTP_ADDREQ_FLAG_ADD | WINHTTP_ADDREQ_FLAG_REPLACE, TRUE );
1360
1361     heap_free( auth_data );
1362     heap_free( auth_header );
1363     return ret;
1364 }
1365
1366 /***********************************************************************
1367  *          WinHttpSetCredentials (winhttp.@)
1368  */
1369 BOOL WINAPI WinHttpSetCredentials( HINTERNET hrequest, DWORD target, DWORD scheme, LPCWSTR username,
1370                                    LPCWSTR password, LPVOID params )
1371 {
1372     BOOL ret;
1373     request_t *request;
1374
1375     TRACE("%p, %x, 0x%08x, %s, %p, %p\n", hrequest, target, scheme, debugstr_w(username), password, params);
1376
1377     if (!(request = (request_t *)grab_object( hrequest )))
1378     {
1379         set_last_error( ERROR_INVALID_HANDLE );
1380         return FALSE;
1381     }
1382     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1383     {
1384         release_object( &request->hdr );
1385         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1386         return FALSE;
1387     }
1388
1389     ret = set_credentials( request, target, scheme, username, password );
1390
1391     release_object( &request->hdr );
1392     return ret;
1393 }
1394
1395 static BOOL handle_authorization( request_t *request, DWORD status )
1396 {
1397     DWORD schemes, level, target;
1398     const WCHAR *username, *password;
1399
1400     switch (status)
1401     {
1402     case 401:
1403         target = WINHTTP_AUTH_TARGET_SERVER;
1404         level  = WINHTTP_QUERY_WWW_AUTHENTICATE;
1405         break;
1406
1407     case 407:
1408         target = WINHTTP_AUTH_TARGET_PROXY;
1409         level  = WINHTTP_QUERY_PROXY_AUTHENTICATE;
1410         break;
1411
1412     default:
1413         WARN("unhandled status %u\n", status);
1414         return FALSE;
1415     }
1416
1417     if (!query_auth_schemes( request, level, &schemes, NULL )) return FALSE;
1418
1419     if (target == WINHTTP_AUTH_TARGET_SERVER)
1420     {
1421         username = request->connect->username;
1422         password = request->connect->password;
1423     }
1424     else
1425     {
1426         username = request->connect->session->proxy_username;
1427         password = request->connect->session->proxy_password;
1428     }
1429
1430     if (schemes & WINHTTP_AUTH_SCHEME_BASIC)
1431         return set_credentials( request, target, WINHTTP_AUTH_SCHEME_BASIC, username, password );
1432
1433     FIXME("unsupported authentication scheme\n");
1434     return FALSE;
1435 }
1436
1437 static void clear_response_headers( request_t *request )
1438 {
1439     unsigned int i;
1440
1441     for (i = 0; i < request->num_headers; i++)
1442     {
1443         if (!request->headers[i].field) continue;
1444         if (!request->headers[i].value) continue;
1445         if (request->headers[i].is_request) continue;
1446         delete_header( request, i );
1447         i--;
1448     }
1449 }
1450
1451 #define MAX_REPLY_LEN   1460
1452 #define INITIAL_HEADER_BUFFER_LEN  512
1453
1454 static BOOL read_reply( request_t *request )
1455 {
1456     static const WCHAR crlf[] = {'\r','\n',0};
1457
1458     char buffer[MAX_REPLY_LEN];
1459     DWORD buflen, len, offset, received_len, crlf_len = 2; /* strlenW(crlf) */
1460     char *status_code, *status_text;
1461     WCHAR *versionW, *status_textW, *raw_headers;
1462     WCHAR status_codeW[4]; /* sizeof("nnn") */
1463
1464     if (!netconn_connected( &request->netconn )) return FALSE;
1465
1466     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_RECEIVING_RESPONSE, NULL, 0 );
1467
1468     received_len = 0;
1469     do
1470     {
1471         buflen = MAX_REPLY_LEN;
1472         if (!netconn_get_next_line( &request->netconn, buffer, &buflen )) return FALSE;
1473         received_len += buflen;
1474
1475         /* first line should look like 'HTTP/1.x nnn OK' where nnn is the status code */
1476         if (!(status_code = strchr( buffer, ' ' ))) return FALSE;
1477         status_code++;
1478         if (!(status_text = strchr( status_code, ' ' ))) return FALSE;
1479         if ((len = status_text - status_code) != sizeof("nnn") - 1) return FALSE;
1480         status_text++;
1481
1482         TRACE("version [%s] status code [%s] status text [%s]\n",
1483               debugstr_an(buffer, status_code - buffer - 1),
1484               debugstr_an(status_code, len),
1485               debugstr_a(status_text));
1486
1487     } while (!memcmp( status_code, "100", len )); /* ignore "100 Continue" responses */
1488
1489     /*  we rely on the fact that the protocol is ascii */
1490     MultiByteToWideChar( CP_ACP, 0, status_code, len, status_codeW, len );
1491     status_codeW[len] = 0;
1492     if (!(process_header( request, attr_status, status_codeW, WINHTTP_ADDREQ_FLAG_REPLACE, FALSE ))) return FALSE;
1493
1494     len = status_code - buffer;
1495     if (!(versionW = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1496     MultiByteToWideChar( CP_ACP, 0, buffer, len - 1, versionW, len -1 );
1497     versionW[len - 1] = 0;
1498
1499     heap_free( request->version );
1500     request->version = versionW;
1501
1502     len = buflen - (status_text - buffer);
1503     if (!(status_textW = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1504     MultiByteToWideChar( CP_ACP, 0, status_text, len, status_textW, len );
1505
1506     heap_free( request->status_text );
1507     request->status_text = status_textW;
1508
1509     len = max( buflen + crlf_len, INITIAL_HEADER_BUFFER_LEN );
1510     if (!(raw_headers = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1511     MultiByteToWideChar( CP_ACP, 0, buffer, buflen, raw_headers, buflen );
1512     memcpy( raw_headers + buflen - 1, crlf, sizeof(crlf) );
1513
1514     heap_free( request->raw_headers );
1515     request->raw_headers = raw_headers;
1516
1517     offset = buflen + crlf_len - 1;
1518     for (;;)
1519     {
1520         header_t *header;
1521
1522         buflen = MAX_REPLY_LEN;
1523         if (!netconn_get_next_line( &request->netconn, buffer, &buflen )) goto end;
1524         received_len += buflen;
1525         if (!*buffer) break;
1526
1527         while (len - offset < buflen + crlf_len)
1528         {
1529             WCHAR *tmp;
1530             len *= 2;
1531             if (!(tmp = heap_realloc( raw_headers, len * sizeof(WCHAR) ))) return FALSE;
1532             request->raw_headers = raw_headers = tmp;
1533         }
1534         MultiByteToWideChar( CP_ACP, 0, buffer, buflen, raw_headers + offset, buflen );
1535
1536         if (!(header = parse_header( raw_headers + offset ))) break;
1537         if (!(process_header( request, header->field, header->value, WINHTTP_ADDREQ_FLAG_ADD, FALSE )))
1538         {
1539             free_header( header );
1540             break;
1541         }
1542         free_header( header );
1543         memcpy( raw_headers + offset + buflen - 1, crlf, sizeof(crlf) );
1544         offset += buflen + crlf_len - 1;
1545     }
1546
1547     TRACE("raw headers: %s\n", debugstr_w(raw_headers));
1548
1549 end:
1550     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_RESPONSE_RECEIVED, &received_len, sizeof(DWORD) );
1551     return TRUE;
1552 }
1553
1554 static BOOL handle_redirect( request_t *request )
1555 {
1556     BOOL ret = FALSE;
1557     DWORD size, len;
1558     URL_COMPONENTS uc;
1559     connect_t *connect = request->connect;
1560     INTERNET_PORT port;
1561     WCHAR *hostname = NULL, *location = NULL;
1562     int index;
1563
1564     size = 0;
1565     query_headers( request, WINHTTP_QUERY_LOCATION, NULL, NULL, &size, NULL );
1566     if (!(location = heap_alloc( size ))) return FALSE;
1567     if (!query_headers( request, WINHTTP_QUERY_LOCATION, NULL, location, &size, NULL )) goto end;
1568
1569     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REDIRECT, location, size / sizeof(WCHAR) + 1 );
1570
1571     memset( &uc, 0, sizeof(uc) );
1572     uc.dwStructSize = sizeof(uc);
1573     uc.dwSchemeLength = uc.dwHostNameLength = uc.dwUrlPathLength = uc.dwExtraInfoLength = ~0u;
1574
1575     if (!WinHttpCrackUrl( location, size / sizeof(WCHAR), 0, &uc )) /* assume relative redirect */
1576     {
1577         WCHAR *path, *p;
1578
1579         len = strlenW( location ) + 1;
1580         if (location[0] != '/') len++;
1581         if (!(p = path = heap_alloc( len * sizeof(WCHAR) ))) goto end;
1582
1583         if (location[0] != '/') *p++ = '/';
1584         strcpyW( p, location );
1585
1586         heap_free( request->path );
1587         request->path = path;
1588     }
1589     else
1590     {
1591         if (uc.nScheme == INTERNET_SCHEME_HTTP && request->hdr.flags & WINHTTP_FLAG_SECURE)
1592         {
1593             TRACE("redirect from secure page to non-secure page\n");
1594             request->hdr.flags &= ~WINHTTP_FLAG_SECURE;
1595         }
1596         else if (uc.nScheme == INTERNET_SCHEME_HTTPS && !(request->hdr.flags & WINHTTP_FLAG_SECURE))
1597         {
1598             TRACE("redirect from non-secure page to secure page\n");
1599             request->hdr.flags |= WINHTTP_FLAG_SECURE;
1600         }
1601
1602         len = uc.dwHostNameLength;
1603         if (!(hostname = heap_alloc( (len + 1) * sizeof(WCHAR) ))) goto end;
1604         memcpy( hostname, uc.lpszHostName, len * sizeof(WCHAR) );
1605         hostname[len] = 0;
1606
1607         port = uc.nPort ? uc.nPort : (uc.nScheme == INTERNET_SCHEME_HTTPS ? 443 : 80);
1608         if (strcmpiW( connect->hostname, hostname ) || connect->serverport != port)
1609         {
1610             heap_free( connect->hostname );
1611             connect->hostname = hostname;
1612             connect->hostport = port;
1613             if (!(ret = set_server_for_hostname( connect, hostname, port ))) goto end;
1614
1615             netconn_close( &request->netconn );
1616             if (!(ret = netconn_init( &request->netconn, request->hdr.flags & WINHTTP_FLAG_SECURE ))) goto end;
1617         }
1618         if (!(ret = add_host_header( request, WINHTTP_ADDREQ_FLAG_REPLACE ))) goto end;
1619         if (!(ret = open_connection( request ))) goto end;
1620
1621         heap_free( request->path );
1622         request->path = NULL;
1623         if (uc.dwUrlPathLength)
1624         {
1625             len = uc.dwUrlPathLength + uc.dwExtraInfoLength;
1626             if (!(request->path = heap_alloc( (len + 1) * sizeof(WCHAR) ))) goto end;
1627             strcpyW( request->path, uc.lpszUrlPath );
1628         }
1629         else request->path = strdupW( slashW );
1630     }
1631
1632     /* remove content-type/length headers */
1633     if ((index = get_header_index( request, attr_content_type, 0, TRUE )) >= 0) delete_header( request, index );
1634     if ((index = get_header_index( request, attr_content_length, 0, TRUE )) >= 0 ) delete_header( request, index );
1635
1636     /* redirects are always GET requests */
1637     heap_free( request->verb );
1638     request->verb = strdupW( getW );
1639     ret = TRUE;
1640
1641 end:
1642     if (!ret) heap_free( hostname );
1643     heap_free( location );
1644     return ret;
1645 }
1646
1647 static BOOL receive_data( request_t *request, void *buffer, DWORD size, DWORD *read, BOOL async )
1648 {
1649     DWORD to_read;
1650     int bytes_read;
1651
1652     to_read = min( size, request->content_length - request->content_read );
1653     if (!netconn_recv( &request->netconn, buffer, to_read, async ? 0 : MSG_WAITALL, &bytes_read ))
1654     {
1655         if (bytes_read != to_read)
1656         {
1657             ERR("not all data received %d/%d\n", bytes_read, to_read);
1658         }
1659         /* always return success, even if the network layer returns an error */
1660         *read = 0;
1661         return TRUE;
1662     }
1663     request->content_read += bytes_read;
1664     *read = bytes_read;
1665     return TRUE;
1666 }
1667
1668 static DWORD get_chunk_size( const char *buffer )
1669 {
1670     const char *p;
1671     DWORD size = 0;
1672
1673     for (p = buffer; *p; p++)
1674     {
1675         if (*p >= '0' && *p <= '9') size = size * 16 + *p - '0';
1676         else if (*p >= 'a' && *p <= 'f') size = size * 16 + *p - 'a' + 10;
1677         else if (*p >= 'A' && *p <= 'F') size = size * 16 + *p - 'A' + 10;
1678         else if (*p == ';') break;
1679     }
1680     return size;
1681 }
1682
1683 static BOOL receive_data_chunked( request_t *request, void *buffer, DWORD size, DWORD *read, BOOL async )
1684 {
1685     char reply[MAX_REPLY_LEN], *p = buffer;
1686     DWORD buflen, to_read, to_write = size;
1687     int bytes_read;
1688
1689     *read = 0;
1690     for (;;)
1691     {
1692         if (*read == size) break;
1693
1694         if (request->content_length == ~0u) /* new chunk */
1695         {
1696             buflen = sizeof(reply);
1697             if (!netconn_get_next_line( &request->netconn, reply, &buflen )) break;
1698
1699             if (!(request->content_length = get_chunk_size( reply )))
1700             {
1701                 /* zero sized chunk marks end of transfer; read any trailing headers and return */
1702                 read_reply( request );
1703                 break;
1704             }
1705         }
1706         to_read = min( to_write, request->content_length - request->content_read );
1707
1708         if (!netconn_recv( &request->netconn, p, to_read, async ? 0 : MSG_WAITALL, &bytes_read ))
1709         {
1710             if (bytes_read != to_read)
1711             {
1712                 ERR("Not all data received %d/%d\n", bytes_read, to_read);
1713             }
1714             /* always return success, even if the network layer returns an error */
1715             *read = 0;
1716             break;
1717         }
1718         if (!bytes_read) break;
1719
1720         request->content_read += bytes_read;
1721         to_write -= bytes_read;
1722         *read += bytes_read;
1723         p += bytes_read;
1724
1725         if (request->content_read == request->content_length) /* chunk complete */
1726         {
1727             request->content_read = 0;
1728             request->content_length = ~0u;
1729
1730             buflen = sizeof(reply);
1731             if (!netconn_get_next_line( &request->netconn, reply, &buflen ))
1732             {
1733                 ERR("Malformed chunk\n");
1734                 *read = 0;
1735                 break;
1736             }
1737         }
1738     }
1739     return TRUE;
1740 }
1741
1742 static void finished_reading( request_t *request )
1743 {
1744     static const WCHAR closeW[] = {'c','l','o','s','e',0};
1745
1746     BOOL close = FALSE;
1747     WCHAR connection[20];
1748     DWORD size = sizeof(connection);
1749
1750     if (request->hdr.disable_flags & WINHTTP_DISABLE_KEEP_ALIVE) close = TRUE;
1751     else if (query_headers( request, WINHTTP_QUERY_CONNECTION, NULL, connection, &size, NULL ) ||
1752              query_headers( request, WINHTTP_QUERY_PROXY_CONNECTION, NULL, connection, &size, NULL ))
1753     {
1754         if (!strcmpiW( connection, closeW )) close = TRUE;
1755     }
1756     else if (!strcmpW( request->version, http1_0 )) close = TRUE;
1757
1758     if (close) close_connection( request );
1759     request->content_length = ~0u;
1760     request->content_read = 0;
1761 }
1762
1763 static BOOL read_data( request_t *request, void *buffer, DWORD to_read, DWORD *read, BOOL async )
1764 {
1765     static const WCHAR chunked[] = {'c','h','u','n','k','e','d',0};
1766
1767     BOOL ret;
1768     WCHAR encoding[20];
1769     DWORD num_bytes, buflen = sizeof(encoding);
1770
1771     if (query_headers( request, WINHTTP_QUERY_TRANSFER_ENCODING, NULL, encoding, &buflen, NULL ) &&
1772         !strcmpiW( encoding, chunked ))
1773     {
1774         ret = receive_data_chunked( request, buffer, to_read, &num_bytes, async );
1775     }
1776     else
1777         ret = receive_data( request, buffer, to_read, &num_bytes, async );
1778
1779     if (async)
1780     {
1781         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_READ_COMPLETE, buffer, num_bytes );
1782         else
1783         {
1784             WINHTTP_ASYNC_RESULT result;
1785             result.dwResult = API_READ_DATA;
1786             result.dwError  = get_last_error();
1787             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1788         }
1789     }
1790     if (ret)
1791     {
1792         if (read) *read = num_bytes;
1793         if (!num_bytes) finished_reading( request );
1794     }
1795     return ret;
1796 }
1797
1798 /* read any content returned by the server so that the connection can be reused */
1799 static void drain_content( request_t *request )
1800 {
1801     DWORD bytes_read;
1802     char buffer[2048];
1803
1804     if (!request->content_length) return;
1805     for (;;)
1806     {
1807         if (!read_data( request, buffer, sizeof(buffer), &bytes_read, FALSE ) || !bytes_read) return;
1808     }
1809 }
1810
1811 static void record_cookies( request_t *request )
1812 {
1813     unsigned int i;
1814
1815     for (i = 0; i < request->num_headers; i++)
1816     {
1817         header_t *set_cookie = &request->headers[i];
1818         if (!strcmpiW( set_cookie->field, attr_set_cookie ) && !set_cookie->is_request)
1819         {
1820             set_cookies( request, set_cookie->value );
1821         }
1822     }
1823 }
1824
1825 static BOOL receive_response( request_t *request, BOOL async )
1826 {
1827     BOOL ret;
1828     DWORD size, query, status;
1829
1830     for (;;)
1831     {
1832         if (!(ret = read_reply( request ))) break;
1833
1834         size = sizeof(DWORD);
1835         query = WINHTTP_QUERY_STATUS_CODE | WINHTTP_QUERY_FLAG_NUMBER;
1836         if (!(ret = query_headers( request, query, NULL, &status, &size, NULL ))) break;
1837
1838         size = sizeof(DWORD);
1839         query = WINHTTP_QUERY_CONTENT_LENGTH | WINHTTP_QUERY_FLAG_NUMBER;
1840         if (!query_headers( request, query, NULL, &request->content_length, &size, NULL ))
1841             request->content_length = ~0u;
1842
1843         if (!(request->hdr.disable_flags & WINHTTP_DISABLE_COOKIES)) record_cookies( request );
1844
1845         if (status == 301 || status == 302)
1846         {
1847             if (request->hdr.disable_flags & WINHTTP_DISABLE_REDIRECTS) break;
1848
1849             drain_content( request );
1850             if (!(ret = handle_redirect( request ))) break;
1851
1852             clear_response_headers( request );
1853             ret = send_request( request, NULL, 0, NULL, 0, 0, 0, FALSE ); /* recurse synchronously */
1854             continue;
1855         }
1856         else if (status == 401 || status == 407)
1857         {
1858             if (request->hdr.disable_flags & WINHTTP_DISABLE_AUTHENTICATION) break;
1859
1860             drain_content( request );
1861             if (!handle_authorization( request, status ))
1862             {
1863                 ret = TRUE;
1864                 break;
1865             }
1866             clear_response_headers( request );
1867             ret = send_request( request, NULL, 0, NULL, 0, 0, 0, FALSE );
1868             continue;
1869         }
1870         break;
1871     }
1872
1873     if (async)
1874     {
1875         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_HEADERS_AVAILABLE, NULL, 0 );
1876         else
1877         {
1878             WINHTTP_ASYNC_RESULT result;
1879             result.dwResult = API_RECEIVE_RESPONSE;
1880             result.dwError  = get_last_error();
1881             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1882         }
1883     }
1884     return ret;
1885 }
1886
1887 static void task_receive_response( task_header_t *task )
1888 {
1889     receive_response_t *r = (receive_response_t *)task;
1890     receive_response( r->hdr.request, TRUE );
1891 }
1892
1893 /***********************************************************************
1894  *          WinHttpReceiveResponse (winhttp.@)
1895  */
1896 BOOL WINAPI WinHttpReceiveResponse( HINTERNET hrequest, LPVOID reserved )
1897 {
1898     BOOL ret;
1899     request_t *request;
1900
1901     TRACE("%p, %p\n", hrequest, reserved);
1902
1903     if (!(request = (request_t *)grab_object( hrequest )))
1904     {
1905         set_last_error( ERROR_INVALID_HANDLE );
1906         return FALSE;
1907     }
1908     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1909     {
1910         release_object( &request->hdr );
1911         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1912         return FALSE;
1913     }
1914
1915     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1916     {
1917         receive_response_t *r;
1918
1919         if (!(r = heap_alloc( sizeof(receive_response_t) ))) return FALSE;
1920         r->hdr.request = request;
1921         r->hdr.proc    = task_receive_response;
1922
1923         addref_object( &request->hdr );
1924         ret = queue_task( (task_header_t *)r );
1925     }
1926     else
1927         ret = receive_response( request, FALSE );
1928
1929     release_object( &request->hdr );
1930     return ret;
1931 }
1932
1933 static BOOL query_data( request_t *request, LPDWORD available, BOOL async )
1934 {
1935     BOOL ret;
1936     DWORD num_bytes;
1937
1938     if ((ret = netconn_query_data_available( &request->netconn, &num_bytes )))
1939     {
1940         if (request->content_read < request->content_length)
1941         {
1942             if (!num_bytes)
1943             {
1944                 char buffer[4096];
1945                 size_t to_read = min( sizeof(buffer), request->content_length - request->content_read );
1946
1947                 ret = netconn_recv( &request->netconn, buffer, to_read, MSG_PEEK, (int *)&num_bytes );
1948                 if (ret && !num_bytes) WARN("expected more data to be available\n");
1949             }
1950         }
1951         else if (num_bytes)
1952         {
1953             WARN("extra data available %u\n", num_bytes);
1954             ret = FALSE;
1955         }
1956     }
1957     TRACE("%u bytes available\n", num_bytes);
1958
1959     if (async)
1960     {
1961         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_DATA_AVAILABLE, &num_bytes, sizeof(DWORD) );
1962         else
1963         {
1964             WINHTTP_ASYNC_RESULT result;
1965             result.dwResult = API_QUERY_DATA_AVAILABLE;
1966             result.dwError  = get_last_error();
1967             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1968         }
1969     }
1970     if (ret && available) *available = num_bytes;
1971     return ret;
1972 }
1973
1974 static void task_query_data( task_header_t *task )
1975 {
1976     query_data_t *q = (query_data_t *)task;
1977     query_data( q->hdr.request, q->available, TRUE );
1978 }
1979
1980 /***********************************************************************
1981  *          WinHttpQueryDataAvailable (winhttp.@)
1982  */
1983 BOOL WINAPI WinHttpQueryDataAvailable( HINTERNET hrequest, LPDWORD available )
1984 {
1985     BOOL ret;
1986     request_t *request;
1987
1988     TRACE("%p, %p\n", hrequest, available);
1989
1990     if (!(request = (request_t *)grab_object( hrequest )))
1991     {
1992         set_last_error( ERROR_INVALID_HANDLE );
1993         return FALSE;
1994     }
1995     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1996     {
1997         release_object( &request->hdr );
1998         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1999         return FALSE;
2000     }
2001
2002     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
2003     {
2004         query_data_t *q;
2005
2006         if (!(q = heap_alloc( sizeof(query_data_t) ))) return FALSE;
2007         q->hdr.request = request;
2008         q->hdr.proc    = task_query_data;
2009         q->available   = available;
2010
2011         addref_object( &request->hdr );
2012         ret = queue_task( (task_header_t *)q );
2013     }
2014     else
2015         ret = query_data( request, available, FALSE );
2016
2017     release_object( &request->hdr );
2018     return ret;
2019 }
2020
2021 static void task_read_data( task_header_t *task )
2022 {
2023     read_data_t *r = (read_data_t *)task;
2024     read_data( r->hdr.request, r->buffer, r->to_read, r->read, TRUE );
2025 }
2026
2027 /***********************************************************************
2028  *          WinHttpReadData (winhttp.@)
2029  */
2030 BOOL WINAPI WinHttpReadData( HINTERNET hrequest, LPVOID buffer, DWORD to_read, LPDWORD read )
2031 {
2032     BOOL ret;
2033     request_t *request;
2034
2035     TRACE("%p, %p, %d, %p\n", hrequest, buffer, to_read, read);
2036
2037     if (!(request = (request_t *)grab_object( hrequest )))
2038     {
2039         set_last_error( ERROR_INVALID_HANDLE );
2040         return FALSE;
2041     }
2042     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
2043     {
2044         release_object( &request->hdr );
2045         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
2046         return FALSE;
2047     }
2048
2049     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
2050     {
2051         read_data_t *r;
2052
2053         if (!(r = heap_alloc( sizeof(read_data_t) ))) return FALSE;
2054         r->hdr.request = request;
2055         r->hdr.proc    = task_read_data;
2056         r->buffer      = buffer;
2057         r->to_read     = to_read;
2058         r->read        = read;
2059
2060         addref_object( &request->hdr );
2061         ret = queue_task( (task_header_t *)r );
2062     }
2063     else
2064         ret = read_data( request, buffer, to_read, read, FALSE );
2065
2066     release_object( &request->hdr );
2067     return ret;
2068 }
2069
2070 static BOOL write_data( request_t *request, LPCVOID buffer, DWORD to_write, LPDWORD written, BOOL async )
2071 {
2072     BOOL ret;
2073     int num_bytes;
2074
2075     ret = netconn_send( &request->netconn, buffer, to_write, 0, &num_bytes );
2076
2077     if (async)
2078     {
2079         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_WRITE_COMPLETE, &num_bytes, sizeof(DWORD) );
2080         else
2081         {
2082             WINHTTP_ASYNC_RESULT result;
2083             result.dwResult = API_WRITE_DATA;
2084             result.dwError  = get_last_error();
2085             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
2086         }
2087     }
2088     if (ret && written) *written = num_bytes;
2089     return ret;
2090 }
2091
2092 static void task_write_data( task_header_t *task )
2093 {
2094     write_data_t *w = (write_data_t *)task;
2095     write_data( w->hdr.request, w->buffer, w->to_write, w->written, TRUE );
2096 }
2097
2098 /***********************************************************************
2099  *          WinHttpWriteData (winhttp.@)
2100  */
2101 BOOL WINAPI WinHttpWriteData( HINTERNET hrequest, LPCVOID buffer, DWORD to_write, LPDWORD written )
2102 {
2103     BOOL ret;
2104     request_t *request;
2105
2106     TRACE("%p, %p, %d, %p\n", hrequest, buffer, to_write, written);
2107
2108     if (!(request = (request_t *)grab_object( hrequest )))
2109     {
2110         set_last_error( ERROR_INVALID_HANDLE );
2111         return FALSE;
2112     }
2113     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
2114     {
2115         release_object( &request->hdr );
2116         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
2117         return FALSE;
2118     }
2119
2120     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
2121     {
2122         write_data_t *w;
2123
2124         if (!(w = heap_alloc( sizeof(write_data_t) ))) return FALSE;
2125         w->hdr.request = request;
2126         w->hdr.proc    = task_write_data;
2127         w->buffer      = buffer;
2128         w->to_write    = to_write;
2129         w->written     = written;
2130
2131         addref_object( &request->hdr );
2132         ret = queue_task( (task_header_t *)w );
2133     }
2134     else
2135         ret = write_data( request, buffer, to_write, written, FALSE );
2136
2137     release_object( &request->hdr );
2138     return ret;
2139 }