git.oblomov.eu Git - wine/blob - dlls/winhttp/request.c

   1 /*
   2  * Copyright 2004 Mike McCormack for CodeWeavers
   3  * Copyright 2006 Rob Shearman for CodeWeavers
   4  * Copyright 2008 Hans Leidekker for CodeWeavers
   5  * Copyright 2009 Juan Lang
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with this library; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
  20  */
  21
  22 #include "config.h"
  23 #include "wine/port.h"
  24 #include "wine/debug.h"
  25
  26 #include <stdarg.h>
  27 #ifdef HAVE_ARPA_INET_H
  28 # include <arpa/inet.h>
  29 #endif
  30
  31 #include "windef.h"
  32 #include "winbase.h"
  33 #include "winhttp.h"
  34
  35 #include "winhttp_private.h"
  36
  37 WINE_DEFAULT_DEBUG_CHANNEL(winhttp);
  38
  39 static const WCHAR attr_accept[] = {'A','c','c','e','p','t',0};
  40 static const WCHAR attr_accept_charset[] = {'A','c','c','e','p','t','-','C','h','a','r','s','e','t', 0};
  41 static const WCHAR attr_accept_encoding[] = {'A','c','c','e','p','t','-','E','n','c','o','d','i','n','g',0};
  42 static const WCHAR attr_accept_language[] = {'A','c','c','e','p','t','-','L','a','n','g','u','a','g','e',0};
  43 static const WCHAR attr_accept_ranges[] = {'A','c','c','e','p','t','-','R','a','n','g','e','s',0};
  44 static const WCHAR attr_age[] = {'A','g','e',0};
  45 static const WCHAR attr_allow[] = {'A','l','l','o','w',0};
  46 static const WCHAR attr_authorization[] = {'A','u','t','h','o','r','i','z','a','t','i','o','n',0};
  47 static const WCHAR attr_cache_control[] = {'C','a','c','h','e','-','C','o','n','t','r','o','l',0};
  48 static const WCHAR attr_connection[] = {'C','o','n','n','e','c','t','i','o','n',0};
  49 static const WCHAR attr_content_base[] = {'C','o','n','t','e','n','t','-','B','a','s','e',0};
  50 static const WCHAR attr_content_encoding[] = {'C','o','n','t','e','n','t','-','E','n','c','o','d','i','n','g',0};
  51 static const WCHAR attr_content_id[] = {'C','o','n','t','e','n','t','-','I','D',0};
  52 static const WCHAR attr_content_language[] = {'C','o','n','t','e','n','t','-','L','a','n','g','u','a','g','e',0};
  53 static const WCHAR attr_content_length[] = {'C','o','n','t','e','n','t','-','L','e','n','g','t','h',0};
  54 static const WCHAR attr_content_location[] = {'C','o','n','t','e','n','t','-','L','o','c','a','t','i','o','n',0};
  55 static const WCHAR attr_content_md5[] = {'C','o','n','t','e','n','t','-','M','D','5',0};
  56 static const WCHAR attr_content_range[] = {'C','o','n','t','e','n','t','-','R','a','n','g','e',0};
  57 static const WCHAR attr_content_transfer_encoding[] = {'C','o','n','t','e','n','t','-','T','r','a','n','s','f','e','r','-','E','n','c','o','d','i','n','g',0};
  58 static const WCHAR attr_content_type[] = {'C','o','n','t','e','n','t','-','T','y','p','e',0};
  59 static const WCHAR attr_cookie[] = {'C','o','o','k','i','e',0};
  60 static const WCHAR attr_date[] = {'D','a','t','e',0};
  61 static const WCHAR attr_from[] = {'F','r','o','m',0};
  62 static const WCHAR attr_etag[] = {'E','T','a','g',0};
  63 static const WCHAR attr_expect[] = {'E','x','p','e','c','t',0};
  64 static const WCHAR attr_expires[] = {'E','x','p','i','r','e','s',0};
  65 static const WCHAR attr_host[] = {'H','o','s','t',0};
  66 static const WCHAR attr_if_match[] = {'I','f','-','M','a','t','c','h',0};
  67 static const WCHAR attr_if_modified_since[] = {'I','f','-','M','o','d','i','f','i','e','d','-','S','i','n','c','e',0};
  68 static const WCHAR attr_if_none_match[] = {'I','f','-','N','o','n','e','-','M','a','t','c','h',0};
  69 static const WCHAR attr_if_range[] = {'I','f','-','R','a','n','g','e',0};
  70 static const WCHAR attr_if_unmodified_since[] = {'I','f','-','U','n','m','o','d','i','f','i','e','d','-','S','i','n','c','e',0};
  71 static const WCHAR attr_last_modified[] = {'L','a','s','t','-','M','o','d','i','f','i','e','d',0};
  72 static const WCHAR attr_location[] = {'L','o','c','a','t','i','o','n',0};
  73 static const WCHAR attr_max_forwards[] = {'M','a','x','-','F','o','r','w','a','r','d','s',0};
  74 static const WCHAR attr_mime_version[] = {'M','i','m','e','-','V','e','r','s','i','o','n',0};
  75 static const WCHAR attr_pragma[] = {'P','r','a','g','m','a',0};
  76 static const WCHAR attr_proxy_authenticate[] = {'P','r','o','x','y','-','A','u','t','h','e','n','t','i','c','a','t','e',0};
  77 static const WCHAR attr_proxy_authorization[] = {'P','r','o','x','y','-','A','u','t','h','o','r','i','z','a','t','i','o','n',0};
  78 static const WCHAR attr_proxy_connection[] = {'P','r','o','x','y','-','C','o','n','n','e','c','t','i','o','n',0};
  79 static const WCHAR attr_public[] = {'P','u','b','l','i','c',0};
  80 static const WCHAR attr_range[] = {'R','a','n','g','e',0};
  81 static const WCHAR attr_referer[] = {'R','e','f','e','r','e','r',0};
  82 static const WCHAR attr_retry_after[] = {'R','e','t','r','y','-','A','f','t','e','r',0};
  83 static const WCHAR attr_server[] = {'S','e','r','v','e','r',0};
  84 static const WCHAR attr_set_cookie[] = {'S','e','t','-','C','o','o','k','i','e',0};
  85 static const WCHAR attr_status[] = {'S','t','a','t','u','s',0};
  86 static const WCHAR attr_transfer_encoding[] = {'T','r','a','n','s','f','e','r','-','E','n','c','o','d','i','n','g',0};
  87 static const WCHAR attr_unless_modified_since[] = {'U','n','l','e','s','s','-','M','o','d','i','f','i','e','d','-','S','i','n','c','e',0};
  88 static const WCHAR attr_upgrade[] = {'U','p','g','r','a','d','e',0};
  89 static const WCHAR attr_uri[] = {'U','R','I',0};
  90 static const WCHAR attr_user_agent[] = {'U','s','e','r','-','A','g','e','n','t',0};
  91 static const WCHAR attr_vary[] = {'V','a','r','y',0};
  92 static const WCHAR attr_via[] = {'V','i','a',0};
  93 static const WCHAR attr_warning[] = {'W','a','r','n','i','n','g',0};
  94 static const WCHAR attr_www_authenticate[] = {'W','W','W','-','A','u','t','h','e','n','t','i','c','a','t','e',0};
  95
  96 static const WCHAR *attribute_table[] =
  97 {
  98     attr_mime_version,              /* WINHTTP_QUERY_MIME_VERSION               = 0  */
  99     attr_content_type,              /* WINHTTP_QUERY_CONTENT_TYPE               = 1  */
 100     attr_content_transfer_encoding, /* WINHTTP_QUERY_CONTENT_TRANSFER_ENCODING  = 2  */
 101     attr_content_id,                /* WINHTTP_QUERY_CONTENT_ID                 = 3  */
 102     NULL,                           /* WINHTTP_QUERY_CONTENT_DESCRIPTION        = 4  */
 103     attr_content_length,            /* WINHTTP_QUERY_CONTENT_LENGTH             = 5  */
 104     attr_content_language,          /* WINHTTP_QUERY_CONTENT_LANGUAGE           = 6  */
 105     attr_allow,                     /* WINHTTP_QUERY_ALLOW                      = 7  */
 106     attr_public,                    /* WINHTTP_QUERY_PUBLIC                     = 8  */
 107     attr_date,                      /* WINHTTP_QUERY_DATE                       = 9  */
 108     attr_expires,                   /* WINHTTP_QUERY_EXPIRES                    = 10 */
 109     attr_last_modified,             /* WINHTTP_QUERY_LAST_MODIFIEDcw            = 11 */
 110     NULL,                           /* WINHTTP_QUERY_MESSAGE_ID                 = 12 */
 111     attr_uri,                       /* WINHTTP_QUERY_URI                        = 13 */
 112     attr_from,                      /* WINHTTP_QUERY_DERIVED_FROM               = 14 */
 113     NULL,                           /* WINHTTP_QUERY_COST                       = 15 */
 114     NULL,                           /* WINHTTP_QUERY_LINK                       = 16 */
 115     attr_pragma,                    /* WINHTTP_QUERY_PRAGMA                     = 17 */
 116     NULL,                           /* WINHTTP_QUERY_VERSION                    = 18 */
 117     attr_status,                    /* WINHTTP_QUERY_STATUS_CODE                = 19 */
 118     NULL,                           /* WINHTTP_QUERY_STATUS_TEXT                = 20 */
 119     NULL,                           /* WINHTTP_QUERY_RAW_HEADERS                = 21 */
 120     NULL,                           /* WINHTTP_QUERY_RAW_HEADERS_CRLF           = 22 */
 121     attr_connection,                /* WINHTTP_QUERY_CONNECTION                 = 23 */
 122     attr_accept,                    /* WINHTTP_QUERY_ACCEPT                     = 24 */
 123     attr_accept_charset,            /* WINHTTP_QUERY_ACCEPT_CHARSET             = 25 */
 124     attr_accept_encoding,           /* WINHTTP_QUERY_ACCEPT_ENCODING            = 26 */
 125     attr_accept_language,           /* WINHTTP_QUERY_ACCEPT_LANGUAGE            = 27 */
 126     attr_authorization,             /* WINHTTP_QUERY_AUTHORIZATION              = 28 */
 127     attr_content_encoding,          /* WINHTTP_QUERY_CONTENT_ENCODING           = 29 */
 128     NULL,                           /* WINHTTP_QUERY_FORWARDED                  = 30 */
 129     NULL,                           /* WINHTTP_QUERY_FROM                       = 31 */
 130     attr_if_modified_since,         /* WINHTTP_QUERY_IF_MODIFIED_SINCE          = 32 */
 131     attr_location,                  /* WINHTTP_QUERY_LOCATION                   = 33 */
 132     NULL,                           /* WINHTTP_QUERY_ORIG_URI                   = 34 */
 133     attr_referer,                   /* WINHTTP_QUERY_REFERER                    = 35 */
 134     attr_retry_after,               /* WINHTTP_QUERY_RETRY_AFTER                = 36 */
 135     attr_server,                    /* WINHTTP_QUERY_SERVER                     = 37 */
 136     NULL,                           /* WINHTTP_TITLE                            = 38 */
 137     attr_user_agent,                /* WINHTTP_QUERY_USER_AGENT                 = 39 */
 138     attr_www_authenticate,          /* WINHTTP_QUERY_WWW_AUTHENTICATE           = 40 */
 139     attr_proxy_authenticate,        /* WINHTTP_QUERY_PROXY_AUTHENTICATE         = 41 */
 140     attr_accept_ranges,             /* WINHTTP_QUERY_ACCEPT_RANGES              = 42 */
 141     attr_set_cookie,                /* WINHTTP_QUERY_SET_COOKIE                 = 43 */
 142     attr_cookie,                    /* WINHTTP_QUERY_COOKIE                     = 44 */
 143     NULL,                           /* WINHTTP_QUERY_REQUEST_METHOD             = 45 */
 144     NULL,                           /* WINHTTP_QUERY_REFRESH                    = 46 */
 145     NULL,                           /* WINHTTP_QUERY_CONTENT_DISPOSITION        = 47 */
 146     attr_age,                       /* WINHTTP_QUERY_AGE                        = 48 */
 147     attr_cache_control,             /* WINHTTP_QUERY_CACHE_CONTROL              = 49 */
 148     attr_content_base,              /* WINHTTP_QUERY_CONTENT_BASE               = 50 */
 149     attr_content_location,          /* WINHTTP_QUERY_CONTENT_LOCATION           = 51 */
 150     attr_content_md5,               /* WINHTTP_QUERY_CONTENT_MD5                = 52 */
 151     attr_content_range,             /* WINHTTP_QUERY_CONTENT_RANGE              = 53 */
 152     attr_etag,                      /* WINHTTP_QUERY_ETAG                       = 54 */
 153     attr_host,                      /* WINHTTP_QUERY_HOST                       = 55 */
 154     attr_if_match,                  /* WINHTTP_QUERY_IF_MATCH                   = 56 */
 155     attr_if_none_match,             /* WINHTTP_QUERY_IF_NONE_MATCH              = 57 */
 156     attr_if_range,                  /* WINHTTP_QUERY_IF_RANGE                   = 58 */
 157     attr_if_unmodified_since,       /* WINHTTP_QUERY_IF_UNMODIFIED_SINCE        = 59 */
 158     attr_max_forwards,              /* WINHTTP_QUERY_MAX_FORWARDS               = 60 */
 159     attr_proxy_authorization,       /* WINHTTP_QUERY_PROXY_AUTHORIZATION        = 61 */
 160     attr_range,                     /* WINHTTP_QUERY_RANGE                      = 62 */
 161     attr_transfer_encoding,         /* WINHTTP_QUERY_TRANSFER_ENCODING          = 63 */
 162     attr_upgrade,                   /* WINHTTP_QUERY_UPGRADE                    = 64 */
 163     attr_vary,                      /* WINHTTP_QUERY_VARY                       = 65 */
 164     attr_via,                       /* WINHTTP_QUERY_VIA                        = 66 */
 165     attr_warning,                   /* WINHTTP_QUERY_WARNING                    = 67 */
 166     attr_expect,                    /* WINHTTP_QUERY_EXPECT                     = 68 */
 167     attr_proxy_connection,          /* WINHTTP_QUERY_PROXY_CONNECTION           = 69 */
 168     attr_unless_modified_since,     /* WINHTTP_QUERY_UNLESS_MODIFIED_SINCE      = 70 */
 169     NULL,                           /* WINHTTP_QUERY_PROXY_SUPPORT              = 75 */
 170     NULL,                           /* WINHTTP_QUERY_AUTHENTICATION_INFO        = 76 */
 171     NULL,                           /* WINHTTP_QUERY_PASSPORT_URLS              = 77 */
 172     NULL                            /* WINHTTP_QUERY_PASSPORT_CONFIG            = 78 */
 173 };
 174
 175 static DWORD CALLBACK task_thread( LPVOID param )
 176 {
 177     task_header_t *task = param;
 178
 179     task->proc( task );
 180
 181     release_object( &task->request->hdr );
 182     heap_free( task );
 183     return ERROR_SUCCESS;
 184 }
 185
 186 static BOOL queue_task( task_header_t *task )
 187 {
 188     return QueueUserWorkItem( task_thread, task, WT_EXECUTELONGFUNCTION );
 189 }
 190
 191 static void free_header( header_t *header )
 192 {
 193     heap_free( header->field );
 194     heap_free( header->value );
 195     heap_free( header );
 196 }
 197
 198 static BOOL valid_token_char( WCHAR c )
 199 {
 200     if (c < 32 || c == 127) return FALSE;
 201     switch (c)
 202     {
 203     case '(': case ')':
 204     case '<': case '>':
 205     case '@': case ',':
 206     case ';': case ':':
 207     case '\\': case '\"':
 208     case '/': case '[':
 209     case ']': case '?':
 210     case '=': case '{':
 211     case '}': case ' ':
 212     case '\t':
 213         return FALSE;
 214     default:
 215         return TRUE;
 216     }
 217 }
 218
 219 static header_t *parse_header( LPCWSTR string )
 220 {
 221     const WCHAR *p, *q;
 222     header_t *header;
 223     int len;
 224
 225     p = string;
 226     if (!(q = strchrW( p, ':' )))
 227     {
 228         WARN("no ':' in line %s\n", debugstr_w(string));
 229         return NULL;
 230     }
 231     if (q == string)
 232     {
 233         WARN("empty field name in line %s\n", debugstr_w(string));
 234         return NULL;
 235     }
 236     while (*p != ':')
 237     {
 238         if (!valid_token_char( *p ))
 239         {
 240             WARN("invalid character in field name %s\n", debugstr_w(string));
 241             return NULL;
 242         }
 243         p++;
 244     }
 245     len = q - string;
 246     if (!(header = heap_alloc_zero( sizeof(header_t) ))) return NULL;
 247     if (!(header->field = heap_alloc( (len + 1) * sizeof(WCHAR) )))
 248     {
 249         heap_free( header );
 250         return NULL;
 251     }
 252     memcpy( header->field, string, len * sizeof(WCHAR) );
 253     header->field[len] = 0;
 254
 255     q++; /* skip past colon */
 256     while (*q == ' ') q++;
 257     if (!*q)
 258     {
 259         WARN("no value in line %s\n", debugstr_w(string));
 260         return header;
 261     }
 262     len = strlenW( q );
 263     if (!(header->value = heap_alloc( (len + 1) * sizeof(WCHAR) )))
 264     {
 265         free_header( header );
 266         return NULL;
 267     }
 268     memcpy( header->value, q, len * sizeof(WCHAR) );
 269     header->value[len] = 0;
 270
 271     return header;
 272 }
 273
 274 static int get_header_index( request_t *request, LPCWSTR field, int requested_index, BOOL request_only )
 275 {
 276     int index;
 277
 278     TRACE("%s\n", debugstr_w(field));
 279
 280     for (index = 0; index < request->num_headers; index++)
 281     {
 282         if (strcmpiW( request->headers[index].field, field )) continue;
 283         if (request_only && !request->headers[index].is_request) continue;
 284         if (!request_only && request->headers[index].is_request) continue;
 285
 286         if (!requested_index) break;
 287         requested_index--;
 288     }
 289     if (index >= request->num_headers) index = -1;
 290     TRACE("returning %d\n", index);
 291     return index;
 292 }
 293
 294 static BOOL insert_header( request_t *request, header_t *header )
 295 {
 296     DWORD count;
 297     header_t *hdrs;
 298
 299     count = request->num_headers + 1;
 300     if (count > 1)
 301         hdrs = heap_realloc_zero( request->headers, sizeof(header_t) * count );
 302     else
 303         hdrs = heap_alloc_zero( sizeof(header_t) * count );
 304
 305     if (hdrs)
 306     {
 307         request->headers = hdrs;
 308         request->headers[count - 1].field = strdupW( header->field );
 309         request->headers[count - 1].value = strdupW( header->value );
 310         request->headers[count - 1].is_request = header->is_request;
 311         request->num_headers++;
 312         return TRUE;
 313     }
 314     return FALSE;
 315 }
 316
 317 static BOOL delete_header( request_t *request, DWORD index )
 318 {
 319     if (!request->num_headers) return FALSE;
 320     if (index >= request->num_headers) return FALSE;
 321     request->num_headers--;
 322
 323     heap_free( request->headers[index].field );
 324     heap_free( request->headers[index].value );
 325
 326     memmove( &request->headers[index], &request->headers[index + 1], (request->num_headers - index) * sizeof(header_t) );
 327     memset( &request->headers[request->num_headers], 0, sizeof(header_t) );
 328     return TRUE;
 329 }
 330
 331 static BOOL process_header( request_t *request, LPCWSTR field, LPCWSTR value, DWORD flags, BOOL request_only )
 332 {
 333     int index;
 334     header_t *header;
 335
 336     TRACE("%s: %s 0x%08x\n", debugstr_w(field), debugstr_w(value), flags);
 337
 338     /* replace wins out over add */
 339     if (flags & WINHTTP_ADDREQ_FLAG_REPLACE) flags &= ~WINHTTP_ADDREQ_FLAG_ADD;
 340
 341     if (flags & WINHTTP_ADDREQ_FLAG_ADD) index = -1;
 342     else
 343         index = get_header_index( request, field, 0, request_only );
 344
 345     if (index >= 0)
 346     {
 347         if (flags & WINHTTP_ADDREQ_FLAG_ADD_IF_NEW) return FALSE;
 348         header = &request->headers[index];
 349     }
 350     else if (value)
 351     {
 352         header_t hdr;
 353
 354         hdr.field = (LPWSTR)field;
 355         hdr.value = (LPWSTR)value;
 356         hdr.is_request = request_only;
 357
 358         return insert_header( request, &hdr );
 359     }
 360     /* no value to delete */
 361     else return TRUE;
 362
 363     if (flags & WINHTTP_ADDREQ_FLAG_REPLACE)
 364     {
 365         delete_header( request, index );
 366         if (value)
 367         {
 368             header_t hdr;
 369
 370             hdr.field = (LPWSTR)field;
 371             hdr.value = (LPWSTR)value;
 372             hdr.is_request = request_only;
 373
 374             return insert_header( request, &hdr );
 375         }
 376         return TRUE;
 377     }
 378     else if (flags & (WINHTTP_ADDREQ_FLAG_COALESCE_WITH_COMMA | WINHTTP_ADDREQ_FLAG_COALESCE_WITH_SEMICOLON))
 379     {
 380         WCHAR sep, *tmp;
 381         int len, orig_len, value_len;
 382
 383         orig_len = strlenW( header->value );
 384         value_len = strlenW( value );
 385
 386         if (flags & WINHTTP_ADDREQ_FLAG_COALESCE_WITH_COMMA) sep = ',';
 387         else sep = ';';
 388
 389         len = orig_len + value_len + 2;
 390         if ((tmp = heap_realloc( header->value, (len + 1) * sizeof(WCHAR) )))
 391         {
 392             header->value = tmp;
 393
 394             header->value[orig_len] = sep;
 395             orig_len++;
 396             header->value[orig_len] = ' ';
 397             orig_len++;
 398
 399             memcpy( &header->value[orig_len], value, value_len * sizeof(WCHAR) );
 400             header->value[len] = 0;
 401             return TRUE;
 402         }
 403     }
 404     return TRUE;
 405 }
 406
 407 BOOL add_request_headers( request_t *request, LPCWSTR headers, DWORD len, DWORD flags )
 408 {
 409     BOOL ret = FALSE;
 410     WCHAR *buffer, *p, *q;
 411     header_t *header;
 412
 413     if (len == ~0u) len = strlenW( headers );
 414     if (!(buffer = heap_alloc( (len + 1) * sizeof(WCHAR) ))) return FALSE;
 415     strcpyW( buffer, headers );
 416
 417     p = buffer;
 418     do
 419     {
 420         q = p;
 421         while (*q)
 422         {
 423             if (q[0] == '\r' && q[1] == '\n') break;
 424             q++;
 425         }
 426         if (!*p) break;
 427         if (*q == '\r')
 428         {
 429             *q = 0;
 430             q += 2; /* jump over \r\n */
 431         }
 432         if ((header = parse_header( p )))
 433         {
 434             ret = process_header( request, header->field, header->value, flags, TRUE );
 435             free_header( header );
 436         }
 437         p = q;
 438     } while (ret);
 439
 440     heap_free( buffer );
 441     return ret;
 442 }
 443
 444 /***********************************************************************
 445  *          WinHttpAddRequestHeaders (winhttp.@)
 446  */
 447 BOOL WINAPI WinHttpAddRequestHeaders( HINTERNET hrequest, LPCWSTR headers, DWORD len, DWORD flags )
 448 {
 449     BOOL ret;
 450     request_t *request;
 451
 452     TRACE("%p, %s, 0x%x, 0x%08x\n", hrequest, debugstr_w(headers), len, flags);
 453
 454     if (!headers)
 455     {
 456         set_last_error( ERROR_INVALID_PARAMETER );
 457         return FALSE;
 458     }
 459     if (!(request = (request_t *)grab_object( hrequest )))
 460     {
 461         set_last_error( ERROR_INVALID_HANDLE );
 462         return FALSE;
 463     }
 464     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
 465     {
 466         release_object( &request->hdr );
 467         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
 468         return FALSE;
 469     }
 470
 471     ret = add_request_headers( request, headers, len, flags );
 472
 473     release_object( &request->hdr );
 474     return ret;
 475 }
 476
 477 static WCHAR *build_request_path( request_t *request )
 478 {
 479     WCHAR *ret;
 480
 481     if (strcmpiW( request->connect->hostname, request->connect->servername ))
 482     {
 483         static const WCHAR http[] = { 'h','t','t','p',0 };
 484         static const WCHAR https[] = { 'h','t','t','p','s',0 };
 485         static const WCHAR fmt[] = { '%','s',':','/','/','%','s',0 };
 486         LPCWSTR scheme = request->netconn.secure ? https : http;
 487         int len;
 488
 489         len = strlenW( scheme ) + strlenW( request->connect->hostname );
 490         /* 3 characters for '://', 1 for NUL. */
 491         len += 4;
 492         if (request->connect->hostport)
 493         {
 494             /* 1 for ':' between host and port, up to 5 for port */
 495             len += 6;
 496         }
 497         if (request->path)
 498             len += strlenW( request->path );
 499         if ((ret = heap_alloc( len * sizeof(WCHAR) )))
 500         {
 501             sprintfW( ret, fmt, scheme, request->connect->hostname );
 502             if (request->connect->hostport)
 503             {
 504                 static const WCHAR colonFmt[] = { ':','%','d',0 };
 505
 506                 sprintfW( ret + strlenW( ret ), colonFmt,
 507                     request->connect->hostport );
 508             }
 509             if (request->path)
 510                 strcatW( ret, request->path );
 511         }
 512     }
 513     else
 514         ret = request->path;
 515     return ret;
 516 }
 517
 518 static WCHAR *build_request_string( request_t *request )
 519 {
 520     static const WCHAR space[]   = {' ',0};
 521     static const WCHAR crlf[]    = {'\r','\n',0};
 522     static const WCHAR colon[]   = {':',' ',0};
 523     static const WCHAR twocrlf[] = {'\r','\n','\r','\n',0};
 524
 525     WCHAR *path, *ret;
 526     const WCHAR **headers, **p;
 527     unsigned int len, i = 0, j;
 528
 529     /* allocate space for an array of all the string pointers to be added */
 530     len = request->num_headers * 4 + 7;
 531     if (!(headers = heap_alloc( len * sizeof(LPCWSTR) ))) return NULL;
 532
 533     path = build_request_path( request );
 534     headers[i++] = request->verb;
 535     headers[i++] = space;
 536     headers[i++] = path;
 537     headers[i++] = space;
 538     headers[i++] = request->version;
 539
 540     for (j = 0; j < request->num_headers; j++)
 541     {
 542         if (request->headers[j].is_request)
 543         {
 544             headers[i++] = crlf;
 545             headers[i++] = request->headers[j].field;
 546             headers[i++] = colon;
 547             headers[i++] = request->headers[j].value;
 548
 549             TRACE("adding header %s (%s)\n", debugstr_w(request->headers[j].field),
 550                   debugstr_w(request->headers[j].value));
 551         }
 552     }
 553     headers[i++] = twocrlf;
 554     headers[i] = NULL;
 555
 556     len = 0;
 557     for (p = headers; *p; p++) len += strlenW( *p );
 558     len++;
 559
 560     if (!(ret = heap_alloc( len * sizeof(WCHAR) )))
 561         goto out;
 562     *ret = 0;
 563     for (p = headers; *p; p++) strcatW( ret, *p );
 564
 565 out:
 566     if (path != request->path)
 567         heap_free( path );
 568     heap_free( headers );
 569     return ret;
 570 }
 571
 572 #define QUERY_MODIFIER_MASK (WINHTTP_QUERY_FLAG_REQUEST_HEADERS | WINHTTP_QUERY_FLAG_SYSTEMTIME | WINHTTP_QUERY_FLAG_NUMBER)
 573
 574 static BOOL query_headers( request_t *request, DWORD level, LPCWSTR name, LPVOID buffer, LPDWORD buflen, LPDWORD index )
 575 {
 576     header_t *header = NULL;
 577     BOOL request_only, ret = FALSE;
 578     int requested_index, header_index = -1;
 579     DWORD attr, len;
 580
 581     request_only = level & WINHTTP_QUERY_FLAG_REQUEST_HEADERS;
 582     requested_index = index ? *index : 0;
 583
 584     attr = level & ~QUERY_MODIFIER_MASK;
 585     switch (attr)
 586     {
 587     case WINHTTP_QUERY_CUSTOM:
 588     {
 589         header_index = get_header_index( request, name, requested_index, request_only );
 590         break;
 591     }
 592     case WINHTTP_QUERY_RAW_HEADERS:
 593     {
 594         WCHAR *headers, *p, *q;
 595
 596         if (request_only)
 597             headers = build_request_string( request );
 598         else
 599             headers = request->raw_headers;
 600
 601         if (!(p = headers)) return FALSE;
 602         for (len = 0; *p; p++) if (*p != '\r') len++;
 603
 604         if ((len + 1) * sizeof(WCHAR) > *buflen || !buffer)
 605         {
 606             len++;
 607             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 608         }
 609         else if (buffer)
 610         {
 611             for (p = headers, q = buffer; *p; p++, q++)
 612             {
 613                 if (*p != '\r') *q = *p;
 614                 else
 615                 {
 616                     *q = 0;
 617                     p++; /* skip '\n' */
 618                 }
 619             }
 620             *q = 0;
 621             TRACE("returning data: %s\n", debugstr_wn(buffer, len));
 622             ret = TRUE;
 623         }
 624         *buflen = len * sizeof(WCHAR);
 625         if (request_only) heap_free( headers );
 626         return ret;
 627     }
 628     case WINHTTP_QUERY_RAW_HEADERS_CRLF:
 629     {
 630         WCHAR *headers;
 631
 632         if (request_only)
 633             headers = build_request_string( request );
 634         else
 635             headers = request->raw_headers;
 636
 637         if (!headers) return FALSE;
 638         len = strlenW( headers ) * sizeof(WCHAR);
 639         if (len + sizeof(WCHAR) > *buflen || !buffer)
 640         {
 641             len += sizeof(WCHAR);
 642             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 643         }
 644         else if (buffer)
 645         {
 646             memcpy( buffer, headers, len + sizeof(WCHAR) );
 647             TRACE("returning data: %s\n", debugstr_wn(buffer, len / sizeof(WCHAR)));
 648             ret = TRUE;
 649         }
 650         *buflen = len;
 651         if (request_only) heap_free( headers );
 652         return ret;
 653     }
 654     default:
 655     {
 656         if (attr >= sizeof(attribute_table)/sizeof(attribute_table[0]) || !attribute_table[attr])
 657         {
 658             FIXME("attribute %u not implemented\n", attr);
 659             return FALSE;
 660         }
 661         TRACE("attribute %s\n", debugstr_w(attribute_table[attr]));
 662         header_index = get_header_index( request, attribute_table[attr], requested_index, request_only );
 663     }
 664     }
 665
 666     if (header_index >= 0)
 667     {
 668         header = &request->headers[header_index];
 669     }
 670     if (!header || (request_only && !header->is_request))
 671     {
 672         set_last_error( ERROR_WINHTTP_HEADER_NOT_FOUND );
 673         return FALSE;
 674     }
 675     if (index) *index += 1;
 676     if (level & WINHTTP_QUERY_FLAG_NUMBER)
 677     {
 678         int *number = buffer;
 679         if (sizeof(int) > *buflen)
 680         {
 681             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 682         }
 683         else if (number)
 684         {
 685             *number = atoiW( header->value );
 686             TRACE("returning number: %d\n", *number);
 687             ret = TRUE;
 688         }
 689         *buflen = sizeof(int);
 690     }
 691     else if (level & WINHTTP_QUERY_FLAG_SYSTEMTIME)
 692     {
 693         SYSTEMTIME *st = buffer;
 694         if (sizeof(SYSTEMTIME) > *buflen)
 695         {
 696             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 697         }
 698         else if (st && (ret = WinHttpTimeToSystemTime( header->value, st )))
 699         {
 700             TRACE("returning time: %04d/%02d/%02d - %d - %02d:%02d:%02d.%02d\n",
 701                   st->wYear, st->wMonth, st->wDay, st->wDayOfWeek,
 702                   st->wHour, st->wMinute, st->wSecond, st->wMilliseconds);
 703         }
 704         *buflen = sizeof(SYSTEMTIME);
 705     }
 706     else if (header->value)
 707     {
 708         WCHAR *string = buffer;
 709         DWORD len = (strlenW( header->value ) + 1) * sizeof(WCHAR);
 710         if (len > *buflen)
 711         {
 712             set_last_error( ERROR_INSUFFICIENT_BUFFER );
 713             *buflen = len;
 714             return FALSE;
 715         }
 716         else if (string)
 717         {
 718             strcpyW( string, header->value );
 719             TRACE("returning string: %s\n", debugstr_w(string));
 720             ret = TRUE;
 721         }
 722         *buflen = len - sizeof(WCHAR);
 723     }
 724     return ret;
 725 }
 726
 727 /***********************************************************************
 728  *          WinHttpQueryHeaders (winhttp.@)
 729  */
 730 BOOL WINAPI WinHttpQueryHeaders( HINTERNET hrequest, DWORD level, LPCWSTR name, LPVOID buffer, LPDWORD buflen, LPDWORD index )
 731 {
 732     BOOL ret;
 733     request_t *request;
 734
 735     TRACE("%p, 0x%08x, %s, %p, %p, %p\n", hrequest, level, debugstr_w(name), buffer, buflen, index);
 736
 737     if (!(request = (request_t *)grab_object( hrequest )))
 738     {
 739         set_last_error( ERROR_INVALID_HANDLE );
 740         return FALSE;
 741     }
 742     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
 743     {
 744         release_object( &request->hdr );
 745         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
 746         return FALSE;
 747     }
 748
 749     ret = query_headers( request, level, name, buffer, buflen, index );
 750
 751     release_object( &request->hdr );
 752     return ret;
 753 }
 754
 755 static LPWSTR concatenate_string_list( LPCWSTR *list, int len )
 756 {
 757     LPCWSTR *t;
 758     LPWSTR str;
 759
 760     for( t = list; *t ; t++  )
 761         len += strlenW( *t );
 762     len++;
 763
 764     str = heap_alloc( len * sizeof(WCHAR) );
 765     if (!str) return NULL;
 766     *str = 0;
 767
 768     for( t = list; *t ; t++ )
 769         strcatW( str, *t );
 770
 771     return str;
 772 }
 773
 774 static LPWSTR build_header_request_string( request_t *request, LPCWSTR verb,
 775     LPCWSTR path, LPCWSTR version )
 776 {
 777     static const WCHAR crlf[] = {'\r','\n',0};
 778     static const WCHAR space[] = { ' ',0 };
 779     static const WCHAR colon[] = { ':',' ',0 };
 780     static const WCHAR twocrlf[] = {'\r','\n','\r','\n', 0};
 781     LPWSTR requestString;
 782     DWORD len, n;
 783     LPCWSTR *req;
 784     UINT i;
 785     LPWSTR p;
 786
 787     /* allocate space for an array of all the string pointers to be added */
 788     len = (request->num_headers) * 4 + 10;
 789     req = heap_alloc( len * sizeof(LPCWSTR) );
 790     if (!req) return NULL;
 791
 792     /* add the verb, path and HTTP version string */
 793     n = 0;
 794     req[n++] = verb;
 795     req[n++] = space;
 796     req[n++] = path;
 797     req[n++] = space;
 798     req[n++] = version;
 799
 800     /* Append custom request headers */
 801     for (i = 0; i < request->num_headers; i++)
 802     {
 803         if (request->headers[i].is_request)
 804         {
 805             req[n++] = crlf;
 806             req[n++] = request->headers[i].field;
 807             req[n++] = colon;
 808             req[n++] = request->headers[i].value;
 809
 810             TRACE("Adding custom header %s (%s)\n",
 811                    debugstr_w(request->headers[i].field),
 812                    debugstr_w(request->headers[i].value));
 813         }
 814     }
 815
 816     if( n >= len )
 817         ERR("oops. buffer overrun\n");
 818
 819     req[n] = NULL;
 820     requestString = concatenate_string_list( req, 4 );
 821     heap_free( req );
 822     if (!requestString) return NULL;
 823
 824     /*
 825      * Set (header) termination string for request
 826      * Make sure there's exactly two new lines at the end of the request
 827      */
 828     p = &requestString[strlenW(requestString)-1];
 829     while ( (*p == '\n') || (*p == '\r') )
 830        p--;
 831     strcpyW( p+1, twocrlf );
 832
 833     return requestString;
 834 }
 835
 836 static BOOL read_reply( request_t *request );
 837
 838 static BOOL secure_proxy_connect( request_t *request )
 839 {
 840     static const WCHAR verbConnect[] = {'C','O','N','N','E','C','T',0};
 841     static const WCHAR fmt[] = {'%','s',':','%','d',0};
 842     static const WCHAR http1_1[] = {'H','T','T','P','/','1','.','1',0};
 843     BOOL ret = FALSE;
 844     LPWSTR path;
 845     connect_t *connect = request->connect;
 846
 847     path = heap_alloc( (strlenW( connect->hostname ) + 13) * sizeof(WCHAR) );
 848     if (path)
 849     {
 850         LPWSTR requestString;
 851
 852         sprintfW( path, fmt, connect->hostname, connect->hostport );
 853         requestString = build_header_request_string( request, verbConnect,
 854             path, http1_1 );
 855         heap_free( path );
 856         if (requestString)
 857         {
 858             LPSTR req_ascii = strdupWA( requestString );
 859
 860             heap_free( requestString );
 861             if (req_ascii)
 862             {
 863                 int len = strlen( req_ascii ), bytes_sent;
 864
 865                 ret = netconn_send( &request->netconn, req_ascii, len, 0, &bytes_sent );
 866                 heap_free( req_ascii );
 867                 if (ret)
 868                     ret = read_reply( request );
 869             }
 870         }
 871     }
 872     return ret;
 873 }
 874
 875 #ifndef INET6_ADDRSTRLEN
 876 #define INET6_ADDRSTRLEN 46
 877 #endif
 878
 879 static BOOL open_connection( request_t *request )
 880 {
 881     connect_t *connect;
 882     const void *addr;
 883     char address[INET6_ADDRSTRLEN];
 884     WCHAR *addressW;
 885     INTERNET_PORT port;
 886     socklen_t slen;
 887
 888     if (netconn_connected( &request->netconn )) return TRUE;
 889
 890     connect = request->connect;
 891     port = connect->serverport ? connect->serverport : (request->hdr.flags & WINHTTP_FLAG_SECURE ? 443 : 80);
 892
 893     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_RESOLVING_NAME, connect->servername, strlenW(connect->servername) + 1 );
 894
 895     slen = sizeof(connect->sockaddr);
 896     if (!netconn_resolve( connect->servername, port, (struct sockaddr *)&connect->sockaddr, &slen )) return FALSE;
 897     switch (connect->sockaddr.ss_family)
 898     {
 899     case AF_INET:
 900         addr = &((struct sockaddr_in *)&connect->sockaddr)->sin_addr;
 901         break;
 902     case AF_INET6:
 903         addr = &((struct sockaddr_in6 *)&connect->sockaddr)->sin6_addr;
 904         break;
 905     default:
 906         WARN("unsupported address family %d\n", connect->sockaddr.ss_family);
 907         return FALSE;
 908     }
 909     inet_ntop( connect->sockaddr.ss_family, addr, address, sizeof(address) );
 910     addressW = strdupAW( address );
 911
 912     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_NAME_RESOLVED, addressW, strlenW(addressW) + 1 );
 913
 914     TRACE("connecting to %s:%u\n", address, port);
 915
 916     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CONNECTING_TO_SERVER, addressW, 0 );
 917
 918     if (!netconn_create( &request->netconn, connect->sockaddr.ss_family, SOCK_STREAM, 0 ))
 919     {
 920         heap_free( addressW );
 921         return FALSE;
 922     }
 923     netconn_set_timeout( &request->netconn, TRUE, request->send_timeout );
 924     netconn_set_timeout( &request->netconn, FALSE, request->recv_timeout );
 925     if (!netconn_connect( &request->netconn, (struct sockaddr *)&connect->sockaddr, slen, request->connect_timeout ))
 926     {
 927         netconn_close( &request->netconn );
 928         heap_free( addressW );
 929         return FALSE;
 930     }
 931     if (request->hdr.flags & WINHTTP_FLAG_SECURE)
 932     {
 933         if (connect->session->proxy_server &&
 934             strcmpiW( connect->hostname, connect->servername ))
 935         {
 936             if (!secure_proxy_connect( request ))
 937             {
 938                 heap_free( addressW );
 939                 return FALSE;
 940             }
 941         }
 942         if (!netconn_secure_connect( &request->netconn ))
 943         {
 944             netconn_close( &request->netconn );
 945             heap_free( addressW );
 946             return FALSE;
 947         }
 948     }
 949
 950     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CONNECTED_TO_SERVER, addressW, strlenW(addressW) + 1 );
 951
 952     heap_free( addressW );
 953     return TRUE;
 954 }
 955
 956 void close_connection( request_t *request )
 957 {
 958     if (!netconn_connected( &request->netconn )) return;
 959
 960     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CLOSING_CONNECTION, 0, 0 );
 961     netconn_close( &request->netconn );
 962     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_CONNECTION_CLOSED, 0, 0 );
 963 }
 964
 965 static BOOL add_host_header( request_t *request, DWORD modifier )
 966 {
 967     BOOL ret;
 968     DWORD len;
 969     WCHAR *host;
 970     static const WCHAR fmt[] = {'%','s',':','%','u',0};
 971     connect_t *connect = request->connect;
 972     INTERNET_PORT port;
 973
 974     port = connect->hostport ? connect->hostport : (request->hdr.flags & WINHTTP_FLAG_SECURE ? 443 : 80);
 975
 976     if (port == INTERNET_DEFAULT_HTTP_PORT || port == INTERNET_DEFAULT_HTTPS_PORT)
 977     {
 978         return process_header( request, attr_host, connect->hostname, modifier, TRUE );
 979     }
 980     len = strlenW( connect->hostname ) + 7; /* sizeof(":65335") */
 981     if (!(host = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
 982     sprintfW( host, fmt, connect->hostname, port );
 983     ret = process_header( request, attr_host, host, modifier, TRUE );
 984     heap_free( host );
 985     return ret;
 986 }
 987
 988 static BOOL send_request( request_t *request, LPCWSTR headers, DWORD headers_len, LPVOID optional,
 989                           DWORD optional_len, DWORD total_len, DWORD_PTR context, BOOL async )
 990 {
 991     static const WCHAR keep_alive[] = {'K','e','e','p','-','A','l','i','v','e',0};
 992     static const WCHAR no_cache[]   = {'n','o','-','c','a','c','h','e',0};
 993     static const WCHAR length_fmt[] = {'%','l','d',0};
 994
 995     BOOL ret = FALSE;
 996     connect_t *connect = request->connect;
 997     session_t *session = connect->session;
 998     WCHAR *req = NULL;
 999     char *req_ascii;
1000     int bytes_sent;
1001     DWORD len;
1002
1003     if (session->agent)
1004         process_header( request, attr_user_agent, session->agent, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1005
1006     if (connect->hostname)
1007         add_host_header( request, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW );
1008
1009     if (total_len || (request->verb && !strcmpW( request->verb, postW )))
1010     {
1011         WCHAR length[21]; /* decimal long int + null */
1012         sprintfW( length, length_fmt, total_len );
1013         process_header( request, attr_content_length, length, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1014     }
1015     if (!(request->hdr.disable_flags & WINHTTP_DISABLE_KEEP_ALIVE))
1016     {
1017         process_header( request, attr_connection, keep_alive, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1018     }
1019     if (request->hdr.flags & WINHTTP_FLAG_REFRESH)
1020     {
1021         process_header( request, attr_pragma, no_cache, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1022         process_header( request, attr_cache_control, no_cache, WINHTTP_ADDREQ_FLAG_ADD_IF_NEW, TRUE );
1023     }
1024     if (headers && !add_request_headers( request, headers, headers_len, WINHTTP_ADDREQ_FLAG_ADD | WINHTTP_ADDREQ_FLAG_REPLACE ))
1025     {
1026         TRACE("failed to add request headers\n");
1027         return FALSE;
1028     }
1029     if (!(request->hdr.disable_flags & WINHTTP_DISABLE_COOKIES) && !add_cookie_headers( request ))
1030     {
1031         WARN("failed to add cookie headers\n");
1032         return FALSE;
1033     }
1034
1035     if (!(ret = open_connection( request ))) goto end;
1036     if (!(req = build_request_string( request ))) goto end;
1037
1038     if (!(req_ascii = strdupWA( req ))) goto end;
1039     TRACE("full request: %s\n", debugstr_a(req_ascii));
1040     len = strlen(req_ascii);
1041
1042     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_SENDING_REQUEST, NULL, 0 );
1043
1044     ret = netconn_send( &request->netconn, req_ascii, len, 0, &bytes_sent );
1045     heap_free( req_ascii );
1046     if (!ret) goto end;
1047
1048     if (optional_len && !netconn_send( &request->netconn, optional, optional_len, 0, &bytes_sent )) goto end;
1049     len += optional_len;
1050
1051     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_SENT, &len, sizeof(DWORD) );
1052
1053 end:
1054     if (async)
1055     {
1056         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_SENDREQUEST_COMPLETE, NULL, 0 );
1057         else
1058         {
1059             WINHTTP_ASYNC_RESULT result;
1060             result.dwResult = API_SEND_REQUEST;
1061             result.dwError  = get_last_error();
1062             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1063         }
1064     }
1065     heap_free( req );
1066     return ret;
1067 }
1068
1069 static void task_send_request( task_header_t *task )
1070 {
1071     send_request_t *s = (send_request_t *)task;
1072     send_request( s->hdr.request, s->headers, s->headers_len, s->optional, s->optional_len, s->total_len, s->context, TRUE );
1073     heap_free( s->headers );
1074 }
1075
1076 /***********************************************************************
1077  *          WinHttpSendRequest (winhttp.@)
1078  */
1079 BOOL WINAPI WinHttpSendRequest( HINTERNET hrequest, LPCWSTR headers, DWORD headers_len,
1080                                 LPVOID optional, DWORD optional_len, DWORD total_len, DWORD_PTR context )
1081 {
1082     BOOL ret;
1083     request_t *request;
1084
1085     TRACE("%p, %s, 0x%x, %u, %u, %lx\n",
1086           hrequest, debugstr_w(headers), headers_len, optional_len, total_len, context);
1087
1088     if (!(request = (request_t *)grab_object( hrequest )))
1089     {
1090         set_last_error( ERROR_INVALID_HANDLE );
1091         return FALSE;
1092     }
1093     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1094     {
1095         release_object( &request->hdr );
1096         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1097         return FALSE;
1098     }
1099
1100     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1101     {
1102         send_request_t *s;
1103
1104         if (!(s = heap_alloc( sizeof(send_request_t) ))) return FALSE;
1105         s->hdr.request  = request;
1106         s->hdr.proc     = task_send_request;
1107         s->headers      = strdupW( headers );
1108         s->headers_len  = headers_len;
1109         s->optional     = optional;
1110         s->optional_len = optional_len;
1111         s->total_len    = total_len;
1112         s->context      = context;
1113
1114         addref_object( &request->hdr );
1115         ret = queue_task( (task_header_t *)s );
1116     }
1117     else
1118         ret = send_request( request, headers, headers_len, optional, optional_len, total_len, context, FALSE );
1119
1120     release_object( &request->hdr );
1121     return ret;
1122 }
1123
1124 static void clear_response_headers( request_t *request )
1125 {
1126     unsigned int i;
1127
1128     for (i = 0; i < request->num_headers; i++)
1129     {
1130         if (!request->headers[i].field) continue;
1131         if (!request->headers[i].value) continue;
1132         if (request->headers[i].is_request) continue;
1133         delete_header( request, i );
1134         i--;
1135     }
1136 }
1137
1138 #define MAX_REPLY_LEN   1460
1139 #define INITIAL_HEADER_BUFFER_LEN  512
1140
1141 static BOOL read_reply( request_t *request )
1142 {
1143     static const WCHAR crlf[] = {'\r','\n',0};
1144
1145     char buffer[MAX_REPLY_LEN];
1146     DWORD buflen, len, offset, received_len, crlf_len = 2; /* strlenW(crlf) */
1147     char *status_code, *status_text;
1148     WCHAR *versionW, *status_textW, *raw_headers;
1149     WCHAR status_codeW[4]; /* sizeof("nnn") */
1150
1151     if (!netconn_connected( &request->netconn )) return FALSE;
1152
1153     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_RECEIVING_RESPONSE, NULL, 0 );
1154
1155     received_len = 0;
1156     do
1157     {
1158         buflen = MAX_REPLY_LEN;
1159         if (!netconn_get_next_line( &request->netconn, buffer, &buflen )) return FALSE;
1160         received_len += buflen;
1161
1162         /* first line should look like 'HTTP/1.x nnn OK' where nnn is the status code */
1163         if (!(status_code = strchr( buffer, ' ' ))) return FALSE;
1164         status_code++;
1165         if (!(status_text = strchr( status_code, ' ' ))) return FALSE;
1166         if ((len = status_text - status_code) != sizeof("nnn") - 1) return FALSE;
1167         status_text++;
1168
1169         TRACE("version [%s] status code [%s] status text [%s]\n",
1170               debugstr_an(buffer, status_code - buffer - 1),
1171               debugstr_an(status_code, len),
1172               debugstr_a(status_text));
1173
1174     } while (!memcmp( status_code, "100", len )); /* ignore "100 Continue" responses */
1175
1176     /*  we rely on the fact that the protocol is ascii */
1177     MultiByteToWideChar( CP_ACP, 0, status_code, len, status_codeW, len );
1178     status_codeW[len] = 0;
1179     if (!(process_header( request, attr_status, status_codeW, WINHTTP_ADDREQ_FLAG_REPLACE, FALSE ))) return FALSE;
1180
1181     len = status_code - buffer;
1182     if (!(versionW = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1183     MultiByteToWideChar( CP_ACP, 0, buffer, len - 1, versionW, len -1 );
1184     versionW[len - 1] = 0;
1185
1186     heap_free( request->version );
1187     request->version = versionW;
1188
1189     len = buflen - (status_text - buffer);
1190     if (!(status_textW = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1191     MultiByteToWideChar( CP_ACP, 0, status_text, len, status_textW, len );
1192
1193     heap_free( request->status_text );
1194     request->status_text = status_textW;
1195
1196     len = max( buflen + crlf_len, INITIAL_HEADER_BUFFER_LEN );
1197     if (!(raw_headers = heap_alloc( len * sizeof(WCHAR) ))) return FALSE;
1198     MultiByteToWideChar( CP_ACP, 0, buffer, buflen, raw_headers, buflen );
1199     memcpy( raw_headers + buflen - 1, crlf, sizeof(crlf) );
1200
1201     heap_free( request->raw_headers );
1202     request->raw_headers = raw_headers;
1203
1204     offset = buflen + crlf_len - 1;
1205     for (;;)
1206     {
1207         header_t *header;
1208
1209         buflen = MAX_REPLY_LEN;
1210         if (!netconn_get_next_line( &request->netconn, buffer, &buflen )) goto end;
1211         received_len += buflen;
1212         if (!*buffer) break;
1213
1214         while (len - offset < buflen + crlf_len)
1215         {
1216             WCHAR *tmp;
1217             len *= 2;
1218             if (!(tmp = heap_realloc( raw_headers, len * sizeof(WCHAR) ))) return FALSE;
1219             request->raw_headers = raw_headers = tmp;
1220         }
1221         MultiByteToWideChar( CP_ACP, 0, buffer, buflen, raw_headers + offset, buflen );
1222
1223         if (!(header = parse_header( raw_headers + offset ))) break;
1224         if (!(process_header( request, header->field, header->value, WINHTTP_ADDREQ_FLAG_ADD, FALSE )))
1225         {
1226             free_header( header );
1227             break;
1228         }
1229         free_header( header );
1230         memcpy( raw_headers + offset + buflen - 1, crlf, sizeof(crlf) );
1231         offset += buflen + crlf_len - 1;
1232     }
1233
1234     TRACE("raw headers: %s\n", debugstr_w(raw_headers));
1235
1236 end:
1237     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_RESPONSE_RECEIVED, &received_len, sizeof(DWORD) );
1238     return TRUE;
1239 }
1240
1241 static BOOL handle_redirect( request_t *request )
1242 {
1243     BOOL ret = FALSE;
1244     DWORD size, len;
1245     URL_COMPONENTS uc;
1246     connect_t *connect = request->connect;
1247     INTERNET_PORT port;
1248     WCHAR *hostname = NULL, *location = NULL;
1249     int index;
1250
1251     size = 0;
1252     query_headers( request, WINHTTP_QUERY_LOCATION, NULL, NULL, &size, NULL );
1253     if (!(location = heap_alloc( size ))) return FALSE;
1254     if (!query_headers( request, WINHTTP_QUERY_LOCATION, NULL, location, &size, NULL )) goto end;
1255
1256     send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REDIRECT, location, size / sizeof(WCHAR) + 1 );
1257
1258     memset( &uc, 0, sizeof(uc) );
1259     uc.dwStructSize = sizeof(uc);
1260     uc.dwSchemeLength = uc.dwHostNameLength = uc.dwUrlPathLength = uc.dwExtraInfoLength = ~0u;
1261
1262     if (!WinHttpCrackUrl( location, size / sizeof(WCHAR), 0, &uc )) /* assume relative redirect */
1263     {
1264         WCHAR *path, *p;
1265
1266         len = strlenW( location ) + 1;
1267         if (location[0] != '/') len++;
1268         if (!(p = path = heap_alloc( len * sizeof(WCHAR) ))) goto end;
1269
1270         if (location[0] != '/') *p++ = '/';
1271         strcpyW( p, location );
1272
1273         heap_free( request->path );
1274         request->path = path;
1275     }
1276     else
1277     {
1278         if (uc.nScheme == INTERNET_SCHEME_HTTP && request->hdr.flags & WINHTTP_FLAG_SECURE)
1279         {
1280             TRACE("redirect from secure page to non-secure page\n");
1281             request->hdr.flags &= ~WINHTTP_FLAG_SECURE;
1282         }
1283         else if (uc.nScheme == INTERNET_SCHEME_HTTPS && !(request->hdr.flags & WINHTTP_FLAG_SECURE))
1284         {
1285             TRACE("redirect from non-secure page to secure page\n");
1286             request->hdr.flags |= WINHTTP_FLAG_SECURE;
1287         }
1288
1289         len = uc.dwHostNameLength;
1290         if (!(hostname = heap_alloc( (len + 1) * sizeof(WCHAR) ))) goto end;
1291         memcpy( hostname, uc.lpszHostName, len * sizeof(WCHAR) );
1292         hostname[len] = 0;
1293
1294         port = uc.nPort ? uc.nPort : (uc.nScheme == INTERNET_SCHEME_HTTPS ? 443 : 80);
1295         if (strcmpiW( connect->hostname, hostname ) || connect->serverport != port)
1296         {
1297             heap_free( connect->hostname );
1298             connect->hostname = hostname;
1299             connect->hostport = port;
1300             if (!(ret = set_server_for_hostname( connect, hostname, port ))) goto end;
1301
1302             netconn_close( &request->netconn );
1303             if (!(ret = netconn_init( &request->netconn, request->hdr.flags & WINHTTP_FLAG_SECURE ))) goto end;
1304         }
1305         if (!(ret = add_host_header( request, WINHTTP_ADDREQ_FLAG_REPLACE ))) goto end;
1306         if (!(ret = open_connection( request ))) goto end;
1307
1308         heap_free( request->path );
1309         request->path = NULL;
1310         if (uc.dwUrlPathLength)
1311         {
1312             len = uc.dwUrlPathLength + uc.dwExtraInfoLength;
1313             if (!(request->path = heap_alloc( (len + 1) * sizeof(WCHAR) ))) goto end;
1314             strcpyW( request->path, uc.lpszUrlPath );
1315         }
1316         else request->path = strdupW( slashW );
1317     }
1318
1319     /* remove content-type/length headers */
1320     if ((index = get_header_index( request, attr_content_type, 0, TRUE )) >= 0) delete_header( request, index );
1321     if ((index = get_header_index( request, attr_content_length, 0, TRUE )) >= 0 ) delete_header( request, index );
1322
1323     /* redirects are always GET requests */
1324     heap_free( request->verb );
1325     request->verb = strdupW( getW );
1326     ret = TRUE;
1327
1328 end:
1329     if (!ret) heap_free( hostname );
1330     heap_free( location );
1331     return ret;
1332 }
1333
1334 static BOOL receive_data( request_t *request, void *buffer, DWORD size, DWORD *read, BOOL async )
1335 {
1336     DWORD to_read;
1337     int bytes_read;
1338
1339     to_read = min( size, request->content_length - request->content_read );
1340     if (!netconn_recv( &request->netconn, buffer, to_read, async ? 0 : MSG_WAITALL, &bytes_read ))
1341     {
1342         if (bytes_read != to_read)
1343         {
1344             ERR("not all data received %d/%d\n", bytes_read, to_read);
1345         }
1346         /* always return success, even if the network layer returns an error */
1347         *read = 0;
1348         return TRUE;
1349     }
1350     request->content_read += bytes_read;
1351     *read = bytes_read;
1352     return TRUE;
1353 }
1354
1355 static DWORD get_chunk_size( const char *buffer )
1356 {
1357     const char *p;
1358     DWORD size = 0;
1359
1360     for (p = buffer; *p; p++)
1361     {
1362         if (*p >= '0' && *p <= '9') size = size * 16 + *p - '0';
1363         else if (*p >= 'a' && *p <= 'f') size = size * 16 + *p - 'a' + 10;
1364         else if (*p >= 'A' && *p <= 'F') size = size * 16 + *p - 'A' + 10;
1365         else if (*p == ';') break;
1366     }
1367     return size;
1368 }
1369
1370 static BOOL receive_data_chunked( request_t *request, void *buffer, DWORD size, DWORD *read, BOOL async )
1371 {
1372     char reply[MAX_REPLY_LEN], *p = buffer;
1373     DWORD buflen, to_read, to_write = size;
1374     int bytes_read;
1375
1376     *read = 0;
1377     for (;;)
1378     {
1379         if (*read == size) break;
1380
1381         if (request->content_length == ~0u) /* new chunk */
1382         {
1383             buflen = sizeof(reply);
1384             if (!netconn_get_next_line( &request->netconn, reply, &buflen )) break;
1385
1386             if (!(request->content_length = get_chunk_size( reply )))
1387             {
1388                 /* zero sized chunk marks end of transfer; read any trailing headers and return */
1389                 read_reply( request );
1390                 break;
1391             }
1392         }
1393         to_read = min( to_write, request->content_length - request->content_read );
1394
1395         if (!netconn_recv( &request->netconn, p, to_read, async ? 0 : MSG_WAITALL, &bytes_read ))
1396         {
1397             if (bytes_read != to_read)
1398             {
1399                 ERR("Not all data received %d/%d\n", bytes_read, to_read);
1400             }
1401             /* always return success, even if the network layer returns an error */
1402             *read = 0;
1403             break;
1404         }
1405         if (!bytes_read) break;
1406
1407         request->content_read += bytes_read;
1408         to_write -= bytes_read;
1409         *read += bytes_read;
1410         p += bytes_read;
1411
1412         if (request->content_read == request->content_length) /* chunk complete */
1413         {
1414             request->content_read = 0;
1415             request->content_length = ~0u;
1416
1417             buflen = sizeof(reply);
1418             if (!netconn_get_next_line( &request->netconn, reply, &buflen ))
1419             {
1420                 ERR("Malformed chunk\n");
1421                 *read = 0;
1422                 break;
1423             }
1424         }
1425     }
1426     return TRUE;
1427 }
1428
1429 static void finished_reading( request_t *request )
1430 {
1431     static const WCHAR closeW[] = {'c','l','o','s','e',0};
1432
1433     BOOL close = FALSE;
1434     WCHAR connection[20];
1435     DWORD size = sizeof(connection);
1436
1437     if (request->hdr.disable_flags & WINHTTP_DISABLE_KEEP_ALIVE) close = TRUE;
1438     else if (query_headers( request, WINHTTP_QUERY_CONNECTION, NULL, connection, &size, NULL ) ||
1439              query_headers( request, WINHTTP_QUERY_PROXY_CONNECTION, NULL, connection, &size, NULL ))
1440     {
1441         if (!strcmpiW( connection, closeW )) close = TRUE;
1442     }
1443     else if (!strcmpW( request->version, http1_0 )) close = TRUE;
1444
1445     if (close) close_connection( request );
1446     request->content_length = ~0u;
1447     request->content_read = 0;
1448 }
1449
1450 static BOOL read_data( request_t *request, void *buffer, DWORD to_read, DWORD *read, BOOL async )
1451 {
1452     static const WCHAR chunked[] = {'c','h','u','n','k','e','d',0};
1453
1454     BOOL ret;
1455     WCHAR encoding[20];
1456     DWORD num_bytes, buflen = sizeof(encoding);
1457
1458     if (query_headers( request, WINHTTP_QUERY_TRANSFER_ENCODING, NULL, encoding, &buflen, NULL ) &&
1459         !strcmpiW( encoding, chunked ))
1460     {
1461         ret = receive_data_chunked( request, buffer, to_read, &num_bytes, async );
1462     }
1463     else
1464         ret = receive_data( request, buffer, to_read, &num_bytes, async );
1465
1466     if (async)
1467     {
1468         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_READ_COMPLETE, buffer, num_bytes );
1469         else
1470         {
1471             WINHTTP_ASYNC_RESULT result;
1472             result.dwResult = API_READ_DATA;
1473             result.dwError  = get_last_error();
1474             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1475         }
1476     }
1477     if (ret)
1478     {
1479         if (read) *read = num_bytes;
1480         if (!num_bytes) finished_reading( request );
1481     }
1482     return ret;
1483 }
1484
1485 /* read any content returned by the server so that the connection can be reused */
1486 static void drain_content( request_t *request )
1487 {
1488     DWORD bytes_read;
1489     char buffer[2048];
1490
1491     if (!request->content_length) return;
1492     for (;;)
1493     {
1494         if (!read_data( request, buffer, sizeof(buffer), &bytes_read, FALSE ) || !bytes_read) return;
1495     }
1496 }
1497
1498 static void record_cookies( request_t *request )
1499 {
1500     unsigned int i;
1501
1502     for (i = 0; i < request->num_headers; i++)
1503     {
1504         header_t *set_cookie = &request->headers[i];
1505         if (!strcmpiW( set_cookie->field, attr_set_cookie ) && !set_cookie->is_request)
1506         {
1507             set_cookies( request, set_cookie->value );
1508         }
1509     }
1510 }
1511
1512 static BOOL receive_response( request_t *request, BOOL async )
1513 {
1514     BOOL ret;
1515     DWORD size, query, status;
1516
1517     for (;;)
1518     {
1519         if (!(ret = read_reply( request ))) break;
1520
1521         size = sizeof(DWORD);
1522         query = WINHTTP_QUERY_STATUS_CODE | WINHTTP_QUERY_FLAG_NUMBER;
1523         if (!(ret = query_headers( request, query, NULL, &status, &size, NULL ))) break;
1524
1525         size = sizeof(DWORD);
1526         query = WINHTTP_QUERY_CONTENT_LENGTH | WINHTTP_QUERY_FLAG_NUMBER;
1527         if (!query_headers( request, query, NULL, &request->content_length, &size, NULL ))
1528             request->content_length = ~0u;
1529
1530         if (!(request->hdr.disable_flags & WINHTTP_DISABLE_COOKIES)) record_cookies( request );
1531
1532         if (status == 301 || status == 302)
1533         {
1534             if (request->hdr.disable_flags & WINHTTP_DISABLE_REDIRECTS) break;
1535
1536             drain_content( request );
1537             if (!(ret = handle_redirect( request ))) break;
1538
1539             clear_response_headers( request );
1540             ret = send_request( request, NULL, 0, NULL, 0, 0, 0, FALSE ); /* recurse synchronously */
1541             continue;
1542         }
1543         if (status == 401) FIXME("authentication not supported\n");
1544         break;
1545     }
1546
1547     if (async)
1548     {
1549         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_HEADERS_AVAILABLE, NULL, 0 );
1550         else
1551         {
1552             WINHTTP_ASYNC_RESULT result;
1553             result.dwResult = API_RECEIVE_RESPONSE;
1554             result.dwError  = get_last_error();
1555             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1556         }
1557     }
1558     return ret;
1559 }
1560
1561 static void task_receive_response( task_header_t *task )
1562 {
1563     receive_response_t *r = (receive_response_t *)task;
1564     receive_response( r->hdr.request, TRUE );
1565 }
1566
1567 /***********************************************************************
1568  *          WinHttpReceiveResponse (winhttp.@)
1569  */
1570 BOOL WINAPI WinHttpReceiveResponse( HINTERNET hrequest, LPVOID reserved )
1571 {
1572     BOOL ret;
1573     request_t *request;
1574
1575     TRACE("%p, %p\n", hrequest, reserved);
1576
1577     if (!(request = (request_t *)grab_object( hrequest )))
1578     {
1579         set_last_error( ERROR_INVALID_HANDLE );
1580         return FALSE;
1581     }
1582     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1583     {
1584         release_object( &request->hdr );
1585         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1586         return FALSE;
1587     }
1588
1589     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1590     {
1591         receive_response_t *r;
1592
1593         if (!(r = heap_alloc( sizeof(receive_response_t) ))) return FALSE;
1594         r->hdr.request = request;
1595         r->hdr.proc    = task_receive_response;
1596
1597         addref_object( &request->hdr );
1598         ret = queue_task( (task_header_t *)r );
1599     }
1600     else
1601         ret = receive_response( request, FALSE );
1602
1603     release_object( &request->hdr );
1604     return ret;
1605 }
1606
1607 static BOOL query_data( request_t *request, LPDWORD available, BOOL async )
1608 {
1609     BOOL ret;
1610     DWORD num_bytes;
1611
1612     if ((ret = netconn_query_data_available( &request->netconn, &num_bytes )))
1613     {
1614         if (request->content_read < request->content_length)
1615         {
1616             if (!num_bytes)
1617             {
1618                 char buffer[4096];
1619                 size_t to_read = min( sizeof(buffer), request->content_length - request->content_read );
1620
1621                 ret = netconn_recv( &request->netconn, buffer, to_read, MSG_PEEK, (int *)&num_bytes );
1622                 if (ret && !num_bytes) WARN("expected more data to be available\n");
1623             }
1624         }
1625         else if (num_bytes)
1626         {
1627             WARN("extra data available %u\n", num_bytes);
1628             ret = FALSE;
1629         }
1630     }
1631     TRACE("%u bytes available\n", num_bytes);
1632
1633     if (async)
1634     {
1635         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_DATA_AVAILABLE, &num_bytes, sizeof(DWORD) );
1636         else
1637         {
1638             WINHTTP_ASYNC_RESULT result;
1639             result.dwResult = API_QUERY_DATA_AVAILABLE;
1640             result.dwError  = get_last_error();
1641             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1642         }
1643     }
1644     if (ret && available) *available = num_bytes;
1645     return ret;
1646 }
1647
1648 static void task_query_data( task_header_t *task )
1649 {
1650     query_data_t *q = (query_data_t *)task;
1651     query_data( q->hdr.request, q->available, TRUE );
1652 }
1653
1654 /***********************************************************************
1655  *          WinHttpQueryDataAvailable (winhttp.@)
1656  */
1657 BOOL WINAPI WinHttpQueryDataAvailable( HINTERNET hrequest, LPDWORD available )
1658 {
1659     BOOL ret;
1660     request_t *request;
1661
1662     TRACE("%p, %p\n", hrequest, available);
1663
1664     if (!(request = (request_t *)grab_object( hrequest )))
1665     {
1666         set_last_error( ERROR_INVALID_HANDLE );
1667         return FALSE;
1668     }
1669     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1670     {
1671         release_object( &request->hdr );
1672         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1673         return FALSE;
1674     }
1675
1676     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1677     {
1678         query_data_t *q;
1679
1680         if (!(q = heap_alloc( sizeof(query_data_t) ))) return FALSE;
1681         q->hdr.request = request;
1682         q->hdr.proc    = task_query_data;
1683         q->available   = available;
1684
1685         addref_object( &request->hdr );
1686         ret = queue_task( (task_header_t *)q );
1687     }
1688     else
1689         ret = query_data( request, available, FALSE );
1690
1691     release_object( &request->hdr );
1692     return ret;
1693 }
1694
1695 static void task_read_data( task_header_t *task )
1696 {
1697     read_data_t *r = (read_data_t *)task;
1698     read_data( r->hdr.request, r->buffer, r->to_read, r->read, TRUE );
1699 }
1700
1701 /***********************************************************************
1702  *          WinHttpReadData (winhttp.@)
1703  */
1704 BOOL WINAPI WinHttpReadData( HINTERNET hrequest, LPVOID buffer, DWORD to_read, LPDWORD read )
1705 {
1706     BOOL ret;
1707     request_t *request;
1708
1709     TRACE("%p, %p, %d, %p\n", hrequest, buffer, to_read, read);
1710
1711     if (!(request = (request_t *)grab_object( hrequest )))
1712     {
1713         set_last_error( ERROR_INVALID_HANDLE );
1714         return FALSE;
1715     }
1716     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1717     {
1718         release_object( &request->hdr );
1719         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1720         return FALSE;
1721     }
1722
1723     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1724     {
1725         read_data_t *r;
1726
1727         if (!(r = heap_alloc( sizeof(read_data_t) ))) return FALSE;
1728         r->hdr.request = request;
1729         r->hdr.proc    = task_read_data;
1730         r->buffer      = buffer;
1731         r->to_read     = to_read;
1732         r->read        = read;
1733
1734         addref_object( &request->hdr );
1735         ret = queue_task( (task_header_t *)r );
1736     }
1737     else
1738         ret = read_data( request, buffer, to_read, read, FALSE );
1739
1740     release_object( &request->hdr );
1741     return ret;
1742 }
1743
1744 static BOOL write_data( request_t *request, LPCVOID buffer, DWORD to_write, LPDWORD written, BOOL async )
1745 {
1746     BOOL ret;
1747     int num_bytes;
1748
1749     ret = netconn_send( &request->netconn, buffer, to_write, 0, &num_bytes );
1750
1751     if (async)
1752     {
1753         if (ret) send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_WRITE_COMPLETE, &num_bytes, sizeof(DWORD) );
1754         else
1755         {
1756             WINHTTP_ASYNC_RESULT result;
1757             result.dwResult = API_WRITE_DATA;
1758             result.dwError  = get_last_error();
1759             send_callback( &request->hdr, WINHTTP_CALLBACK_STATUS_REQUEST_ERROR, &result, sizeof(result) );
1760         }
1761     }
1762     if (ret && written) *written = num_bytes;
1763     return ret;
1764 }
1765
1766 static void task_write_data( task_header_t *task )
1767 {
1768     write_data_t *w = (write_data_t *)task;
1769     write_data( w->hdr.request, w->buffer, w->to_write, w->written, TRUE );
1770 }
1771
1772 /***********************************************************************
1773  *          WinHttpWriteData (winhttp.@)
1774  */
1775 BOOL WINAPI WinHttpWriteData( HINTERNET hrequest, LPCVOID buffer, DWORD to_write, LPDWORD written )
1776 {
1777     BOOL ret;
1778     request_t *request;
1779
1780     TRACE("%p, %p, %d, %p\n", hrequest, buffer, to_write, written);
1781
1782     if (!(request = (request_t *)grab_object( hrequest )))
1783     {
1784         set_last_error( ERROR_INVALID_HANDLE );
1785         return FALSE;
1786     }
1787     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1788     {
1789         release_object( &request->hdr );
1790         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1791         return FALSE;
1792     }
1793
1794     if (request->connect->hdr.flags & WINHTTP_FLAG_ASYNC)
1795     {
1796         write_data_t *w;
1797
1798         if (!(w = heap_alloc( sizeof(write_data_t) ))) return FALSE;
1799         w->hdr.request = request;
1800         w->hdr.proc    = task_write_data;
1801         w->buffer      = buffer;
1802         w->to_write    = to_write;
1803         w->written     = written;
1804
1805         addref_object( &request->hdr );
1806         ret = queue_task( (task_header_t *)w );
1807     }
1808     else
1809         ret = write_data( request, buffer, to_write, written, FALSE );
1810
1811     release_object( &request->hdr );
1812     return ret;
1813 }
1814
1815 #define ARRAYSIZE(array) (sizeof(array) / sizeof((array)[0]))
1816
1817 static DWORD auth_scheme_from_header( WCHAR *header )
1818 {
1819     static const WCHAR basic[]     = {'B','a','s','i','c'};
1820     static const WCHAR ntlm[]      = {'N','T','L','M'};
1821     static const WCHAR passport[]  = {'P','a','s','s','p','o','r','t'};
1822     static const WCHAR digest[]    = {'D','i','g','e','s','t'};
1823     static const WCHAR negotiate[] = {'N','e','g','o','t','i','a','t','e'};
1824
1825     if (!strncmpiW( header, basic, ARRAYSIZE(basic) ) &&
1826         (header[ARRAYSIZE(basic)] == ' ' || !header[ARRAYSIZE(basic)])) return WINHTTP_AUTH_SCHEME_BASIC;
1827
1828     if (!strncmpiW( header, ntlm, ARRAYSIZE(ntlm) ) &&
1829         (header[ARRAYSIZE(ntlm)] == ' ' || !header[ARRAYSIZE(ntlm)])) return WINHTTP_AUTH_SCHEME_NTLM;
1830
1831     if (!strncmpiW( header, passport, ARRAYSIZE(passport) ) &&
1832         (header[ARRAYSIZE(passport)] == ' ' || !header[ARRAYSIZE(passport)])) return WINHTTP_AUTH_SCHEME_PASSPORT;
1833
1834     if (!strncmpiW( header, digest, ARRAYSIZE(digest) ) &&
1835         (header[ARRAYSIZE(digest)] == ' ' || !header[ARRAYSIZE(digest)])) return WINHTTP_AUTH_SCHEME_DIGEST;
1836
1837     if (!strncmpiW( header, negotiate, ARRAYSIZE(negotiate) ) &&
1838         (header[ARRAYSIZE(negotiate)] == ' ' || !header[ARRAYSIZE(negotiate)])) return WINHTTP_AUTH_SCHEME_NEGOTIATE;
1839
1840     return 0;
1841 }
1842
1843 static BOOL query_auth_schemes( request_t *request, DWORD level, LPDWORD supported, LPDWORD first )
1844 {
1845     DWORD index = 0;
1846     BOOL ret = FALSE;
1847
1848     for (;;)
1849     {
1850         WCHAR *buffer;
1851         DWORD size, scheme;
1852
1853         size = 0;
1854         query_headers( request, level, NULL, NULL, &size, &index );
1855         if (GetLastError() != ERROR_INSUFFICIENT_BUFFER) break;
1856
1857         index--;
1858         if (!(buffer = heap_alloc( size ))) return FALSE;
1859         if (!query_headers( request, level, NULL, buffer, &size, &index ))
1860         {
1861             heap_free( buffer );
1862             return FALSE;
1863         }
1864         scheme = auth_scheme_from_header( buffer );
1865         if (index == 1) *first = scheme;
1866         *supported |= scheme;
1867
1868         heap_free( buffer );
1869         ret = TRUE;
1870     }
1871     return ret;
1872 }
1873
1874 /***********************************************************************
1875  *          WinHttpQueryAuthSchemes (winhttp.@)
1876  */
1877 BOOL WINAPI WinHttpQueryAuthSchemes( HINTERNET hrequest, LPDWORD supported, LPDWORD first, LPDWORD target )
1878 {
1879     BOOL ret = FALSE;
1880     request_t *request;
1881
1882     TRACE("%p, %p, %p, %p\n", hrequest, supported, first, target);
1883
1884     if (!(request = (request_t *)grab_object( hrequest )))
1885     {
1886         set_last_error( ERROR_INVALID_HANDLE );
1887         return FALSE;
1888     }
1889     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
1890     {
1891         release_object( &request->hdr );
1892         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
1893         return FALSE;
1894     }
1895
1896     if (query_auth_schemes( request, WINHTTP_QUERY_WWW_AUTHENTICATE, supported, first ))
1897     {
1898         *target = WINHTTP_AUTH_TARGET_SERVER;
1899         ret = TRUE;
1900     }
1901     else if (query_auth_schemes( request, WINHTTP_QUERY_PROXY_AUTHENTICATE, supported, first ))
1902     {
1903         *target = WINHTTP_AUTH_TARGET_PROXY;
1904         ret = TRUE;
1905     }
1906
1907     release_object( &request->hdr );
1908     return ret;
1909 }
1910
1911 static UINT encode_base64( const char *bin, unsigned int len, WCHAR *base64 )
1912 {
1913     UINT n = 0, x;
1914     static const char base64enc[] =
1915         "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/";
1916
1917     while (len > 0)
1918     {
1919         /* first 6 bits, all from bin[0] */
1920         base64[n++] = base64enc[(bin[0] & 0xfc) >> 2];
1921         x = (bin[0] & 3) << 4;
1922
1923         /* next 6 bits, 2 from bin[0] and 4 from bin[1] */
1924         if (len == 1)
1925         {
1926             base64[n++] = base64enc[x];
1927             base64[n++] = '=';
1928             base64[n++] = '=';
1929             break;
1930         }
1931         base64[n++] = base64enc[x | ((bin[1] & 0xf0) >> 4)];
1932         x = (bin[1] & 0x0f) << 2;
1933
1934         /* next 6 bits 4 from bin[1] and 2 from bin[2] */
1935         if (len == 2)
1936         {
1937             base64[n++] = base64enc[x];
1938             base64[n++] = '=';
1939             break;
1940         }
1941         base64[n++] = base64enc[x | ((bin[2] & 0xc0) >> 6)];
1942
1943         /* last 6 bits, all from bin [2] */
1944         base64[n++] = base64enc[bin[2] & 0x3f];
1945         bin += 3;
1946         len -= 3;
1947     }
1948     base64[n] = 0;
1949     return n;
1950 }
1951
1952 static BOOL set_credentials( request_t *request, DWORD target, DWORD scheme, LPCWSTR username, LPCWSTR password )
1953 {
1954     static const WCHAR basic[] = {'B','a','s','i','c',' ',0};
1955
1956     const WCHAR *auth_scheme, *auth_target;
1957     WCHAR *auth_header;
1958     DWORD len, auth_data_len;
1959     char *auth_data;
1960     BOOL ret;
1961
1962     switch (target)
1963     {
1964     case WINHTTP_AUTH_TARGET_SERVER: auth_target = attr_authorization; break;
1965     case WINHTTP_AUTH_TARGET_PROXY:  auth_target = attr_proxy_authorization; break;
1966     default:
1967         WARN("unknown target %x\n", target);
1968         return FALSE;
1969     }
1970     switch (scheme)
1971     {
1972     case WINHTTP_AUTH_SCHEME_BASIC:
1973     {
1974         int userlen = WideCharToMultiByte( CP_UTF8, 0, username, strlenW( username ), NULL, 0, NULL, NULL );
1975         int passlen = WideCharToMultiByte( CP_UTF8, 0, password, strlenW( password ), NULL, 0, NULL, NULL );
1976
1977         TRACE("basic authentication\n");
1978
1979         auth_scheme = basic;
1980         auth_data_len = userlen + 1 + passlen;
1981         if (!(auth_data = heap_alloc( auth_data_len ))) return FALSE;
1982
1983         WideCharToMultiByte( CP_UTF8, 0, username, -1, auth_data, userlen, NULL, NULL );
1984         auth_data[userlen] = ':';
1985         WideCharToMultiByte( CP_UTF8, 0, password, -1, auth_data + userlen + 1, passlen, NULL, NULL );
1986         break;
1987     }
1988     case WINHTTP_AUTH_SCHEME_NTLM:
1989     case WINHTTP_AUTH_SCHEME_PASSPORT:
1990     case WINHTTP_AUTH_SCHEME_DIGEST:
1991     case WINHTTP_AUTH_SCHEME_NEGOTIATE:
1992         FIXME("unimplemented authentication scheme %x\n", scheme);
1993         return FALSE;
1994     default:
1995         WARN("unknown authentication scheme %x\n", scheme);
1996         return FALSE;
1997     }
1998
1999     len = strlenW( auth_scheme ) + ((auth_data_len + 2) * 4) / 3;
2000     if (!(auth_header = heap_alloc( (len + 1) * sizeof(WCHAR) )))
2001     {
2002         heap_free( auth_data );
2003         return FALSE;
2004     }
2005     strcpyW( auth_header, auth_scheme );
2006     encode_base64( auth_data, auth_data_len, auth_header + strlenW( auth_header ) );
2007
2008     ret = process_header( request, auth_target, auth_header, WINHTTP_ADDREQ_FLAG_ADD | WINHTTP_ADDREQ_FLAG_REPLACE, TRUE );
2009
2010     heap_free( auth_data );
2011     heap_free( auth_header );
2012     return ret;
2013 }
2014
2015 /***********************************************************************
2016  *          WinHttpSetCredentials (winhttp.@)
2017  */
2018 BOOL WINAPI WinHttpSetCredentials( HINTERNET hrequest, DWORD target, DWORD scheme, LPCWSTR username,
2019                                    LPCWSTR password, LPVOID params )
2020 {
2021     BOOL ret;
2022     request_t *request;
2023
2024     TRACE("%p, %x, 0x%08x, %s, %p, %p\n", hrequest, target, scheme, debugstr_w(username), password, params);
2025
2026     if (!(request = (request_t *)grab_object( hrequest )))
2027     {
2028         set_last_error( ERROR_INVALID_HANDLE );
2029         return FALSE;
2030     }
2031     if (request->hdr.type != WINHTTP_HANDLE_TYPE_REQUEST)
2032     {
2033         release_object( &request->hdr );
2034         set_last_error( ERROR_WINHTTP_INCORRECT_HANDLE_TYPE );
2035         return FALSE;
2036     }
2037
2038     ret = set_credentials( request, target, scheme, username, password );
2039
2040     release_object( &request->hdr );
2041     return ret;
2042 }