git.oblomov.eu Git - wine/blob - server/fd.c

   1 /*
   2  * Server-side file descriptor management
   3  *
   4  * Copyright (C) 2000, 2003 Alexandre Julliard
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with this library; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
  19  */
  20
  21
  22 #include "config.h"
  23 #include "wine/port.h"
  24
  25 #include <assert.h>
  26 #include <errno.h>
  27 #include <fcntl.h>
  28 #include <limits.h>
  29 #include <signal.h>
  30 #include <stdarg.h>
  31 #include <stdio.h>
  32 #include <string.h>
  33 #include <stdlib.h>
  34 #ifdef HAVE_POLL_H
  35 #include <poll.h>
  36 #endif
  37 #ifdef HAVE_SYS_POLL_H
  38 #include <sys/poll.h>
  39 #endif
  40 #ifdef HAVE_SYS_EVENT_H
  41 #include <sys/event.h>
  42 #undef LIST_INIT
  43 #undef LIST_ENTRY
  44 #endif
  45 #ifdef HAVE_STDINT_H
  46 #include <stdint.h>
  47 #endif
  48 #include <sys/stat.h>
  49 #include <sys/time.h>
  50 #include <sys/types.h>
  51 #include <unistd.h>
  52
  53 #include "ntstatus.h"
  54 #define WIN32_NO_STATUS
  55 #include "object.h"
  56 #include "file.h"
  57 #include "handle.h"
  58 #include "process.h"
  59 #include "request.h"
  60
  61 #include "winternl.h"
  62
  63 #if defined(HAVE_SYS_EPOLL_H) && defined(HAVE_EPOLL_CREATE)
  64 # include <sys/epoll.h>
  65 # define USE_EPOLL
  66 #elif defined(linux) && defined(__i386__) && defined(HAVE_STDINT_H)
  67 # define USE_EPOLL
  68 # define EPOLLIN POLLIN
  69 # define EPOLLOUT POLLOUT
  70 # define EPOLLERR POLLERR
  71 # define EPOLLHUP POLLHUP
  72 # define EPOLL_CTL_ADD 1
  73 # define EPOLL_CTL_DEL 2
  74 # define EPOLL_CTL_MOD 3
  75
  76 typedef union epoll_data
  77 {
  78   void *ptr;
  79   int fd;
  80   uint32_t u32;
  81   uint64_t u64;
  82 } epoll_data_t;
  83
  84 struct epoll_event
  85 {
  86   uint32_t events;
  87   epoll_data_t data;
  88 };
  89
  90 #define SYSCALL_RET(ret) do { \
  91         if (ret < 0) { errno = -ret; ret = -1; } \
  92         return ret; \
  93     } while(0)
  94
  95 static inline int epoll_create( int size )
  96 {
  97     int ret;
  98     __asm__( "pushl %%ebx; movl %2,%%ebx; int $0x80; popl %%ebx"
  99              : "=a" (ret) : "0" (254 /*NR_epoll_create*/), "r" (size) );
 100     SYSCALL_RET(ret);
 101 }
 102
 103 static inline int epoll_ctl( int epfd, int op, int fd, const struct epoll_event *event )
 104 {
 105     int ret;
 106     __asm__( "pushl %%ebx; movl %2,%%ebx; int $0x80; popl %%ebx"
 107              : "=a" (ret)
 108              : "0" (255 /*NR_epoll_ctl*/), "r" (epfd), "c" (op), "d" (fd), "S" (event), "m" (*event) );
 109     SYSCALL_RET(ret);
 110 }
 111
 112 static inline int epoll_wait( int epfd, struct epoll_event *events, int maxevents, int timeout )
 113 {
 114     int ret;
 115     __asm__( "pushl %%ebx; movl %2,%%ebx; int $0x80; popl %%ebx"
 116              : "=a" (ret)
 117              : "0" (256 /*NR_epoll_wait*/), "r" (epfd), "c" (events), "d" (maxevents), "S" (timeout)
 118              : "memory" );
 119     SYSCALL_RET(ret);
 120 }
 121 #undef SYSCALL_RET
 122
 123 #endif /* linux && __i386__ && HAVE_STDINT_H */
 124
 125
 126 /* Because of the stupid Posix locking semantics, we need to keep
 127  * track of all file descriptors referencing a given file, and not
 128  * close a single one until all the locks are gone (sigh).
 129  */
 130
 131 /* file descriptor object */
 132
 133 /* closed_fd is used to keep track of the unix fd belonging to a closed fd object */
 134 struct closed_fd
 135 {
 136     struct list entry;       /* entry in inode closed list */
 137     int         unix_fd;     /* the unix file descriptor */
 138     char        unlink[1];   /* name to unlink on close (if any) */
 139 };
 140
 141 struct fd
 142 {
 143     struct object        obj;         /* object header */
 144     const struct fd_ops *fd_ops;      /* file descriptor operations */
 145     struct inode        *inode;       /* inode that this fd belongs to */
 146     struct list          inode_entry; /* entry in inode fd list */
 147     struct closed_fd    *closed;      /* structure to store the unix fd at destroy time */
 148     struct object       *user;        /* object using this file descriptor */
 149     struct list          locks;       /* list of locks on this fd */
 150     unsigned int         access;      /* file access (FILE_READ_DATA etc.) */
 151     unsigned int         sharing;     /* file sharing mode */
 152     int                  unix_fd;     /* unix file descriptor */
 153     int                  fs_locks :1; /* can we use filesystem locks for this fd? */
 154     int                  unmounted :1;/* has the device been unmounted? */
 155     int                  poll_index;  /* index of fd in poll array */
 156     struct list          read_q;      /* async readers of this fd */
 157     struct list          write_q;     /* async writers of this fd */
 158 };
 159
 160 static void fd_dump( struct object *obj, int verbose );
 161 static void fd_destroy( struct object *obj );
 162
 163 static const struct object_ops fd_ops =
 164 {
 165     sizeof(struct fd),        /* size */
 166     fd_dump,                  /* dump */
 167     no_add_queue,             /* add_queue */
 168     NULL,                     /* remove_queue */
 169     NULL,                     /* signaled */
 170     NULL,                     /* satisfied */
 171     no_signal,                /* signal */
 172     no_get_fd,                /* get_fd */
 173     no_map_access,            /* map_access */
 174     no_lookup_name,           /* lookup_name */
 175     no_close_handle,          /* close_handle */
 176     fd_destroy                /* destroy */
 177 };
 178
 179 /* device object */
 180
 181 #define DEVICE_HASH_SIZE 7
 182 #define INODE_HASH_SIZE 17
 183
 184 struct device
 185 {
 186     struct object       obj;        /* object header */
 187     struct list         entry;      /* entry in device hash list */
 188     dev_t               dev;        /* device number */
 189     int                 removable;  /* removable device? (or -1 if unknown) */
 190     struct list         inode_hash[INODE_HASH_SIZE];  /* inodes hash table */
 191 };
 192
 193 static void device_dump( struct object *obj, int verbose );
 194 static void device_destroy( struct object *obj );
 195
 196 static const struct object_ops device_ops =
 197 {
 198     sizeof(struct device),    /* size */
 199     device_dump,              /* dump */
 200     no_add_queue,             /* add_queue */
 201     NULL,                     /* remove_queue */
 202     NULL,                     /* signaled */
 203     NULL,                     /* satisfied */
 204     no_signal,                /* signal */
 205     no_get_fd,                /* get_fd */
 206     no_map_access,            /* map_access */
 207     no_lookup_name,           /* lookup_name */
 208     no_close_handle,          /* close_handle */
 209     device_destroy            /* destroy */
 210 };
 211
 212 /* inode object */
 213
 214 struct inode
 215 {
 216     struct object       obj;        /* object header */
 217     struct list         entry;      /* inode hash list entry */
 218     struct device      *device;     /* device containing this inode */
 219     ino_t               ino;        /* inode number */
 220     struct list         open;       /* list of open file descriptors */
 221     struct list         locks;      /* list of file locks */
 222     struct list         closed;     /* list of file descriptors to close at destroy time */
 223 };
 224
 225 static void inode_dump( struct object *obj, int verbose );
 226 static void inode_destroy( struct object *obj );
 227
 228 static const struct object_ops inode_ops =
 229 {
 230     sizeof(struct inode),     /* size */
 231     inode_dump,               /* dump */
 232     no_add_queue,             /* add_queue */
 233     NULL,                     /* remove_queue */
 234     NULL,                     /* signaled */
 235     NULL,                     /* satisfied */
 236     no_signal,                /* signal */
 237     no_get_fd,                /* get_fd */
 238     no_map_access,            /* map_access */
 239     no_lookup_name,           /* lookup_name */
 240     no_close_handle,          /* close_handle */
 241     inode_destroy             /* destroy */
 242 };
 243
 244 /* file lock object */
 245
 246 struct file_lock
 247 {
 248     struct object       obj;         /* object header */
 249     struct fd          *fd;          /* fd owning this lock */
 250     struct list         fd_entry;    /* entry in list of locks on a given fd */
 251     struct list         inode_entry; /* entry in inode list of locks */
 252     int                 shared;      /* shared lock? */
 253     file_pos_t          start;       /* locked region is interval [start;end) */
 254     file_pos_t          end;
 255     struct process     *process;     /* process owning this lock */
 256     struct list         proc_entry;  /* entry in list of locks owned by the process */
 257 };
 258
 259 static void file_lock_dump( struct object *obj, int verbose );
 260 static int file_lock_signaled( struct object *obj, struct thread *thread );
 261
 262 static const struct object_ops file_lock_ops =
 263 {
 264     sizeof(struct file_lock),   /* size */
 265     file_lock_dump,             /* dump */
 266     add_queue,                  /* add_queue */
 267     remove_queue,               /* remove_queue */
 268     file_lock_signaled,         /* signaled */
 269     no_satisfied,               /* satisfied */
 270     no_signal,                  /* signal */
 271     no_get_fd,                  /* get_fd */
 272     no_map_access,              /* map_access */
 273     no_lookup_name,             /* lookup_name */
 274     no_close_handle,            /* close_handle */
 275     no_destroy                  /* destroy */
 276 };
 277
 278
 279 #define OFF_T_MAX       (~((file_pos_t)1 << (8*sizeof(off_t)-1)))
 280 #define FILE_POS_T_MAX  (~(file_pos_t)0)
 281
 282 static file_pos_t max_unix_offset = OFF_T_MAX;
 283
 284 #define DUMP_LONG_LONG(val) do { \
 285     if (sizeof(val) > sizeof(unsigned long) && (val) > ~0UL) \
 286         fprintf( stderr, "%lx%08lx", (unsigned long)((unsigned long long)(val) >> 32), (unsigned long)(val) ); \
 287     else \
 288         fprintf( stderr, "%lx", (unsigned long)(val) ); \
 289   } while (0)
 290
 291
 292
 293 /****************************************************************/
 294 /* timeouts support */
 295
 296 struct timeout_user
 297 {
 298     struct list           entry;      /* entry in sorted timeout list */
 299     struct timeval        when;       /* timeout expiry (absolute time) */
 300     timeout_callback      callback;   /* callback function */
 301     void                 *private;    /* callback private data */
 302 };
 303
 304 static struct list timeout_list = LIST_INIT(timeout_list);   /* sorted timeouts list */
 305 struct timeval current_time;
 306
 307 /* add a timeout user */
 308 struct timeout_user *add_timeout_user( const struct timeval *when, timeout_callback func,
 309                                        void *private )
 310 {
 311     struct timeout_user *user;
 312     struct list *ptr;
 313
 314     if (!(user = mem_alloc( sizeof(*user) ))) return NULL;
 315     user->when     = *when;
 316     user->callback = func;
 317     user->private  = private;
 318
 319     /* Now insert it in the linked list */
 320
 321     LIST_FOR_EACH( ptr, &timeout_list )
 322     {
 323         struct timeout_user *timeout = LIST_ENTRY( ptr, struct timeout_user, entry );
 324         if (!time_before( &timeout->when, when )) break;
 325     }
 326     list_add_before( ptr, &user->entry );
 327     return user;
 328 }
 329
 330 /* remove a timeout user */
 331 void remove_timeout_user( struct timeout_user *user )
 332 {
 333     list_remove( &user->entry );
 334     free( user );
 335 }
 336
 337 /* add a timeout in milliseconds to an absolute time */
 338 void add_timeout( struct timeval *when, int timeout )
 339 {
 340     if (timeout)
 341     {
 342         long sec = timeout / 1000;
 343         if ((when->tv_usec += (timeout - 1000*sec) * 1000) >= 1000000)
 344         {
 345             when->tv_usec -= 1000000;
 346             when->tv_sec++;
 347         }
 348         when->tv_sec += sec;
 349     }
 350 }
 351
 352
 353 /****************************************************************/
 354 /* poll support */
 355
 356 static struct fd **poll_users;              /* users array */
 357 static struct pollfd *pollfd;               /* poll fd array */
 358 static int nb_users;                        /* count of array entries actually in use */
 359 static int active_users;                    /* current number of active users */
 360 static int allocated_users;                 /* count of allocated entries in the array */
 361 static struct fd **freelist;                /* list of free entries in the array */
 362
 363 static int get_next_timeout(void);
 364
 365 #ifdef USE_EPOLL
 366
 367 static int epoll_fd = -1;
 368
 369 static inline void init_epoll(void)
 370 {
 371     epoll_fd = epoll_create( 128 );
 372 }
 373
 374 /* set the events that epoll waits for on this fd; helper for set_fd_events */
 375 static inline void set_fd_epoll_events( struct fd *fd, int user, int events )
 376 {
 377     struct epoll_event ev;
 378     int ctl;
 379
 380     if (epoll_fd == -1) return;
 381
 382     if (events == -1)  /* stop waiting on this fd completely */
 383     {
 384         if (pollfd[user].fd == -1) return;  /* already removed */
 385         ctl = EPOLL_CTL_DEL;
 386     }
 387     else if (pollfd[user].fd == -1)
 388     {
 389         if (pollfd[user].events) return;  /* stopped waiting on it, don't restart */
 390         ctl = EPOLL_CTL_ADD;
 391     }
 392     else
 393     {
 394         if (pollfd[user].events == events) return;  /* nothing to do */
 395         ctl = EPOLL_CTL_MOD;
 396     }
 397
 398     ev.events = events;
 399     memset(&ev.data, 0, sizeof(ev.data));
 400     ev.data.u32 = user;
 401
 402     if (epoll_ctl( epoll_fd, ctl, fd->unix_fd, &ev ) == -1)
 403     {
 404         if (errno == ENOMEM)  /* not enough memory, give up on epoll */
 405         {
 406             close( epoll_fd );
 407             epoll_fd = -1;
 408         }
 409         else perror( "epoll_ctl" );  /* should not happen */
 410     }
 411 }
 412
 413 static inline void remove_epoll_user( struct fd *fd, int user )
 414 {
 415     if (epoll_fd == -1) return;
 416
 417     if (pollfd[user].fd != -1)
 418     {
 419         struct epoll_event dummy;
 420         epoll_ctl( epoll_fd, EPOLL_CTL_DEL, fd->unix_fd, &dummy );
 421     }
 422 }
 423
 424 static inline void main_loop_epoll(void)
 425 {
 426     int i, ret, timeout;
 427     struct epoll_event events[128];
 428
 429     assert( POLLIN == EPOLLIN );
 430     assert( POLLOUT == EPOLLOUT );
 431     assert( POLLERR == EPOLLERR );
 432     assert( POLLHUP == EPOLLHUP );
 433
 434     if (epoll_fd == -1) return;
 435
 436     while (active_users)
 437     {
 438         timeout = get_next_timeout();
 439
 440         if (!active_users) break;  /* last user removed by a timeout */
 441         if (epoll_fd == -1) break;  /* an error occurred with epoll */
 442
 443         ret = epoll_wait( epoll_fd, events, sizeof(events)/sizeof(events[0]), timeout );
 444         gettimeofday( &current_time, NULL );
 445
 446         /* put the events into the pollfd array first, like poll does */
 447         for (i = 0; i < ret; i++)
 448         {
 449             int user = events[i].data.u32;
 450             pollfd[user].revents = events[i].events;
 451         }
 452
 453         /* read events from the pollfd array, as set_fd_events may modify them */
 454         for (i = 0; i < ret; i++)
 455         {
 456             int user = events[i].data.u32;
 457             if (pollfd[user].revents) fd_poll_event( poll_users[user], pollfd[user].revents );
 458         }
 459     }
 460 }
 461
 462 #elif defined(HAVE_KQUEUE)
 463
 464 static int kqueue_fd = -1;
 465
 466 static inline void init_epoll(void)
 467 {
 468 #ifndef __APPLE__ /* kqueue support is broken in the MacOS kernel so we can't use it */
 469     kqueue_fd = kqueue();
 470 #endif
 471 }
 472
 473 static inline void set_fd_epoll_events( struct fd *fd, int user, int events )
 474 {
 475     struct kevent ev[2];
 476
 477     if (kqueue_fd == -1) return;
 478
 479     EV_SET( &ev[0], fd->unix_fd, EVFILT_READ, 0, NOTE_LOWAT, 1, (void *)user );
 480     EV_SET( &ev[1], fd->unix_fd, EVFILT_WRITE, 0, NOTE_LOWAT, 1, (void *)user );
 481
 482     if (events == -1)  /* stop waiting on this fd completely */
 483     {
 484         if (pollfd[user].fd == -1) return;  /* already removed */
 485         ev[0].flags |= EV_DELETE;
 486         ev[1].flags |= EV_DELETE;
 487     }
 488     else if (pollfd[user].fd == -1)
 489     {
 490         if (pollfd[user].events) return;  /* stopped waiting on it, don't restart */
 491         ev[0].flags |= EV_ADD | ((events & POLLIN) ? EV_ENABLE : EV_DISABLE);
 492         ev[1].flags |= EV_ADD | ((events & POLLOUT) ? EV_ENABLE : EV_DISABLE);
 493     }
 494     else
 495     {
 496         if (pollfd[user].events == events) return;  /* nothing to do */
 497         ev[0].flags |= (events & POLLIN) ? EV_ENABLE : EV_DISABLE;
 498         ev[1].flags |= (events & POLLOUT) ? EV_ENABLE : EV_DISABLE;
 499     }
 500
 501     if (kevent( kqueue_fd, ev, 2, NULL, 0, NULL ) == -1)
 502     {
 503         if (errno == ENOMEM)  /* not enough memory, give up on kqueue */
 504         {
 505             close( kqueue_fd );
 506             kqueue_fd = -1;
 507         }
 508         else perror( "kevent" );  /* should not happen */
 509     }
 510 }
 511
 512 static inline void remove_epoll_user( struct fd *fd, int user )
 513 {
 514     if (kqueue_fd == -1) return;
 515
 516     if (pollfd[user].fd != -1)
 517     {
 518         struct kevent ev[2];
 519
 520         EV_SET( &ev[0], fd->unix_fd, EVFILT_READ, EV_DELETE, 0, 0, 0 );
 521         EV_SET( &ev[1], fd->unix_fd, EVFILT_WRITE, EV_DELETE, 0, 0, 0 );
 522         kevent( kqueue_fd, ev, 2, NULL, 0, NULL );
 523     }
 524 }
 525
 526 static inline void main_loop_epoll(void)
 527 {
 528     int i, ret, timeout;
 529     struct kevent events[128];
 530
 531     if (kqueue_fd == -1) return;
 532
 533     while (active_users)
 534     {
 535         timeout = get_next_timeout();
 536
 537         if (!active_users) break;  /* last user removed by a timeout */
 538         if (kqueue_fd == -1) break;  /* an error occurred with kqueue */
 539
 540         if (timeout != -1)
 541         {
 542             struct timespec ts;
 543
 544             ts.tv_sec = timeout / 1000;
 545             ts.tv_nsec = (timeout % 1000) * 1000000;
 546             ret = kevent( kqueue_fd, NULL, 0, events, sizeof(events)/sizeof(events[0]), &ts );
 547         }
 548         else ret = kevent( kqueue_fd, NULL, 0, events, sizeof(events)/sizeof(events[0]), NULL );
 549
 550         gettimeofday( &current_time, NULL );
 551
 552         /* put the events into the pollfd array first, like poll does */
 553         for (i = 0; i < ret; i++)
 554         {
 555             long user = (long)events[i].udata;
 556             pollfd[user].revents = 0;
 557         }
 558         for (i = 0; i < ret; i++)
 559         {
 560             long user = (long)events[i].udata;
 561             if (events[i].filter == EVFILT_READ) pollfd[user].revents |= POLLIN;
 562             else if (events[i].filter == EVFILT_WRITE) pollfd[user].revents |= POLLOUT;
 563             if (events[i].flags & EV_EOF) pollfd[user].revents |= POLLHUP;
 564             if (events[i].flags & EV_ERROR) pollfd[user].revents |= POLLERR;
 565         }
 566
 567         /* read events from the pollfd array, as set_fd_events may modify them */
 568         for (i = 0; i < ret; i++)
 569         {
 570             long user = (long)events[i].udata;
 571             if (pollfd[user].revents) fd_poll_event( poll_users[user], pollfd[user].revents );
 572             pollfd[user].revents = 0;
 573         }
 574     }
 575 }
 576
 577 #else /* HAVE_KQUEUE */
 578
 579 static inline void init_epoll(void) { }
 580 static inline void set_fd_epoll_events( struct fd *fd, int user, int events ) { }
 581 static inline void remove_epoll_user( struct fd *fd, int user ) { }
 582 static inline void main_loop_epoll(void) { }
 583
 584 #endif /* USE_EPOLL */
 585
 586
 587 /* add a user in the poll array and return its index, or -1 on failure */
 588 static int add_poll_user( struct fd *fd )
 589 {
 590     int ret;
 591     if (freelist)
 592     {
 593         ret = freelist - poll_users;
 594         freelist = (struct fd **)poll_users[ret];
 595     }
 596     else
 597     {
 598         if (nb_users == allocated_users)
 599         {
 600             struct fd **newusers;
 601             struct pollfd *newpoll;
 602             int new_count = allocated_users ? (allocated_users + allocated_users / 2) : 16;
 603             if (!(newusers = realloc( poll_users, new_count * sizeof(*poll_users) ))) return -1;
 604             if (!(newpoll = realloc( pollfd, new_count * sizeof(*pollfd) )))
 605             {
 606                 if (allocated_users)
 607                     poll_users = newusers;
 608                 else
 609                     free( newusers );
 610                 return -1;
 611             }
 612             poll_users = newusers;
 613             pollfd = newpoll;
 614             if (!allocated_users) init_epoll();
 615             allocated_users = new_count;
 616         }
 617         ret = nb_users++;
 618     }
 619     pollfd[ret].fd = -1;
 620     pollfd[ret].events = 0;
 621     pollfd[ret].revents = 0;
 622     poll_users[ret] = fd;
 623     active_users++;
 624     return ret;
 625 }
 626
 627 /* remove a user from the poll list */
 628 static void remove_poll_user( struct fd *fd, int user )
 629 {
 630     assert( user >= 0 );
 631     assert( poll_users[user] == fd );
 632
 633     remove_epoll_user( fd, user );
 634     pollfd[user].fd = -1;
 635     pollfd[user].events = 0;
 636     pollfd[user].revents = 0;
 637     poll_users[user] = (struct fd *)freelist;
 638     freelist = &poll_users[user];
 639     active_users--;
 640 }
 641
 642 /* process pending timeouts and return the time until the next timeout, in milliseconds */
 643 static int get_next_timeout(void)
 644 {
 645     if (!list_empty( &timeout_list ))
 646     {
 647         struct list expired_list, *ptr;
 648
 649         /* first remove all expired timers from the list */
 650
 651         list_init( &expired_list );
 652         while ((ptr = list_head( &timeout_list )) != NULL)
 653         {
 654             struct timeout_user *timeout = LIST_ENTRY( ptr, struct timeout_user, entry );
 655
 656             if (!time_before( &current_time, &timeout->when ))
 657             {
 658                 list_remove( &timeout->entry );
 659                 list_add_tail( &expired_list, &timeout->entry );
 660             }
 661             else break;
 662         }
 663
 664         /* now call the callback for all the removed timers */
 665
 666         while ((ptr = list_head( &expired_list )) != NULL)
 667         {
 668             struct timeout_user *timeout = LIST_ENTRY( ptr, struct timeout_user, entry );
 669             list_remove( &timeout->entry );
 670             timeout->callback( timeout->private );
 671             free( timeout );
 672         }
 673
 674         if ((ptr = list_head( &timeout_list )) != NULL)
 675         {
 676             struct timeout_user *timeout = LIST_ENTRY( ptr, struct timeout_user, entry );
 677             int diff = (timeout->when.tv_sec - current_time.tv_sec) * 1000
 678                      + (timeout->when.tv_usec - current_time.tv_usec + 999) / 1000;
 679             if (diff < 0) diff = 0;
 680             return diff;
 681         }
 682     }
 683     return -1;  /* no pending timeouts */
 684 }
 685
 686 /* server main poll() loop */
 687 void main_loop(void)
 688 {
 689     int i, ret, timeout;
 690
 691     gettimeofday( &current_time, NULL );
 692
 693     main_loop_epoll();
 694     /* fall through to normal poll loop */
 695
 696     while (active_users)
 697     {
 698         timeout = get_next_timeout();
 699
 700         if (!active_users) break;  /* last user removed by a timeout */
 701
 702         ret = poll( pollfd, nb_users, timeout );
 703         gettimeofday( &current_time, NULL );
 704
 705         if (ret > 0)
 706         {
 707             for (i = 0; i < nb_users; i++)
 708             {
 709                 if (pollfd[i].revents)
 710                 {
 711                     fd_poll_event( poll_users[i], pollfd[i].revents );
 712                     if (!--ret) break;
 713                 }
 714             }
 715         }
 716     }
 717 }
 718
 719
 720 /****************************************************************/
 721 /* device functions */
 722
 723 static struct list device_hash[DEVICE_HASH_SIZE];
 724
 725 /* retrieve the device object for a given fd, creating it if needed */
 726 static struct device *get_device( dev_t dev, int create )
 727 {
 728     struct device *device;
 729     unsigned int i, hash = dev % DEVICE_HASH_SIZE;
 730
 731     if (device_hash[hash].next)
 732     {
 733         LIST_FOR_EACH_ENTRY( device, &device_hash[hash], struct device, entry )
 734             if (device->dev == dev) return (struct device *)grab_object( device );
 735     }
 736     else list_init( &device_hash[hash] );
 737
 738     /* not found, create it */
 739
 740     if (!create) return NULL;
 741     if ((device = alloc_object( &device_ops )))
 742     {
 743         device->dev = dev;
 744         device->removable = -1;
 745         for (i = 0; i < INODE_HASH_SIZE; i++) list_init( &device->inode_hash[i] );
 746         list_add_head( &device_hash[hash], &device->entry );
 747     }
 748     return device;
 749 }
 750
 751 static void device_dump( struct object *obj, int verbose )
 752 {
 753     struct device *device = (struct device *)obj;
 754     fprintf( stderr, "Device dev=" );
 755     DUMP_LONG_LONG( device->dev );
 756     fprintf( stderr, "\n" );
 757 }
 758
 759 static void device_destroy( struct object *obj )
 760 {
 761     struct device *device = (struct device *)obj;
 762     unsigned int i;
 763
 764     for (i = 0; i < INODE_HASH_SIZE; i++)
 765         assert( list_empty(&device->inode_hash[i]) );
 766
 767     list_remove( &device->entry );  /* remove it from the hash table */
 768 }
 769
 770
 771 /****************************************************************/
 772 /* inode functions */
 773
 774 /* close all pending file descriptors in the closed list */
 775 static void inode_close_pending( struct inode *inode, int keep_unlinks )
 776 {
 777     struct list *ptr = list_head( &inode->closed );
 778
 779     while (ptr)
 780     {
 781         struct closed_fd *fd = LIST_ENTRY( ptr, struct closed_fd, entry );
 782         struct list *next = list_next( &inode->closed, ptr );
 783
 784         if (fd->unix_fd != -1)
 785         {
 786             close( fd->unix_fd );
 787             fd->unix_fd = -1;
 788         }
 789         if (!keep_unlinks || !fd->unlink[0])  /* get rid of it unless there's an unlink pending on that file */
 790         {
 791             list_remove( ptr );
 792             free( fd );
 793         }
 794         ptr = next;
 795     }
 796 }
 797
 798 static void inode_dump( struct object *obj, int verbose )
 799 {
 800     struct inode *inode = (struct inode *)obj;
 801     fprintf( stderr, "Inode device=%p ino=", inode->device );
 802     DUMP_LONG_LONG( inode->ino );
 803     fprintf( stderr, "\n" );
 804 }
 805
 806 static void inode_destroy( struct object *obj )
 807 {
 808     struct inode *inode = (struct inode *)obj;
 809     struct list *ptr;
 810
 811     assert( list_empty(&inode->open) );
 812     assert( list_empty(&inode->locks) );
 813
 814     list_remove( &inode->entry );
 815
 816     while ((ptr = list_head( &inode->closed )))
 817     {
 818         struct closed_fd *fd = LIST_ENTRY( ptr, struct closed_fd, entry );
 819         list_remove( ptr );
 820         if (fd->unix_fd != -1) close( fd->unix_fd );
 821         if (fd->unlink[0])
 822         {
 823             /* make sure it is still the same file */
 824             struct stat st;
 825             if (!stat( fd->unlink, &st ) && st.st_dev == inode->device->dev && st.st_ino == inode->ino)
 826             {
 827                 if (S_ISDIR(st.st_mode)) rmdir( fd->unlink );
 828                 else unlink( fd->unlink );
 829             }
 830         }
 831         free( fd );
 832     }
 833     release_object( inode->device );
 834 }
 835
 836 /* retrieve the inode object for a given fd, creating it if needed */
 837 static struct inode *get_inode( dev_t dev, ino_t ino )
 838 {
 839     struct device *device;
 840     struct inode *inode;
 841     unsigned int hash = ino % INODE_HASH_SIZE;
 842
 843     if (!(device = get_device( dev, 1 ))) return NULL;
 844
 845     LIST_FOR_EACH_ENTRY( inode, &device->inode_hash[hash], struct inode, entry )
 846     {
 847         if (inode->ino == ino)
 848         {
 849             release_object( device );
 850             return (struct inode *)grab_object( inode );
 851         }
 852     }
 853
 854     /* not found, create it */
 855     if ((inode = alloc_object( &inode_ops )))
 856     {
 857         inode->device = device;
 858         inode->ino    = ino;
 859         list_init( &inode->open );
 860         list_init( &inode->locks );
 861         list_init( &inode->closed );
 862         list_add_head( &device->inode_hash[hash], &inode->entry );
 863     }
 864     else release_object( device );
 865
 866     return inode;
 867 }
 868
 869 /* add fd to the inode list of file descriptors to close */
 870 static void inode_add_closed_fd( struct inode *inode, struct closed_fd *fd )
 871 {
 872     if (!list_empty( &inode->locks ))
 873     {
 874         list_add_head( &inode->closed, &fd->entry );
 875     }
 876     else if (fd->unlink[0])  /* close the fd but keep the structure around for unlink */
 877     {
 878         if (fd->unix_fd != -1) close( fd->unix_fd );
 879         fd->unix_fd = -1;
 880         list_add_head( &inode->closed, &fd->entry );
 881     }
 882     else  /* no locks on this inode and no unlink, get rid of the fd */
 883     {
 884         if (fd->unix_fd != -1) close( fd->unix_fd );
 885         free( fd );
 886     }
 887 }
 888
 889
 890 /****************************************************************/
 891 /* file lock functions */
 892
 893 static void file_lock_dump( struct object *obj, int verbose )
 894 {
 895     struct file_lock *lock = (struct file_lock *)obj;
 896     fprintf( stderr, "Lock %s fd=%p proc=%p start=",
 897              lock->shared ? "shared" : "excl", lock->fd, lock->process );
 898     DUMP_LONG_LONG( lock->start );
 899     fprintf( stderr, " end=" );
 900     DUMP_LONG_LONG( lock->end );
 901     fprintf( stderr, "\n" );
 902 }
 903
 904 static int file_lock_signaled( struct object *obj, struct thread *thread )
 905 {
 906     struct file_lock *lock = (struct file_lock *)obj;
 907     /* lock is signaled if it has lost its owner */
 908     return !lock->process;
 909 }
 910
 911 /* set (or remove) a Unix lock if possible for the given range */
 912 static int set_unix_lock( struct fd *fd, file_pos_t start, file_pos_t end, int type )
 913 {
 914     struct flock fl;
 915
 916     if (!fd->fs_locks) return 1;  /* no fs locks possible for this fd */
 917     for (;;)
 918     {
 919         if (start == end) return 1;  /* can't set zero-byte lock */
 920         if (start > max_unix_offset) return 1;  /* ignore it */
 921         fl.l_type   = type;
 922         fl.l_whence = SEEK_SET;
 923         fl.l_start  = start;
 924         if (!end || end > max_unix_offset) fl.l_len = 0;
 925         else fl.l_len = end - start;
 926         if (fcntl( fd->unix_fd, F_SETLK, &fl ) != -1) return 1;
 927
 928         switch(errno)
 929         {
 930         case EACCES:
 931             /* check whether locks work at all on this file system */
 932             if (fcntl( fd->unix_fd, F_GETLK, &fl ) != -1)
 933             {
 934                 set_error( STATUS_FILE_LOCK_CONFLICT );
 935                 return 0;
 936             }
 937             /* fall through */
 938         case EIO:
 939         case ENOLCK:
 940             /* no locking on this fs, just ignore it */
 941             fd->fs_locks = 0;
 942             return 1;
 943         case EAGAIN:
 944             set_error( STATUS_FILE_LOCK_CONFLICT );
 945             return 0;
 946         case EBADF:
 947             /* this can happen if we try to set a write lock on a read-only file */
 948             /* we just ignore that error */
 949             if (fl.l_type == F_WRLCK) return 1;
 950             set_error( STATUS_ACCESS_DENIED );
 951             return 0;
 952 #ifdef EOVERFLOW
 953         case EOVERFLOW:
 954 #endif
 955         case EINVAL:
 956             /* this can happen if off_t is 64-bit but the kernel only supports 32-bit */
 957             /* in that case we shrink the limit and retry */
 958             if (max_unix_offset > INT_MAX)
 959             {
 960                 max_unix_offset = INT_MAX;
 961                 break;  /* retry */
 962             }
 963             /* fall through */
 964         default:
 965             file_set_error();
 966             return 0;
 967         }
 968     }
 969 }
 970
 971 /* check if interval [start;end) overlaps the lock */
 972 inline static int lock_overlaps( struct file_lock *lock, file_pos_t start, file_pos_t end )
 973 {
 974     if (lock->end && start >= lock->end) return 0;
 975     if (end && lock->start >= end) return 0;
 976     return 1;
 977 }
 978
 979 /* remove Unix locks for all bytes in the specified area that are no longer locked */
 980 static void remove_unix_locks( struct fd *fd, file_pos_t start, file_pos_t end )
 981 {
 982     struct hole
 983     {
 984         struct hole *next;
 985         struct hole *prev;
 986         file_pos_t   start;
 987         file_pos_t   end;
 988     } *first, *cur, *next, *buffer;
 989
 990     struct list *ptr;
 991     int count = 0;
 992
 993     if (!fd->inode) return;
 994     if (!fd->fs_locks) return;
 995     if (start == end || start > max_unix_offset) return;
 996     if (!end || end > max_unix_offset) end = max_unix_offset + 1;
 997
 998     /* count the number of locks overlapping the specified area */
 999
1000     LIST_FOR_EACH( ptr, &fd->inode->locks )
1001     {
1002         struct file_lock *lock = LIST_ENTRY( ptr, struct file_lock, inode_entry );
1003         if (lock->start == lock->end) continue;
1004         if (lock_overlaps( lock, start, end )) count++;
1005     }
1006
1007     if (!count)  /* no locks at all, we can unlock everything */
1008     {
1009         set_unix_lock( fd, start, end, F_UNLCK );
1010         return;
1011     }
1012
1013     /* allocate space for the list of holes */
1014     /* max. number of holes is number of locks + 1 */
1015
1016     if (!(buffer = malloc( sizeof(*buffer) * (count+1) ))) return;
1017     first = buffer;
1018     first->next  = NULL;
1019     first->prev  = NULL;
1020     first->start = start;
1021     first->end   = end;
1022     next = first + 1;
1023
1024     /* build a sorted list of unlocked holes in the specified area */
1025
1026     LIST_FOR_EACH( ptr, &fd->inode->locks )
1027     {
1028         struct file_lock *lock = LIST_ENTRY( ptr, struct file_lock, inode_entry );
1029         if (lock->start == lock->end) continue;
1030         if (!lock_overlaps( lock, start, end )) continue;
1031
1032         /* go through all the holes touched by this lock */
1033         for (cur = first; cur; cur = cur->next)
1034         {
1035             if (cur->end <= lock->start) continue; /* hole is before start of lock */
1036             if (lock->end && cur->start >= lock->end) break;  /* hole is after end of lock */
1037
1038             /* now we know that lock is overlapping hole */
1039
1040             if (cur->start >= lock->start)  /* lock starts before hole, shrink from start */
1041             {
1042                 cur->start = lock->end;
1043                 if (cur->start && cur->start < cur->end) break;  /* done with this lock */
1044                 /* now hole is empty, remove it */
1045                 if (cur->next) cur->next->prev = cur->prev;
1046                 if (cur->prev) cur->prev->next = cur->next;
1047                 else if (!(first = cur->next)) goto done;  /* no more holes at all */
1048             }
1049             else if (!lock->end || cur->end <= lock->end)  /* lock larger than hole, shrink from end */
1050             {
1051                 cur->end = lock->start;
1052                 assert( cur->start < cur->end );
1053             }
1054             else  /* lock is in the middle of hole, split hole in two */
1055             {
1056                 next->prev = cur;
1057                 next->next = cur->next;
1058                 cur->next = next;
1059                 next->start = lock->end;
1060                 next->end = cur->end;
1061                 cur->end = lock->start;
1062                 assert( next->start < next->end );
1063                 assert( cur->end < next->start );
1064                 next++;
1065                 break;  /* done with this lock */
1066             }
1067         }
1068     }
1069
1070     /* clear Unix locks for all the holes */
1071
1072     for (cur = first; cur; cur = cur->next)
1073         set_unix_lock( fd, cur->start, cur->end, F_UNLCK );
1074
1075  done:
1076     free( buffer );
1077 }
1078
1079 /* create a new lock on a fd */
1080 static struct file_lock *add_lock( struct fd *fd, int shared, file_pos_t start, file_pos_t end )
1081 {
1082     struct file_lock *lock;
1083
1084     if (!fd->inode)  /* not a regular file */
1085     {
1086         set_error( STATUS_INVALID_HANDLE );
1087         return NULL;
1088     }
1089
1090     if (!(lock = alloc_object( &file_lock_ops ))) return NULL;
1091     lock->shared  = shared;
1092     lock->start   = start;
1093     lock->end     = end;
1094     lock->fd      = fd;
1095     lock->process = current->process;
1096
1097     /* now try to set a Unix lock */
1098     if (!set_unix_lock( lock->fd, lock->start, lock->end, lock->shared ? F_RDLCK : F_WRLCK ))
1099     {
1100         release_object( lock );
1101         return NULL;
1102     }
1103     list_add_head( &fd->locks, &lock->fd_entry );
1104     list_add_head( &fd->inode->locks, &lock->inode_entry );
1105     list_add_head( &lock->process->locks, &lock->proc_entry );
1106     return lock;
1107 }
1108
1109 /* remove an existing lock */
1110 static void remove_lock( struct file_lock *lock, int remove_unix )
1111 {
1112     struct inode *inode = lock->fd->inode;
1113
1114     list_remove( &lock->fd_entry );
1115     list_remove( &lock->inode_entry );
1116     list_remove( &lock->proc_entry );
1117     if (remove_unix) remove_unix_locks( lock->fd, lock->start, lock->end );
1118     if (list_empty( &inode->locks )) inode_close_pending( inode, 1 );
1119     lock->process = NULL;
1120     wake_up( &lock->obj, 0 );
1121     release_object( lock );
1122 }
1123
1124 /* remove all locks owned by a given process */
1125 void remove_process_locks( struct process *process )
1126 {
1127     struct list *ptr;
1128
1129     while ((ptr = list_head( &process->locks )))
1130     {
1131         struct file_lock *lock = LIST_ENTRY( ptr, struct file_lock, proc_entry );
1132         remove_lock( lock, 1 );  /* this removes it from the list */
1133     }
1134 }
1135
1136 /* remove all locks on a given fd */
1137 static void remove_fd_locks( struct fd *fd )
1138 {
1139     file_pos_t start = FILE_POS_T_MAX, end = 0;
1140     struct list *ptr;
1141
1142     while ((ptr = list_head( &fd->locks )))
1143     {
1144         struct file_lock *lock = LIST_ENTRY( ptr, struct file_lock, fd_entry );
1145         if (lock->start < start) start = lock->start;
1146         if (!lock->end || lock->end > end) end = lock->end - 1;
1147         remove_lock( lock, 0 );
1148     }
1149     if (start < end) remove_unix_locks( fd, start, end + 1 );
1150 }
1151
1152 /* add a lock on an fd */
1153 /* returns handle to wait on */
1154 obj_handle_t lock_fd( struct fd *fd, file_pos_t start, file_pos_t count, int shared, int wait )
1155 {
1156     struct list *ptr;
1157     file_pos_t end = start + count;
1158
1159     /* don't allow wrapping locks */
1160     if (end && end < start)
1161     {
1162         set_error( STATUS_INVALID_PARAMETER );
1163         return 0;
1164     }
1165
1166     /* check if another lock on that file overlaps the area */
1167     LIST_FOR_EACH( ptr, &fd->inode->locks )
1168     {
1169         struct file_lock *lock = LIST_ENTRY( ptr, struct file_lock, inode_entry );
1170         if (!lock_overlaps( lock, start, end )) continue;
1171         if (lock->shared && shared) continue;
1172         /* found one */
1173         if (!wait)
1174         {
1175             set_error( STATUS_FILE_LOCK_CONFLICT );
1176             return 0;
1177         }
1178         set_error( STATUS_PENDING );
1179         return alloc_handle( current->process, lock, SYNCHRONIZE, 0 );
1180     }
1181
1182     /* not found, add it */
1183     if (add_lock( fd, shared, start, end )) return 0;
1184     if (get_error() == STATUS_FILE_LOCK_CONFLICT)
1185     {
1186         /* Unix lock conflict -> tell client to wait and retry */
1187         if (wait) set_error( STATUS_PENDING );
1188     }
1189     return 0;
1190 }
1191
1192 /* remove a lock on an fd */
1193 void unlock_fd( struct fd *fd, file_pos_t start, file_pos_t count )
1194 {
1195     struct list *ptr;
1196     file_pos_t end = start + count;
1197
1198     /* find an existing lock with the exact same parameters */
1199     LIST_FOR_EACH( ptr, &fd->locks )
1200     {
1201         struct file_lock *lock = LIST_ENTRY( ptr, struct file_lock, fd_entry );
1202         if ((lock->start == start) && (lock->end == end))
1203         {
1204             remove_lock( lock, 1 );
1205             return;
1206         }
1207     }
1208     set_error( STATUS_FILE_LOCK_CONFLICT );
1209 }
1210
1211
1212 /****************************************************************/
1213 /* asynchronous operations support */
1214
1215 struct async
1216 {
1217     struct thread       *thread;
1218     void                *apc;
1219     void                *user;
1220     void                *sb;
1221     struct timeout_user *timeout;
1222     struct list          entry;
1223 };
1224
1225 /* notifies client thread of new status of its async request */
1226 /* destroys the server side of it */
1227 static void async_terminate( struct async *async, int status )
1228 {
1229     thread_queue_apc( async->thread, NULL, async->apc, APC_ASYNC_IO,
1230                       1, async->user, async->sb, (void *)status );
1231
1232     if (async->timeout) remove_timeout_user( async->timeout );
1233     async->timeout = NULL;
1234     list_remove( &async->entry );
1235     release_object( async->thread );
1236     free( async );
1237 }
1238
1239 /* cb for timeout on an async request */
1240 static void async_callback(void *private)
1241 {
1242     struct async *async = (struct async *)private;
1243
1244     /* fprintf(stderr, "async timeout out %p\n", async); */
1245     async->timeout = NULL;
1246     async_terminate( async, STATUS_TIMEOUT );
1247 }
1248
1249 /* create an async on a given queue of a fd */
1250 struct async *create_async( struct thread *thread, const struct timeval *timeout,
1251                             struct list *queue, void *io_apc, void *io_user, void* io_sb )
1252 {
1253     struct async *async = mem_alloc( sizeof(struct async) );
1254
1255     if (!async) return NULL;
1256
1257     async->thread = (struct thread *)grab_object(thread);
1258     async->apc = io_apc;
1259     async->user = io_user;
1260     async->sb = io_sb;
1261
1262     list_add_tail( queue, &async->entry );
1263
1264     if (timeout) async->timeout = add_timeout_user( timeout, async_callback, async );
1265     else async->timeout = NULL;
1266
1267     return async;
1268 }
1269
1270 /* terminate the async operation at the head of the queue */
1271 void async_terminate_head( struct list *queue, int status )
1272 {
1273     struct list *ptr = list_head( queue );
1274     if (ptr) async_terminate( LIST_ENTRY( ptr, struct async, entry ), status );
1275 }
1276
1277 /****************************************************************/
1278 /* file descriptor functions */
1279
1280 static void fd_dump( struct object *obj, int verbose )
1281 {
1282     struct fd *fd = (struct fd *)obj;
1283     fprintf( stderr, "Fd unix_fd=%d user=%p", fd->unix_fd, fd->user );
1284     if (fd->inode) fprintf( stderr, " inode=%p unlink='%s'", fd->inode, fd->closed->unlink );
1285     fprintf( stderr, "\n" );
1286 }
1287
1288 static void fd_destroy( struct object *obj )
1289 {
1290     struct fd *fd = (struct fd *)obj;
1291
1292     async_terminate_queue( &fd->read_q, STATUS_CANCELLED );
1293     async_terminate_queue( &fd->write_q, STATUS_CANCELLED );
1294
1295     remove_fd_locks( fd );
1296     list_remove( &fd->inode_entry );
1297     if (fd->poll_index != -1) remove_poll_user( fd, fd->poll_index );
1298     if (fd->inode)
1299     {
1300         inode_add_closed_fd( fd->inode, fd->closed );
1301         release_object( fd->inode );
1302     }
1303     else  /* no inode, close it right away */
1304     {
1305         if (fd->unix_fd != -1) close( fd->unix_fd );
1306     }
1307 }
1308
1309 /* set the events that select waits for on this fd */
1310 void set_fd_events( struct fd *fd, int events )
1311 {
1312     int user = fd->poll_index;
1313     assert( poll_users[user] == fd );
1314
1315     set_fd_epoll_events( fd, user, events );
1316
1317     if (events == -1)  /* stop waiting on this fd completely */
1318     {
1319         pollfd[user].fd = -1;
1320         pollfd[user].events = POLLERR;
1321         pollfd[user].revents = 0;
1322     }
1323     else if (pollfd[user].fd != -1 || !pollfd[user].events)
1324     {
1325         pollfd[user].fd = fd->unix_fd;
1326         pollfd[user].events = events;
1327     }
1328 }
1329
1330 /* prepare an fd for unmounting its corresponding device */
1331 static inline void unmount_fd( struct fd *fd )
1332 {
1333     assert( fd->inode );
1334
1335     async_terminate_queue( &fd->read_q, STATUS_VOLUME_DISMOUNTED );
1336     async_terminate_queue( &fd->write_q, STATUS_VOLUME_DISMOUNTED );
1337
1338     if (fd->poll_index != -1) set_fd_events( fd, -1 );
1339
1340     if (fd->unix_fd != -1) close( fd->unix_fd );
1341
1342     fd->unix_fd = -1;
1343     fd->unmounted = 1;
1344     fd->closed->unix_fd = -1;
1345     fd->closed->unlink[0] = 0;
1346
1347     /* stop using Unix locks on this fd (existing locks have been removed by close) */
1348     fd->fs_locks = 0;
1349 }
1350
1351 /* allocate an fd object, without setting the unix fd yet */
1352 static struct fd *alloc_fd_object(void)
1353 {
1354     struct fd *fd = alloc_object( &fd_ops );
1355
1356     if (!fd) return NULL;
1357
1358     fd->fd_ops     = NULL;
1359     fd->user       = NULL;
1360     fd->inode      = NULL;
1361     fd->closed     = NULL;
1362     fd->access     = 0;
1363     fd->sharing    = 0;
1364     fd->unix_fd    = -1;
1365     fd->fs_locks   = 1;
1366     fd->unmounted  = 0;
1367     fd->poll_index = -1;
1368     list_init( &fd->inode_entry );
1369     list_init( &fd->locks );
1370     list_init( &fd->read_q );
1371     list_init( &fd->write_q );
1372
1373     if ((fd->poll_index = add_poll_user( fd )) == -1)
1374     {
1375         release_object( fd );
1376         return NULL;
1377     }
1378     return fd;
1379 }
1380
1381 /* allocate a pseudo fd object, for objects that need to behave like files but don't have a unix fd */
1382 struct fd *alloc_pseudo_fd( const struct fd_ops *fd_user_ops, struct object *user )
1383 {
1384     struct fd *fd = alloc_object( &fd_ops );
1385
1386     if (!fd) return NULL;
1387
1388     fd->fd_ops     = fd_user_ops;
1389     fd->user       = user;
1390     fd->inode      = NULL;
1391     fd->closed     = NULL;
1392     fd->access     = 0;
1393     fd->sharing    = 0;
1394     fd->unix_fd    = -1;
1395     fd->fs_locks   = 0;
1396     fd->unmounted  = 0;
1397     fd->poll_index = -1;
1398     list_init( &fd->inode_entry );
1399     list_init( &fd->locks );
1400     list_init( &fd->read_q );
1401     list_init( &fd->write_q );
1402     return fd;
1403 }
1404
1405 /* check if the desired access is possible without violating */
1406 /* the sharing mode of other opens of the same file */
1407 static int check_sharing( struct fd *fd, unsigned int access, unsigned int sharing )
1408 {
1409     unsigned int existing_sharing = FILE_SHARE_READ | FILE_SHARE_WRITE | FILE_SHARE_DELETE;
1410     unsigned int existing_access = 0;
1411     struct list *ptr;
1412
1413     /* if access mode is 0, sharing mode is ignored */
1414     if (!access) sharing = existing_sharing;
1415     fd->access = access;
1416     fd->sharing = sharing;
1417
1418     LIST_FOR_EACH( ptr, &fd->inode->open )
1419     {
1420         struct fd *fd_ptr = LIST_ENTRY( ptr, struct fd, inode_entry );
1421         if (fd_ptr != fd)
1422         {
1423             existing_sharing &= fd_ptr->sharing;
1424             existing_access  |= fd_ptr->access;
1425         }
1426     }
1427
1428     if ((access & FILE_UNIX_READ_ACCESS) && !(existing_sharing & FILE_SHARE_READ)) return 0;
1429     if ((access & FILE_UNIX_WRITE_ACCESS) && !(existing_sharing & FILE_SHARE_WRITE)) return 0;
1430     if ((access & DELETE) && !(existing_sharing & FILE_SHARE_DELETE)) return 0;
1431     if ((existing_access & FILE_UNIX_READ_ACCESS) && !(sharing & FILE_SHARE_READ)) return 0;
1432     if ((existing_access & FILE_UNIX_WRITE_ACCESS) && !(sharing & FILE_SHARE_WRITE)) return 0;
1433     if ((existing_access & DELETE) && !(sharing & FILE_SHARE_DELETE)) return 0;
1434     return 1;
1435 }
1436
1437 /* sets the user of an fd that previously had no user */
1438 void set_fd_user( struct fd *fd, const struct fd_ops *user_ops, struct object *user )
1439 {
1440     assert( fd->fd_ops == NULL );
1441     fd->fd_ops = user_ops;
1442     fd->user   = user;
1443 }
1444
1445 /* open() wrapper that returns a struct fd with no fd user set */
1446 struct fd *open_fd( const char *name, int flags, mode_t *mode, unsigned int access,
1447                     unsigned int sharing, unsigned int options )
1448 {
1449     struct stat st;
1450     struct closed_fd *closed_fd;
1451     struct fd *fd;
1452     const char *unlink_name = "";
1453     int rw_mode;
1454
1455     if ((options & FILE_DELETE_ON_CLOSE) && !(access & DELETE))
1456     {
1457         set_error( STATUS_INVALID_PARAMETER );
1458         return NULL;
1459     }
1460
1461     if (!(fd = alloc_fd_object())) return NULL;
1462
1463     if (options & FILE_DELETE_ON_CLOSE) unlink_name = name;
1464     if (!(closed_fd = mem_alloc( sizeof(*closed_fd) + strlen(unlink_name) )))
1465     {
1466         release_object( fd );
1467         return NULL;
1468     }
1469
1470     /* create the directory if needed */
1471     if ((options & FILE_DIRECTORY_FILE) && (flags & O_CREAT))
1472     {
1473         if (mkdir( name, 0777 ) == -1)
1474         {
1475             if (errno != EEXIST || (flags & O_EXCL))
1476             {
1477                 file_set_error();
1478                 goto error;
1479             }
1480         }
1481         flags &= ~(O_CREAT | O_EXCL | O_TRUNC);
1482     }
1483
1484     if ((access & FILE_UNIX_WRITE_ACCESS) && !(options & FILE_DIRECTORY_FILE))
1485     {
1486         if (access & FILE_UNIX_READ_ACCESS) rw_mode = O_RDWR;
1487         else rw_mode = O_WRONLY;
1488     }
1489     else rw_mode = O_RDONLY;
1490
1491     if ((fd->unix_fd = open( name, rw_mode | (flags & ~O_TRUNC), *mode )) == -1)
1492     {
1493         /* if we tried to open a directory for write access, retry read-only */
1494         if (errno != EISDIR ||
1495             !(access & FILE_UNIX_WRITE_ACCESS) ||
1496             (fd->unix_fd = open( name, O_RDONLY | (flags & ~O_TRUNC), *mode )) == -1)
1497         {
1498             file_set_error();
1499             goto error;
1500         }
1501     }
1502
1503     closed_fd->unix_fd = fd->unix_fd;
1504     closed_fd->unlink[0] = 0;
1505     fstat( fd->unix_fd, &st );
1506     *mode = st.st_mode;
1507
1508     /* only bother with an inode for normal files and directories */
1509     if (S_ISREG(st.st_mode) || S_ISDIR(st.st_mode))
1510     {
1511         struct inode *inode = get_inode( st.st_dev, st.st_ino );
1512
1513         if (!inode)
1514         {
1515             /* we can close the fd because there are no others open on the same file,
1516              * otherwise we wouldn't have failed to allocate a new inode
1517              */
1518             goto error;
1519         }
1520         fd->inode = inode;
1521         fd->closed = closed_fd;
1522         list_add_head( &inode->open, &fd->inode_entry );
1523
1524         /* check directory options */
1525         if ((options & FILE_DIRECTORY_FILE) && !S_ISDIR(st.st_mode))
1526         {
1527             release_object( fd );
1528             set_error( STATUS_NOT_A_DIRECTORY );
1529             return NULL;
1530         }
1531         if ((options & FILE_NON_DIRECTORY_FILE) && S_ISDIR(st.st_mode))
1532         {
1533             release_object( fd );
1534             set_error( STATUS_FILE_IS_A_DIRECTORY );
1535             return NULL;
1536         }
1537         if (!check_sharing( fd, access, sharing ))
1538         {
1539             release_object( fd );
1540             set_error( STATUS_SHARING_VIOLATION );
1541             return NULL;
1542         }
1543         strcpy( closed_fd->unlink, unlink_name );
1544         if (flags & O_TRUNC) ftruncate( fd->unix_fd, 0 );
1545     }
1546     else  /* special file */
1547     {
1548         if (options & FILE_DIRECTORY_FILE)
1549         {
1550             set_error( STATUS_NOT_A_DIRECTORY );
1551             goto error;
1552         }
1553         if (unlink_name[0])  /* we can't unlink special files */
1554         {
1555             set_error( STATUS_INVALID_PARAMETER );
1556             goto error;
1557         }
1558         free( closed_fd );
1559     }
1560     return fd;
1561
1562 error:
1563     release_object( fd );
1564     free( closed_fd );
1565     return NULL;
1566 }
1567
1568 /* create an fd for an anonymous file */
1569 /* if the function fails the unix fd is closed */
1570 struct fd *create_anonymous_fd( const struct fd_ops *fd_user_ops, int unix_fd, struct object *user )
1571 {
1572     struct fd *fd = alloc_fd_object();
1573
1574     if (fd)
1575     {
1576         set_fd_user( fd, fd_user_ops, user );
1577         fd->unix_fd = unix_fd;
1578         return fd;
1579     }
1580     close( unix_fd );
1581     return NULL;
1582 }
1583
1584 /* retrieve the object that is using an fd */
1585 void *get_fd_user( struct fd *fd )
1586 {
1587     return fd->user;
1588 }
1589
1590 /* retrieve the unix fd for an object */
1591 int get_unix_fd( struct fd *fd )
1592 {
1593     if (fd->unix_fd == -1)
1594     {
1595         if (fd->unmounted) set_error( STATUS_VOLUME_DISMOUNTED );
1596         else set_error( STATUS_BAD_DEVICE_TYPE );
1597     }
1598     return fd->unix_fd;
1599 }
1600
1601 /* check if two file descriptors point to the same file */
1602 int is_same_file_fd( struct fd *fd1, struct fd *fd2 )
1603 {
1604     return fd1->inode == fd2->inode;
1605 }
1606
1607 /* callback for event happening in the main poll() loop */
1608 void fd_poll_event( struct fd *fd, int event )
1609 {
1610     return fd->fd_ops->poll_event( fd, event );
1611 }
1612
1613 /* check if events are pending and if yes return which one(s) */
1614 int check_fd_events( struct fd *fd, int events )
1615 {
1616     struct pollfd pfd;
1617
1618     if (fd->unix_fd == -1) return POLLERR;
1619
1620     pfd.fd     = fd->unix_fd;
1621     pfd.events = events;
1622     if (poll( &pfd, 1, 0 ) <= 0) return 0;
1623     return pfd.revents;
1624 }
1625
1626 /* default add_queue() routine for objects that poll() on an fd */
1627 int default_fd_add_queue( struct object *obj, struct wait_queue_entry *entry )
1628 {
1629     struct fd *fd = get_obj_fd( obj );
1630
1631     if (!fd) return 0;
1632     if (!fd->inode && list_empty( &obj->wait_queue ))  /* first on the queue */
1633         set_fd_events( fd, fd->fd_ops->get_poll_events( fd ) );
1634     add_queue( obj, entry );
1635     release_object( fd );
1636     return 1;
1637 }
1638
1639 /* default remove_queue() routine for objects that poll() on an fd */
1640 void default_fd_remove_queue( struct object *obj, struct wait_queue_entry *entry )
1641 {
1642     struct fd *fd = get_obj_fd( obj );
1643
1644     grab_object( obj );
1645     remove_queue( obj, entry );
1646     if (!fd->inode && list_empty( &obj->wait_queue ))  /* last on the queue is gone */
1647         set_fd_events( fd, 0 );
1648     release_object( obj );
1649     release_object( fd );
1650 }
1651
1652 /* default signaled() routine for objects that poll() on an fd */
1653 int default_fd_signaled( struct object *obj, struct thread *thread )
1654 {
1655     int events, ret;
1656     struct fd *fd = get_obj_fd( obj );
1657
1658     if (fd->inode) ret = 1; /* regular files are always signaled */
1659     else
1660     {
1661         events = fd->fd_ops->get_poll_events( fd );
1662         ret = check_fd_events( fd, events ) != 0;
1663
1664         if (ret)
1665         {
1666             /* stop waiting on select() if we are signaled */
1667             set_fd_events( fd, 0 );
1668         }
1669         else if (!list_empty( &obj->wait_queue ))
1670         {
1671             /* restart waiting on poll() if we are no longer signaled */
1672             set_fd_events( fd, events );
1673         }
1674     }
1675     release_object( fd );
1676     return ret;
1677 }
1678
1679 int default_fd_get_poll_events( struct fd *fd )
1680 {
1681     int events = 0;
1682
1683     if (!list_empty( &fd->read_q ))
1684         events |= POLLIN;
1685     if (!list_empty( &fd->write_q ))
1686         events |= POLLOUT;
1687
1688     return events;
1689 }
1690
1691 /* default handler for poll() events */
1692 void default_poll_event( struct fd *fd, int event )
1693 {
1694     if (!list_empty( &fd->read_q ) && (POLLIN & event) )
1695     {
1696         async_terminate_head( &fd->read_q, STATUS_ALERTED );
1697         return;
1698     }
1699     if (!list_empty( &fd->write_q ) && (POLLOUT & event) )
1700     {
1701         async_terminate_head( &fd->write_q, STATUS_ALERTED );
1702         return;
1703     }
1704
1705     /* if an error occurred, stop polling this fd to avoid busy-looping */
1706     if (event & (POLLERR | POLLHUP)) set_fd_events( fd, -1 );
1707     wake_up( fd->user, 0 );
1708 }
1709
1710 void fd_queue_async_timeout( struct fd *fd, void *apc, void *user, void *io_sb, int type, int count,
1711                              const struct timeval *timeout )
1712 {
1713     struct list *queue;
1714     int events;
1715
1716     if (!(fd->fd_ops->get_file_info( fd ) & (FD_FLAG_OVERLAPPED|FD_FLAG_TIMEOUT)))
1717     {
1718         set_error( STATUS_INVALID_HANDLE );
1719         return;
1720     }
1721
1722     switch (type)
1723     {
1724     case ASYNC_TYPE_READ:
1725         queue = &fd->read_q;
1726         break;
1727     case ASYNC_TYPE_WRITE:
1728         queue = &fd->write_q;
1729         break;
1730     default:
1731         set_error( STATUS_INVALID_PARAMETER );
1732         return;
1733     }
1734
1735     if (!create_async( current, timeout, queue, apc, user, io_sb ))
1736         return;
1737
1738     /* Check if the new pending request can be served immediately */
1739     events = check_fd_events( fd, fd->fd_ops->get_poll_events( fd ) );
1740     if (events) fd->fd_ops->poll_event( fd, events );
1741
1742     set_fd_events( fd, fd->fd_ops->get_poll_events( fd ) );
1743 }
1744
1745 void default_fd_queue_async( struct fd *fd, void *apc, void *user, void *io_sb, int type, int count )
1746 {
1747     fd_queue_async_timeout( fd, apc, user, io_sb, type, count, NULL );
1748 }
1749
1750 void default_fd_cancel_async( struct fd *fd )
1751 {
1752     async_terminate_queue( &fd->read_q, STATUS_CANCELLED );
1753     async_terminate_queue( &fd->write_q, STATUS_CANCELLED );
1754 }
1755
1756 /* default flush() routine */
1757 int no_flush( struct fd *fd, struct event **event )
1758 {
1759     set_error( STATUS_OBJECT_TYPE_MISMATCH );
1760     return 0;
1761 }
1762
1763 /* default get_file_info() routine */
1764 int no_get_file_info( struct fd *fd )
1765 {
1766     set_error( STATUS_OBJECT_TYPE_MISMATCH );
1767     return 0;
1768 }
1769
1770 /* default queue_async() routine */
1771 void no_queue_async( struct fd *fd, void* apc, void* user, void* io_sb,
1772                      int type, int count)
1773 {
1774     set_error( STATUS_OBJECT_TYPE_MISMATCH );
1775 }
1776
1777 /* default cancel_async() routine */
1778 void no_cancel_async( struct fd *fd )
1779 {
1780     set_error( STATUS_OBJECT_TYPE_MISMATCH );
1781 }
1782
1783 /* close all Unix file descriptors on a device to allow unmounting it */
1784 static void unmount_device( struct fd *device_fd )
1785 {
1786     unsigned int i;
1787     struct stat st;
1788     struct device *device;
1789     struct inode *inode;
1790     struct fd *fd;
1791     int unix_fd = get_unix_fd( device_fd );
1792
1793     if (unix_fd == -1) return;
1794
1795     if (fstat( unix_fd, &st ) == -1 || !S_ISBLK( st.st_mode ))
1796     {
1797         set_error( STATUS_INVALID_PARAMETER );
1798         return;
1799     }
1800
1801     if (!(device = get_device( st.st_rdev, 0 ))) return;
1802
1803     for (i = 0; i < INODE_HASH_SIZE; i++)
1804     {
1805         LIST_FOR_EACH_ENTRY( inode, &device->inode_hash[i], struct inode, entry )
1806         {
1807             LIST_FOR_EACH_ENTRY( fd, &inode->open, struct fd, inode_entry )
1808             {
1809                 unmount_fd( fd );
1810             }
1811             inode_close_pending( inode, 0 );
1812         }
1813     }
1814     /* remove it from the hash table */
1815     list_remove( &device->entry );
1816     list_init( &device->entry );
1817     release_object( device );
1818 }
1819
1820 /* same as get_handle_obj but retrieve the struct fd associated to the object */
1821 static struct fd *get_handle_fd_obj( struct process *process, obj_handle_t handle,
1822                                      unsigned int access )
1823 {
1824     struct fd *fd = NULL;
1825     struct object *obj;
1826
1827     if ((obj = get_handle_obj( process, handle, access, NULL )))
1828     {
1829         fd = get_obj_fd( obj );
1830         release_object( obj );
1831     }
1832     return fd;
1833 }
1834
1835 /* flush a file buffers */
1836 DECL_HANDLER(flush_file)
1837 {
1838     struct fd *fd = get_handle_fd_obj( current->process, req->handle, 0 );
1839     struct event * event = NULL;
1840
1841     if (fd)
1842     {
1843         fd->fd_ops->flush( fd, &event );
1844         if ( event )
1845         {
1846             reply->event = alloc_handle( current->process, event, SYNCHRONIZE, 0 );
1847         }
1848         release_object( fd );
1849     }
1850 }
1851
1852 /* open a file object */
1853 DECL_HANDLER(open_file_object)
1854 {
1855     struct unicode_str name;
1856     struct directory *root = NULL;
1857     struct object *obj;
1858
1859     get_req_unicode_str( &name );
1860     if (req->rootdir && !(root = get_directory_obj( current->process, req->rootdir, 0 )))
1861         return;
1862
1863     if ((obj = open_object_dir( root, &name, req->attributes, NULL )))
1864     {
1865         /* make sure this is a valid file object */
1866         struct fd *fd = get_obj_fd( obj );
1867         if (fd)
1868         {
1869             reply->handle = alloc_handle( current->process, obj, req->access, req->attributes );
1870             release_object( fd );
1871         }
1872         release_object( obj );
1873     }
1874
1875     if (root) release_object( root );
1876 }
1877
1878 /* get a Unix fd to access a file */
1879 DECL_HANDLER(get_handle_fd)
1880 {
1881     struct fd *fd;
1882
1883     reply->fd = -1;
1884
1885     if ((fd = get_handle_fd_obj( current->process, req->handle, req->access )))
1886     {
1887         int unix_fd = get_unix_fd( fd );
1888         if (unix_fd != -1)
1889         {
1890             int cached_fd = get_handle_unix_fd( current->process, req->handle, req->access );
1891             if (cached_fd != -1) reply->fd = cached_fd;
1892             else if (!get_error()) send_client_fd( current->process, unix_fd, req->handle );
1893         }
1894         if (fd->inode) reply->removable = fd->inode->device->removable;
1895         reply->flags = fd->fd_ops->get_file_info( fd );
1896         release_object( fd );
1897     }
1898 }
1899
1900 /* set the cached file descriptor of a handle */
1901 DECL_HANDLER(set_handle_fd)
1902 {
1903     struct fd *fd;
1904
1905     reply->cur_fd = -1;
1906     if ((fd = get_handle_fd_obj( current->process, req->handle, 0 )))
1907     {
1908         struct device *device = fd->inode ? fd->inode->device : NULL;
1909
1910         if (device && device->removable == -1) device->removable = req->removable;
1911
1912         /* only cache the fd on non-removable devices */
1913         if (!device || !device->removable)
1914             reply->cur_fd = set_handle_unix_fd( current->process, req->handle, req->fd );
1915         release_object( fd );
1916     }
1917 }
1918
1919 /* get ready to unmount a Unix device */
1920 DECL_HANDLER(unmount_device)
1921 {
1922     struct fd *fd;
1923
1924     if ((fd = get_handle_fd_obj( current->process, req->handle, 0 )))
1925     {
1926         unmount_device( fd );
1927         release_object( fd );
1928     }
1929 }
1930
1931 /* create / reschedule an async I/O */
1932 DECL_HANDLER(register_async)
1933 {
1934     struct fd *fd = get_handle_fd_obj( current->process, req->handle, 0 );
1935
1936     /*
1937      * The queue_async method must do the following:
1938      *
1939      * 1. Get the async_queue for the request of given type.
1940      * 2. Create a new asynchronous request for the selected queue
1941      * 3. Carry out any operations necessary to adjust the object's poll events
1942      *    Usually: set_elect_events (obj, obj->ops->get_poll_events()).
1943      * 4. When the async request is triggered, then send back (with a proper APC)
1944      *    the trigger (STATUS_ALERTED) to the thread that posted the request.
1945      *    async_destroy() is to be called: it will both notify the sender about
1946      *    the trigger and destroy the request by itself
1947      * See also the implementations in file.c, serial.c, and sock.c.
1948      */
1949
1950     if (fd)
1951     {
1952         fd->fd_ops->queue_async( fd, req->io_apc, req->io_user, req->io_sb,
1953                                  req->type, req->count );
1954         release_object( fd );
1955     }
1956 }
1957
1958 /* cancels all async I/O */
1959 DECL_HANDLER(cancel_async)
1960 {
1961     struct fd *fd = get_handle_fd_obj( current->process, req->handle, 0 );
1962     if (fd)
1963     {
1964         /* Note: we don't kill the queued APC_ASYNC_IO on this thread because
1965          * NtCancelIoFile() will force the pending APC to be run. Since,
1966          * Windows only guarantees that the current thread will have no async
1967          * operation on the current fd when NtCancelIoFile returns, this shall
1968          * do the work.
1969          */
1970         fd->fd_ops->cancel_async( fd );
1971         release_object( fd );
1972     }
1973 }