git.oblomov.eu Git - wine/blob - server/fd.c

   1 /*
   2  * Server-side file descriptor management
   3  *
   4  * Copyright (C) 2000, 2003 Alexandre Julliard
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with this library; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301, USA
  19  */
  20
  21
  22 #include "config.h"
  23 #include "wine/port.h"
  24
  25 #include <assert.h>
  26 #include <errno.h>
  27 #include <fcntl.h>
  28 #include <limits.h>
  29 #include <signal.h>
  30 #include <stdarg.h>
  31 #include <stdio.h>
  32 #include <string.h>
  33 #include <stdlib.h>
  34 #ifdef HAVE_POLL_H
  35 #include <poll.h>
  36 #endif
  37 #ifdef HAVE_SYS_POLL_H
  38 #include <sys/poll.h>
  39 #endif
  40 #ifdef HAVE_LINUX_MAJOR_H
  41 #include <linux/major.h>
  42 #endif
  43 #ifdef HAVE_SYS_STATVFS_H
  44 #include <sys/statvfs.h>
  45 #endif
  46 #ifdef HAVE_SYS_VFS_H
  47 #include <sys/vfs.h>
  48 #endif
  49 #ifdef HAVE_SYS_PARAM_H
  50 #include <sys/param.h>
  51 #endif
  52 #ifdef HAVE_SYS_MOUNT_H
  53 #include <sys/mount.h>
  54 #endif
  55 #ifdef HAVE_SYS_STATFS_H
  56 #include <sys/statfs.h>
  57 #endif
  58 #ifdef HAVE_SYS_EVENT_H
  59 #include <sys/event.h>
  60 #undef LIST_INIT
  61 #undef LIST_ENTRY
  62 #endif
  63 #ifdef HAVE_STDINT_H
  64 #include <stdint.h>
  65 #endif
  66 #include <sys/stat.h>
  67 #include <sys/time.h>
  68 #include <sys/types.h>
  69 #include <unistd.h>
  70
  71 #include "ntstatus.h"
  72 #define WIN32_NO_STATUS
  73 #include "object.h"
  74 #include "file.h"
  75 #include "handle.h"
  76 #include "process.h"
  77 #include "request.h"
  78
  79 #include "winternl.h"
  80
  81 #if defined(HAVE_SYS_EPOLL_H) && defined(HAVE_EPOLL_CREATE)
  82 # include <sys/epoll.h>
  83 # define USE_EPOLL
  84 #elif defined(linux) && defined(__i386__) && defined(HAVE_STDINT_H)
  85 # define USE_EPOLL
  86 # define EPOLLIN POLLIN
  87 # define EPOLLOUT POLLOUT
  88 # define EPOLLERR POLLERR
  89 # define EPOLLHUP POLLHUP
  90 # define EPOLL_CTL_ADD 1
  91 # define EPOLL_CTL_DEL 2
  92 # define EPOLL_CTL_MOD 3
  93
  94 typedef union epoll_data
  95 {
  96   void *ptr;
  97   int fd;
  98   uint32_t u32;
  99   uint64_t u64;
 100 } epoll_data_t;
 101
 102 struct epoll_event
 103 {
 104   uint32_t events;
 105   epoll_data_t data;
 106 };
 107
 108 #define SYSCALL_RET(ret) do { \
 109         if (ret < 0) { errno = -ret; ret = -1; } \
 110         return ret; \
 111     } while(0)
 112
 113 static inline int epoll_create( int size )
 114 {
 115     int ret;
 116     __asm__( "pushl %%ebx; movl %2,%%ebx; int $0x80; popl %%ebx"
 117              : "=a" (ret) : "0" (254 /*NR_epoll_create*/), "r" (size) );
 118     SYSCALL_RET(ret);
 119 }
 120
 121 static inline int epoll_ctl( int epfd, int op, int fd, const struct epoll_event *event )
 122 {
 123     int ret;
 124     __asm__( "pushl %%ebx; movl %2,%%ebx; int $0x80; popl %%ebx"
 125              : "=a" (ret)
 126              : "0" (255 /*NR_epoll_ctl*/), "r" (epfd), "c" (op), "d" (fd), "S" (event), "m" (*event) );
 127     SYSCALL_RET(ret);
 128 }
 129
 130 static inline int epoll_wait( int epfd, struct epoll_event *events, int maxevents, int timeout )
 131 {
 132     int ret;
 133     __asm__( "pushl %%ebx; movl %2,%%ebx; int $0x80; popl %%ebx"
 134              : "=a" (ret)
 135              : "0" (256 /*NR_epoll_wait*/), "r" (epfd), "c" (events), "d" (maxevents), "S" (timeout)
 136              : "memory" );
 137     SYSCALL_RET(ret);
 138 }
 139 #undef SYSCALL_RET
 140
 141 #endif /* linux && __i386__ && HAVE_STDINT_H */
 142
 143
 144 /* Because of the stupid Posix locking semantics, we need to keep
 145  * track of all file descriptors referencing a given file, and not
 146  * close a single one until all the locks are gone (sigh).
 147  */
 148
 149 /* file descriptor object */
 150
 151 /* closed_fd is used to keep track of the unix fd belonging to a closed fd object */
 152 struct closed_fd
 153 {
 154     struct list entry;       /* entry in inode closed list */
 155     int         unix_fd;     /* the unix file descriptor */
 156     char        unlink[1];   /* name to unlink on close (if any) */
 157 };
 158
 159 struct fd
 160 {
 161     struct object        obj;         /* object header */
 162     const struct fd_ops *fd_ops;      /* file descriptor operations */
 163     struct inode        *inode;       /* inode that this fd belongs to */
 164     struct list          inode_entry; /* entry in inode fd list */
 165     struct closed_fd    *closed;      /* structure to store the unix fd at destroy time */
 166     struct object       *user;        /* object using this file descriptor */
 167     struct list          locks;       /* list of locks on this fd */
 168     unsigned int         access;      /* file access (FILE_READ_DATA etc.) */
 169     unsigned int         sharing;     /* file sharing mode */
 170     int                  unix_fd;     /* unix file descriptor */
 171     int                  signaled :1; /* is the fd signaled? */
 172     int                  fs_locks :1; /* can we use filesystem locks for this fd? */
 173     int                  unmounted :1;/* has the device been unmounted? */
 174     int                  poll_index;  /* index of fd in poll array */
 175     struct async_queue  *read_q;      /* async readers of this fd */
 176     struct async_queue  *write_q;     /* async writers of this fd */
 177     struct async_queue  *wait_q;      /* other async waiters of this fd */
 178 };
 179
 180 static void fd_dump( struct object *obj, int verbose );
 181 static void fd_destroy( struct object *obj );
 182
 183 static const struct object_ops fd_ops =
 184 {
 185     sizeof(struct fd),        /* size */
 186     fd_dump,                  /* dump */
 187     no_add_queue,             /* add_queue */
 188     NULL,                     /* remove_queue */
 189     NULL,                     /* signaled */
 190     NULL,                     /* satisfied */
 191     no_signal,                /* signal */
 192     no_get_fd,                /* get_fd */
 193     no_map_access,            /* map_access */
 194     no_lookup_name,           /* lookup_name */
 195     no_open_file,             /* open_file */
 196     no_close_handle,          /* close_handle */
 197     fd_destroy                /* destroy */
 198 };
 199
 200 /* device object */
 201
 202 #define DEVICE_HASH_SIZE 7
 203 #define INODE_HASH_SIZE 17
 204
 205 struct device
 206 {
 207     struct object       obj;        /* object header */
 208     struct list         entry;      /* entry in device hash list */
 209     dev_t               dev;        /* device number */
 210     int                 removable;  /* removable device? (or -1 if unknown) */
 211     struct list         inode_hash[INODE_HASH_SIZE];  /* inodes hash table */
 212 };
 213
 214 static void device_dump( struct object *obj, int verbose );
 215 static void device_destroy( struct object *obj );
 216
 217 static const struct object_ops device_ops =
 218 {
 219     sizeof(struct device),    /* size */
 220     device_dump,              /* dump */
 221     no_add_queue,             /* add_queue */
 222     NULL,                     /* remove_queue */
 223     NULL,                     /* signaled */
 224     NULL,                     /* satisfied */
 225     no_signal,                /* signal */
 226     no_get_fd,                /* get_fd */
 227     no_map_access,            /* map_access */
 228     no_lookup_name,           /* lookup_name */
 229     no_open_file,             /* open_file */
 230     no_close_handle,          /* close_handle */
 231     device_destroy            /* destroy */
 232 };
 233
 234 /* inode object */
 235
 236 struct inode
 237 {
 238     struct object       obj;        /* object header */
 239     struct list         entry;      /* inode hash list entry */
 240     struct device      *device;     /* device containing this inode */
 241     ino_t               ino;        /* inode number */
 242     struct list         open;       /* list of open file descriptors */
 243     struct list         locks;      /* list of file locks */
 244     struct list         closed;     /* list of file descriptors to close at destroy time */
 245 };
 246
 247 static void inode_dump( struct object *obj, int verbose );
 248 static void inode_destroy( struct object *obj );
 249
 250 static const struct object_ops inode_ops =
 251 {
 252     sizeof(struct inode),     /* size */
 253     inode_dump,               /* dump */
 254     no_add_queue,             /* add_queue */
 255     NULL,                     /* remove_queue */
 256     NULL,                     /* signaled */
 257     NULL,                     /* satisfied */
 258     no_signal,                /* signal */
 259     no_get_fd,                /* get_fd */
 260     no_map_access,            /* map_access */
 261     no_lookup_name,           /* lookup_name */
 262     no_open_file,             /* open_file */
 263     no_close_handle,          /* close_handle */
 264     inode_destroy             /* destroy */
 265 };
 266
 267 /* file lock object */
 268
 269 struct file_lock
 270 {
 271     struct object       obj;         /* object header */
 272     struct fd          *fd;          /* fd owning this lock */
 273     struct list         fd_entry;    /* entry in list of locks on a given fd */
 274     struct list         inode_entry; /* entry in inode list of locks */
 275     int                 shared;      /* shared lock? */
 276     file_pos_t          start;       /* locked region is interval [start;end) */
 277     file_pos_t          end;
 278     struct process     *process;     /* process owning this lock */
 279     struct list         proc_entry;  /* entry in list of locks owned by the process */
 280 };
 281
 282 static void file_lock_dump( struct object *obj, int verbose );
 283 static int file_lock_signaled( struct object *obj, struct thread *thread );
 284
 285 static const struct object_ops file_lock_ops =
 286 {
 287     sizeof(struct file_lock),   /* size */
 288     file_lock_dump,             /* dump */
 289     add_queue,                  /* add_queue */
 290     remove_queue,               /* remove_queue */
 291     file_lock_signaled,         /* signaled */
 292     no_satisfied,               /* satisfied */
 293     no_signal,                  /* signal */
 294     no_get_fd,                  /* get_fd */
 295     no_map_access,              /* map_access */
 296     no_lookup_name,             /* lookup_name */
 297     no_open_file,               /* open_file */
 298     no_close_handle,            /* close_handle */
 299     no_destroy                  /* destroy */
 300 };
 301
 302
 303 #define OFF_T_MAX       (~((file_pos_t)1 << (8*sizeof(off_t)-1)))
 304 #define FILE_POS_T_MAX  (~(file_pos_t)0)
 305
 306 static file_pos_t max_unix_offset = OFF_T_MAX;
 307
 308 #define DUMP_LONG_LONG(val) do { \
 309     if (sizeof(val) > sizeof(unsigned long) && (val) > ~0UL) \
 310         fprintf( stderr, "%lx%08lx", (unsigned long)((unsigned long long)(val) >> 32), (unsigned long)(val) ); \
 311     else \
 312         fprintf( stderr, "%lx", (unsigned long)(val) ); \
 313   } while (0)
 314
 315
 316
 317 /****************************************************************/
 318 /* timeouts support */
 319
 320 struct timeout_user
 321 {
 322     struct list           entry;      /* entry in sorted timeout list */
 323     struct timeval        when;       /* timeout expiry (absolute time) */
 324     timeout_callback      callback;   /* callback function */
 325     void                 *private;    /* callback private data */
 326 };
 327
 328 static struct list timeout_list = LIST_INIT(timeout_list);   /* sorted timeouts list */
 329 struct timeval current_time;
 330
 331 /* add a timeout user */
 332 struct timeout_user *add_timeout_user( const struct timeval *when, timeout_callback func,
 333                                        void *private )
 334 {
 335     struct timeout_user *user;
 336     struct list *ptr;
 337
 338     if (!(user = mem_alloc( sizeof(*user) ))) return NULL;
 339     user->when     = *when;
 340     user->callback = func;
 341     user->private  = private;
 342
 343     /* Now insert it in the linked list */
 344
 345     LIST_FOR_EACH( ptr, &timeout_list )
 346     {
 347         struct timeout_user *timeout = LIST_ENTRY( ptr, struct timeout_user, entry );
 348         if (!time_before( &timeout->when, when )) break;
 349     }
 350     list_add_before( ptr, &user->entry );
 351     return user;
 352 }
 353
 354 /* remove a timeout user */
 355 void remove_timeout_user( struct timeout_user *user )
 356 {
 357     list_remove( &user->entry );
 358     free( user );
 359 }
 360
 361 /* add a timeout in milliseconds to an absolute time */
 362 void add_timeout( struct timeval *when, int timeout )
 363 {
 364     if (timeout)
 365     {
 366         long sec = timeout / 1000;
 367         if ((when->tv_usec += (timeout - 1000*sec) * 1000) >= 1000000)
 368         {
 369             when->tv_usec -= 1000000;
 370             when->tv_sec++;
 371         }
 372         when->tv_sec += sec;
 373     }
 374 }
 375
 376
 377 /****************************************************************/
 378 /* poll support */
 379
 380 static struct fd **poll_users;              /* users array */
 381 static struct pollfd *pollfd;               /* poll fd array */
 382 static int nb_users;                        /* count of array entries actually in use */
 383 static int active_users;                    /* current number of active users */
 384 static int allocated_users;                 /* count of allocated entries in the array */
 385 static struct fd **freelist;                /* list of free entries in the array */
 386
 387 static int get_next_timeout(void);
 388
 389 #ifdef USE_EPOLL
 390
 391 static int epoll_fd = -1;
 392
 393 static inline void init_epoll(void)
 394 {
 395     epoll_fd = epoll_create( 128 );
 396 }
 397
 398 /* set the events that epoll waits for on this fd; helper for set_fd_events */
 399 static inline void set_fd_epoll_events( struct fd *fd, int user, int events )
 400 {
 401     struct epoll_event ev;
 402     int ctl;
 403
 404     if (epoll_fd == -1) return;
 405
 406     if (events == -1)  /* stop waiting on this fd completely */
 407     {
 408         if (pollfd[user].fd == -1) return;  /* already removed */
 409         ctl = EPOLL_CTL_DEL;
 410     }
 411     else if (pollfd[user].fd == -1)
 412     {
 413         if (pollfd[user].events) return;  /* stopped waiting on it, don't restart */
 414         ctl = EPOLL_CTL_ADD;
 415     }
 416     else
 417     {
 418         if (pollfd[user].events == events) return;  /* nothing to do */
 419         ctl = EPOLL_CTL_MOD;
 420     }
 421
 422     ev.events = events;
 423     memset(&ev.data, 0, sizeof(ev.data));
 424     ev.data.u32 = user;
 425
 426     if (epoll_ctl( epoll_fd, ctl, fd->unix_fd, &ev ) == -1)
 427     {
 428         if (errno == ENOMEM)  /* not enough memory, give up on epoll */
 429         {
 430             close( epoll_fd );
 431             epoll_fd = -1;
 432         }
 433         else perror( "epoll_ctl" );  /* should not happen */
 434     }
 435 }
 436
 437 static inline void remove_epoll_user( struct fd *fd, int user )
 438 {
 439     if (epoll_fd == -1) return;
 440
 441     if (pollfd[user].fd != -1)
 442     {
 443         struct epoll_event dummy;
 444         epoll_ctl( epoll_fd, EPOLL_CTL_DEL, fd->unix_fd, &dummy );
 445     }
 446 }
 447
 448 static inline void main_loop_epoll(void)
 449 {
 450     int i, ret, timeout;
 451     struct epoll_event events[128];
 452
 453     assert( POLLIN == EPOLLIN );
 454     assert( POLLOUT == EPOLLOUT );
 455     assert( POLLERR == EPOLLERR );
 456     assert( POLLHUP == EPOLLHUP );
 457
 458     if (epoll_fd == -1) return;
 459
 460     while (active_users)
 461     {
 462         timeout = get_next_timeout();
 463
 464         if (!active_users) break;  /* last user removed by a timeout */
 465         if (epoll_fd == -1) break;  /* an error occurred with epoll */
 466
 467         ret = epoll_wait( epoll_fd, events, sizeof(events)/sizeof(events[0]), timeout );
 468         gettimeofday( &current_time, NULL );
 469
 470         /* put the events into the pollfd array first, like poll does */
 471         for (i = 0; i < ret; i++)
 472         {
 473             int user = events[i].data.u32;
 474             pollfd[user].revents = events[i].events;
 475         }
 476
 477         /* read events from the pollfd array, as set_fd_events may modify them */
 478         for (i = 0; i < ret; i++)
 479         {
 480             int user = events[i].data.u32;
 481             if (pollfd[user].revents) fd_poll_event( poll_users[user], pollfd[user].revents );
 482         }
 483     }
 484 }
 485
 486 #elif defined(HAVE_KQUEUE)
 487
 488 static int kqueue_fd = -1;
 489
 490 static inline void init_epoll(void)
 491 {
 492 #ifndef __APPLE__ /* kqueue support is broken in the MacOS kernel so we can't use it */
 493     kqueue_fd = kqueue();
 494 #endif
 495 }
 496
 497 static inline void set_fd_epoll_events( struct fd *fd, int user, int events )
 498 {
 499     struct kevent ev[2];
 500
 501     if (kqueue_fd == -1) return;
 502
 503     EV_SET( &ev[0], fd->unix_fd, EVFILT_READ, 0, NOTE_LOWAT, 1, (void *)user );
 504     EV_SET( &ev[1], fd->unix_fd, EVFILT_WRITE, 0, NOTE_LOWAT, 1, (void *)user );
 505
 506     if (events == -1)  /* stop waiting on this fd completely */
 507     {
 508         if (pollfd[user].fd == -1) return;  /* already removed */
 509         ev[0].flags |= EV_DELETE;
 510         ev[1].flags |= EV_DELETE;
 511     }
 512     else if (pollfd[user].fd == -1)
 513     {
 514         if (pollfd[user].events) return;  /* stopped waiting on it, don't restart */
 515         ev[0].flags |= EV_ADD | ((events & POLLIN) ? EV_ENABLE : EV_DISABLE);
 516         ev[1].flags |= EV_ADD | ((events & POLLOUT) ? EV_ENABLE : EV_DISABLE);
 517     }
 518     else
 519     {
 520         if (pollfd[user].events == events) return;  /* nothing to do */
 521         ev[0].flags |= (events & POLLIN) ? EV_ENABLE : EV_DISABLE;
 522         ev[1].flags |= (events & POLLOUT) ? EV_ENABLE : EV_DISABLE;
 523     }
 524
 525     if (kevent( kqueue_fd, ev, 2, NULL, 0, NULL ) == -1)
 526     {
 527         if (errno == ENOMEM)  /* not enough memory, give up on kqueue */
 528         {
 529             close( kqueue_fd );
 530             kqueue_fd = -1;
 531         }
 532         else perror( "kevent" );  /* should not happen */
 533     }
 534 }
 535
 536 static inline void remove_epoll_user( struct fd *fd, int user )
 537 {
 538     if (kqueue_fd == -1) return;
 539
 540     if (pollfd[user].fd != -1)
 541     {
 542         struct kevent ev[2];
 543
 544         EV_SET( &ev[0], fd->unix_fd, EVFILT_READ, EV_DELETE, 0, 0, 0 );
 545         EV_SET( &ev[1], fd->unix_fd, EVFILT_WRITE, EV_DELETE, 0, 0, 0 );
 546         kevent( kqueue_fd, ev, 2, NULL, 0, NULL );
 547     }
 548 }
 549
 550 static inline void main_loop_epoll(void)
 551 {
 552     int i, ret, timeout;
 553     struct kevent events[128];
 554
 555     if (kqueue_fd == -1) return;
 556
 557     while (active_users)
 558     {
 559         timeout = get_next_timeout();
 560
 561         if (!active_users) break;  /* last user removed by a timeout */
 562         if (kqueue_fd == -1) break;  /* an error occurred with kqueue */
 563
 564         if (timeout != -1)
 565         {
 566             struct timespec ts;
 567
 568             ts.tv_sec = timeout / 1000;
 569             ts.tv_nsec = (timeout % 1000) * 1000000;
 570             ret = kevent( kqueue_fd, NULL, 0, events, sizeof(events)/sizeof(events[0]), &ts );
 571         }
 572         else ret = kevent( kqueue_fd, NULL, 0, events, sizeof(events)/sizeof(events[0]), NULL );
 573
 574         gettimeofday( &current_time, NULL );
 575
 576         /* put the events into the pollfd array first, like poll does */
 577         for (i = 0; i < ret; i++)
 578         {
 579             long user = (long)events[i].udata;
 580             pollfd[user].revents = 0;
 581         }
 582         for (i = 0; i < ret; i++)
 583         {
 584             long user = (long)events[i].udata;
 585             if (events[i].filter == EVFILT_READ) pollfd[user].revents |= POLLIN;
 586             else if (events[i].filter == EVFILT_WRITE) pollfd[user].revents |= POLLOUT;
 587             if (events[i].flags & EV_EOF) pollfd[user].revents |= POLLHUP;
 588             if (events[i].flags & EV_ERROR) pollfd[user].revents |= POLLERR;
 589         }
 590
 591         /* read events from the pollfd array, as set_fd_events may modify them */
 592         for (i = 0; i < ret; i++)
 593         {
 594             long user = (long)events[i].udata;
 595             if (pollfd[user].revents) fd_poll_event( poll_users[user], pollfd[user].revents );
 596             pollfd[user].revents = 0;
 597         }
 598     }
 599 }
 600
 601 #else /* HAVE_KQUEUE */
 602
 603 static inline void init_epoll(void) { }
 604 static inline void set_fd_epoll_events( struct fd *fd, int user, int events ) { }
 605 static inline void remove_epoll_user( struct fd *fd, int user ) { }
 606 static inline void main_loop_epoll(void) { }
 607
 608 #endif /* USE_EPOLL */
 609
 610
 611 /* add a user in the poll array and return its index, or -1 on failure */
 612 static int add_poll_user( struct fd *fd )
 613 {
 614     int ret;
 615     if (freelist)
 616     {
 617         ret = freelist - poll_users;
 618         freelist = (struct fd **)poll_users[ret];
 619     }
 620     else
 621     {
 622         if (nb_users == allocated_users)
 623         {
 624             struct fd **newusers;
 625             struct pollfd *newpoll;
 626             int new_count = allocated_users ? (allocated_users + allocated_users / 2) : 16;
 627             if (!(newusers = realloc( poll_users, new_count * sizeof(*poll_users) ))) return -1;
 628             if (!(newpoll = realloc( pollfd, new_count * sizeof(*pollfd) )))
 629             {
 630                 if (allocated_users)
 631                     poll_users = newusers;
 632                 else
 633                     free( newusers );
 634                 return -1;
 635             }
 636             poll_users = newusers;
 637             pollfd = newpoll;
 638             if (!allocated_users) init_epoll();
 639             allocated_users = new_count;
 640         }
 641         ret = nb_users++;
 642     }
 643     pollfd[ret].fd = -1;
 644     pollfd[ret].events = 0;
 645     pollfd[ret].revents = 0;
 646     poll_users[ret] = fd;
 647     active_users++;
 648     return ret;
 649 }
 650
 651 /* remove a user from the poll list */
 652 static void remove_poll_user( struct fd *fd, int user )
 653 {
 654     assert( user >= 0 );
 655     assert( poll_users[user] == fd );
 656
 657     remove_epoll_user( fd, user );
 658     pollfd[user].fd = -1;
 659     pollfd[user].events = 0;
 660     pollfd[user].revents = 0;
 661     poll_users[user] = (struct fd *)freelist;
 662     freelist = &poll_users[user];
 663     active_users--;
 664 }
 665
 666 /* process pending timeouts and return the time until the next timeout, in milliseconds */
 667 static int get_next_timeout(void)
 668 {
 669     if (!list_empty( &timeout_list ))
 670     {
 671         struct list expired_list, *ptr;
 672
 673         /* first remove all expired timers from the list */
 674
 675         list_init( &expired_list );
 676         while ((ptr = list_head( &timeout_list )) != NULL)
 677         {
 678             struct timeout_user *timeout = LIST_ENTRY( ptr, struct timeout_user, entry );
 679
 680             if (!time_before( &current_time, &timeout->when ))
 681             {
 682                 list_remove( &timeout->entry );
 683                 list_add_tail( &expired_list, &timeout->entry );
 684             }
 685             else break;
 686         }
 687
 688         /* now call the callback for all the removed timers */
 689
 690         while ((ptr = list_head( &expired_list )) != NULL)
 691         {
 692             struct timeout_user *timeout = LIST_ENTRY( ptr, struct timeout_user, entry );
 693             list_remove( &timeout->entry );
 694             timeout->callback( timeout->private );
 695             free( timeout );
 696         }
 697
 698         if ((ptr = list_head( &timeout_list )) != NULL)
 699         {
 700             struct timeout_user *timeout = LIST_ENTRY( ptr, struct timeout_user, entry );
 701             int diff = (timeout->when.tv_sec - current_time.tv_sec) * 1000
 702                      + (timeout->when.tv_usec - current_time.tv_usec + 999) / 1000;
 703             if (diff < 0) diff = 0;
 704             return diff;
 705         }
 706     }
 707     return -1;  /* no pending timeouts */
 708 }
 709
 710 /* server main poll() loop */
 711 void main_loop(void)
 712 {
 713     int i, ret, timeout;
 714
 715     gettimeofday( &current_time, NULL );
 716
 717     main_loop_epoll();
 718     /* fall through to normal poll loop */
 719
 720     while (active_users)
 721     {
 722         timeout = get_next_timeout();
 723
 724         if (!active_users) break;  /* last user removed by a timeout */
 725
 726         ret = poll( pollfd, nb_users, timeout );
 727         gettimeofday( &current_time, NULL );
 728
 729         if (ret > 0)
 730         {
 731             for (i = 0; i < nb_users; i++)
 732             {
 733                 if (pollfd[i].revents)
 734                 {
 735                     fd_poll_event( poll_users[i], pollfd[i].revents );
 736                     if (!--ret) break;
 737                 }
 738             }
 739         }
 740     }
 741 }
 742
 743
 744 /****************************************************************/
 745 /* device functions */
 746
 747 static struct list device_hash[DEVICE_HASH_SIZE];
 748
 749 static int is_device_removable( dev_t dev, int unix_fd )
 750 {
 751 #if defined(linux) && defined(HAVE_FSTATFS)
 752     struct statfs stfs;
 753
 754     /* check for floppy disk */
 755     if (major(dev) == FLOPPY_MAJOR) return 1;
 756
 757     if (fstatfs( unix_fd, &stfs ) == -1) return 0;
 758     return (stfs.f_type == 0x9660 ||    /* iso9660 */
 759             stfs.f_type == 0x9fa1 ||    /* supermount */
 760             stfs.f_type == 0x15013346); /* udf */
 761 #elif defined(__FreeBSD__) || defined(__FreeBSD_kernel__) || defined(__APPLE__)
 762     struct statfs stfs;
 763
 764     if (fstatfs( unix_fd, &stfs ) == -1) return 0;
 765     return (!strncmp("cd9660", stfs.f_fstypename, sizeof(stfs.f_fstypename)) ||
 766             !strncmp("udf", stfs.f_fstypename, sizeof(stfs.f_fstypename)));
 767 #elif defined(__NetBSD__)
 768     struct statvfs stfs;
 769
 770     if (fstatvfs( unix_fd, &stfs ) == -1) return 0;
 771     return (!strncmp("cd9660", stfs.f_fstypename, sizeof(stfs.f_fstypename)) ||
 772             !strncmp("udf", stfs.f_fstypename, sizeof(stfs.f_fstypename)));
 773 #elif defined(sun)
 774 # include <sys/dkio.h>
 775 # include <sys/vtoc.h>
 776     struct dk_cinfo dkinf;
 777     if (ioctl( unix_fd, DKIOCINFO, &dkinf ) == -1) return 0;
 778     return (dkinf.dki_ctype == DKC_CDROM ||
 779             dkinf.dki_ctype == DKC_NCRFLOPPY ||
 780             dkinf.dki_ctype == DKC_SMSFLOPPY ||
 781             dkinf.dki_ctype == DKC_INTEL82072 ||
 782             dkinf.dki_ctype == DKC_INTEL82077);
 783 #else
 784     return 0;
 785 #endif
 786 }
 787
 788 /* retrieve the device object for a given fd, creating it if needed */
 789 static struct device *get_device( dev_t dev, int unix_fd )
 790 {
 791     struct device *device;
 792     unsigned int i, hash = dev % DEVICE_HASH_SIZE;
 793
 794     if (device_hash[hash].next)
 795     {
 796         LIST_FOR_EACH_ENTRY( device, &device_hash[hash], struct device, entry )
 797             if (device->dev == dev) return (struct device *)grab_object( device );
 798     }
 799     else list_init( &device_hash[hash] );
 800
 801     /* not found, create it */
 802
 803     if (unix_fd == -1) return NULL;
 804     if ((device = alloc_object( &device_ops )))
 805     {
 806         device->dev = dev;
 807         device->removable = is_device_removable( dev, unix_fd );
 808         for (i = 0; i < INODE_HASH_SIZE; i++) list_init( &device->inode_hash[i] );
 809         list_add_head( &device_hash[hash], &device->entry );
 810     }
 811     return device;
 812 }
 813
 814 static void device_dump( struct object *obj, int verbose )
 815 {
 816     struct device *device = (struct device *)obj;
 817     fprintf( stderr, "Device dev=" );
 818     DUMP_LONG_LONG( device->dev );
 819     fprintf( stderr, "\n" );
 820 }
 821
 822 static void device_destroy( struct object *obj )
 823 {
 824     struct device *device = (struct device *)obj;
 825     unsigned int i;
 826
 827     for (i = 0; i < INODE_HASH_SIZE; i++)
 828         assert( list_empty(&device->inode_hash[i]) );
 829
 830     list_remove( &device->entry );  /* remove it from the hash table */
 831 }
 832
 833
 834 /****************************************************************/
 835 /* inode functions */
 836
 837 /* close all pending file descriptors in the closed list */
 838 static void inode_close_pending( struct inode *inode, int keep_unlinks )
 839 {
 840     struct list *ptr = list_head( &inode->closed );
 841
 842     while (ptr)
 843     {
 844         struct closed_fd *fd = LIST_ENTRY( ptr, struct closed_fd, entry );
 845         struct list *next = list_next( &inode->closed, ptr );
 846
 847         if (fd->unix_fd != -1)
 848         {
 849             close( fd->unix_fd );
 850             fd->unix_fd = -1;
 851         }
 852         if (!keep_unlinks || !fd->unlink[0])  /* get rid of it unless there's an unlink pending on that file */
 853         {
 854             list_remove( ptr );
 855             free( fd );
 856         }
 857         ptr = next;
 858     }
 859 }
 860
 861 static void inode_dump( struct object *obj, int verbose )
 862 {
 863     struct inode *inode = (struct inode *)obj;
 864     fprintf( stderr, "Inode device=%p ino=", inode->device );
 865     DUMP_LONG_LONG( inode->ino );
 866     fprintf( stderr, "\n" );
 867 }
 868
 869 static void inode_destroy( struct object *obj )
 870 {
 871     struct inode *inode = (struct inode *)obj;
 872     struct list *ptr;
 873
 874     assert( list_empty(&inode->open) );
 875     assert( list_empty(&inode->locks) );
 876
 877     list_remove( &inode->entry );
 878
 879     while ((ptr = list_head( &inode->closed )))
 880     {
 881         struct closed_fd *fd = LIST_ENTRY( ptr, struct closed_fd, entry );
 882         list_remove( ptr );
 883         if (fd->unix_fd != -1) close( fd->unix_fd );
 884         if (fd->unlink[0])
 885         {
 886             /* make sure it is still the same file */
 887             struct stat st;
 888             if (!stat( fd->unlink, &st ) && st.st_dev == inode->device->dev && st.st_ino == inode->ino)
 889             {
 890                 if (S_ISDIR(st.st_mode)) rmdir( fd->unlink );
 891                 else unlink( fd->unlink );
 892             }
 893         }
 894         free( fd );
 895     }
 896     release_object( inode->device );
 897 }
 898
 899 /* retrieve the inode object for a given fd, creating it if needed */
 900 static struct inode *get_inode( dev_t dev, ino_t ino, int unix_fd )
 901 {
 902     struct device *device;
 903     struct inode *inode;
 904     unsigned int hash = ino % INODE_HASH_SIZE;
 905
 906     if (!(device = get_device( dev, unix_fd ))) return NULL;
 907
 908     LIST_FOR_EACH_ENTRY( inode, &device->inode_hash[hash], struct inode, entry )
 909     {
 910         if (inode->ino == ino)
 911         {
 912             release_object( device );
 913             return (struct inode *)grab_object( inode );
 914         }
 915     }
 916
 917     /* not found, create it */
 918     if ((inode = alloc_object( &inode_ops )))
 919     {
 920         inode->device = device;
 921         inode->ino    = ino;
 922         list_init( &inode->open );
 923         list_init( &inode->locks );
 924         list_init( &inode->closed );
 925         list_add_head( &device->inode_hash[hash], &inode->entry );
 926     }
 927     else release_object( device );
 928
 929     return inode;
 930 }
 931
 932 /* add fd to the inode list of file descriptors to close */
 933 static void inode_add_closed_fd( struct inode *inode, struct closed_fd *fd )
 934 {
 935     if (!list_empty( &inode->locks ))
 936     {
 937         list_add_head( &inode->closed, &fd->entry );
 938     }
 939     else if (fd->unlink[0])  /* close the fd but keep the structure around for unlink */
 940     {
 941         if (fd->unix_fd != -1) close( fd->unix_fd );
 942         fd->unix_fd = -1;
 943         list_add_head( &inode->closed, &fd->entry );
 944     }
 945     else  /* no locks on this inode and no unlink, get rid of the fd */
 946     {
 947         if (fd->unix_fd != -1) close( fd->unix_fd );
 948         free( fd );
 949     }
 950 }
 951
 952
 953 /****************************************************************/
 954 /* file lock functions */
 955
 956 static void file_lock_dump( struct object *obj, int verbose )
 957 {
 958     struct file_lock *lock = (struct file_lock *)obj;
 959     fprintf( stderr, "Lock %s fd=%p proc=%p start=",
 960              lock->shared ? "shared" : "excl", lock->fd, lock->process );
 961     DUMP_LONG_LONG( lock->start );
 962     fprintf( stderr, " end=" );
 963     DUMP_LONG_LONG( lock->end );
 964     fprintf( stderr, "\n" );
 965 }
 966
 967 static int file_lock_signaled( struct object *obj, struct thread *thread )
 968 {
 969     struct file_lock *lock = (struct file_lock *)obj;
 970     /* lock is signaled if it has lost its owner */
 971     return !lock->process;
 972 }
 973
 974 /* set (or remove) a Unix lock if possible for the given range */
 975 static int set_unix_lock( struct fd *fd, file_pos_t start, file_pos_t end, int type )
 976 {
 977     struct flock fl;
 978
 979     if (!fd->fs_locks) return 1;  /* no fs locks possible for this fd */
 980     for (;;)
 981     {
 982         if (start == end) return 1;  /* can't set zero-byte lock */
 983         if (start > max_unix_offset) return 1;  /* ignore it */
 984         fl.l_type   = type;
 985         fl.l_whence = SEEK_SET;
 986         fl.l_start  = start;
 987         if (!end || end > max_unix_offset) fl.l_len = 0;
 988         else fl.l_len = end - start;
 989         if (fcntl( fd->unix_fd, F_SETLK, &fl ) != -1) return 1;
 990
 991         switch(errno)
 992         {
 993         case EACCES:
 994             /* check whether locks work at all on this file system */
 995             if (fcntl( fd->unix_fd, F_GETLK, &fl ) != -1)
 996             {
 997                 set_error( STATUS_FILE_LOCK_CONFLICT );
 998                 return 0;
 999             }
1000             /* fall through */
1001         case EIO:
1002         case ENOLCK:
1003             /* no locking on this fs, just ignore it */
1004             fd->fs_locks = 0;
1005             return 1;
1006         case EAGAIN:
1007             set_error( STATUS_FILE_LOCK_CONFLICT );
1008             return 0;
1009         case EBADF:
1010             /* this can happen if we try to set a write lock on a read-only file */
1011             /* we just ignore that error */
1012             if (fl.l_type == F_WRLCK) return 1;
1013             set_error( STATUS_ACCESS_DENIED );
1014             return 0;
1015 #ifdef EOVERFLOW
1016         case EOVERFLOW:
1017 #endif
1018         case EINVAL:
1019             /* this can happen if off_t is 64-bit but the kernel only supports 32-bit */
1020             /* in that case we shrink the limit and retry */
1021             if (max_unix_offset > INT_MAX)
1022             {
1023                 max_unix_offset = INT_MAX;
1024                 break;  /* retry */
1025             }
1026             /* fall through */
1027         default:
1028             file_set_error();
1029             return 0;
1030         }
1031     }
1032 }
1033
1034 /* check if interval [start;end) overlaps the lock */
1035 static inline int lock_overlaps( struct file_lock *lock, file_pos_t start, file_pos_t end )
1036 {
1037     if (lock->end && start >= lock->end) return 0;
1038     if (end && lock->start >= end) return 0;
1039     return 1;
1040 }
1041
1042 /* remove Unix locks for all bytes in the specified area that are no longer locked */
1043 static void remove_unix_locks( struct fd *fd, file_pos_t start, file_pos_t end )
1044 {
1045     struct hole
1046     {
1047         struct hole *next;
1048         struct hole *prev;
1049         file_pos_t   start;
1050         file_pos_t   end;
1051     } *first, *cur, *next, *buffer;
1052
1053     struct list *ptr;
1054     int count = 0;
1055
1056     if (!fd->inode) return;
1057     if (!fd->fs_locks) return;
1058     if (start == end || start > max_unix_offset) return;
1059     if (!end || end > max_unix_offset) end = max_unix_offset + 1;
1060
1061     /* count the number of locks overlapping the specified area */
1062
1063     LIST_FOR_EACH( ptr, &fd->inode->locks )
1064     {
1065         struct file_lock *lock = LIST_ENTRY( ptr, struct file_lock, inode_entry );
1066         if (lock->start == lock->end) continue;
1067         if (lock_overlaps( lock, start, end )) count++;
1068     }
1069
1070     if (!count)  /* no locks at all, we can unlock everything */
1071     {
1072         set_unix_lock( fd, start, end, F_UNLCK );
1073         return;
1074     }
1075
1076     /* allocate space for the list of holes */
1077     /* max. number of holes is number of locks + 1 */
1078
1079     if (!(buffer = malloc( sizeof(*buffer) * (count+1) ))) return;
1080     first = buffer;
1081     first->next  = NULL;
1082     first->prev  = NULL;
1083     first->start = start;
1084     first->end   = end;
1085     next = first + 1;
1086
1087     /* build a sorted list of unlocked holes in the specified area */
1088
1089     LIST_FOR_EACH( ptr, &fd->inode->locks )
1090     {
1091         struct file_lock *lock = LIST_ENTRY( ptr, struct file_lock, inode_entry );
1092         if (lock->start == lock->end) continue;
1093         if (!lock_overlaps( lock, start, end )) continue;
1094
1095         /* go through all the holes touched by this lock */
1096         for (cur = first; cur; cur = cur->next)
1097         {
1098             if (cur->end <= lock->start) continue; /* hole is before start of lock */
1099             if (lock->end && cur->start >= lock->end) break;  /* hole is after end of lock */
1100
1101             /* now we know that lock is overlapping hole */
1102
1103             if (cur->start >= lock->start)  /* lock starts before hole, shrink from start */
1104             {
1105                 cur->start = lock->end;
1106                 if (cur->start && cur->start < cur->end) break;  /* done with this lock */
1107                 /* now hole is empty, remove it */
1108                 if (cur->next) cur->next->prev = cur->prev;
1109                 if (cur->prev) cur->prev->next = cur->next;
1110                 else if (!(first = cur->next)) goto done;  /* no more holes at all */
1111             }
1112             else if (!lock->end || cur->end <= lock->end)  /* lock larger than hole, shrink from end */
1113             {
1114                 cur->end = lock->start;
1115                 assert( cur->start < cur->end );
1116             }
1117             else  /* lock is in the middle of hole, split hole in two */
1118             {
1119                 next->prev = cur;
1120                 next->next = cur->next;
1121                 cur->next = next;
1122                 next->start = lock->end;
1123                 next->end = cur->end;
1124                 cur->end = lock->start;
1125                 assert( next->start < next->end );
1126                 assert( cur->end < next->start );
1127                 next++;
1128                 break;  /* done with this lock */
1129             }
1130         }
1131     }
1132
1133     /* clear Unix locks for all the holes */
1134
1135     for (cur = first; cur; cur = cur->next)
1136         set_unix_lock( fd, cur->start, cur->end, F_UNLCK );
1137
1138  done:
1139     free( buffer );
1140 }
1141
1142 /* create a new lock on a fd */
1143 static struct file_lock *add_lock( struct fd *fd, int shared, file_pos_t start, file_pos_t end )
1144 {
1145     struct file_lock *lock;
1146
1147     if (!fd->inode)  /* not a regular file */
1148     {
1149         set_error( STATUS_INVALID_HANDLE );
1150         return NULL;
1151     }
1152
1153     if (!(lock = alloc_object( &file_lock_ops ))) return NULL;
1154     lock->shared  = shared;
1155     lock->start   = start;
1156     lock->end     = end;
1157     lock->fd      = fd;
1158     lock->process = current->process;
1159
1160     /* now try to set a Unix lock */
1161     if (!set_unix_lock( lock->fd, lock->start, lock->end, lock->shared ? F_RDLCK : F_WRLCK ))
1162     {
1163         release_object( lock );
1164         return NULL;
1165     }
1166     list_add_head( &fd->locks, &lock->fd_entry );
1167     list_add_head( &fd->inode->locks, &lock->inode_entry );
1168     list_add_head( &lock->process->locks, &lock->proc_entry );
1169     return lock;
1170 }
1171
1172 /* remove an existing lock */
1173 static void remove_lock( struct file_lock *lock, int remove_unix )
1174 {
1175     struct inode *inode = lock->fd->inode;
1176
1177     list_remove( &lock->fd_entry );
1178     list_remove( &lock->inode_entry );
1179     list_remove( &lock->proc_entry );
1180     if (remove_unix) remove_unix_locks( lock->fd, lock->start, lock->end );
1181     if (list_empty( &inode->locks )) inode_close_pending( inode, 1 );
1182     lock->process = NULL;
1183     wake_up( &lock->obj, 0 );
1184     release_object( lock );
1185 }
1186
1187 /* remove all locks owned by a given process */
1188 void remove_process_locks( struct process *process )
1189 {
1190     struct list *ptr;
1191
1192     while ((ptr = list_head( &process->locks )))
1193     {
1194         struct file_lock *lock = LIST_ENTRY( ptr, struct file_lock, proc_entry );
1195         remove_lock( lock, 1 );  /* this removes it from the list */
1196     }
1197 }
1198
1199 /* remove all locks on a given fd */
1200 static void remove_fd_locks( struct fd *fd )
1201 {
1202     file_pos_t start = FILE_POS_T_MAX, end = 0;
1203     struct list *ptr;
1204
1205     while ((ptr = list_head( &fd->locks )))
1206     {
1207         struct file_lock *lock = LIST_ENTRY( ptr, struct file_lock, fd_entry );
1208         if (lock->start < start) start = lock->start;
1209         if (!lock->end || lock->end > end) end = lock->end - 1;
1210         remove_lock( lock, 0 );
1211     }
1212     if (start < end) remove_unix_locks( fd, start, end + 1 );
1213 }
1214
1215 /* add a lock on an fd */
1216 /* returns handle to wait on */
1217 obj_handle_t lock_fd( struct fd *fd, file_pos_t start, file_pos_t count, int shared, int wait )
1218 {
1219     struct list *ptr;
1220     file_pos_t end = start + count;
1221
1222     /* don't allow wrapping locks */
1223     if (end && end < start)
1224     {
1225         set_error( STATUS_INVALID_PARAMETER );
1226         return 0;
1227     }
1228
1229     /* check if another lock on that file overlaps the area */
1230     LIST_FOR_EACH( ptr, &fd->inode->locks )
1231     {
1232         struct file_lock *lock = LIST_ENTRY( ptr, struct file_lock, inode_entry );
1233         if (!lock_overlaps( lock, start, end )) continue;
1234         if (lock->shared && shared) continue;
1235         /* found one */
1236         if (!wait)
1237         {
1238             set_error( STATUS_FILE_LOCK_CONFLICT );
1239             return 0;
1240         }
1241         set_error( STATUS_PENDING );
1242         return alloc_handle( current->process, lock, SYNCHRONIZE, 0 );
1243     }
1244
1245     /* not found, add it */
1246     if (add_lock( fd, shared, start, end )) return 0;
1247     if (get_error() == STATUS_FILE_LOCK_CONFLICT)
1248     {
1249         /* Unix lock conflict -> tell client to wait and retry */
1250         if (wait) set_error( STATUS_PENDING );
1251     }
1252     return 0;
1253 }
1254
1255 /* remove a lock on an fd */
1256 void unlock_fd( struct fd *fd, file_pos_t start, file_pos_t count )
1257 {
1258     struct list *ptr;
1259     file_pos_t end = start + count;
1260
1261     /* find an existing lock with the exact same parameters */
1262     LIST_FOR_EACH( ptr, &fd->locks )
1263     {
1264         struct file_lock *lock = LIST_ENTRY( ptr, struct file_lock, fd_entry );
1265         if ((lock->start == start) && (lock->end == end))
1266         {
1267             remove_lock( lock, 1 );
1268             return;
1269         }
1270     }
1271     set_error( STATUS_FILE_LOCK_CONFLICT );
1272 }
1273
1274
1275 /****************************************************************/
1276 /* file descriptor functions */
1277
1278 static void fd_dump( struct object *obj, int verbose )
1279 {
1280     struct fd *fd = (struct fd *)obj;
1281     fprintf( stderr, "Fd unix_fd=%d user=%p", fd->unix_fd, fd->user );
1282     if (fd->inode) fprintf( stderr, " inode=%p unlink='%s'", fd->inode, fd->closed->unlink );
1283     fprintf( stderr, "\n" );
1284 }
1285
1286 static void fd_destroy( struct object *obj )
1287 {
1288     struct fd *fd = (struct fd *)obj;
1289
1290     free_async_queue( fd->read_q );
1291     free_async_queue( fd->write_q );
1292     free_async_queue( fd->wait_q );
1293
1294     remove_fd_locks( fd );
1295     list_remove( &fd->inode_entry );
1296     if (fd->poll_index != -1) remove_poll_user( fd, fd->poll_index );
1297     if (fd->inode)
1298     {
1299         inode_add_closed_fd( fd->inode, fd->closed );
1300         release_object( fd->inode );
1301     }
1302     else  /* no inode, close it right away */
1303     {
1304         if (fd->unix_fd != -1) close( fd->unix_fd );
1305     }
1306 }
1307
1308 /* set the events that select waits for on this fd */
1309 void set_fd_events( struct fd *fd, int events )
1310 {
1311     int user = fd->poll_index;
1312     assert( poll_users[user] == fd );
1313
1314     set_fd_epoll_events( fd, user, events );
1315
1316     if (events == -1)  /* stop waiting on this fd completely */
1317     {
1318         pollfd[user].fd = -1;
1319         pollfd[user].events = POLLERR;
1320         pollfd[user].revents = 0;
1321     }
1322     else if (pollfd[user].fd != -1 || !pollfd[user].events)
1323     {
1324         pollfd[user].fd = fd->unix_fd;
1325         pollfd[user].events = events;
1326     }
1327 }
1328
1329 /* prepare an fd for unmounting its corresponding device */
1330 static inline void unmount_fd( struct fd *fd )
1331 {
1332     assert( fd->inode );
1333
1334     async_wake_up( fd->read_q, STATUS_VOLUME_DISMOUNTED );
1335     async_wake_up( fd->write_q, STATUS_VOLUME_DISMOUNTED );
1336
1337     if (fd->poll_index != -1) set_fd_events( fd, -1 );
1338
1339     if (fd->unix_fd != -1) close( fd->unix_fd );
1340
1341     fd->unix_fd = -1;
1342     fd->unmounted = 1;
1343     fd->closed->unix_fd = -1;
1344     fd->closed->unlink[0] = 0;
1345
1346     /* stop using Unix locks on this fd (existing locks have been removed by close) */
1347     fd->fs_locks = 0;
1348 }
1349
1350 /* allocate an fd object, without setting the unix fd yet */
1351 static struct fd *alloc_fd_object(void)
1352 {
1353     struct fd *fd = alloc_object( &fd_ops );
1354
1355     if (!fd) return NULL;
1356
1357     fd->fd_ops     = NULL;
1358     fd->user       = NULL;
1359     fd->inode      = NULL;
1360     fd->closed     = NULL;
1361     fd->access     = 0;
1362     fd->sharing    = 0;
1363     fd->unix_fd    = -1;
1364     fd->signaled   = 1;
1365     fd->fs_locks   = 1;
1366     fd->unmounted  = 0;
1367     fd->poll_index = -1;
1368     fd->read_q     = NULL;
1369     fd->write_q    = NULL;
1370     fd->wait_q     = NULL;
1371     list_init( &fd->inode_entry );
1372     list_init( &fd->locks );
1373
1374     if ((fd->poll_index = add_poll_user( fd )) == -1)
1375     {
1376         release_object( fd );
1377         return NULL;
1378     }
1379     return fd;
1380 }
1381
1382 /* allocate a pseudo fd object, for objects that need to behave like files but don't have a unix fd */
1383 struct fd *alloc_pseudo_fd( const struct fd_ops *fd_user_ops, struct object *user )
1384 {
1385     struct fd *fd = alloc_object( &fd_ops );
1386
1387     if (!fd) return NULL;
1388
1389     fd->fd_ops     = fd_user_ops;
1390     fd->user       = user;
1391     fd->inode      = NULL;
1392     fd->closed     = NULL;
1393     fd->access     = 0;
1394     fd->sharing    = 0;
1395     fd->unix_fd    = -1;
1396     fd->signaled   = 0;
1397     fd->fs_locks   = 0;
1398     fd->unmounted  = 0;
1399     fd->poll_index = -1;
1400     fd->read_q     = NULL;
1401     fd->write_q    = NULL;
1402     fd->wait_q     = NULL;
1403     list_init( &fd->inode_entry );
1404     list_init( &fd->locks );
1405     return fd;
1406 }
1407
1408 /* check if the desired access is possible without violating */
1409 /* the sharing mode of other opens of the same file */
1410 static int check_sharing( struct fd *fd, unsigned int access, unsigned int sharing )
1411 {
1412     unsigned int existing_sharing = FILE_SHARE_READ | FILE_SHARE_WRITE | FILE_SHARE_DELETE;
1413     unsigned int existing_access = 0;
1414     struct list *ptr;
1415
1416     /* if access mode is 0, sharing mode is ignored */
1417     if (!access) sharing = existing_sharing;
1418     fd->access = access;
1419     fd->sharing = sharing;
1420
1421     LIST_FOR_EACH( ptr, &fd->inode->open )
1422     {
1423         struct fd *fd_ptr = LIST_ENTRY( ptr, struct fd, inode_entry );
1424         if (fd_ptr != fd)
1425         {
1426             existing_sharing &= fd_ptr->sharing;
1427             existing_access  |= fd_ptr->access;
1428         }
1429     }
1430
1431     if ((access & FILE_UNIX_READ_ACCESS) && !(existing_sharing & FILE_SHARE_READ)) return 0;
1432     if ((access & FILE_UNIX_WRITE_ACCESS) && !(existing_sharing & FILE_SHARE_WRITE)) return 0;
1433     if ((access & DELETE) && !(existing_sharing & FILE_SHARE_DELETE)) return 0;
1434     if ((existing_access & FILE_UNIX_READ_ACCESS) && !(sharing & FILE_SHARE_READ)) return 0;
1435     if ((existing_access & FILE_UNIX_WRITE_ACCESS) && !(sharing & FILE_SHARE_WRITE)) return 0;
1436     if ((existing_access & DELETE) && !(sharing & FILE_SHARE_DELETE)) return 0;
1437     return 1;
1438 }
1439
1440 /* sets the user of an fd that previously had no user */
1441 void set_fd_user( struct fd *fd, const struct fd_ops *user_ops, struct object *user )
1442 {
1443     assert( fd->fd_ops == NULL );
1444     fd->fd_ops = user_ops;
1445     fd->user   = user;
1446 }
1447
1448 /* open() wrapper that returns a struct fd with no fd user set */
1449 struct fd *open_fd( const char *name, int flags, mode_t *mode, unsigned int access,
1450                     unsigned int sharing, unsigned int options )
1451 {
1452     struct stat st;
1453     struct closed_fd *closed_fd;
1454     struct fd *fd;
1455     const char *unlink_name = "";
1456     int rw_mode;
1457
1458     if ((options & FILE_DELETE_ON_CLOSE) && !(access & DELETE))
1459     {
1460         set_error( STATUS_INVALID_PARAMETER );
1461         return NULL;
1462     }
1463
1464     if (!(fd = alloc_fd_object())) return NULL;
1465
1466     if (options & FILE_DELETE_ON_CLOSE) unlink_name = name;
1467     if (!(closed_fd = mem_alloc( sizeof(*closed_fd) + strlen(unlink_name) )))
1468     {
1469         release_object( fd );
1470         return NULL;
1471     }
1472
1473     /* create the directory if needed */
1474     if ((options & FILE_DIRECTORY_FILE) && (flags & O_CREAT))
1475     {
1476         if (mkdir( name, 0777 ) == -1)
1477         {
1478             if (errno != EEXIST || (flags & O_EXCL))
1479             {
1480                 file_set_error();
1481                 goto error;
1482             }
1483         }
1484         flags &= ~(O_CREAT | O_EXCL | O_TRUNC);
1485     }
1486
1487     if ((access & FILE_UNIX_WRITE_ACCESS) && !(options & FILE_DIRECTORY_FILE))
1488     {
1489         if (access & FILE_UNIX_READ_ACCESS) rw_mode = O_RDWR;
1490         else rw_mode = O_WRONLY;
1491     }
1492     else rw_mode = O_RDONLY;
1493
1494     if ((fd->unix_fd = open( name, rw_mode | (flags & ~O_TRUNC), *mode )) == -1)
1495     {
1496         /* if we tried to open a directory for write access, retry read-only */
1497         if (errno != EISDIR ||
1498             !(access & FILE_UNIX_WRITE_ACCESS) ||
1499             (fd->unix_fd = open( name, O_RDONLY | (flags & ~O_TRUNC), *mode )) == -1)
1500         {
1501             file_set_error();
1502             goto error;
1503         }
1504     }
1505
1506     closed_fd->unix_fd = fd->unix_fd;
1507     closed_fd->unlink[0] = 0;
1508     fstat( fd->unix_fd, &st );
1509     *mode = st.st_mode;
1510
1511     /* only bother with an inode for normal files and directories */
1512     if (S_ISREG(st.st_mode) || S_ISDIR(st.st_mode))
1513     {
1514         struct inode *inode = get_inode( st.st_dev, st.st_ino, fd->unix_fd );
1515
1516         if (!inode)
1517         {
1518             /* we can close the fd because there are no others open on the same file,
1519              * otherwise we wouldn't have failed to allocate a new inode
1520              */
1521             goto error;
1522         }
1523         fd->inode = inode;
1524         fd->closed = closed_fd;
1525         list_add_head( &inode->open, &fd->inode_entry );
1526
1527         /* check directory options */
1528         if ((options & FILE_DIRECTORY_FILE) && !S_ISDIR(st.st_mode))
1529         {
1530             release_object( fd );
1531             set_error( STATUS_NOT_A_DIRECTORY );
1532             return NULL;
1533         }
1534         if ((options & FILE_NON_DIRECTORY_FILE) && S_ISDIR(st.st_mode))
1535         {
1536             release_object( fd );
1537             set_error( STATUS_FILE_IS_A_DIRECTORY );
1538             return NULL;
1539         }
1540         if (!check_sharing( fd, access, sharing ))
1541         {
1542             release_object( fd );
1543             set_error( STATUS_SHARING_VIOLATION );
1544             return NULL;
1545         }
1546         strcpy( closed_fd->unlink, unlink_name );
1547         if (flags & O_TRUNC) ftruncate( fd->unix_fd, 0 );
1548     }
1549     else  /* special file */
1550     {
1551         if (options & FILE_DIRECTORY_FILE)
1552         {
1553             set_error( STATUS_NOT_A_DIRECTORY );
1554             goto error;
1555         }
1556         if (unlink_name[0])  /* we can't unlink special files */
1557         {
1558             set_error( STATUS_INVALID_PARAMETER );
1559             goto error;
1560         }
1561         free( closed_fd );
1562     }
1563     return fd;
1564
1565 error:
1566     release_object( fd );
1567     free( closed_fd );
1568     return NULL;
1569 }
1570
1571 /* create an fd for an anonymous file */
1572 /* if the function fails the unix fd is closed */
1573 struct fd *create_anonymous_fd( const struct fd_ops *fd_user_ops, int unix_fd, struct object *user )
1574 {
1575     struct fd *fd = alloc_fd_object();
1576
1577     if (fd)
1578     {
1579         set_fd_user( fd, fd_user_ops, user );
1580         fd->unix_fd = unix_fd;
1581         return fd;
1582     }
1583     close( unix_fd );
1584     return NULL;
1585 }
1586
1587 /* retrieve the object that is using an fd */
1588 void *get_fd_user( struct fd *fd )
1589 {
1590     return fd->user;
1591 }
1592
1593 /* retrieve the unix fd for an object */
1594 int get_unix_fd( struct fd *fd )
1595 {
1596     if (fd->unix_fd == -1)
1597     {
1598         if (fd->unmounted) set_error( STATUS_VOLUME_DISMOUNTED );
1599         else set_error( STATUS_BAD_DEVICE_TYPE );
1600     }
1601     return fd->unix_fd;
1602 }
1603
1604 /* check if two file descriptors point to the same file */
1605 int is_same_file_fd( struct fd *fd1, struct fd *fd2 )
1606 {
1607     return fd1->inode == fd2->inode;
1608 }
1609
1610 /* check if fd is on a removable device */
1611 int is_fd_removable( struct fd *fd )
1612 {
1613     return (fd->inode && fd->inode->device->removable);
1614 }
1615
1616 /* set or clear the fd signaled state */
1617 void set_fd_signaled( struct fd *fd, int signaled )
1618 {
1619     fd->signaled = signaled;
1620     if (signaled) wake_up( fd->user, 0 );
1621 }
1622
1623 /* handler for close_handle that refuses to close fd-associated handles in other processes */
1624 int fd_close_handle( struct object *obj, struct process *process, obj_handle_t handle )
1625 {
1626     return (!current || current->process == process);
1627 }
1628
1629 /* callback for event happening in the main poll() loop */
1630 void fd_poll_event( struct fd *fd, int event )
1631 {
1632     return fd->fd_ops->poll_event( fd, event );
1633 }
1634
1635 /* check if events are pending and if yes return which one(s) */
1636 int check_fd_events( struct fd *fd, int events )
1637 {
1638     struct pollfd pfd;
1639
1640     if (fd->unix_fd == -1) return POLLERR;
1641
1642     pfd.fd     = fd->unix_fd;
1643     pfd.events = events;
1644     if (poll( &pfd, 1, 0 ) <= 0) return 0;
1645     return pfd.revents;
1646 }
1647
1648 /* default signaled() routine for objects that poll() on an fd */
1649 int default_fd_signaled( struct object *obj, struct thread *thread )
1650 {
1651     struct fd *fd = get_obj_fd( obj );
1652     int ret = fd->signaled;
1653     release_object( fd );
1654     return ret;
1655 }
1656
1657 int default_fd_get_poll_events( struct fd *fd )
1658 {
1659     int events = 0;
1660
1661     if (async_waiting( fd->read_q )) events |= POLLIN;
1662     if (async_waiting( fd->write_q )) events |= POLLOUT;
1663     return events;
1664 }
1665
1666 /* default handler for poll() events */
1667 void default_poll_event( struct fd *fd, int event )
1668 {
1669     if (event & POLLIN) async_wake_up( fd->read_q, STATUS_ALERTED );
1670     if (event & POLLOUT) async_wake_up( fd->write_q, STATUS_ALERTED );
1671
1672     /* if an error occurred, stop polling this fd to avoid busy-looping */
1673     if (event & (POLLERR | POLLHUP)) set_fd_events( fd, -1 );
1674     else set_fd_events( fd, fd->fd_ops->get_poll_events( fd ) );
1675 }
1676
1677 struct async *fd_queue_async( struct fd *fd, const async_data_t *data, int type, int count )
1678 {
1679     struct async_queue *queue;
1680     struct async *async;
1681
1682     switch (type)
1683     {
1684     case ASYNC_TYPE_READ:
1685         if (!fd->read_q && !(fd->read_q = create_async_queue( fd ))) return NULL;
1686         queue = fd->read_q;
1687         break;
1688     case ASYNC_TYPE_WRITE:
1689         if (!fd->write_q && !(fd->write_q = create_async_queue( fd ))) return NULL;
1690         queue = fd->write_q;
1691         break;
1692     case ASYNC_TYPE_WAIT:
1693         if (!fd->wait_q && !(fd->wait_q = create_async_queue( fd ))) return NULL;
1694         queue = fd->wait_q;
1695         break;
1696     default:
1697         assert(0);
1698     }
1699
1700     if ((async = create_async( current, queue, data )))
1701     {
1702         if (!fd->inode)
1703             set_fd_events( fd, fd->fd_ops->get_poll_events( fd ) );
1704         else  /* regular files are always ready for read and write */
1705             if (type != ASYNC_TYPE_WAIT) async_wake_up( queue, STATUS_ALERTED );
1706     }
1707     return async;
1708 }
1709
1710 void fd_async_wake_up( struct fd *fd, int type, unsigned int status )
1711 {
1712     switch (type)
1713     {
1714     case ASYNC_TYPE_READ:
1715         async_wake_up( fd->read_q, status );
1716         break;
1717     case ASYNC_TYPE_WRITE:
1718         async_wake_up( fd->write_q, status );
1719         break;
1720     case ASYNC_TYPE_WAIT:
1721         async_wake_up( fd->wait_q, status );
1722         break;
1723     default:
1724         assert(0);
1725     }
1726 }
1727
1728 void default_fd_queue_async( struct fd *fd, const async_data_t *data, int type, int count )
1729 {
1730     int flags;
1731     struct async *async;
1732
1733     fd->fd_ops->get_file_info( fd, &flags );
1734     if (!(flags & (FD_FLAG_OVERLAPPED|FD_FLAG_TIMEOUT)))
1735     {
1736         set_error( STATUS_INVALID_HANDLE );
1737         return;
1738     }
1739     if ((async = fd_queue_async( fd, data, type, count )))
1740     {
1741         release_object( async );
1742         set_error( STATUS_PENDING );
1743     }
1744 }
1745
1746 void default_fd_cancel_async( struct fd *fd )
1747 {
1748     async_wake_up( fd->read_q, STATUS_CANCELLED );
1749     async_wake_up( fd->write_q, STATUS_CANCELLED );
1750     async_wake_up( fd->wait_q, STATUS_CANCELLED );
1751 }
1752
1753 /* default flush() routine */
1754 void no_flush( struct fd *fd, struct event **event )
1755 {
1756     set_error( STATUS_OBJECT_TYPE_MISMATCH );
1757 }
1758
1759 /* default get_file_info() routine */
1760 enum server_fd_type no_get_file_info( struct fd *fd, int *flags )
1761 {
1762     *flags = 0;
1763     return FD_TYPE_INVALID;
1764 }
1765
1766 /* default queue_async() routine */
1767 void no_queue_async( struct fd *fd, const async_data_t *data, int type, int count)
1768 {
1769     set_error( STATUS_OBJECT_TYPE_MISMATCH );
1770 }
1771
1772 /* default cancel_async() routine */
1773 void no_cancel_async( struct fd *fd )
1774 {
1775     set_error( STATUS_OBJECT_TYPE_MISMATCH );
1776 }
1777
1778 static inline int is_valid_mounted_device( struct stat *st )
1779 {
1780 #if defined(linux) || defined(__sun__)
1781     return S_ISBLK( st->st_mode );
1782 #else
1783     /* disks are char devices on *BSD */
1784     return S_ISCHR( st->st_mode );
1785 #endif
1786 }
1787
1788 /* close all Unix file descriptors on a device to allow unmounting it */
1789 static void unmount_device( struct fd *device_fd )
1790 {
1791     unsigned int i;
1792     struct stat st;
1793     struct device *device;
1794     struct inode *inode;
1795     struct fd *fd;
1796     int unix_fd = get_unix_fd( device_fd );
1797
1798     if (unix_fd == -1) return;
1799
1800     if (fstat( unix_fd, &st ) == -1 || !is_valid_mounted_device( &st ))
1801     {
1802         set_error( STATUS_INVALID_PARAMETER );
1803         return;
1804     }
1805
1806     if (!(device = get_device( st.st_rdev, -1 ))) return;
1807
1808     for (i = 0; i < INODE_HASH_SIZE; i++)
1809     {
1810         LIST_FOR_EACH_ENTRY( inode, &device->inode_hash[i], struct inode, entry )
1811         {
1812             LIST_FOR_EACH_ENTRY( fd, &inode->open, struct fd, inode_entry )
1813             {
1814                 unmount_fd( fd );
1815             }
1816             inode_close_pending( inode, 0 );
1817         }
1818     }
1819     /* remove it from the hash table */
1820     list_remove( &device->entry );
1821     list_init( &device->entry );
1822     release_object( device );
1823 }
1824
1825 /* same as get_handle_obj but retrieve the struct fd associated to the object */
1826 static struct fd *get_handle_fd_obj( struct process *process, obj_handle_t handle,
1827                                      unsigned int access )
1828 {
1829     struct fd *fd = NULL;
1830     struct object *obj;
1831
1832     if ((obj = get_handle_obj( process, handle, access, NULL )))
1833     {
1834         fd = get_obj_fd( obj );
1835         release_object( obj );
1836     }
1837     return fd;
1838 }
1839
1840 /* flush a file buffers */
1841 DECL_HANDLER(flush_file)
1842 {
1843     struct fd *fd = get_handle_fd_obj( current->process, req->handle, 0 );
1844     struct event * event = NULL;
1845
1846     if (fd)
1847     {
1848         fd->fd_ops->flush( fd, &event );
1849         if ( event )
1850         {
1851             reply->event = alloc_handle( current->process, event, SYNCHRONIZE, 0 );
1852         }
1853         release_object( fd );
1854     }
1855 }
1856
1857 /* open a file object */
1858 DECL_HANDLER(open_file_object)
1859 {
1860     struct unicode_str name;
1861     struct directory *root = NULL;
1862     struct object *obj, *result;
1863
1864     get_req_unicode_str( &name );
1865     if (req->rootdir && !(root = get_directory_obj( current->process, req->rootdir, 0 )))
1866         return;
1867
1868     if ((obj = open_object_dir( root, &name, req->attributes, NULL )))
1869     {
1870         if ((result = obj->ops->open_file( obj, req->access, req->sharing, req->options )))
1871         {
1872             reply->handle = alloc_handle( current->process, result, req->access, req->attributes );
1873             release_object( result );
1874         }
1875         release_object( obj );
1876     }
1877
1878     if (root) release_object( root );
1879 }
1880
1881 /* get a Unix fd to access a file */
1882 DECL_HANDLER(get_handle_fd)
1883 {
1884     struct fd *fd;
1885
1886     if ((fd = get_handle_fd_obj( current->process, req->handle, req->access )))
1887     {
1888         reply->type = fd->fd_ops->get_file_info( fd, &reply->flags );
1889         if (reply->type != FD_TYPE_INVALID)
1890         {
1891             if (is_fd_removable(fd)) reply->flags |= FD_FLAG_REMOVABLE;
1892             if (!req->cached)
1893             {
1894                 int unix_fd = get_unix_fd( fd );
1895                 if (unix_fd != -1) send_client_fd( current->process, unix_fd, req->handle );
1896             }
1897         }
1898         else set_error( STATUS_OBJECT_TYPE_MISMATCH );
1899         release_object( fd );
1900     }
1901 }
1902
1903 /* get ready to unmount a Unix device */
1904 DECL_HANDLER(unmount_device)
1905 {
1906     struct fd *fd;
1907
1908     if ((fd = get_handle_fd_obj( current->process, req->handle, 0 )))
1909     {
1910         unmount_device( fd );
1911         release_object( fd );
1912     }
1913 }
1914
1915 /* create / reschedule an async I/O */
1916 DECL_HANDLER(register_async)
1917 {
1918     unsigned int access;
1919     struct fd *fd;
1920
1921     switch(req->type)
1922     {
1923     case ASYNC_TYPE_READ:
1924         access = FILE_READ_DATA;
1925         break;
1926     case ASYNC_TYPE_WRITE:
1927         access = FILE_WRITE_DATA;
1928         break;
1929     default:
1930         set_error( STATUS_INVALID_PARAMETER );
1931         return;
1932     }
1933
1934     if ((fd = get_handle_fd_obj( current->process, req->handle, access )))
1935     {
1936         fd->fd_ops->queue_async( fd, &req->async, req->type, req->count );
1937         release_object( fd );
1938     }
1939 }
1940
1941 /* cancels all async I/O */
1942 DECL_HANDLER(cancel_async)
1943 {
1944     struct fd *fd = get_handle_fd_obj( current->process, req->handle, 0 );
1945     if (fd)
1946     {
1947         /* Note: we don't kill the queued APC_ASYNC_IO on this thread because
1948          * NtCancelIoFile() will force the pending APC to be run. Since,
1949          * Windows only guarantees that the current thread will have no async
1950          * operation on the current fd when NtCancelIoFile returns, this shall
1951          * do the work.
1952          */
1953         fd->fd_ops->cancel_async( fd );
1954         release_object( fd );
1955     }
1956 }