pack-objects: fix pack generation when using pack_size_limit
authorNicolas Pitre <nico@fluxnic.net>
Thu, 4 Feb 2010 03:48:27 +0000 (22:48 -0500)
committerJunio C Hamano <gitster@pobox.com>
Thu, 4 Feb 2010 04:39:24 +0000 (20:39 -0800)
commita2430dde8ceaaaabf05937438249397b883ca77a
treeec6fd6c1eb09f9fcab222d4cd3003c91ba3e240d
parent2fca19fbb524d028bff0467762186e641aa3351a
pack-objects: fix pack generation when using pack_size_limit

Current handling of pack_size_limit is quite suboptimal.  Let's consider
a list of objects to pack which contain alternatively big and small
objects (which pretty matches reality when big blobs are interlaced
with tree objects).  Currently, the code simply close the pack and opens
a new one when the next object in line breaks the size limit.

The current code may degenerate into:

  - small tree object => store into pack #1
  - big blob object busting the pack size limit => store into pack #2
  - small blob but pack #2 is over the limit already => pack #3
  - big blob busting the size limit => pack #4
  - small tree but pack #4 is over the limit => pack #5
  - big blob => pack #6
  - small tree => pack #7
  - ... and so on.

The reality is that the content of packs 1, 3, 5 and 7 could well be
stored more efficiently (and delta compressed) together in pack #1 if
the big blobs were not forcing an immediate transition to a new pack.

Incidentally this can be fixed pretty easily by simply skipping over
those objects that are too big to fit in the current pack while trying
the whole list of unwritten objects, and then that list considered from
the beginning again when a new pack is opened.  This creates much fewer
smallish pack files and help making more predictable test cases for the
test suite.

This change made one of the self sanity checks useless so it is removed
as well. That check was rather redundant already anyway.

Signed-off-by: Nicolas Pitre <nico@fluxnic.net>
Signed-off-by: Junio C Hamano <gitster@pobox.com>
builtin-pack-objects.c