Делаем из слона муху

«Как уменьшить размер файла?» — еще один вечный вопрос помимо «Что делать?» и «Кто виноват?». Компактные архивы нужны всем — и пользователям, и программистам, и производителям больших программных пакетов. Поэтому архиваторы остаются одной из самых популярных категорий утилит.

В этом обзоре, кроме вполне обычных архиваторов, будут рассмотрены и «более экзотические», которые привлекли внимание автора великолепным сжатием и полезными дополнительными возможностями — по многим параметрам они превосходят конкурентов. Быть может, некоторые из выводов окажутся для вас неожиданными, и вы захотите сменить архиватор, которым обычно пользуетесь.

WinZip

Производитель: WinZip Computing
Сайт: http://www.winzip.com/
Статус: shareware (21 день), $29
Размер дистрибутива: 1,7 Mбайт (версия 8.1)

Самый распространенный формат архивов сегодня — Zip, и самый распространенный архиватор — WinZip. Невысокая степень сжатия (ниже всех архиваторов нашего обзора) компенсируется хорошей скоростью и широкой известностью WinZip (как говорят поклонники других форматов, во многом незаслуженной).

Не достигая главной цели архиватора — хорошего сжатия, — программа привлекает новичков простым интерфейсом, а также мастерами для создания и распаковки архивов. Zip-архивы могут включать в себя комментарии и быть зашифрованными с использованием пароля. Поддержка многотомных архивов в самом формате Zip ограничена: их можно создавать только на дискетах, так как WinZip меняет метку диска, указывая в ней номер тома. Кроме того, WinZip позволяет разбивать архивы на части, но такие архивы не по зубам большинству других распаковщиков.

Стандартная версия WinZip может создавать только простейшие самораспаковывающиеся (SFX) архивы, но модуль распаковки почему-то очень большой — 61 Кбайт. Чтобы запустить программу после извлечения файлов из архива или изменить текст в окне распаковщика, вы должны купить утилиту WinZip Self-Extractor, заплатив еще $49.

Дополнительно WinZip поддерживает распаковку из архивов Cab, GZip, Tar и форматов кодирования UUencode, XXencode, BinHex и MIME; можно подключать архиваторы Arj, Lha, Arc, запуская их как приложение командной строки.

WinZip — один из первых архиваторов с графическим интерфейсом под Windows. Сегодня конкуренты обогнали его и по сжатию, и по удобству интерфейса. Вам может понадобиться WinZip, только если вы нуждаетесь в высокой скорости создания архивов. Платить же деньги за WinZip как за обычный Zip-архиватор, наверное, не стоит: в Интернете можно найти множество его бесплатных аналогов (см., например, http://www.filzip.com/).

Info-Zip

Производитель: InfoZip group
Сайт: http://www.info-zip.org/pub/ infozip
Статус: freeware

Это не программа, а алгоритм сжатия, доступный программистам для свободного использования. Тем не менее, он вошел в наш тест, так как на нем построено zip-сжатие в Windows Commander, WinRar и во многих других программах. Алгоритм Info-Zip поддерживает многотомные архивы на дискетах, пароли, комментарии и остальные возможности формата Zip.

7-Zip

Производитель: Игорь Павлов
Сайт: http://www.7-zip.com/
Статус: freeware, GPL
Размер дистрибутива: 463 Кбайт (версия 2.24), 978 Кбайт (версия 2.30 beta)

Архиватор 7-Zip позволяет создать хорошо сжатый zip-архив и, кроме того, поддерживает свой формат 7z с очень высокой степенью сжатия и возможностью создания непрерывных архивов. Можно легально пользоваться программой бесплатно, автор лишь просит поддержать разработку, выплатив ему вознаграждение размером в $20.

Основная работа с 7-Zip ведется через оболочку Windows, так что вы можете использовать Проводник, Windows Commander или любой другой файловый менеджер (для Far имеется отдельный плагин), вызывая скромное, но вполне достаточное по возможностям окно добавления файлов в архив. Уникальна способность программы открывать архив прямо в окне Проводника Windows. Есть и поддержка командной строки для операций с архивами.

Новая версия 2.30, которая пока находится в стадии бета-тестирования, содержит собственный файловый менеджер и поддерживает формат 7z. Степень сжатия в этом формате просто невероятна, она существенно превышает возможности коммерческих архиваторов Rar и Ace (см. итоговую таблицу). 7-Zip сжимает долго, но очень хорошо; распаковка идет гораздо быстрее. Используется основанный на LZ алгоритм LZMA (размер словаря до 256 Мбайт) и специальный алгоритм PPMdH для сжатия текстов. Конвертер адресов BCJ2 дает отличное сжатие программных файлов, хотя и требует большого объема оперативной памяти.

Кроме мелких недоработок интерфейса, которые, вероятно, будут исправлены в конечной версии, удручает только размер SFX-модуля: 70 Кбайт для самого примитивного распаковщика. Впрочем, следует учесть, что архиватор использует более сложные алгоритмы сжатия, чем его «коллеги». Вдобавок 7-Zip способен открывать архивы форматов Cab, Rar, Arj, GZip, BZip2, Tar, Cpio, Rpm и создавать GZip-, BZip2-, Tar-архивы. Программа не поддерживает многотомные архивы, комментарии, шифрование в формате 7z и записи для восстановления, но несмотря на это ее можно назвать лучшим архиватором по степени сжатия, который к тому же обладает простым и удобным интерфейсом без лишних «украшательств».

На мой взгляд, когда уровень проработанности интерфейса 7-Zip приблизится к WinRar, можно будет смело отбросить все остальные программы, рассмотренные в этом обзоре, и сказать, что лучше архиватора нет и не может быть.

Microsoft Cab SDK

Производитель: Microsoft
Сайт: http://www.microsoft.com/workshop/prog/cab/
Статус: freeware, открытый API
Размер дистрибутива: 548 Кбайт (версия 1.00.0601, март 1997 г.)

Поначалу формат Cab (cabinet file) давал невысокую степень сжатия по алгоритму MS-Zip. Но в 1997 году Microsoft добавила поддержку мощного алгоритма LZX, и Cab-архивы стали в среднем даже компактнее, чем старый Rar (до 2.9). Главное достоинство архивов в формате Cab/LZX состоит в том, что Windows версии 98 и выше может открыть их без каких-либо дополнительных программ. Просто дважды щелкните по архиву — появится окно с его содержимым, из которого можно перетащить файлы в другую папку, чтобы распаковать их.

Для сжатия файлов потребуется архиватор CabArc, работа с которым идет через командую строку. Cab-архивы всегда непрерывные, и допаковка архиватором не поддерживается — то есть вы можете только создавать и распаковывать файлы, но не добавлять в уже созданный архив. Не поддерживаются пароли на архивы, записи для восстановления и комментарии. Зато в отличие от Rar и Ace есть возможность более гибко управлять общим словарем в непрерывных архивах и разделением файлов между томами в многотомных (для этого служит программа MakeCab).

Другая приятная неожиданность — Microsoft не держит в секрете алгоритм сжатия «кабинетных файлов». В MS Cab SDK входит, кроме архиватора, подробное описание формата Cab и библиотека для создания и распаковки архивов. Некоторые программисты уже воспользовались ею и написали свои приложения, поддерживающие формат Cab, что обеспечило продукту Microsoft широкую популярность и дальнейшее развитие, хотя сам Cab SDK не обновлялся с 1997 года.

WinRar

Производитель: Rar Lab
Сайт: http://www.rarlab.com/
Статус: shareware (40 дней), $29
Размер дистрибутива: 970 Кбайт (версия 3.00)

Широко известный в России архиватор Rar обеспечивает неплохую степень сжатия, обладает красивым и функциональным интерфейсом. В новой версии изменился формат файлов, и созданные в ней архивы уже нельзя открыть в Rar ниже 2.9.

Несмотря на это неудобство, обновление формата — безусловный плюс. Тот же Zip не обновлялся коренным образом лет десять-пятнадцать, потому уже давно уступает конкурентам по сжатию и дополнительным возможностям, удерживаясь на плаву только за счет «раскрученности». Архивы Rar 3.0 в большинстве случаев компактнее, чем те, что были созданы в старой версии. Авторы расширили до четырех мегабайт максимальный размер словаря, переработали алгоритмы сжатия и слегка улучшили интерфейс программы. Для сжатия текстов был взят тот же алгоритм, что и в 7-Zip, поэтому при тестировании оба архиватора показали близкие результаты на html-файле.

Как и прежде, Rar позволяет создавать непрерывные и многотомные архивы, шифровать файлы (новая версия использует более стойкий алгоритм AES), добавлять в архивы комментарии и электронную подпись. Последняя возможность доступна только после регистрации, так как электронная подпись основана на имени и регистрационном ключе пользователя WinRar.

Программа хорошо восстанавливает и реконструирует поврежденные архивы. Разговоры о том, что Rar якобы менее надежен, чем Zip, не имеют под собой достаточных оснований. Формат Zip защищен от повреждения оглавления архива, так как оно для надежности записывается два раза: в конец и в начало файла. Зато Rar имеет возможность добавлять в архив избыточную информацию, которая может помочь при частичном повреждении архивного файла. Еще одна функция новой версии архиватора — создание «томов для восстановления», по которым можно восстановить недостающие части многотомных архивов.

Rar позволяет создавать мощные SFX-архивы со скриптами, в которых можно запускать внешние программы, удалять файлы, перезаписывать файлы автоматически или по запросу, менять тексты в окне распаковщика, запускать распаковку, минуя это окно. Последние версии позволяют еще и создавать ярлыки, показывать лицензию и выводить тексты с html-оформлением — это практически все, что нужно для создания простого инсталлятора. Модуль самораспаковки при этом довольно компактен: 45,5 Кбайт в Rar 3.0 и всего 22 Кбайт в 2.80.

Дополнительно поддерживаются архивы формата Zip для сжатия/распаковки и множество форматов только для распаковки: Cab, Arj, LZH, Tar, Gz, Ace, Uue, Bz2, Jar, ISO (образы компакт-диска). Консольная версия Rar дублирует возможности графической. Кроме нее Rar Lab предлагает программу RCVT, преобразующую архивы в пакетном режиме, и бесплатную, с исходными текстами, программу для извлечения файлов из Rar-архивов. Еще один довод в пользу Rar: у этого архиватора есть версии для всех основных платформ, от Unix до OS/2.

WinAce

Производитель: Ace Compression Software
Сайт: http://www.winace.com/
Статус: shareware (30 дней), $29
Размер дистрибутива: 2,69 Мбайт (версия 2.21)

По своим возможностям WinAce похож на WinRar, как 7-Zip похож на Cab. У 7-Zip и Cab нет шифрования, комментариев, электронной подписи и информации для восстановления. У Rar и Ace все это есть, обе программы дают похожую степень сжатия, обе недавно обновили свои алгоритмы и форматы.

Но интерфейс WinAce существенно отличается от Rar, и не в лучшую сторону. Стандартные значки, налепленные на кнопки «в стиле Office XP», смотрятся тускло и невзрачно по сравнению с оригинальной полноцветной графикой WinRar, которая уже успела стать настоящей визитной карточкой этого архиватора. Окно, показывающее степень выполнения операции, нельзя свернуть, чтобы продолжить работу с архиватором. Курсор при наведении на кнопки и флажки зачем-то меняется на «указующий перст», хотя кнопки панели имеют очень отдаленное отношение к гиперссылкам. Когда установлен режим «Отображать имена файлов как гиперссылки», имена подчеркиваются, но файлы все так же открываются по двойному щелчку, что противоречит самому смыслу гиперссылки.

Кроме обычной справки, WinAce показывает несколько html-страниц в основном окне программы. Непонятно, почему те же темы не включили в основной файл справки. Излишества выливаются в весьма большой размер дистрибутива, что вряд ли обрадует пользователей, как и отдельные непродуманные детали в интерфейсе программы.

Но встроенная программа просмотра, поддерживающая разнообразные графические форматы (BMP, GIF, JPEG, TIFF, PSD, PSP, PNG, SGI и др.), заслуживает только похвал: просмотровщик Rar имеет гораздо более скромные возможности. Комментарии в Ace-архивах могут задаваться в HTML.

Неплохо реализовано и создание SFX-архивов: можно указать распаковку не только в каталог Program Files, как в Rar, но и в каталоги Windows, System или Common Files. Для создания более сложных SFX-архивов предлагается купить отдельную программу SFX Factory за $29. С сайта программы также можно бесплатно скачать программу распаковки Ace-архивов и библиотеки распаковки для использования в своих собственных программах.

WinAce умеет извлекать файлы из архивов Ace, Zip, Lha, Cab, Rar (с поддержкой формата Rar 2.9), Arc, Arj, Gzip, Tar, Zoo, Jar и создавать архивы в форматах Ace, Zip, Lha, Cab, Jar, Gzip, Tar, GZippedTar. Нужно особо выделить Cab среди других слабеньких по сжатию форматов: сжатие в нем иногда превосходит возможности собственного формата Ace. Оптимизатор архивов позволяет в пакетном режиме перепаковать все выделенные архивы в формат Ace. Другие форматы и обработка всех архивов в заданном каталоге не поддерживаются, в отличие от аналогичной утилиты RCVT от производителей Rar.

В целом WinAce можно назвать аналогом WinRar с рядом собственных достоинств и недостатков. Вряд ли этот архиватор когда-нибудь получит широкое распространение в России: существенных отличий от более популярного WinRar у него нет.

SBC

Производитель: Sami J. Mдkinen
Сайт: http://sbcarchiver.netfirms.com/
Статус: shareware (30 дней), $10—20
Размер дистрибутива: 160 Кбайт (версия 0.969 beta)

Несмотря на то что разработка этого архиватора еще не закончена, автор уже просит за него деньги. Впрочем, есть за что: сайт compression.ca, посвященный тестированию архиваторов, называет SBC одним из лучших по сжатию. Кроме того, в нем реализованы мощные криптографические алгоритмы AES, Blowfish, CAST-128, Twofish и Serpent, различные алгоритмы для контрольных сумм: CRC16, CRC32, Adler32, Sum32, MD5, SHA1 и SHA256. Этими алгоритмами шифруются не только файлы, но и оглавление архива (злоумышленник не сможет даже прочитать имена файлов, хранящихся в нем). Так что программа будет полезна хранителям коммерческих и государственных тайн — особенно если автор когда-нибудь сделает для нее полноценную графическую оболочку. Пока же SBC работает только в режиме командной строки.

SBC поддерживает многотомные архивы, большое количество файлов в одном архиве и огромный размер каждого файла (до 16 экзабайт). Программа создает только непрерывные архивы.

Тестовые образцы

Для тестирования я отобрал пять образцов файлов: восемь глав одной книги в формате MS Word, одна веб-страница (только HTML, без графики), программа и два рисунка — 16-цветный и полноцветный (24 бит на точку, 16 млн. цветов).

Первый образец (главы книги), кроме своего очевидного назначения — проверки степени сжатия doc-файлов — показывает существенную разницу между обычными и непрерывными архивами. Главы книги содержат повторяющиеся слова и выражения, и, сжимая их архиватором Zip, мы получаем частично повторяющиеся словари и весьма невысокую компрессию.

Веб-страница с текстом книги из электронной библиотеки была рассчитана на проверку сжатия ASCII-файлов (содержащих только алфавитно-цифровые символы) и, в частности, широко распространенного сегодня формата HTML.

В качестве теста на сжатие exe-файлов взят файл Excel.exe из Office XP. Эта программа содержит электронную подпись, ресурсы с множеством значков, курсоров и даже HTML-файлов — хорошая проверка на сжатие разнородных типов данных.

Три 16-цветных скриншота в bmp не удалось хорошо сжать ни одному распространенному архиватору. Странные результаты показал Rar 3.0, почему-то оказавшись хуже своего предшественника Rar 2.80.

Последний образец, девятимегабайтный скин из поставки Ghost Installer, примерно наполовину состоял из одного байта FF, обозначающего белый цвет на несжатом 24-битном рисунке. Пример довольно искусственный (не каждый день приходится сжимать такие файлы), но он может показать теоретическую способность архиватора устранять избыточность информации.

Дополнительно была проверена скорость сжатия на медленном компьютере Pentium 166 с 64 мегабайтами оперативной памяти: замерялось время создания архива со всеми перечисленными образцами данных.

Часто в тестах приводят цифры для файлов формата wav. Но кто хранит в архивах звуки? Ничего практически полезного этот образец не показывает и лишь сбивает читателя с толку. По той же причине не проверялось сжатие уже сжатых mp3-файлов.

Основной критерий тестирования — степень сжатия. Дополнительно оценивались возможности архивных форматов по хранению информации для восстановления, парольной защите архивов и добавлению комментариев.

Все размеры приводятся в байтах, время — минутах и секундах. Если архиватор предлагает несколько SFX-модулей с разными возможностями, приводится размер наименьшего. Когда проверялось время создания архивов и их размер, все архиваторы были настроены на максимальное сжатие; режимы мультимедиа-сжатия и сжатия отдельных типов файлов (если таковые имелись) были включены.

Как пользоваться результатами тестов? Основной совет: не пытайтесь сравнить общее сжатие таких архиваторов, как Rar, Cab, Ace. Все они сжимают примерно одинаково, но один лучше работает с графикой, другой — с текстами, третий — с программами. Выберите тот тип данных, который вы помещаете в архив чаще всего, и сравнивайте сжатие по нему.

Сравнение архиваторов

Как это работает

Вы никогда не задумывались над тем, как вообще можно сжать данные и уместить в архив множество файлов? Алгоритм LZH, на разных модификациях которого построены все современные архиваторы, использует для этого два шага.

Идея первого шага, сжатия по Лемпелу-Зиву (LZ — первые буквы в LZH), станет понятной, если вспомнить, как «сжимают» статьи в энциклопедиях с помощью сокращений: предмет статьи обозначают одной буквой; к энциклопедии прилагают список сокращений наиболее употребительных слов. Точно так же и архиваторы составляют словарь, включающий часто повторяющиеся фрагменты файлов. Вместо этих фрагментов записываются короткие ссылки на участки словаря, что сокращает объем файлов.

Словарь приходится полностью держать в памяти, поэтому его размер ограничен. Некоторые архиваторы, например Rar, позволяют выбирать размер словаря. Имеет смысл ставить число побольше — сжатие от этого только улучшается.

Обычно архиваторы создают отдельный словарь для каждого файла. Благодаря этому им не приходится перепаковывать все файлы, если один из них был удален или изменен и часть общего словаря, которая содержала его данные, стала ненужной. Но когда одни и те же байты повторяются в нескольких файлах, выгоднее создать непрерывный (solid) архив с общим для всех файлов словарем. В непрерывных архивах дольше читаются или обновляются отдельные файлы, но сами архивы гораздо компактнее в тех случаях, когда вы сжимаете похожие файлы — например, несколько текстов на одну тему.

Шаг второй — это хаффмановское сжатие или кодирование (буква H в LZH). Вспомним такую интересную особенность азбуки Морзе: разные буквы в ней обозначаются неравным числом точек и тире. Почему буква Е обозначается одной точкой, А — точкой и тире, а Щ — комбинацией «два тире, точка, тире»? Первые две буквы употребляются чаще, и для них используется более короткий код — это сокращает время передачи телеграммы.

Теперь представьте файл, состоящий из разных комбинаций четырех букв: A, B, C, D. Очевидно, что нет нужды выделять на одну букву целый байт. Вполне достаточно использовать два бита, например 00 для A, 01 для B, 10 для C и 11 для D. Строка BAABABADADACAB займет 14 байт в несжатом виде (по байту на букву) и 28 бит = 4 байта в двухбитовом коде.

Используя принцип азбуки Морзе, можно сжать файл еще сильнее. В нашей строке буква A употребляется чаще всего, B — реже, а C и D совсем редко. Закодируем A как 0, B как 10, C как 110 и D как 111. Первые биты в обозначении каждой буквы не повторяются, и всегда можно расшифровать непрерывную последовательность вроде той, в которую превратилась наша строка: 100010010011101110110010. Здесь уже 24 бита, или 3 байта, — в четыре с половиной раз меньше, чем в исходной строке.

Комбинируя «сокращения» по Лемпелу-Зиву, сжатие на уровне битов по Хаффману и применяя различные ухищрения, архиваторы порой умудряются уменьшить объем файлов в несколько раз. Одни архиваторы лучше упаковывают тексты, другие — двоичные файлы и программы, третьи — графику и звук. Часто в одном архиваторе используется несколько режимов и алгоритмов, ориентированных на разные типы данных (например, в Ace и Rar).

Чтобы уменьшить размер текстового архива, часть словаря выносят из него в программу-архиватор. Скажем, для русского языка характерны буквосочетания пр, стр, но никогда не используются щр или кп. Часто встречаются предлоги в, от, союзы и, а. Почему бы не учесть это в алгоритме сжатия? Такой алгоритм станет лучше сжимать русские тексты, чем «универсальный» LZH.

Мультимедиа-сжатие основано по большей части на том, что размер единичного блока, который подвергается сжатию по Хаффману, увеличен до 3—4 байт и более. Полноцветная графика и звук состоят из точек и сэмплов размером по несколько байт, и такой алгоритм неплохо помогает уменьшить их «вес».

Сразу после разработки алгоритм LZH считался теоретическим пределом сжатия информации (говорили, что лучше сжать невозможно). Все современные архиваторы превосходят LZH по степени сжатия. Многие из них действительно подошли к возможному пределу — причем разные архиваторы подошли к нему с разных сторон, дав пользователям лучшее сжатие текста или графики, программ, лучший среди всех интерфейс или компактность архиватора, SFX-модуля.

Выбор формата архива

Простые советы, приведенные ниже, помогут вам выбрать оптимальный формат для конкретной задачи.

• Если нужно послать по электронной почте или выложить на сайт небольшой файл, сожмите его в Zip. Многочисленные программы для работы с Zip-архивами позволяют назвать этот формат самым распространенным; Zip является фактическим стандартом при передаче файлов через Интернет. Вы также можете воспользоваться 7-Zip, чтобы слегка уменьшить размер архива, сохраняя его совместимость с форматом Zip.
• Когда нужно быстрое сжатие, пусть и плохое, тоже пользуйтесь Zip. Вместо тридцатидолларового WinZip можно взять Windows Commander, который, кроме чуть более медленного алгоритма сжатия Info-Zip, реализует множество своих полезных возможностей.
• Когда вы выкладываете в Сеть более чем двухсот-трехсоткилобайтный архив, его несомненно выгоднее сжать Cab, Ace или Rar. Короткое время закачки важнее, чем быстрая распаковка архива на компьютере пользователя. Все три формата достаточно распространены, но для обновленных версий Rar и Ace лучше создать SFX-архивы: вдруг на компьютере не окажется подходящего распаковщика.
• Если необходима самая высокая степень сжатия, возьмите формат 7z. Придется затратить больше времени на упаковку, но такой способ идеален для больших дистрибутивов программ, распространяемых через Интернет, или многотомного архива, которому пара килобайт мешает целиком уместиться на одну дискету.
• Когда вы сжимаете похожие файлы, например страницы одного веб-сайта, лучше воспользоваться непрерывными архивами Ace, Cab, Rar или 7z.
• Если нужна гарантированная возможность открыть архив в «чистой» Windows 98 и выше, упакуйте файлы Cab. Этот архиватор бесплатен и дает достойную степень и скорость сжатия.

http://www.computerra.ru/