Большие изображения - малые размеры пакетов" Diana Mahoney

Новая технология 3D-компрессии стремится позволить передавать сложные модели по сети

Легко понять важность такой возможности как сжатие больших или сложных цифровых 3D-моделей в достаточно малые по размеру пакеты для быстрой, эффективной и безошибочной передачи по сети.

В обычной жизни люди постоянно стремятся нарисовать человека в полный рост или втиснуть большие вещи в небольшое пространство. Посмотрите хотя бы на несчастного авиапассажира, который пытается втиснуть свой огромный багаж в маленькое верхнее отделение купе. Багаж будет сминаться, трещать, перевернется вверх тормашками и слева направо, его содержимое будет перевернуто, а некоторые вещи и совсем перестанут существовать. В конечном счете пассажир услышит долгожданный щелчок замка отсека, но это будет ему дорого стоить. Мало того, что его костюм будет после этого выглядеть совсем не так как вначале, если он вообще выдержит такие испытания, так еще и его усилия в лучшем случае стеснят других пассажиров.

То же самое можно сказать и в отношении 3D-моделей. Имеется множество способов управления цифровыми данными для успешной передачи по сети, но все они ограничены пока что небольшой полосой пропускания этих самых сетей.

Например некоторая информация может быть надлежащим образом удалена из первоначального файла для уменьшения его размера; сама по себе структура геометрии может быть изменена с аппроксимацией исходной формы, используя меньшее количество битов данных; или же полная модель может передаваться по некоторым прогрессивным стадиям для обхода узких мест сети.

Как бы там ни было, каждый метод имеет свои некоторые нежелательные последствия. Это или потеря части информации, которая должна быть заново восстановлена по окончании загрузки, или же принятая форма искажена изменением геометрии, или же время передачи всех деталей модели слишком большое.

Перед передачей по Web-сети этот кролик был подвергнут кодированию по алгоритму, основанному на изменении геометрии каркаса, разработанным исследователями "Джорджия Тех". Структура каркаса использовалась для уменьшения количества битов, необходимых для передачи точек и полигонов, и получения в конечном счете небольшого размера файла без воздействия на геометрию. Результаты можно увидеть на увеличенном кролике, где разными цветами представлены различные изменения формы

Проблема компрессии еще и усиливается тем фактом, что прогресс в развитии настольных графических станций далек опередил достижения в области сетевого обмена информацией. Таким образом в то время как создаваемые модели становятся куда более большими и сложными, сетевые каналы, по которым происходит их доставка, не изменяются пропорционально. Точно так же до недавнего времени доступные технологии сжатия концентрировали свое внимание на небольших полигональных моделях, так что они были плохо приспособлены для работы с моделями более высокого качества, производимых даже не на самых последних PC. Вместо этого все заканчивается большими файлами и долгим временем загрузки перед тем, как первое изображение будет визуализировано.

Таким образом проблема, стоящая перед исследователями и компаниями, представляющими 3D-продукцию, состоит в поиске методов, которые позволят хранить и передавать эти огромные, сложные наборы геометрических данных, используя наименьшее количество битов без потери качества. Обобщенно это сводится к нахождению наилучшего метода подготовки модели к компрессии и оптимизации соотношения между такими факторами как геометрия объекта, атрибутов (цвет и текстуры), скорости передачи и требований к хранению и обработке этих данных.

Последующая революция в 3D

Потенциальная выгода в результате успешного решения этих проблем просто неизмерима, включая материальные выгоды, охватывающие спектр 3D графики. "Это может подтолкнуть к наивысшей производительности фонд 3D-приложений на сегодняшний день в области последних достижений производства и создания фильмов, и может освободить потенциал последних потребительских 3D-систем," как говорит исследователь научного центра Bell Labs' Mathematical Sciences Research Center в области компрессии Уим Суиденс.

Harley-Davidson использовали программное обеспечение Virtue3D для сжатия модели своего разгрузчика кузова перед представлением в сети Internet. Верхнее изображение - это VRML-представление модели размером в 2.2 МБ. Нижнее изображение представляет версию той же модели, сжатую в Virtue3D, размером в 40 К

В области развлечений, например, "мне представляется мультипроигрыватель, интернет-видеоигра, которая выглядит так же прекрасно, как Диснеевский мультфильм "История Игрушек", или же виртуальное окружение в сети в стиле Аватар или Фэнтези, которое выглядит как настоящее кино", - говорит Питер Шродер, профессор компьютерных наук в CalTech, которые сотрудничает со Суиденсом в области развития новых методов 3D-компрессии. "В производстве", - добавляет он - "компании могут использовать геометрические представления, когда они делают заказ на какие-либо части, использовать геометрию для управления производственным оборудованием и сравнивать полученные детали с их первоначальным дизайном".

Потребительское применение так же может воспользоваться новой технологией. Например - рынок недвижимости. "Сегодня, тот, кто продает дом, может поместить изображения комнат на Web-сайте, а может даже и возможность пройтись по ним в виртуальном режиме", - говорит Суиденс. "Когда обработка изображений станет доступна потребителю, программное обеспечение, сродни современной фотографии или видео-редактору, позволит вам не только просмотреть комнаты в доме, а еще и посмотреть, как они будут выглядеть, когда вы выбьете стену, перекрасите комнаты, и присмотреть новую мебель из 3D-каталога."

Возможно, наиболее захватывающее применение этих технологий еще трудно себе представить. "Почти все, кто пользуются сетью Интернет прибегали к сжатию или компрессии интересующих их данных: ZIP - для текстов и программного обеспечения, MP3 - для музыки, JPEG и GIF для изображений, и MPEG и QuickTime - для фильмов", - говорит Дэвис Кинг, исследователь в области 3D-компрессии института Georgia Institute of Technology и создатель 3Dcompression.com, центра обмена информацией в области компрессии 3D-графики и других сложных наборов данных.

"В некоторых случаях возможность сжатия в эти форматы привела к появлению новых форм развлечений и деловых марок, таких как mp3.com, Napster, Internet-радиостанции, и Internet-фильмы", - отмечает Кинг. То же самое может случиться (и он верит в это) с компрессией 3D-геометрии.

Задачи 3D-компрессии

Руководствуясь вышесказанным, исследователи и компании-продавцы борются за улучшение существующих технологий 3D-компрессии и поиск абсолютно новых. Главным образом, существующие алгоритмы 3D-компрессии используют методы, взятые от их 2D предшественников, такие, например, как алгоритм wavelets, который обрабатывает данные в различных масштабах или разрешении, или же они используют методы, специально нацеленные на применение выгодных в этом отношении свойств 3D-поверхностей.

Виртуальная 3D-копия Французского антиквара сжата для цифровой передачи с использованием схемы wavelet, разработанной исследователями лабораторий Btl Labs и CalTech. Лазерное сканирование реального 10-ти сантиметрового объекта дало на выходе файл цифровой геометрии, содержащий приблизительно 50 000 сэмплов. Четыре изображения, представленные выше, показывают качество реконструкции поверхности с размерами файла (справа налево): 956 байт, 2 004 байт, 4 806 байт и 26 191 байт

Некоторые инструменты 3D-компрессии коммерчески уже доступны сейчас, включая стандарт сжатия Java3D, HotMedia компании IBM, основанный на их стандарте MPEG4/Topological, программное обеспечения сжатия Virtue3D, и методы, заключенные в программных продуктах Intel и DirectX компании Microsoft. Однако, говорит Кинг, - "3D-компрессия остается открытой областью исследований, потому как множество 3D-моделей являются слишком большими, что бы эффективно использовать их с современными методами в настоящее время, и потому что никто пока не знает - насколько могут быть улучшены методы 3D-компрессии."

Продолжающиеся исследования в области 3D-сжатия сфокусированы на методиках, заложенных и в аппаратных средствах и в программном обеспечении. Цель методов, закладываемых в аппаратных средствах, состоит в том, что бы ускорить передачу 3D-данных с CPU на графический процессор. Со стороны же программного обеспечения задача состоит в том, что бы обеспечить компактность хранения этой информации и ее передачи по сети.

В связи с тем, что новые технологии в программном обеспечении разрабатываются на основе существующих аппаратных средств, ожидается, что они будут иметь большее влияние в коммерческих приложениях.

Существующие методы 3D-компрессии, основанные на применении программного обеспечения, можно отнести к одной из трех категорий: технологии, основанной на обработке каркаса модели, которая использует структуру каркаса объекта для уменьшения количества бит, необходимых для воспроизведения связей между точками и полигонами при попытке воссоздания первоначальной геометрии; методы прогрессивного сжатия, которые используют алгоритмы упрощения для генерации иерархии уровней детализации, изменяющихся от грубой к точной передаче первоначальной геометрии; техника, основанная на обработке изображения, которая больше кодирует набор изображений, чем сам объект.

Выгоды каждого из указанных подходов уравновешиваются некоторыми их недостатками. Например, методы, основанные на обработке каркаса, которые используются в таких пакетах как Java3D и Virtue3D, могут уменьшать размер файла почти для всех полигональных моделей, и как только этот файл достигает места назначения, он готов к использованию. Этот подход самый быстрый и самый эффективный в отношении скорости передачи данных, если пользователь заранее знает уровень детализации, необходимый ему в конце.

"Методы, основанные на обработке каркаса наиболее эффективны для приложений, которые больше нуждаются в устойчивости, чем в гибкости", - говорит Кинг. "Например, инженеры и рентгенологи совместно используя 3D-модели основывают свои суждения на основе оригинальных данных без потерь, или дилеры автомобилей и художники, представляющие свои вещи в Интернет, могут захотеть иметь возможность выбора некоторым пользователем уровня более низкой или более высокой детализации представления своей продукции".

Методы, основанные на обработке каркаса, к сожалению, не могут адаптироваться к полосе пропускания сети, в связи с тем, что их окончательный результат - изображения с одним разрешением. Таким образом, этот метод становится все менее и менее эффективным с ростом объема геометрии.

С другой стороны, прогрессивные методы поддерживают многократные уровни детализации, что делает их более привлекательным при работе с большими моделями. Невысокая аппроксимация модели доступна сразу, с последующим увеличением информации о деталях. Этот подход так же полезен для приложений, в которых требуется многократность уровней детализации, в таких как "виртуальная прогулка", где отображаемое разрешение увеличивается или уменьшается в зависимости от близости навигатора к данному объекту.

С обратной стороны, прогрессивные методы имеют тенденцию к замедлению, потому как исходная модель забирает времени больше для реконструкции, это требует вычисления прогрессивной иерархии для полной модели наперед. Кроме того, хоть и пользователь может получить приблизительную визуальную аппроксимацию модели немедленно, "настоящая" модель еще не доступна к применению.

Что касается коммерческой стороны, Intel развили библиотеку программного обеспечения прогрессивной компрессии, которую кампания лицензирует продавцам программных продуктов. Macromedia - одна из первых компаний, имеющих лицензию на технологии Intel - включила поддержку 3D в свой плеер Shockwave.

Количество прогрессивных алгоритмов сжатия в настоящее время по-прежнему развивается и тестируется в исследовательском сообществе. Наиболее многообещающее предложение - технология wavelet, разработанная Суиденсом и Шродером, которые достигли существенных достижений по эффективности, предварительно опубликовав методы 3D-сжатия. Техника в настоящее время усовершенствуется, и оценивается ее коммерческая жизнеспособность, согласно Bell Labs.

Наконец, методы, основанные на обработке изображений, наподобие тех, что используются в QuickTime VR и IPIX, имеют преимущество - способность к управлению имеющейся инфраструктурой сжатых данных, потому как они используют 2-мерные фотографические данные. До настоящего времени, работа над этим методом была ограничена специализированными применениями, такими как программы "прогулки по реальному окружению" и программное обеспечение для просмотра наборов данных MRI. В то время, как этот подход не может быть полезен в приложениях, требующих фактическую геометрию, типа производственного процесса, говорит Кинг, - "есть перспектива его применения в таких приложениях, где высокое качество изображения важнее использования точной геометрии."

Перед тем, как 3D-компрессия в любом виде сможет быть встроена в самые последние или уже выпускаемые приложения, придется встретить большое количество проблем. Первая среди них - теоретическое препятствие. "Усовершенствования в области скорости передачи данных продолжают развиваться, так что никто действительно не знает - насколько возможен этот показатель, и к чему, в связи с этим, мы должны стремиться," - говорит Кинг. "Когда одномерная (звук) и двумерная компрессия была в стадии разработки, люди уже тогда имели доступ к хорошей теоретической информации об одномерных и двумерных сигналах. Они уже знали - какова максимально возможная степень сжатия может быть достигнута, и они знали - с какими проблемами они встретятся. Мы же не имеем такой информации для 3D".

Один размер должен соответствовать всему

С практической стороны некоторые проблемы масштабируемости остаются нерешенными. "Мы нуждаемся в таких форматах сжатия геометрии, которые бы гибко могли приспосабливаться к доступной полосе пропускания сетей," - говорит Суиденс. "Должна быть возможность приспособленности передачи одного отформатированного файла по широким магистралям (магистральные линии Интернет, корпоративные связи T1, высокоскоростные домашние сети) и узким (стандартные модемы, проводные сети, телефонные ячейки), и каждый пользователь должен иметь возможность получить аппроксимацию изначальной модели с наилучшим качеством не зависимо от полосы пропускания доступной ему сети."

Кроме того, схема сжатия должна быть масштабируема относительно недостатков оснащения конечного пользователя. В этом отношении данный отдельный формат должен одинаково подходить и для устройств с небольшими вычислительными и графическими мощностями, и для мощных CPU и графических аппаратных средств.

"Провайдер 3D-услуг не должен волноваться о процессе декодирования на месте потребления его продукции", - говорит Суденс. Например, в сетевой игре "содержание должно отображаться оптимально для всего диапазона систем начиная от машин типа PS2, и заканчивая последними компьютерами, или даже портативными устройствами для сетевых игр".

В то время, как существует возможность решения этих проблем масштабирования, используя прогрессивные методы, более трудная задача - масштабируемость в отношении сложности моделей. "Есть множество алгоритмов, которые более или менее могут работать с отдельным объектом или несколькими объектами, но совсем немного могут работать с комплексными сценами, содержащими множество отдельных объектов", - говорит Шродер.

Другой вопрос, требующий внимания - компрессия текстурированных объектов. "В настоящее время модели и координаты текстур сжимаются с использованием методики 3D-компрессии, а изображения сжимаются независимо, используя технику 2D-сжатия. "Вполне привычно видеть модель, в которой сжатая геометрия больше чем в десять раз превышает сжатые изображения", - говорит Габриэл Таубин из IBM Research, один из разработчиков стандарта MPEG-4 и связанных методов 3D-сжатия, которые включают в себя прогрессивные алгоритмы и алгоритмы одиночного разрешения. В идеале, как он предлагает, должно быть хорошее равновесие между сжатием каркаса и компрессией координат текстур, цветов, и других атрибутов.

Среди наиболее отпугивающих технических трудностей сжатия - мысль об обработке динамических сцен. "Большинство предложенных методов сжатия пока что имеют дело со статическими объектами", - говорит Таубин. "Это связано с проблемой развития эффективных методов сжатия для анимации, и специфики этих сложных сцен, где объекты появляются и исчезают, и могут деформироваться со временем, при этом изменяя не только свою геометрию, но и свою топологию." Фактически, утверждает он, одно из наиболее выгодных применений 3D-компрессии - это ее использование в технике сжатия видео, что позволит непрерывно передавать большой объем 3D-данных через Интернет, и в телевизионных приложениях.

Метод компрессии, основанный на обработке каркаса, начинает с одного треугольника и развивается по спирали, стремясь покрыть весь каркас. На этом виде каркаса кролика показано, как начинается процесс типичного кодирования, с использованием алгоритма компрессии, названного Edgebreaker, разработанного в Georgia Tech

Наконец, что бы удовлетворить потребность в компрессии людей, занимающихся научной визуализацией, говорит Таубин, "методы должны быть развиты так, что бы была возможность сжимать, передавать, и визуализировать очень большие модели, вроде тех, которые генерируются суперкомпьютерами в результате огромных физических или биологических симуляций". В этих случаях, эти модели превышают типичные размеры памяти терминалов клиентов, таким образом, необходим двусторонний протокол связи, для синхронизации данных и на терминале и на сервере.

Поскольку решения этих проблем уже начинают проявляться, ничто не ограничивает потенциал для приложений. "В настоящее время основное применение 3D-компрессии это возможность существования таких приложений, как электронная коммерция, CAD/CAM, видео игры и медицинская визуализация, для использования более крупных и сложных моделей в Интернет, чем они могли бы быть использованы без сжатия", - говорит Кинг. "Конечная цель, однако, намного больше - позволить появится новым видам искусства, бизнеса и развлечениям в 3D Интернет". Среди этих возможностей - 3D-фотография, теле презентации в виртуальном окружении, трехмерные выставки и научное моделирование в реальном времени.

И как только все потребности в сжатии таких приложений будут удовлетворены, возможно, исследователи придумают - как применить свою цифровую магию в реальном мире, что бы мы могли засунуть свой большой багаж в маленькое верхнее купе.

Источник: Computer Graphics World May, 2001