Geometriebasierte Kompression von Lightfields

Geometriebasierte Kompression von Lightfields

Ingmar Peter - Reinhard Klein - Wolfgang Straßer
WSI/GRIS - Universität Tuebingen
inReal: V3D2-Workshop, München 1999
Motivation
Herkömmliche Techniken reichen zur
Modellierung von komplexen natürlichen
Szenen nicht aus
• extremer Aufwand
• riesige Datenmengen
– Speicherplatz
– Leistungsfähigkeit von Graphikhardware
inReal: V3D2-Workshop
Herkömmliche Modellierung
16 500 000 Polygone
Plant ecosystems, Deussen et. al., 1998
inReal: V3D2-Workshop
Image-based Rendering
Ersetzung von Geometrie durch Bildinformation
Beispiel: Texture Mapping
Virtual Tübingen - MPI für biologische Kybernetik (Prof. Bülthoff)
inReal: V3D2-Workshop
Lightfield-Rendering
Virtuelles Hologramm
Für jeden Punkt und jede
Richtung auf der
Bounding-Box des Objekts
wird Farbinformation
gespeichert.
inReal: V3D2-Workshop
Lightfield-Rendering
Bounding
Box
(s,t)
Jeder Oberflächenpunkt (s,t)
wird mit allen Richtungen (u,v)
kombiniert
(u,v)
inReal: V3D2-Workshop
Vorteile
•
•
•
•
Beliebige Ansichten rekonstruierbar
Unabhängigkeit von Objektgeometrie
Keine Spezialhardware notwendig
Darstellung synthetischer oder realer Objekte
inReal: V3D2-Workshop
inReal-Architektur
• Flexible C++-Klassenbibliothek
Parser
LightfieldDaten
Texturen
LightfieldResampling
WindowManagement
X-Windows/
Windows NT
VQ-Codebook
inReal: V3D2-Workshop
Anwendungen
• Schneller Lightfield-Viewer:
bis zu 100 Frames/Sekunde auf
Pentium II/266 MHz mit
Elsa Winner 2000/Office (Permedia 2)
• Beschleunigte Darstellung von Lightfields mit
Hardware
(Vis`99, San Francisco)
inReal: V3D2-Workshop
Aktuelle Arbeiten
Reduktion des hohen
Speicherplatzbedarfs
Beispiel:
256x256 Bildpixel
32x32 Winkelauflösung
24 Bits/Pixel
1,5 GB Daten
inReal: V3D2-Workshop
Lösungsansätze
• VQ-Kompression
• Entropy coding
Kompressionsfaktor 1:120
• Aber:
Keine Ausnutzung der Kohärenz im
Datensatz
inReal: V3D2-Workshop
Aktuelle Arbeiten
• Ausnutzung von Objektgeometrie
Verringerung der Winkelauflösung
4
2
3
• Erwartung: n
n (oder n )
• Geometrierekonstruktion aus Lightfield-Daten
inReal: V3D2-Workshop
Ausblick
inReal: V3D2-Workshop
Ausblick
Erweiterung der Pipeline
Reale
Modelle
Geometriebasierte
Kompression
Darstellung
Synthetische
Szenen
inReal: V3D2-Workshop