Analyzing of spatially-aware peephole displays

ANALYZING
SPATIALLY-AWARE
PEEPHOLE DISPLAYS
Benjamin Kihm
Universität des Saarlandes
Prof. Dr. Antonio Krüger
Betreuer: Markus Löchtefeld
Überblick
• Motivation
• Allgemein
• Verwandte Arbeiten
• Eigene Arbeit
• Ausblick
http://goo.gl/o4ehk
Motivation
• MRT Modell
• Smartphone als
Navigationshilfe
• Bewegungssteuerung
• Intuitive Steuerung
• Eignung der
Bewegungssteuerung
• Präzision der
Bedienung?
http://goo.gl/L2iuB
Allgemein
• Interaktionsaufgaben für
3D-Modelle
• Objektmanipulationen
• Navigation
• Systemsteuerung
Quelle: Paper [2]
Auswahl
Quelle: Paper [2]
Drag & Drop
Quelle: Paper [2]
Direkte Manipulation
Quelle: Paper [2]
Rotation
Quelle: [2] The Personal Interaction Panel - a Two-Handed Interface for Augmented Reality (Zsolt Szalavári , Michael Gervautz) appeared in Computer Graphics Forum, 16,
3 (Proceedings of EUROGRAPHICS'97, Budapest, Hungary), pp. 335-346, September 1997
Verwandte Arbeiten
• ImageVis3D Mobile
• Personal Interaction Panel
• PaperLens
• Tangible Windows for 3D Information Spaces
1. ImageVis3D Mobile
Anwendung
• In der Medizin
• neurochirugischer Eingriffe
• Bsp.: Tiefe Hirnstimulation
• Blackbox-Diagnose entfällt
• Vorhersage von Effekten
• Problem
• Mobile Analyse während
Visite
Quelle: Paper [1]
Quelle: [1] Christopher R. Butson, Georg Tamm, Sanket Jain, Thomas Fogal, and Jens Kruger. 2013. Evaluation of Interactive Visualization on Mobile Computing Platforms
for Selection of Deep Brain Stimulation Parameters. IEEE Transactions on Visualization and Computer Graphics 19, 1 (January 2013), 108-117.
Video
http://goo.gl/JJcVP
Link zum Video:
https://www.youtube.com/watch?v=pDEgVjANrJw
ImageVis3D Mobile | Umsetzung
• Mobile
•
•
•
•
Visualisierungsumgebung
Patientenspezifische
Modelle
OpenGL ES
Empfang von
Untersuchungsdaten
Teilen von
Untersuchungsdaten
zwischen Geräten
• Instant Messaging
System
Quelle: Paper [1]
ImageVis3D Mobile | Ergebnis
• Entscheidungen können ähnlich zur herkömmlichen
Untersuchungspraxis getroffen werden
• Ärzte können schneller Entscheidungen treffen
• System mobil einsetzbar
2. Personal Interaction Panel
• Manipulation und Visualisierung von 3D Datensätzen auf
mobilen Geräten
• Augmented Reality
• Natürliche Interaktionstechniken
• keine Spezialmetaphern
• mehrere Interaktionsstile
• weites Anwendungsspektrum
Quelle: [2] The Personal Interaction Panel - a Two-Handed Interface for Augmented Reality (Zsolt Szalavári , Michael Gervautz) appeared in Computer
Graphics Forum, 16, 3 (Proceedings of EUROGRAPHICS'97, Budapest, Hungary), pp. 335-346, September 1997
PIP | Umsetzung
Aufbau
• leichtes, notebook-großes
Display in der Hand
• Magnetisch oder optisch
getrackter Stift und Pad
• Videobrille (HMD)
Quelle: Paper [2]
Quelle: Paper [2]
PIP | Ergebnis
Möglichkeiten
Probleme
• Soziale
• Erkennung realer Objekte
Kommunikationskanäle
werden nicht blockiert
• Direktes Arbeiten mit 3D
Objekten
• Vergleich zwischen realem
Objekt und 3D Modell
• Verdeckung realer
Objekten
• Hohe Spezialisierung von
Maus und Tastatur durch
einen synthetischen
Entwicklungsprozess
3. PaperLens
• Erforschung verschiedener virtueller Räume
Quelle: Paper [3]
Quelle: Paper [3]
Quelle: Paper [3]
Quelle: Paper [3]
Quelle: [3] Martin Spindler, Sophie Stellmach, and Raimund Dachselt. 2009. PaperLens: advanced magic lens interaction above the tabletop. In Proceedings of the ACM
International Conference on Interactive Tabletops and Surfaces (ITS '09). ACM, New York, NY, USA, 69-76.
PaperLens | Aufbau
• Passives Display (Papier)
• Projektor
• Infrarotkamera
Quelle: Paper[3]
 Simulation von tabletop
 Schattenwurf
• Einführung: Tabletop Display
Quelle: Paper[3]
• Navigation innerhalb der Z-Ebene über tabletop
PaperLens | Ergebnis
• PaperLens dient als Fenster in virtuelle Räume
• Navigation über dem Display
4. Tangible Windows
• Weiterentwicklung von PaperLens
• Anforderung an das System
• User können System nutzen ohne zusätzliche
Hardware zu tragen
• Keine HMD
• Keine schweren Displays
• Keine Tracking Ausrüstung
• Hoher Grad an natürlicher Bedienung
Quelle: [4] Martin Spindler, Wolfgang Büschel, and Raimund Dachselt. 2012. Use your head: tangible windows for 3D information spaces in a tabletop environment. In
Proceedings of the 2012 ACM international conference on Interactive tabletops and surfaces (ITS '12). ACM, New York, NY, USA, 245-254.
Tangible Windows | Aufbau
• 2 Basistypen
Bildschirme
• globales Display
(tabletop screen)
• lokales Display
(mehrere mobile
Screens)
Quelle: Paper[4]
Umsetzung
• Nutzung von räumlich bewussten leichten Displays
• variierende Anzahl einzelner Display
• Liefern unabhängige Ansichten der 3D Umgebung
• Stationärer großer Display in der Umgebung
• Kopf-tracking
Video
http://goo.gl/JJcVP
Link zum Video:
https://www.youtube.com/watch?v=fs0MmODh7yA
Related Work: Zusammenfassung
• Verschiedene Systeme
• Erforschung 3D Welten (Modellen)
• Offene Frage:
„Wie präzise ist diese Art der Steuerung?“
 Basis meiner Arbeit
Eigene Arbeit
• Idee:
• Fixe 3D Welt um Nutzer
• Peephole-Display
• Guckloch in 3D Welt
• Sicht des Nutzer vom Gerät abhängig
Quelle: Paper [5]
Quelle: [5] Ka-Ping Yee. 2003. Peephole displays: pen interaction on spatially aware handheld computers. In Proceedings of the SIGCHI Conference on Human Factors in
Computing Systems (CHI '03). ACM, New York, NY, USA, 1-8.
Eigene Arbeit
• Ziel:
• Präzision der 3D
Steuerung messen und
auswerten
• Implementierung
• Android OS
• Open GL ES
• Kinect
Prototyp
• Kinect trackt Nutzer im
Raum
• Android-App
• Basisobjekt (3D Würfel)
• Interaktionsmöglichkeiten
durch Bewegung des
Gerätes
• Drehen
• Kippen
• Bewegen
• Zoomen
Positionsdaten
• Handposition (Kinect) =
Kameraposition
• Koordinaten im R3
http://goo.gl/Zy5dv
• Euler-Winkel
• Gier
• Nick
• Roll
• Wird geliefert von
Accelorometer und
Gyroscope
http://goo.gl/efiFZ
Quelle: http://de.wikipedia.org/wiki/Eulersche_Winkel
Nutzerstudie
• Messung der Bedienungsgenauigkeit
• Vorgabe an Nutzer
• Bringe Gitternetz-Würfel in deckungsgleiche Position mit 3D Welt
Würfel
• Nutzer dreht Gerät entsprechend
• Wenn Position erreicht Touch-Eingabe als Bestätigung (Taskcompletion time)
• Speicherung
• Positionsdaten
• Rotationswinkel
http://goo.gl/KdMPm
Auswertung
• Messung der
• prozentualen Abweichung von Vorgabe
• Bedienungskomfort?
• Mögliche Fragestellungen
• Hohe Präzession möglich?
• Praktikabel?
• Einsatzgebiete z.B. in der Medizin?
http://goo.gl/iHdqK
Zukünftige Fragestellungen
• direkter Vergleich zwischen Tastatur/Maus und
Bewegungssteuerung?
• Bessere Sensorik?
• Tastatureingabe Mauseingabe überlebt?
• Chancen der AR?
http://goo.gl/6qsak
Vielen Dank für die Aufmerksamkeit
Fragen?
Referenzen
• [1] Christopher R. Butson, Georg Tamm, Sanket Jain, Thomas Fogal, and Jens Kruger. 2013.
Evaluation of Interactive Visualization on Mobile Computing Platforms for Selection of Deep
Brain Stimulation Parameters. IEEE Transactions on Visualization and Computer Graphics 19, 1
(January 2013), 108-117.
• [2] The Personal Interaction Panel - a Two-Handed Interface for Augmented Reality (Zsolt
Szalavári , Michael Gervautz) appeared in Computer Graphics Forum, 16, 3 (Proceedings of
EUROGRAPHICS'97, Budapest, Hungary), pp. 335-346, September 1997
• [3] Martin Spindler, Sophie Stellmach, and Raimund Dachselt. 2009. PaperLens: advanced magic
lens interaction above the tabletop. In Proceedings of the ACM International Conference on
Interactive Tabletops and Surfaces (ITS '09). ACM, New York, NY, USA, 69-76.
• [4] Martin Spindler, Wolfgang Büschel, and Raimund Dachselt. 2012. Use your head: tangible
windows for 3D information spaces in a tabletop environment. In Proceedings of the 2012 ACM
international conference on Interactive tabletops and surfaces (ITS '12). ACM, New York, NY, USA,
245-254.
• [5] Ka-Ping Yee. 2003. Peephole displays: pen interaction on spatially aware handheld
computers. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems
(CHI '03). ACM, New York, NY, USA, 1-8.