Bachelorarbeit - Institut für Informatik

Fachbereich Mathematik und Informatik
der Freien Universität Berlin Institut für Informatik
Bachelorarbeit
Eine angemessene Geste für den Spieler Analyse von Bewegungen
Verfasser:
Matrikelnummer:
e-Mail:
Carsten Flöth
4456619
[email protected]
Erstprüfer:
Zweitprüfer:
Prof. Dr. Marco Block-Berlitz
Dipl.-Inf. Hilmar Dietrich
Abgabedatum:
27.06.2013
Vorwort
Vorab bedanke ich mich bei Prof. Dr. Marco Block-Berlitz für die Betreuung meine Bachelorarbeit.
Mein Dank geht auch an Hilmar Dietrich, der sich einen Teil seiner knappen Zeit genommen hat, um ebenfalls als Prüfer meiner Bachelorarbeit tätig zu sein.
Die Bereitstellung von Kinetic Space 2.3 PRO durch Matthias Wölfel hat mir während
der Erarbeitung des Toolkonzeptes auch sehr weitergeholfen, sodass eine Implementierung in Zukunft möglich ist.
Bedanken möchte ich mich zu guter Letzt auch bei allen, die mich während der Umsetzung dieser Arbeit unterstützt haben, und ich bitte all jene um Entschuldigung, bei
denen ich durch geistige oder physische Abwesenheit geglänzt habe.
2
Inhaltsverzeichnis
Zusammenfassung
5
1 Einleitung
1.1 Problemstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Ziel und Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . .
6
6
6
2 Grundlagen und Begriffe
2.1 Gestik . . . . . . . . . . . . . . . . .
2.1.1 Natürliche Gesten . . . . . .
2.1.2 Anstrengende Gesten . . . . .
2.2 Psychologie . . . . . . . . . . . . . .
2.2.1 Immersion in Videospielen . .
2.2.2 Flow . . . . . . . . . . . . . .
2.3 Microsoft Kinect . . . . . . . . . . .
2.3.1 Hardware . . . . . . . . . . .
2.3.2 Funktionsweise . . . . . . . .
2.4 Dynamic Time Warping Algorithmus
2.5 Verwendete Software . . . . . . . . .
2.5.1 OpenNI . . . . . . . . . . . .
2.5.2 Kinetic Space . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
8
8
8
8
9
9
10
11
11
12
12
15
15
17
3 Theorie und verwandte Arbeiten
3.1 Ergonomie gestenbasierter Interfaces . . . . . . . . . . . . . . . . . . . . .
3.2 Psychologie in Spielen . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.3 Technologie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
18
19
21
4 Ausgeglichene Gesten-Sets
4.1 Umfrage zur Gestenbewertung . .
4.1.1 Aufbau und Durchführung .
4.1.2 Auswertung . . . . . . . . .
4.1.3 Zwischenfazit . . . . . . . .
4.2 Psychologie . . . . . . . . . . . . .
4.3 Zwischenfazit . . . . . . . . . . . .
23
23
23
25
27
27
29
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5 Toolkonzeption
30
5.1 Architekturübersicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
5.2 Modul Differenzierbarkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3
5.3
5.4
Modul Ergonomie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
Diskussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
6 Zusammenfassung und Ausblick
34
Quellenverzeichnis
36
Abbildungsverzeichnis
39
Anhänge
40
4
Zusammenfassung
In der heutigen Zeit ist ein Trend zur alternativen Steuerung von Videospielen zu erkennen, der sich von Gamepad- oder Maus&Tastatur-Steuerung in Richtung natürlicher
Interaktion (engl. Natural User Interaction, kurz NUI) bewegt. Eine mögliche Form
ist der Einsatz von Gesten mit dem gesamten Körper, der allerdings durch konditionelle Fähigkeiten, technische Erfassung der Gesten und dem Willen des Spielers gut
durchdacht sein sollte. Diese Arbeit befasst sich mit der Analyse von Gesten-Sets auf
Ausgeglichenheit, sowie deren Einsatz in Spielen.
5
1 Einleitung
1.1 Problemstellung
Der Stellenwert der Human Computer Interaction (kurz HCI) ist in den letzten Jahren gestiegen, da die globale Technologisierung Natural User Interfaces (kurz NUI) bevorzugt. Dies ist der Fall, weil so die Erlern- und Bedienbarkeit von Systemen vereinfacht wird. In Spielen sind es zumeist Wischbewegungen mit den Fingern auf einer
Smartphone-Oberfläche, aktuell der Einsatz von Virtual Reality Brillen wie der Oculus
Rift oder einige Projekte, die den gesamten Körper als Controller verwenden. Letztere
sind unter anderem deshalb noch nicht weit verbreitet, da die Umsetzung teilweise unausgereift ist.
Zum einen wird die Eingabe, also die Gestenausführung des Spielers, missinterpretiert,
sodass eine andere Geste erkannt“ wird, oder die Gesten können auch so komplex oder
”
anstrengend sein, dass der Spieler sie aus verschiedenen Gründen nicht ausführen will
bzw. kann.
Dies kann große Auswirkungen auf das Spielverhalten und vor allem den Spielspaß haben,
der sich dadurch in Grenzen halten kann. Daher muss bei der Entwicklung eines Spiels,
das durch Gestensteuerung bedient wird, besonders die Auswahl geeigneter Gesten beachtet werden.
1.2 Ziel und Aufbau der Arbeit
Das Ziel dieser Arbeit ist es, herauszufinden, welche Gesten sinnvoll miteinander kombiniert werden sollten, damit sie dem Spieler ein positives Spielerlebnis bieten können.
Der Spieler selbst soll im Fokus der Arbeit stehen, da er als Kunde einen entscheidenden
Einfluss auf den Erfolg eines Spiels besitzt, was als user-oriented design bekannt ist.
Ein positives Spielerlebnis unter Einsatz von Ganzkörpersteuerung kann in verschiedene Ebenen erzeugt bzw. aufrecht erhalten werden, wozu die körperliche Verfassung
des Spielers zählt, wie auch die Elemente des Spiels, die dem Spieler den Anreiz geben,
dieses Spiel mit den gestellten Gesten zu spielen und es zu erleben.
Die Grundlagen zu den einzelnen Ebenen eines Spiels, sowie verwendete Technologien werden in Kapitel 2 erläutert, sodass auf sie in der weiteren Arbeit zurückgegriffen
werden kann. Im Anschluß werden verwandte Arbeiten zur Ergonomie gestenbasierter
Interfaces (siehe 3.1), Psychologie in Spielen (siehe 3.2) und Technologie (siehe 3.3) vorgestellt.
In Kapitel 4 wird aus den gesammelten Informationen zu den verschiedenen Ebenen
erwogen, wie sich ein ausgeglichenes Gesten-Set realisieren lässt. Auf diese Weise kann
6
der Spieler ein positives Gefühl beim Spielen erhalten.
Der abschließende Teil meiner Arbeit ist die Konzeption eines Tools, das das Finden
geeigneter Gesten-Sets durch die erarbeiteten Erkenntnisse erleichtern soll.
Folgende Fragen sollen mit dieser Arbeit beantwortet werden:
• Wann ist ein Set von Gesten ausgeglichen und wie sollte es eingesetzt werden?
• Wo muss besondere Rücksicht auf den Spieler genommen werden (physisch und
psychologisch)?
• Wie muss eine Geste ausgeführt werden, damit sie als korrekte Geste erkannt wird,
aber den Spielspaß nicht mindert?
7
2 Grundlagen und Begriffe
In diesem Kapitel werden die Grundlagen und Begriffe, die in den folgenden Abschnitten
verwendet werden, erläutert. Dies soll dazu dienen, ausgeglichene Gesten-Sets beschreiben und das Toolkonzept vorstellen zu können.
2.1 Gestik
Gesten sind ein Hauptbestandteil der menschlichen Kommunikation. Mit ihnen werden
Dinge ausgedrückt, die zwar auch auf sprachlicher Basis kommuniziert werden können,
aber mit Gesten kann dies in kürzerer Zeit geschehen. Zum Beispiel kann ein Objekt
beschrieben werden, das an einem bestimmten Ort in der Umgebung positioniert ist,
indem die Position anhand anderer Objekte, die der Empfänger dieser Beschreibung
sieht, bestimmt wird. Wenn eine Person allerdings direkt auf dieses Objekt zeigt, also
eine Geste ausführt, kann die Ortsbestimmung mit wesentlich geringerem Aufwand und
in einem kürzeren Zeitraum durchgeführt werden.
Gesten können aber nicht nur Sprache ersetzen, sondern sie auch verstärken. Während
des Sprechens, werden meistens die Hände verwendet, um das Gesagte zu verstärken selbst wenn der Empfänger für ihn nicht sichtbar ist.
2.1.1 Natürliche Gesten
Die Human Computer Interaction wird mit dem Fortschritt der Technik immer wichtiger,
da die Bedienung von Hardware möglichst schnell und somit auch einfach erlernbar sein
soll. Bei den aktuellen Smartphones werden zum Beispiel Wischgesten verwendet. Damit
die Bedienung vereinfacht wird, muss verstärkt auf intuitives Handeln von Personen
eingegangen werden. Gesten, die intuitiv einsetzbar sind, kennt ein Mensch entweder
von Geburt an oder hat sie sich über den Verlauf seines Lebens angeeignet, sodass es für
ihn natürlich ist, sie einzusetzen.
Gesten, die dem Nutzer bekannt vorkommen, erleichtern ihm das Erlernen, da er auf
bekanntes Wissen zurückgreifen kann und nicht den gesamten Bewegungsablauf neu
erlernen muss.
2.1.2 Anstrengende Gesten
Gesten können auf verschiedene Weisen anstrengend sein, wie bereits erwähnt. Zum
einen kann Anstrengung durch Überschreiten körperlicher Grenzen erzeugt werden und
zum anderen durch möglichen geistigen Druck bei der Ausführung nicht gelernter und
unbekannter Gesten.
8
Die körperlichen Grenzen werden unter anderem überschritten, wenn Muskeln mit einem
nicht alltäglichen Aufwand überansprucht werden. Als Beispiel dient hier das Beugen des
rechten Armes. Diese Bewegung wird häufig im Alltag ausgeführt, da sie bei einmaliger
Ausführung kaum Anstrengung erfordert. Wird sie hingegen häufig ausgeführt, und das
häufig in einem kurzem Zeitraum, empfindet man diese Geste als anstrengend, da sie
entgegen dem alltäglichen Gebrauch eingesetzt wird.
Statische Gesten (Posen) können hingegen auch anstrengend werden. Das Zeigen auf ein
Objekt, wie es als eine natürliche Geste oben eingestuft wurde, kann über einen längeren
Zeitraum ebenfalls als anstrengend empfunden werden.
Mueller, Gibbs und Vetere definieren physische Anstrengung als [...] act of exerting,
”
involving skeletal muscles, which results in physical fatigue, [...].“ 1
2.2 Psychologie
Bei der Entwicklung von Computerspielen ist eine psychologische Analyse des Spiels
ein entscheidender Faktor, was oft nicht bewusst wahrgenommen wird. Der Entwickler
muss entscheiden, wie ein Spiel auf den Kunden bzw. den Spieler wirken soll und welche
Gefühle an welcher Stelle hervorgerufen werden sollen. Damit dies gelingt, muss der
Spieler in dem Spiel“ sein, was die sogenannte Immersion (siehe 2.2.1) ist.
”
2.2.1 Immersion in Videospielen
Immersion beschreibt einen Zustand des Spielers, indem er sich in das Spiel eindenken
und einfühlen kann. Dabei verlagert er seine Wahrnehmung von den Geschehnissen der
realen Welt zu denen der virtuellen Welt. Dies erfordert ein hohes Maß an Konzentration
und Aufmerksamkeit2 .
Diese Vertiefung kann auf mindestens zwei verschiedenen Wegen beim Spieler erreicht
werden:
There is the story based immersion into the narrative, plot and setting.
”
And there is flow, the immersion into the game mechanics.“ 3
Wie in dem Zitat angemerkt, gibt es storybasierte Immersion, die eher durch narrative
Methoden hervorgerufen wird und die Immersion durch Spielmechaniken, mit der sich
u.a. die Flow Theorie (siehe 2.2.2) befasst.
Ein etwas anderes Modell von Immersion bieten Ermi und Mäyrä, indem sie die Immersion von Videospielen in drei Komponenten [...] sensory, challenge-based and imagina”
tive immersion (SCI-model). [...]“ 4 aufteilen. Die challenge-based immersion entspricht
dabei der Immersion durch Spielmechanik und die imaginative immersion der der storybasierten Immersion aus dem vorhergehenden Zitat. Die sensory immersion hingegen
wird durch audiovisuelle Eindrücke der Spielwelt hervorgerufen, die das Wahrnehmen
1
2
3
4
[23], S. 265
Vgl. [6], S. 1090
[19]
[26], S. 1
9
der realen Welt überdecken. Immersion wirkt sich durch ein verändertes Zeitgefühl aus,
aber auch durch eine abnehmende Selbstwahrnehmung, da der Spieler sich in die virtuelle
Welt hineinversetzt. 5
2.2.2 Flow
Die Flow Theorie wurde von Csı́kszentmihályi entwickelt, um die Vertiefung von Musikern, Sportlern oder anderen Gruppen in ihre Tätigkeit beschreiben zu können6 . Eine
Vertiefung in eine Tätigkeit hängt von zwei Faktoren ab. Die Anforderungen der Tätigkeit sind der eine und die Fähigkeiten des Subjekts der andere Faktor.
Aus diesen beiden Faktoren lässt sich der Theorie nach eine Zone ableiten, in der ein
Subjekt vertieft sein kann und sich in “the Zone“ 7 befindet. In Abbildung 2.1 ist dieser
Zusammenhang als “Flow channel“ (oder auch “Flow Zone“ genannt) dargestellt.
Ist das Subjekt in seiner Flow Zone, dann entsprechen dessen Fähigkeiten auch den Anforderungen der Aufgabe, ohne dass eine Unter- oder Überforderung auftritt.
Als weitere Ableitung aus der Theorie sind die Zonen der Überforderung (als Anxiety“
”
gekennzeichnet) und der Unterforderung (als Boredom“ gekennzeichnet) in der Abbil”
dung enthalten. Ein Subjekt befindet sich in der Zone der Überforderung, wenn dessen
Fähigkeiten die aktuellen Anforderungen nicht bewerkstelligen können. Dies kann das
Gefühl von psychischem Druck erzeugen, aber ebenso das Gefühl von Angst, da eventuelle Konsequenzen bekannt sein könnten. Wenn allerdings die Fähigkeiten des Subjekts
die Anforderungen übersteigen, wird sich das Subjekt mit einer hohen Wahrscheinlichkeit langweilen und unterfordert fühlen, was dazu führen kann, dass die aktuelle Aufgabe
nicht weiter bearbeitet wird.
Abbildung 2.1: Erstes Flow-Modell nach Csı́kszentmihályi8
5
6
7
8
Im weiteren Verlauf dieser Arbeit wird die challenge-based immersion gemeint sein, wenn von Immersion die Rede ist.
[27], S. 15
[25], S. 31
[20], S. 247
10
2.3 Microsoft Kinect
Die Microsoft Xbox360 Kinect ist eine Hardwareerweiterung für die Konsole Xbox360.
Ursprünglich unter dem Namen Project Natal von Microsoft und PrimeSense entwickelt,
ist die Kinect die Antwort auf Nintendos WiiMote-Controller9 im Bereich alternativer
Steuerung für Konsolen. Dadurch, dass der Spieler für die Bedienung kein Gerät halten
muss, ist er ungebunden von den begrenzten Steuerungsmöglichkeiten und kann nahezu
seinen gesamten Körper als Eingabemedium verwenden. Kurz nach Verkaufsstart der
Kinect wurden von Hackern verschiedene Programme veröffentlicht, die die Kinect als
Eingabemedium für den PC nutzten. Nach vielen weiteren Veröffentlichungen sah Microsoft das Potential dieser alternativen Steuerung für den PC und entwickelte eine Kinect
for Windows, sowie ein passendes SDK, das kostenfrei zur Verfügung gestellt wurde.
2.3.1 Hardware
Der Kinect Sensor10 enthält fünf verschiedene Komponenten (s.Abb. 2.2), die es ermöglichen, die Umgebung vor ihm räumlich zu erfassen:
Es gibt vier einzelne Mikrofone (Mikrofon-Array), mit denen sich Geräuschquellen lokalisieren lassen, sowie eine RGB Kamera, die mit einer Auflösung von 640×512 Pixeln
aufnimmt.
Die besonderen Komponenten der Kinect sind der Infrarot-Projektor und die TiefensensorKamera. Der fünfte Bestandteil der Kinect ist der Neigungsmotor, der im Standfuß des
Gerätes integriert ist und die Kamera um ±27° vertikal ausrichten kann. Beide Kameras
können mit einer Bildwiederholungsrate von 30 FPS aufnehmen.
Abbildung 2.2: Microsoft Kinect11
9
10
11
[4]
[10] enthält die Spezifikation der Kinect for Windows. Die Unterschiede zu der Version für die Xbox
360 sind in den zugehörigen FAQ [11] beantwortet und in der Beschreibung berücksichtigt.
Quelle: [10]
11
2.3.2 Funktionsweise
Die Microsoft Xbox360 Kinect projiziert mit dem Infrarot-Projektor ein spezielles Punktmuster der Wellenlänge 780nm in die Umgebung (s.Abb. 2.3), das von Objekten im Projektionskegel reflektiert wird. Anhand eines Vergleichs vom projizierten Punktmuster
und dem Muster, das von der Tiefensensor Kamera aufgenommen wird, lassen sich Abweichungen bestimmen, mit denen sich ein Tiefenbild erzeugen lässt. Durch Differenzen
in einer Folge von Tiefenbildern lassen sich dadurch auch Bewegungen errechnen. Wenn
in den Bewegungen und Tiefenbildern ein menschenähnliches Objekt erkannt wird, kann
auf diesem ein Skelett berechnet werden, dessen Bones“ für die weitere Verarbeitung
”
zur Verfügung stehen.
Die RGB-Kamera nimmt wie eine handelsübliche Kamera ein farblich-differenziertes Bild
des Sichtkegels auf. Durch Mapping des von der RGB-Kamera empfangenen Bildes und
den Informationen der Tiefenkamera lässt sich der Inhalt des Sichtkegels dreidimensional
und mit korrekten Farben virtuell darstellen.
Die letzte Komponente, das Mikrofon-Array, kann auch zur räumlichen Lokalisierung genutzt werden, indem die empfangenen Frequenzen jedes einzelnen Mikrofons analysiert
und miteinander verglichen werden. Dadurch lässt sich ein lokales Maximum des Frequenzbereichs und so die ungefähre Position der Geräuschquelle vor dem Kinect-Senor
ermitteln.
Abbildung 2.3: Infrarot Punktmuster der Kinect12
2.4 Dynamic Time Warping Algorithmus
Für das Verständnis der Funktionsweise der verwendeten Software (siehe 2.5) wird das
Wissen über den Dynamic Time Warping Algorithmus (kurz DTW) vorausgesetzt, der
in diesem Abschnitt erläutert wird.
Dynamic Time Warping ist ein Algorithmus, der zum Vergleich von zwei Sequenzen, die
12
Quelle: [15]
12
verschiedene zeitliche Längen besitzen können, dient.13 Ein häufiges Anwendungsgebiet
des DTW ist die Spracherkennung, da die vom Nutzer gesprochenen Eingaben mit gespeicherten Lauten verglichen werden müssen. Aufgrund unterschiedlicher Aussprache,
wie zum Beispiel einer etwas längeren Betonung eines Vokals, kommt es zwangsweise zu
einer Abweichung der Eingabe zur gespeicherten Vorlage. Der DTW-Algorithmus setzt
an dieser Stelle an, indem er unterschiedlich lange aber inhaltlich gleiche“ Eingaben
”
vergleicht und die Kosten für einen sogenannten warping path errechnet.
Für die Gestenerkennung ist das ebenfalls von Bedeutung, weil die Ausführung einer
Geste, ähnlich der unterschiedlichen Aussprache von Wörtern, meistens nicht synchron
zu der Referenzgeste verläuft. Dadurch kommt es zu Verzögerungen oder Verkürzungen
in ihr, weshalb das DTW gebraucht wird, um diese zu erkennen und entsprechend zu
behandeln.
Mathematische Definition14
Beim klassischen DTW, der ohne weitere Bedingungen zwei Sequenzen X := (x1 , x2 , ..., xN )
der Länge N ∈ N und Y := (y1 , y2 , ..., yM ) der Länge M ∈ N miteinander vergleicht, werden Glieder xn und ym auf deren Abstand untersucht. Für die Berechnung des Abstands
bzw. der Kosten, die anfallen würden, wenn xn auf ym abgebildet werden soll, wird eine
Kostenfunktion c benötigt. Diese Funktion muss auf R≥0 abbilden, damit die Kosten
zwischen zwei Punkten bestimmt werden können. Durch xn , ym ∈ F mit n ∈ [1, N ] und
m ∈ [1, M ] kann eine Kostenfunktion definiert werden:
c : F × F → R≥0
Mit dieser kann der Abstand zwischen x ∈ F und y ∈ F bestimmt werden.
Daraus ergibt sich eine Matrix (s. Abb. 2.4), in der alle Kosten notiert werden können.
Um zwei Sequenzen mit dem DTW zu vergleichen, werden sogenannte warping paths ermittelt. Ein warping path ist eine Sequenz p = (p1 , p2 , ..., pL ) mit pl = (nl , ml ) ∈ [1, N ] × [1, M ]
für l ∈ [1, L]. Außerdem wird er von drei Bedingungen gestützt:
Abbildung 2.4: Kostenmatrix für Sequenzen der Länge N = 6 und M = 8
Boundary condition
p1 = (1, 1) ∧ pL = (N, M )
13
14
Vgl. [24]
Vgl. [24], S.69-74
13
Durch diese Einschränkung wird gewährleistet, dass jeweils die ersten, sowie die letzten
Punkte der zu vergleichenden Sequenzen identisch sind. Das ist notwendig, damit ein
Intervall existiert, in dem ein warping path existieren kann, der die Sequenzen aufeinander abbilden kann.
In Abbildung 2.5 ist die Bedingung innerhalb der Matrix dargestellt, die auch alle möglichen warping path erfüllen müssen.
Abbildung 2.5: Boundary condition des DTW
Step size condition
pl+1 − pl ∈ {(1, 0), (0, 1), (1, 1)} für l ∈ [1, L − 1]
Die Step size condition begrenzt die Schrittweite von einem Punkt pl zu seinem Nachfolger pl+1 , sodass keine Sequenzglieder von X oder Y ausgelassen werden können.
Monotonicity condition
n1 ≤ n2 ≤ ... ≤ nL und m1 ≤ m2 ≤ ... ≤ mL
Die Monotonicity condition ist schon durch die Step size condition impliziet vorhanden,
allerdings fordert sie alleine, dass es im p warping path keinen zeitlichen Rückgang gibt.
Abbildung 2.6 enthält einen möglichen warping path für zwei Sequenzen der Länge 6, an
dessen Verlauf alle drei Bedingungen erkannt werden können.
Abbildung 2.6: Warping path in R6×6
Kostensumme
Zur Bestimmung der Gesamtkosten eines warping path zwischen X und Y genügt es, die
einzelnen Kosten auf ihm zu addieren:
P
cp (X, Y ) := L
l=1 c(xnl , yml )
14
Damit aber bestimmt werden kann, wie ähnlich sich zwei Sequenzen sind, muss der
warping path mit der geringsten Kostensumme cp (X, Y ) gefunden werden. Der DTW
Abstand DTW(X,Y ) zwischen X und Y ist dann als Gesamtkostensumme des kostengünstigsten warping path p∗ wie folgt definiert:
DT W (X, Y ) := cp∗ (X, Y ) = min{cp (X, Y ) | p ist ein warping path}
Mit dem Algorithmus in Abbildung 2.7 lässt sich ein kostengünstigster warping path finden, wobei dynamische Programmierung verwendet wird, um die Notwendigkeit zu vermeiden, alle möglichen Pfade einzeln betrachten zu müssen. Für den Algorithmus werden
die Präfixsequenzen X(1 : n) := (x1 , x2 , ..., xn ) mit n ∈ [1, N ] und Y (1 : m) := (y1 , y2 , ..., ym )
mit m ∈ [1, M ] definiert. Mit
D(n, m) := DT W (X(1 : n), Y (1 : m))
lässt sich für eine Teilmatrix der kostengünstigste Pfad bestimmen.
Abbildung 2.7: Algorithmus zum Finden eines kostengünstigsten Warping Path15
2.5 Verwendete Software
Das Tool-Konzept in Kapitel 5 enthält verschiedene Software, die eine Realisierung erleichtern soll. Diese Software ist in diesem Abschnitt vorgestellt.
2.5.1 OpenNI
OpenNI16 (kurz für Open Natural Interaction) ist eine Unternehmensgruppe bestehend
aus Primesense, Willow Garage, Sidekick und Asus. Sie wurde mit dem Ziel gegründet,
die Nutzung natürlicher Interaktionsgeräte zu fördern. Daher bieten OpenNI ihre Produkte, das OpenNI SDK und NITE, zur kostenfreien Verwendung an, sodass interessierte
15
16
[24], S.73
[8]
15
Entwickler leichter Anwendungen mit interaktiver Steuerung entwickeln und optimieren
können.
OpenNI SDK
Das OpenNI SDK ist eine kostenfreie Open Source Middleware, bereitgestellt von OpenNI,
die die Entwicklung mit 3D Sensoren, wie zum Beispiel der Microsoft Kinect, erleichtern
soll. Durch die angebotene API kann der Entwickler auf alle Informationen des genutzten 3D-Sensors zugreifen und diese für eigene Anwendungen verwenden. Abbildung 2.8
zeigt die Schichtenarchitektur einer solchen Anwendung.
NITE
Als Middleware zwischen OpenNI und einer Anwendung kann NITE17 (Natural Interface
Technology for End-User) verwendet werden. Es enthält verschiedene Algorithmen, die
zur Erkennung von menschlichen Händen oder Körpern dienen. NITE wurde wie das
OpenNI SDK von OpenNI entwickelt und wird kontinuierlich optimiert. Ein möglicher
Einsatz von NITE neben anderer Middleware zur Realisierung von Anwendungen ist in
Abbildung 2.8 dargestellt.
Abbildung 2.8: OpenNI Architektur18
SimpleOpenNI
SimpleOpenNI19 ist ein OpenNI SDK und NITE Wrapper für Processing. Die aktuelle
Version ist 0.27 (Stand: 19.06.2013) und es sind nicht alle Funktionalitäten für Processing vorhanden, wie sie es in OpenNI SDK und NITE für C/C++ Anwendungen sind.
Entwickelt wurde der Wrapper von Max Rheiner an der Zürcher Hochschule der Künste.
17
18
19
[5]
Quelle: [12]
[13]
16
2.5.2 Kinetic Space
Kinetic Space20 ist ein Tool, das von Matthias Wölfel entwickelt wurde. Auf Grundlage vom OpenNI SDK und NITE, sowie einer Tiefenkamera, z.B. der oben genannten
Microsoft Kinect, können Gesten trainiert und in Gesten-Sets gespeichert werden. Der
Nutzer kann neue Gesten aufnehmen, welche mit denen im Gesten-Set verglichen werden,
was unter Berücksichtigung von Gewichtungen mit dem Dynamic Time Warping Algorithmus (siehe 2.4) geschieht. Dadurch können zu schnell oder zu langsam ausgeführte
Gesten ebenfalls erkannt werden.
Die erwähnten Gewichtungen einzelner Körperteile in den Gesten sind eine Besonderheit
von Kinetic Space. So ist zum Beispiel für eine Wurfgeste die Bewegung des Wurfarms
von großer Bedeutung. Der Wurfarm muss dementsprechend hoch gewichtet sein, damit
beim Vergleich mit dieser Geste dieser Arm einen hohen Stellenwert erhält. Die Füße
können dabei entsprechend vernachlässigt werden und sollten eine niedrige Gewichtung
erhalten.
20
[14]
17
3 Theorie und verwandte Arbeiten
In diesem Kapitel werden einige weitere Arbeiten präsentiert, deren Inhalte sich mit
Teilproblemen dieser Bachelorarbeit befassen. Im Abschnitt 3.1 werden Arbeiten vorgestellt, in denen sich genauer mit der Ergonomie von Gesten auseinandergesetzt wird. Anschließend folgen Arbeiten über die psychologische Betrachtung während der Ausführung
durch den Spieler (Abschnitt 3.2). Den Abschluss des Kapitels bildet 3.3 mit der Vorstellung von verwandten Arbeiten zur eingesetzten Technologie.
3.1 Ergonomie gestenbasierter Interfaces
Die Arbeit von Nielsen1 befasst sich mit der Zusammenstellung von Gesten-Sets zur
HCI, die für die Bedienung mit den Händen gedacht sind. Bei seinen Vorüberlegungen
bezieht er kulturelle Unterschiede mit ein, die auch Auswirkungen auf die Gestenwahl
haben. Diese Bachelorarbeit vernachlässigt hingegen die kulturellen Unterschiede, da
hier nicht festgelegt werden kann, für welche Zielgruppe ganzkörpergesteuerte Spiele
entwickelt werden. Sie ist auf die körperliche Anstrengung und deren Folgen ausgelegt.
Trotz der Abweichung von den Ganzkörpergesten in dieser Arbeit gibt es viele Parallelen
bei der Gestenfindung. Dabei wird besonderer Wert auf die Ergonomie der einzelnen
Gesten, sowie Intuition und Lernvermögen von Nutzern gelegt, die wichtige Merkmale
von Gesten-Sets sind und die in dieser Arbeit auch betrachtet werden.
Das Unternehmen Omek Interactive2 befasst sich mit der Gestensteuerung von Computersystemen und legt dabei besonderen Wert auf intuitive Bedienung und natürliche
Bewegungsabläufe. Im Blog der Homepage befinden sich einige Leitsätze für den Entwurf eines solchen Interfaces, zum Beispiel dem Layout der Benutzeroberfläche, die dem
natürlichen Beugeverhalten der Arme angepasst werden sollte, wenn eine Handsteuerung genutzt wird. Eine Überlegung, die im Rahmen der Bachelorarbeit nicht behandelt
wird, ist die Ausnutzung des zur Verfügung stehenden Raumes während der Gestenausführung. Omek Interactive nennt Bereiche “Effective Interaction Zones“ (kurz: EIZ),
in denen die Gesten am besten ausgeführt werden sollten, damit sie zum einen gut vom
System erkannt werden können und zum anderen für den Nutzer bequem ausführbar
sind. Die Einbeziehung von EIZ ist eine Möglichkeit, das Ergebnis dieser Bachelorarbeit
zu erweitern (siehe auch Kapitel 6).
Ähnlich zu der Beachtung der EIZ haben Koštomaj und Boh3 die Gestenausführung
von Kindern bei verschiedenen Computerspielen untersucht. Dabei haben sie auch analysiert, wie viel Platz jedes Kind bei diesen Spielen benötigt hat und es in Relation zu der
1
2
3
[28]
[7]
[16]
18
Situation gesetzt. Ein Ergebnis ist, dass Kinder während der Ausführung von unbekannten Gesten hektischer werden und dabei mehr Platz benötigen. Dass Geschwindigkeit
und Dynamik einer Gestenausführung deren Genauigkeit beeinflussen, ist ein entscheidender Faktor, der in dieser Arbeit berücksichtigt wird.
In ihrem Ansatz4 verfolgen Norton, Wingrave und LaViola Jr. von der University of
Central Florida eine andere Art, um natürliche Gesten zu finden, die für ein Spiel aus der
Ego-Perspektive geeignet sind. Sie lassen die Testspieler selbst entscheiden, wie sie die
Funktion per Gestik ausführen. Anschließend analysieren sie, wie oft bestimmte Gesten
von den Probanden genutzt wurden und haben die gemachten Erfahrungen dokumentiert. So ist der Durchschnitt der Bewertung zur Aussage “I wouldn’t play more than a
level at a time using full body motion because it would be too tiring.“ 5 4,14 auf einer
Skala von 1-5, wobei 5 starker Widerspruch ist. Das zeigt, dass Menschen oft Gestensteuerung bevorzugen, wenn sie die Wahl haben, da diese im Allgemeinen natürlicher
ist als eine Steuerung per Controller. Dieser Ansatz zur Gestenfindung sollte allerdings
mit einer großen Anzahl an Probanden durchgeführt werden, damit möglichst passende Gesten gefunden werden. Dadurch, dass in dieser Bachelorarbeit ein ausgeglichenes
Gesten-Set auf allgemeinem Weg definiert wird, kann diese Methode nicht angewendet
werden, enthält aber einen vielversprechenden Ansatz.
Mit einer der ersten Analysen zur Ganzkörpersteuerung von Computerspielen hat
Warren6 mit verschiedenen Prototypen zu Spielideen unter anderem den Zusammenhang
zwischen den körperlichen Fähigkeiten des Spielers und den körperlichen Anforderungen des Spiels untersucht. Bei einem Prototypen7 wurden Sprung- und Duckbewegungen
zum Spielen verwendet, sind aber recht schnell sehr anstrengend geworden. Durch Anpassung der Spielelemente konnte er den Kraftaufwand reduzieren, sodass der Spieler über
einen längeren Zeitraum besser auf das Spielgeschehen reagieren konnte, ohne großartige
Ermüdungserscheinungen vorzuweisen. Nach der Anpassung des Spiels hat er auch beobachtet, dass er, ähnlich zu den oben genannten Motivationsgruppen, nun in der Lage
war, die Spielsteuerung zu überblicken und sich eine effizientere Spielweise überlegte.
3.2 Psychologie in Spielen
In ihrem Paper8 befassen sich Bianchi-Berthouze, Kim und Patel damit, ob sich ein
Spieler mehr in ein Spiel hineinversetzen kann, wenn dieses körperliche Bewegung voraussetzt und dabei über einfache Steuerung per Controller hinausgeht. In zwei Experimenten sollten Probanden Spiele mit einem gitarrenförmigen Controller spielen. Dabei
wurde beobachtet, wie sich das Spielverhalten im Vergleich zu einem normalförmigen
Controller verändert und in einem zweiten Schritt, wie es sich verändert, wenn die Probanden alle Funktionen des Controllers kennen, die nur durch Körperbewegung genutzt
werden können. Das Ergebnis zeigte eindeutig, dass mehr Bewegung beim Spielen den
4
5
6
7
8
[17]
[17], S. 4
[29]
[29], S.66-68
[22]
19
Spielspaß aber auch den Einsatz steigern kann. Allerdings sollten es auch Bewegungen
sein, die nicht zu langsam sind bzw. die mit einem positiven Gefühl assoziiert werden. Als
Beispiel dient hier Leaning back and shaking body“, auf das die Probanden Amused,
”
”
excited, happy, content, surprised, satisfied“ 9 reagierten.
Mit der Frage, ob Spieler bei einem Spiel immer nur gewinnen wollen, beschäftigt sich
Juul10 und betrachtet verschiedene Szenarien, in denen Spieler auch verlieren wollen. Dabei stützt er sich auf die in 2.2.2 eingeführte Flow Theorie von Csı́kszentmihályi, welche
er für die Betrachtung von Spielern erweitert (s.Abb. 4.3). Auf diese Erweiterung wird
in Kapitel 4 weiter eingegangen. Im Gegensatz zu dieser Arbeit geht Juul aber genauer
auf die einzelnen Szenarien ein, wie zum Beispiel die Reaktion von Spielern, die auf keine
Weise im Spiel verlieren. Grundlage seiner Analyse sind verschiedene Experimente.
Ein Experiment zur Flowmessung in Computerspielen11 hat Böttcher in seiner Diplomarbeit durchgeführt. Dabei spielten Testpersonen ein ausgewähltes Spiel, das möglichst
immersiv sein soll. Die Erfassung der Daten des aktiven Spielers verlief über vier verschiedene Wege:
• Videoaufnahme des Spiels
• Videoaufnahme der Mimik des Spielers
• Messung der Herzfrequenz
• Messung des Hautwiderstands (elektrische Leitfähigkeit der Hautoberfläche)
Die letzten beiden Messungen wurden mit einen Sensor vorgenommen, der durchgehend
an einer Hand anliegen musste, damit die Messwerte vergleichbar blieben. Außerdem
mussten sie schon vor dem eigentlichen Spielen durchgeführt werden, um Daten über
den Ruhezustand der Testpersonen zu erhalten. Anhand dieser Messwerte konnten dann
emotionale Zustände des Spielers während des Spielens ermittelt und in Relation zu
den Ereignissen im Spiel gesetzt werden. Diese Messumgebung kann wesentlich genauere
und zuverlässigere Ergebnisse liefern, als die der Umfrage zu dieser Bachelorarbeit (siehe Abschnitt 4.1). Die Analyseresultate konnte er dann automatisiert in ein erweitertes
Flow-Modell eintragen lassen, sodass eine Bewertung des Spiels auf Immersion möglich
wird. Für genauere und aussagekräftigere Daten sollte ein ähnliches Messverfahren wie
dieses verwendet werden, sofern die technische Ausstattung vorhanden ist.
Im Artikel Movement-based sports video games: Investigating motivation and gaming
”
experience“ 12 wird u.a. das Spielverhalten von Testpersonen am Spiel Wii Boxing von
Nintendo untersucht. Wii Boxing erreicht im Vergleich zu anderen Spielen für die Nintendo Wii den höchsten Beschäftigungsgrad für den Spieler13 , sodass es potentiell anstrengend ist. Ein Ergebnis dieses Versuchs ist die Ermittlung von zwei Gruppen der
Spielermotivationen, die sich auf das Spielverhalten auswirken. Einerseits wurde das
9
10
11
12
13
[22], S. 9, Table 1
[20]
[27]
[21]
Vgl. [21], S. 51
20
Spiel gespielt, um sich vom Alltag zu entspannen und die Sportart in vereinfachter Art
nachzuempfinden, und andererseits wurde es der Herausforderung wegen gespielt.
[...] When I am playing to relax and I play baseball, I swing like I would
”
with a real baseball bat. But if I am playing to beat somebody else then I
do what I need to do the movements.“ 14
Dieses Zitat eines Probanden beschreibt die Motivationen beider Gruppen recht genau.
Die Motivation der ersten Gruppen ist es das Spiel zu spielen und der Realität für die
Zeit des Spielens zu entfliehen, weshalb dies von einer ausgeprägten Immersion zeugt. Die
zweite Gruppe hingegen versucht beim Spielen ihre Spielweise so an die technischen Gegebenheiten anzupassen, dass mit minimalen Aufwand möglichst gute Resultate erzielt
werden. Eine dritte Gruppe wurde Bianchi-Berthouze15 beschrieben, deren Bewegungen eher unsicher oder ukoordiniert sind. In diesem Fall kennen die Spieler die Sportart
nicht gut genug kennt, um deren Bewegungen gut nachahmen zu können, oder kennen
sich nicht mit der verwendeten Bewegungssteuerung aus, um diese möglichst effizient zu
verwenden, wie es die zweite Gruppe tut.
3.3 Technologie
Matthias Wölfel16 hat zu seinem Tool Kinetic Space ein Paper verfasst, dass die Funktionsweise des Programms beschreibt und auf die Einsatzmöglichkeiten eingeht. Wie
Kinetic Space genutzt werden kann, ist in Abschnitt 2.5.2 näher erläutert. Dadurch,
dass Gesten recht effizient mit einem bestehenden Set verglichen werden können, ist es
als Grundlage für ein Tool gut geeignet, das während der Bearbeitung konzipiert wurde.
Mit der PRO Version von Kinetic Space können benutzerdefinierte OSC-Nachrichten17
an andere Applikationen gesendet werden. Eine Nachricht wird verschickt, wenn eine
Geste mit einer gespeicherten verglichen wird, und kann Informationen über das aktuelle Resultat der Kostenfunktion und den Namen der Referenzgeste enthalten, die von
der Applikation weiterverarbeitet werden.
Einen anderen Ansatz zur Gestenerkennung verfolgt das Full Body Interaction Framework (FUBI18 ), das seit 2011 an der Uni Augsburg entwickelt wird. Gesten werden nicht
wie bei Kinetic Space aufgenommen und mit Gewichtungen angepasst, sondern per C++
Code oder XML manuell definiert. Dabei können gewisse Grenzen gesetzt werden, in denen sich zum Beispiel die z-Koordinate der rechten Hand bewegen darf, um als Teil einer
Geste erkannt zu werden. Es wird zwischen folgenden Gestentypen unterschieden:
1. Posen (statische Gesten)
2. Gesten mit linearer Bewegung
14
15
16
17
18
[21], S. 5
[1], S. 102
[14]
[18], S. 1
[3]
21
3. Kombinationen aus Posen und linearer Bewegung
4. komplexe Gesten
Während die Erkennung von Posen und Gesten mit linearer Bewegung recht einfach definierbar ist, müssen für die Erkennung der Typen 3 & 4 andere Methoden angewendet
werden. Eine Kombination (Typ 3) wird hier versucht als Folge von Gesten des Typs 1
oder 2 interpretiert zu werden, damit im Optimalfall alle Glieder erkannt werden und
so die eigentliche Geste zusammengesetzt wird. Für komplexe Gesten funktioniert dieser
Ansatz hingegen nicht mehr, da im Voraus nicht alle Gesten so definiert werden können,
sodass jedes mögliche Folgenglied berücksichtigt wird. Gesten des Typs 4 lassen sich
dadurch nicht zuverlässig mit FUBI erkennen. Die Idee, Gesten als Folgen zu interpretieren, ist aber für diese Bachelorarbeit interessant, da Spiele mit Bewegungssteuerung
eine begrenzte Anzahl an Gesten verwenden, die in verschiedenen Kombinationen eingesetzt werden. Außerdem wäre es durch die begrenzte Menge möglich, alle vorkommenden
Gesten manuell zu definieren.
22
4 Ausgeglichene Gesten-Sets
“Not all full body interaction is fun and accounts need to be made for issues
such as exhaustion, injury avoidance and boredom.“ 1
Auf Grundlage dieser Aussage baut dieses Kapitel auf. Denn diese Einschränkung ist
sinnvoll, um das erwähnte positive Spielerlebnis erzeugen zu können. Somit stellt sich
die Frage nach der Ausgeglichenheit eines Gesten-Sets, wobei hier Ausgeglichenheit das
reduzierte Risiko einer Unterforderung, die zur Langeweile führen könnte, oder einer
Überforderung, die zu übermäßig anstrengenden Bewegungen oder gar zu einer Verletzung führen könnte, beschreibt. Die Genauigkeit der Gestenausführung spielt eine
ähnliche Rolle.
Ein Spieler, der Gesten nahezu perfekt ausführen muss, wird wahrscheinlich nach einem
relativ geringem Zeitraum frustriert aufgeben. Im Gegensatz dazu wird sich ein Spieler
mit zu großen Freiheiten bei der Ausführung nach einer gewissen Zeit langweilen.
Um geeignete Gesten-Sets zu finden, müssen diese Probleme erkannt und angemessen
gelöst werden. Das bedeutet, dass sich mit möglichen Reaktionen von Spielern auf die
Gesten (siehe Abschnitt 4.2) auseinandergesetzt werden muss. Ebenso mit der Differenzierbarkeit von Gesten und deren Energieaufwand bei der Ausführung, was in dieser
Arbeit mit einer Umfrage untersucht wird (siehe Abschnitt 4.1).
4.1 Umfrage zur Gestenbewertung
Um einen Eindruck zu bekommen, wie verschiedene Personen Gesten während der Ausführung
empfinden, wurde im Rahmen dieser Arbeit eine Umfrage durchgeführt, die zur Bewertung festgelegter Gesten auf persönliche Anstrengung erstellt worden ist.
An der Umfrage haben 35 Personen teilgenommen. Die Probanden waren zwischen 18
und 28 Jahren alt. Diese Altersgruppe wurde gewählt, da viele Spieler nach einer Statistik des BIU (s.Abb.4.1) zwischen 20 und 29 Jahre alt sind. Die Altersgrenzen wurde
zugunsten etwas jüngerer Spieler, die schon volljährig sind, gesenkt.
4.1.1 Aufbau und Durchführung
Für die Umfrage wurden sieben verschiedene Gesten ausgewählt, die jeweils mit der
rechten und linken Körperhälfte ausgeführt werden sollten. Jede Geste wird aktiv nur
1
2
[17], S. 1
[2]
23
Abbildung 4.1: BIU Statistik zur Altersverteilung von Gamern2
von einem Körperteil ausgeführt, damit sie einer von vier Bewegungszonen zugeordnet
werden kann:
• rechter Arm
• linker Arm
• linkes Bein
• rechtes Bein
Eine Geste sollte 20 Sekunden lang stehend, in einer konstanten Geschwindigkeit ausgeführt und anschließend vom Probanden, auf die persönliche Anstrengung während der
Ausführung hin, bewertet werden. Die Bewertung erfolgte ähnlich der Borg-Skala, die
auf einer Skala von 6 ( sehr sehr leicht“) über 13 ( etwas anstrengend“) bis 20 ( sehr sehr
”
”
”
schwer“) angelegt ist, mit dem Unterschied, dass bei einigen Versuchen mit Bewertungen
auf Grundlage der Borg-Skala die Herzfrequenz und der Atemrhythmus berücksichtigt
werden. Aufgrund von technischen Einschränkungen wurde auf diese Messungsmethode
verzichtet und dem Probanden selbst überlassen, wie er seine Anstrengung einschätzt.
Die verwendete Skala ist im Intervall von 0 ( sehr leicht“) bis 10 ( sehr anstrengend“)
”
”
angelegt. Diese Vorgehensweise besitzt den Nachteil, dass die Resultate der einzelnen
Probanden nicht anhand vorgegebener Merkmale verglichen werden können. Das kann
aber vernachlässigt werden, da das Empfinden des Spielers entscheidend ist und nur
subjektiv bewertet werden kann.
Die in Tabelle 4.1 aufgelisteten Gesten wurden von den Probanden (jeweils rechts und
links) ausgeführt und bewertet. Ein rot markierter Bereich in der Skizze kennzeichnet
eine aktive Zone, ein blau markierter eine passive.
Die Gesten wurden in geforderter Länge und Geschwindigkeit in jeweils einem Video
vorgemacht und sollten nacheinander ausgeführt werden. Die wiederholte Ausführung
24
Tabelle 4.1: Umfragegesten (jeweils rechte und linke Körperhälfte)
Bewegungszone
Ausgeführte Gesten
1. Arm waagerecht rechts ausstrecken (Pose)
2. Arm waagerecht nach vorne ausstrecken (Pose)
3. Arm senkrecht nach oben ausstrecken (Pose)
4. Winkbewegung, dabei waagerechter Oberarm (lineare
Bewegung)
5.
Angelwurf“ / Schwerthieb“ ]90° nach vorne (lineare
”
”
Bewegung)
1. Bein ]30° zum anderen Bein anwinkeln (Pose)
2. Knie wiederholt anheben (lineare Bewegung)
(bzw. längere Ausführung bei Posen) ist notwendig gewesen, um eine Anstrengung hervorzurufen, die bewertet werden kann. Sie hat in diesem Kontext keine realitätsnahe
Anwendungsmöglichkeit als Hintergrund. Bei der Ausführung wurde in der Anordnung
ein häufiger Wechsel der Bewegungszone berücksichtigt, sodass ein Bereich nicht überanstrengt werden kann und für jede einzelne Gestenausführung annähernd gleiche Ausgangsbedingungen vorhanden waren. Nach jeder Ausführung sollte der Proband diese
Geste nach der oben dargestellten Skala bewerten. Am Ende der Umfrage wurden die
Ergebnisse, samt Alter und Geschlecht des Probanden, per Mail abgeschickt, sodass sie
ausgewertet werden konnten.
4.1.2 Auswertung
Die Ergebnisse der Umfrage sind in Abbildung 4.2 enthalten. Aus den Bewertungen der
35 Probanden konnte für jede Geste ein Durchschnittswert berechnet werden, der zwar
nicht repräsentativ ist, aber eine Tendenz angibt. In den Zeilen der Tabelle sind die
einzelnen Gesten, sortiert nach ihrem Durchschnittswert, eingetragen. In den Spalten
rechts von den Durchschnittswerten befinden sich die Bewertungen der einzelnen Probanden zu jeder Geste, wobei alle Werte eines Probanden in einer Spalte vorhanden sind.
Jede Zelle, die eine Bewertung enthält, ist entsprechend ihres Wertes eingefärbt, wobei
der Wert 0“ mit einer weißen und der Wert 10“ mit einer dunkel-orangenen Färbung
”
”
angezeigt wird. Unter den Bewertungen eines Probanden sind diese aufsummiert. Nach
25
Abbildung 4.2: Umfrageergebnisse
diesen Summen wurden die Testpersonen in aufsteigender Reihenfolge sortiert.
Trotz subjektiver Einschätzungen ohne medizinische Belege lassen sich aus den Ergebnissen mehrere Schlussfolgerungen ziehen:
1. Gesten, die mit dem rechten Arm ausgeführt werden, sind im Allgemeinen (ohne
Berücksichtigung der Händigkeit) weniger anstrengend als die entsprechend mit
dem linken Arm ausgeführten Gesten.
2. Mit einem Bein aktiv ausgeführte Gesten sind im Allgemeinen anstrengender als
Gesten, die mit einem Arm ausgeführt werden.
3. Gesten, die mit dem linken Bein ausgeführt wurden, sind im Allgemeinen nicht
wesentlich anstrengender als die entsprechend mit dem rechten Bein ausgeführte
Geste.
Die Erklärung für 1. ist die häufigere und vielfältigere Nutzung des rechten Arms im
Alltag, weshalb Gesten mit dem rechten Arm natürlicher wirken und so auch weniger
anstrengend sind.
Wenn eine Geste mit einem Bein ausgeführt wird, ist dieses zwar aktiv, aber das andere
Bein muss in diesem Zeitraum die Balance des Körpers halten, wofür normalerweise beide Beine eingesetzt würden. Zusätzlich zu der Verschiebung des Körperschwerpunkts auf
das passive Bein kann durch mögliche Bewegungen des aktiven Beins der Schwerpunkt
kontinuierlich verschoben werden. Dadurch entsteht auch ein erhöhter Kraftaufwand für
das passive Bein. Bei Armen tritt diese Tatsache in wesentlich geringerem Maße auf, da
sie den Körper nicht primär im Gleichgewicht halten müssen. Dadurch ist eine einseitige
Belastung, wie in 2. beschrieben, bei Beinen anstrengender als bei Armen.
Ähnlich zu den vorhergehenden Erklärungen lässt sich die dritte Schlussfolgerung herleiten: Jeder Mensch bevorzugt eines seiner Beine für verschiedene Bewegungen. Das macht
sich beim Abspringen mit einem Bein bemerkbar, ist aber beim normalen Laufen nicht
weiter auffällig. Da beide Beine für alle Bewegungsabläufe im Alltag wichtig sind, um
das Körpergleichgewicht zu bewahren, unterscheiden sie sich auch nicht sonderlich beim
26
Kraftaufwand. Das gilt natürlich nicht für Personen, die ihre Körper einseitig trainieren.
Die Probanden 1, 4, 6 und 13 empfanden die Armgesten als gar nicht oder sehr gering anstrengend. Die Beingesten dagegen haben sie als etwas anstrengend“ bis sehr
”
”
anstrengend“ bewertet. Dies kann nicht zuverlässig ohne das Wissen über mögliche Verletzungen der Probanden bewertet werden, bestätigt aber die zweite Schlussfolgerung.
Eine Auffälligkeit nach der Sortierung bezüglich Durchschnittswert der Gesten und Bewertungssumme ist der Farbverlauf, der sich ergibt. An ihm ist ablesbar, dass die Werte
einer Spalte von oben nach unten im Allgemeinen größer werden, genauso wie von links
nach rechts. Letzteres könnte auf die subjektive Bewertung zurückgeführt werden, da
Probanden in der rechten Hälfte der Tabelle die erste Geste persönlich als anstrengender
empfunden haben als die Probanden in der linken Hälfte. Die folgenden Gesten wurden
ab diesem Zeitpunkt in Relation zu der ersten Geste, der Referenzgeste, gesetzt, weshalb
die Bewertungen im Vergleich höher sind als die der linken Tabellenhälfte.
4.1.3 Zwischenfazit
Aus den Daten der Umfrage ließ sich einiges über den Aufbau und Einsatz eines guten
Gesten-Sets erfahren, auch wenn eine Auswertung mit medizinischen Daten, wie sie von
Böttcher3 erfasst wurden, mehr über den genauen Kraftaufwand aussagen würde, als
die subjektiven Bewertungen der Probanden. Dennoch weist das Ergebnis eindeutig die
Diskrepanz der subjektiven Bewertungen auf, die in Bezug auf ein positives Spielerlebnis genauso aussagekräftig sind. Dadurch wird die Funktion eines Durchschnitsspielers
wichtiger, um auf die verschiedenen Fähigkeiten eingehen zu können, was zum Beispiel
durch Schwierigkeitsstufen realisiert werden kann.
Für ein ausgeglichenes Gesten-Set bietet sich eher an, Gesten vom Oberkörper ausführen
zu lassen, da so das Körpergleichgewicht leichter bewahrt werden kann. Auf diese Weise
muss sich der Spieler nicht zusätzlich zum Spielgeschehen und der eigentlichen Geste auf
die Erhaltung des Gleichgewichts konzentrieren.
4.2 Psychologie
Das in 2.2.2 beschriebene Flow Modell von Csı́kszentmihályi dient zur Veranschaulichung der optimalen Schwierigkeitsstufe eines Spiels, wenn nur ein Spieler betrachtet
wird. Spiele werden aber im Allgemeinen für ein großes Publikum entworfen und entwickelt, sodass die Rolle des Spielers verloren geht und das Modell vorerst nicht zutreffen
kann.
Trotzdem muss, wie in Abschnitt 3.2 erwähnt, vom Entwickler festgelegt werden, wie
ein Spiel wirken soll und ob es eine Lernkurve der Fähigkeiten voraussetzt. Durch diese
Überlegungen wird eine Zielgruppe definiert und somit auch der Spieler bzw. ein Durchschnittsspieler für dieses Spiel. Durch diesen Spieler kann auch wieder das Flow Modell
angewendet werden.
3
[27]
27
Ein Spiel kann einen Spieler auch etwas mehr fordern, als es seine Fähigkeiten zu diesem
Zeitpunkt zulassen, damit er sie erweitern muss, um eine bestimmte Aufgabe zu lösen.
Damit sich ein Spieler aber nicht dauerhaft in einem Stresszustand befindet, gibt es zwei
Möglichkeiten diesen zu beenden oder zu umgehen.
Zum einen ist die Abwechslung von Stresssituationen und Ruhephasen eine geeignete Methode dieses zu erreichen, da der Adrenalinausstoß des Spielers wieder reguliert werden
kann, aber auch weil er nach Bewältigung einer schwierigen Situation im Optimalfall ein
Glücksgefühl erhält, das er in der Ruhephase genießen kann. Zum anderen können verschiedene Schwierigkeitsstufen in das Spiel implementiert werden, die das Flow Modell
im Vergleich zum Durchschnittsspieler um weitere Flow Zones erweitern. Durch diese
variierenden Stufen kann ein Spieler sich selbst einstufen, um so seiner persönlichen
Flow Zone möglichst nahe zu kommen, die ihm dann wiederum ein positives Spielerlebnis bereiten kann. Ein weiterer Vorteil tritt mit dem Ausbau der Fähigkeiten auf.
Ist der Spieler durch die aktuelle Schwierigkeitsstufe unterfordert, kann er sie erhöhen,
damit die Aufgaben seinen Fähigkeiten angepasst werden. Beide Möglichkeiten können
auch gut kombiniert werden. In Abbildung 4.3 ist ein möglicher Schwierigkeitsgrad als
grüner Pfeil dargestellt und die optimale Flow Zone des Spielers als blaue gestrichelte
Linie. Je nach Spielfortschritt wird der Spieler etwas gefordert (grüner Pfeil ist über
der Flow Zone) oder kann sich etwas entspannen (grüner Pfeil ist unterhalb der Flow
Zone). Hinzu kommt die Motivation des Spielers, mit der er das Spiel spielen will. Die
von Pasch4 ermittelten Motivationsgruppen sind eine gute Grundlage, auf der ein Spiel
entwickelt werden sollte. Ist die Motivation die Immersion selbst, sollte der Fokus auf
Gesten liegen, die den Bewegungsabläufen im Spiel ähnlich sind. Zum Beispiel könnte
ein Rollenspiel, das aus der Third Person Perspektive gesteuert wird, Gesten verwenden,
die den Bewegungen der Spielfigur sehr ähnlich sind. Der Nachteil an dieser Stelle ist,
dass einige Bewegungen der Spielfigur in der Realität sehr anstrengend sein könnten. Das
würde sich u.a. bei Spielen des Genres Action-Adventure bemerkbar machen, in denen
die Spielfigur oft mit vielen Sprüngen und schnellen Aktionen in Kämpfen konfrontiert
wird, die der Spieler steuern muss. Ist die Gestensteuerung in solchen Situationen zu
realistisch, dann würde sich der Spieler einen Großteil der Spielzeit deutlich über seiner Flow Zone befinden und somit überfordert sein. Außerdem wird die Steuerung nach
einiger Zeit als zu anstrengend empfunden, wenn die Gesten nicht natürlich sind. Der
Spieler kann dadurch nicht mehr die Zeit investieren, um sich in das Spiel zu vertiefen,
da er nur mit der Ausführung der Gesten beschäftigt ist.
Ein ebenso wichtiger Faktor beim Spielen ist die Genauigkeit der Gestenausführung.
Der Spieler könnte in einer Situation, in der er überfordert ist, die benötigten Gesten
ungenauer ausführen, wie es von Kostomaj und Boh5 bei Kindern beobachtet wurde.
Es ist möglich, dass eine Geste als eine andere erkannt wird, wenn der Spieler bei der
Ausführung unkonzentriert ist. Durch diese Fehlinterpretation wird eine andere als die
gewünschte Aktion im Spiel gestartet, was bei häufiger Wiederholung zu Frustration
seitens des Spielers führen kann.
4
5
[21]
[16]
28
Abbildung 4.3: Flow in Spielen6
4.3 Zwischenfazit
Bei der Gestaltung eines Gesten-Sets sind mehrere Faktoren zu beachten, wie die Psychologie des Spielers und dessen körperliche Fähigkeiten. Dabei darf sich aber nicht
auf einen realen Spieler konzentriert werden, sondern es sollte der Durchschnittsspieler
der gewünschten Zielgruppe ermittelt werden. Um ihn zu finden, müssen Versuche mit
Spielern der Zielgruppe durchgeführt werden, in denen ähnlich wie bei der Umfrage Bewegungen durchgeführt werden, aus denen sich die durchschnittliche körperliche Fitness
ermitteln lässt. Damit zuverlässige Daten erhoben werden können, sollte zusätzlich zur
Befragung der Probanden eine automatische Messung von medizinischen Werten durchgeführt werden, wie es von Böttcher7 getan wurde.
Wenn der Spieler für das Spiel möglichst genau ermittelt wurde, können Gesten gestaltet
werden, die möglichst natürlich in der Ausführung sind und sich nicht zu sehr ähneln.
Geeignete Gesten lassen sich mit einem Programm finden, wie es in 5 beschrieben ist.
Beim Einsatz der Gesten sollte noch beachtet werden, dass anstrengende Gesten nicht zu
häufig eingesetzt werden, um den Spieler einerseits physisch zu schonen und andererseits
das positive Spielerlebnis zu wahren.
6
7
[20], S. 248
[27]
29
5 Toolkonzeption
Im Rahmen der Bachelorarbeit wurde ein Tool zur automatischen Umsetzung einiger der
gewonnenen Erkenntnisse konzipiert. Dazu gehört insbesondere die Frage nach der Differenzierbarkeit der Gesten, als auch die Betrachtung der Ergonomie. Die Erkenntnisse
zu der Psychologie des Spielers werden durch die Module Ergonomie und Differenzierbarkeit im Konzept umgesetzt.
In diesem Kapitel wird zuerst in Abschnitt 5.1 ein Überblick über eine mögliche Architektur der Software gegeben, bevor in 5.2 und 5.3 die einzelnen Module näher erläutert
werden.
5.1 Architekturübersicht
Abbildung 5.1: Tool Softwarearchitektur
Das Programm soll dem Entwickler möglichst viele Freiheiten bei dem Entwurf des
Gesten-Sets bieten, aber dabei die in dieser Bachelorarbeit analysierten Merkmale eines
ausgeglichenen Gesten-Sets berücksichtigen. Daher ist es für die Software unerlässlich
ein Mittel zur Bestimmung der Differenzierbarket aller Gesten im Set zu besitzen, als
auch die Gesten einzeln auf physische Anstrengung zu untersuchen.
In der Softwarearchitektur des Tools (s. Abb. 5.1) existieren die Module Differenzierbarkeit und Ergonomie, die zur Lösung dieser Probleme eingesetzt werden. Kinetic Space
in der PRO Version ist eine zentrale Komponente der Software, denn Gestenvergleiche
werden darüber realisiert. Der Einsatz ist damit begründet, dass Kinetic Space mehrfach
erfolgreich eingesetzt worden ist1 und stabil während der Ausführung läuft. Außerdem
1
[14], S. 63
30
kann die Kostenfunktion des genutzten DTW-Algorithmus auch sinnvoll vom Modul
Differenzierbarkeit genutzt werden. Die Gesten Datenbank (GestenDB) enthält Gesten,
die durch eine ausreichende Anzahl Probanden auf Anstrengung bewertet worden sind,
und der Gesten-Pool hält alle Gesten, die aktuell zum Gesten-Set gehören. Die grafische
Oberfläche des Tools ist ähnlich der von Kinetic Space aufgebaut (s. Abb. 5.2), weil dort
die wichtigen Informationen übersichtlich angeordnet sind, wie zum Beispiel das Abspielen der ausgeführten Geste und die einstellbaren Gewichte. Das GUI benötigt noch einen
Regler für die Einstellung von Kostentoleranzen, die in Abschnitt 5.2 erklärt sind, sowie
eine Anzeige für die ermittelte Anstrengung aus Abschnitt 5.3.
Abbildung 5.2: Benutzeroberfläche von Kinetic Space2
5.2 Modul Differenzierbarkeit
Das Modul Differenzierbarkeit dient zur Sicherstellung, dass sich Gesten in einem GestenSet nicht zu ähnlich sind. Dieses Modul ist eine wichtige Komponente des Konzepts, denn
mit ihm soll die Fehlinterpretation von Gesten beim Spielen schon während der Entwicklung reduziert werden.
Die Grundlage bilden ein Gesten-Pool, der anfangs keine Gesten enthält, und Kinetic
Space in der PRO Version. Der Nutzer kann eine neue Geste aufnehmen, die dem GestenSet hinzugefügt werden soll. Diese wird mit allen vorhandenen Gesten im Gesten-Pool
durch Kinetic Space verglichen, indem für jede enthaltene Geste die Kosten bestimmt
werden. Jede Geste im Gesten-Pool muss einen individuellen Kostenwert gespeichert
haben, der die Genauigkeit der Ausführung für diese Geste angibt. Das Ergebnis der
DTW-Kostenfunktion wird als OSC-Nachricht an das Modul Differenzierbarkeit gesendet. Sind die Kosten jeweils über dem Grenzwert der Geste, den der Entwickler festlegen
muss, dann ist der Unterschied zwischen den verglichenen Gesten groß genug, um eine
Fehlinterpretation zu vermeiden. Wenn keine große Ähnlichkeit entdeckt wurde, kann die
aufgenommene Geste dem Gesten-Pool hinzugefügt werden und mit den beschriebenen
Funktionen von Kinetic Space trainiert werden.
2
[14], S. 60
31
Ein frei wählbarer Kostenwert ist sinnvoll, damit der Entwickler eigene Game Design
Entscheidungen umsetzen kann, die zum Beispiel eine möglichst genaue Ausführung fordern.
Ein anderes Szenario enthält Spielabschnitte, in denen der Spieler bewusst gefordert
wird und so die Ausführung der Gesten ungenauer werden kann. Ein Beispiel hierfür ist
der Prototyp Duck and Jump 3 , bei dem der Spielablauf selbst sehr fordernd war von der
Schnelligkeit und Intensität der Bewegungen, sodass Anpassungen vorgenommen werden
mussten. Mit Hilfe einer Erhöhung des variablen Kostenwertes ist es möglich dem Spieler
diesen Spielabschnitt zu erleichtern, wenn dort eine bestimmte Geste verwendet werden
soll.
Der Vergleich durch dieses Modul erfolgt zeitlich vor der Anstrengungsanalyse, da diese
nicht durchgeführt werden muss, wenn die Differenzierbarkeit nicht gewährleistet ist.
5.3 Modul Ergonomie
Zur Ermittlung der Anstrengung einer Ganzkörpergeste wird für dieses Tool eine Kombination aus Kinetic Space und FUBI verwendet, bei dem Gesten in verschiedene Glieder
unterteilt werden. Die Unterteilung erfolgt in die vier Körperbereiche, die in der Umfrage
betrachtet wurden. Die Gesten Datenbank hält somit nur Gesten, die anhand des aktiven Körperteils einem Bereich zugeordnet werden können. Bei der Analyse einer Geste
werden nun die Körperteile mit den gespeicherten durch Kinetic Space verglichen, was
mit den Gewichtungen einfach realisierbar ist. Im Idealfall werden vier Gesten erkannt,
deren Anstrengungswerte ausgelesen werden können und zu einer Gesamtanstrengung
für diese Geste verrechnet werden. Die Idee hinter der Aufteilung entspricht dem eines
Baukastensystem, mit dem verschiedene Gesten erfasst werden können, ohne jede einzeln
aufnehmen zu müssen.
5.4 Diskussion
Die Aufteilung der Gestenanalyse in vier Bereiche kann die Anstrengungsberechnung
erleichtern, da nur eine relativ geringe Menge an Teilgesten verwendet werden muss, um
viele Ganzkörpergesten zusammenzusetzen. Ein Nachteil ergibt sich aber durch eben
diese Zusammensetzung, die ebenfalls ein Problem bei dem FUBI Projekt ist, weil komplexe Gesten nicht zuverlässig berechnet werden können. Die Winkbewegung aus der
Umfrage wurde als nicht sehr anstrengend bewertet. Wenn sie aber in Kombination mit
unnatürlicher Körperhaltung ausgeführt wird, könnte sie als wesentlich anstrengender
empfunden werden. Daher sollte der Einsatz eines solchen Tools auf Posen und lineare
Bewegungen beschränkt werden, solange keine zuverlässigen Berechnungsmethoden für
die Gesamtanstrengung vorliegen.
Die Toleranzwerte aus dem Modul Differenzierbarkeit geben dem Entwickler Freiheiten
bei dem Entwurf seines Gesten-Sets. Durch zu hohe oder zu niedrige Werte kann aber der
3
[29], S.66-68
32
Spielspaß minimiert werden, da bei zu hohen Werten die Genauigkeit stark sinkt, damit
die Geste erkannt wird, und bei zu niedrigen die ausgeführte Geste nahezu identisch mit
der Referenzgeste sein muss. Daher ist es erforderlich, dass die Gesten oft von verschiedenen Personen trainiert werden, damit ein zufriedenstellendes Ergebnis vorliegen kann.
Beim Trainieren müssen, ähnlich wie die Gewichtungen von Kinetic Space, die Toleranzwerte optimiert werden, um dem Spieler ein möglichst positives Spielerlebnis bieten zu
können.
Weitere Vor- und Nachteile können erst nach Implementierung und Testen des Tools
erkannt und adäquat behandelt werden.
33
6 Zusammenfassung und Ausblick
Das Erstellen eines ausgeglichenen Gesten-Sets besitzt viele verschiedene Faktoren, die
nicht alle in einer Bachelorarbeit erfasst und in vollem Umfang analysiert werden können.
Das Betrachten von Spielerverhaltensweisen lässt aber Tendenzen erkennen, wie bestimmte Bewegungen empfunden werden, das aber im Kontext des Spiels geschehen
muss. Anhand dieser Tendenzen kann ungefähr ein Durchschnittsspieler der Zielgruppe
ermittelt werden, dessen Flow Zone als Anhaltspunkt für den weiteren Entwurf maßgeblich sein sollte. Das kann sich auf das Game Design auswirken, aber vor allem auf
ein ausgeglichenes Gesten-Set und dessen Einsatz. Durch Abwechslung von psychisch
und physisch fordernden, sowie entspannenden Spielabschnitten kann beim Spieler ein
positives Spielerlebnis erschaffen werden.
Fordernde Abschnitte können unter anderem durch komplexere Gesten gestaltet werden
und für die der Spieler seine Fähigkeiten erweitern muss, um sich in der folgenden Spielphase mit einem Glücksgefühl entspannen kann. Ein ausgeglichenes Set sollte für diesen
Zweck nicht zu viele komplexe Gesten enthalten und dem Spieler eine genügend große
Auswahl bieten, damit er sie seinen Fähigkeiten entsprechend einsetzen kann.
Außerdem sollten sich die Gesten im Set nicht zu sehr ähneln, damit ungewollte Fehlinterpretationen, die Frustration hervorrufen können, möglichst nicht auftreten.
Überlegungen zu kulturellen Unterschieden, wie sie von Nielsen1 vorgeschlagen wurden,
sollten ebenfall ein Bestandteil des Entwurfs sein, auch wenn die Globalisierung voranschreitet und sich einige Verhaltensweisen anpassen.
Zu den Möglichkeiten, die in der Toolkonzeption erfasst wurden, können noch weitere
Elemente hinzugefügt werden. Die Voraussetzung für zuverlässige Erweiterungen ist eine
größere Menge an Daten, die ähnlich denen der Umfrage als Grundlage genommen wird.
Die Anzahl sollte für repräsentative Daten ausreichend sein, damit die Entwicklung der
Zielgruppe gerecht wird.
Das Tool könnte eine Berücksichtigung der Händigkeit aufweisen, damit die Ergonomie
für Rechts- und Linkshänder gleichermaßen optimiert werden kann. Für die Verbesserung der Ergonomie sollte auch eine Einbeziehung der Effective Interaction Zones, wie
sie von Omek Interactive2 definiert wurden, in Erwägung gezogen werden, da die betrachteten Gesten der Umfrage auf einem festen Punkt im Raum ausgeführt wurden.
Durch die Ausnutzung des weiteren Raums ergeben sich weitere Möglichkeiten Gesten
zu gestalten, aber ebenso weitere Herausforderungen bei der Ermittlung der Anstrengung.
1
2
[28], S. 409ff
[7]
34
Abgesehen von den Features, um die das Tool erweitert werden könnte, muss auch der
Fortschritt der Hardware in die Überlegungen miteinbezogen werden. Die nächste Generation der Kinect-Kamera kann nach aktuellen Angaben Muskelspannungen erkennen,
sowie die Herzfrequenz der erfassten Personen messen.3 Dadurch, dass der Puls von Personen von der neuen Kinect-Kamera gemessen werden kann, können Analyseverfahren
des Tools optimiert und die Gesten zuverlässiger trainiert werden. Eine Implementierung
des Tools kann bei Erscheinen und Nutzung der nächsten Generation der Kinect profitieren, denn sie erlaubt Vereinfachungen bei der Ermittlung der notwendigen Daten.
Außerdem besitzt sie eine höhere Auflösung, die die Bewegungserkennung präzisiert und
somit für die Differenzierbakeit vorteilhaft ist.
3
[9]
35
Quellenverzeichnis
[1] Bianchi-Berthouze, N. (2013): Understanding the role of body movement in player
engagement; in: ACII ’07 Proceedings of the 2nd international conference on Affective Computing and Intelligent Interaction, Springer-Verlag Berlin, Heidelberg, S.
102-113
[2] Bundesverband Interaktive Unterhaltungssoftware e.V. Statistik (2013) Online
Link: www.biu-online.de/de/fakten/gamer-statistiken/altersverteilung.
html (14.06.2013)
[3] FUBI - Full Body Interaction Framework (2013) Online Link: http://www.
informatik.uni-augsburg.de/en/chairs/hcm/projects/fubi/ (21.06.2013)
[4] Nintendo Wii (2013) Online Link: www.nintendo.de/Wii/Wii-94559.html
(10.06.2013)
[5] NITE (2013) Online Link: www.openni.org/files/nite (11.06.2013)
[6] Nordin, A.I. et al. (2013): Attention, time perception and immersion in games; in:
CHI 2013 Extended Abstracts, Paris, S. 1089-1094
[7] Omek Interactive (2013) Online Link: www.omekinteractive.com (11.05.2013)
[8] OpenNI (2013) Online Link: www.openni.org (11.06.2013)
[9] The Next Web: The new Xbox One Kinect tracks your heart rate, happiness, hands
”
and hollers“ (2013) Online Link: www.thenextweb.com/microsoft/2013/05/22/
the-new-xbox-one-kinect-tracks-your-heart-rate-happiness-hands-and-hollers
(25.06.2013)
[10] Kinect for Windows Components (2012) Online Link: www.msdn.microsoft.com/
en-us/library/jj131033.aspx (20.06.2013)
[11] Kinect for Windows FAQ (2012) Online Link: www.microsoft.com/en-us/
kinectforwindows/news/faq.aspx (20.06.2013)
[12] OpenNI Architektur (2012) Online Link: www.primesense.com/wp-content/
uploads/2012/10/DPA1.png (20.06.2013)
[13] SimpleOpenNI (2012) Online Link: https://code.google.com/p/simple-openni/
(11.06.2013)
36
[14] Wölfel, M. (2012): KineticSpace 3D Gestenerkennung für dich und mich, Pforzheim:
Konturen, S.58-63
[15] HAW Hamburg Kinect Punktmuster (2010) Online Link: http://livingplace.
informatik.haw-hamburg.de/blog/wp-content/uploads/2010/11/kinect1.
png (17.04.2013)
[16] Koštomaj, M. / Boh, B. (2010): Design and Evaluation of User’s Physical Experience
in Full Body Interactive Games; in: Multimedia Tools and Applications, Volume 54
(2011), Springer-Verlag Berlin, Heidelberg, S. 499-525
[17] Norton, J. / Wingrave, C.A. / LaViola Jr., J.J. (2010): Exploring Strategies and
Guidelines for Developing Full Body Video Game Interfaces; in: Proceedings of the
Fifth International Conference on the Foundations of Digital Games, ACM New
York, New York, S. 155-162
[18] Schmeder, A. / Freed, A. / Wessel, D. (2010): Best Practices for Open Sound
Control; in: Linux Audio Conference (2010)
[19] Game Architecture (2009) Online
immersion-vs-flow (09.06.2013)
Link:
www.gamearch.com/2009/05/05/
[20] Juul, J. (2009): Fear of Failing? The Many Meanings of Difficulty in Video Games;
in: Wolf, M.J.P. / Perron, B. (Hrsg.): The Video Game Theory Reader 2, Routledge,
New York, S. 237-252
[21] Pasch, M., et al. (2009): Movement-based sports video games: Investigating motivation and gaming experience; in: Entertainment Computing 1 (2009), Elsevier,
Amsterdam, S. 49-61
[22] Bianchi-Berthouze, N. / Woong Kim, W. / Patel, D. (2007): Does body movement
engage you more in digital game play? And why?; in: Affective Computing and
Intelligent Interaction (2007), Springer-Verlag Berlin, Heidelberg, S. 102-113
[23] Mueller, F. / Gibbs, M. / Vetere, F. (2007): Taxonomy of Exertion Games; in:
Proceedings of the 20th Australasian Conference on Computer-Human Interaction:
Designing for Habitus and Habitat, ACM New York, New York, S. 263-266
[24] Müller, M. (2007): Information Retrieval for Music and Motion (Chapter 4: Dynamic
Time Warping), Springer Berlin Heidelberg, S. 69-84
[25] Chen, J. (2007): Flow in Games (and Everything Else); in: Communications of the
ACM Vol. 50 (2007), ACM New York, New York, S. 21-34
[26] Ermi, L. / Mäyrä, F. (2005): Fundamental components of the gameplay experience:
Analysing immersion; in: DIGRA (2005), DIGRA
[27] Böttcher, Ralf Armin (2005): Flow in Computerspielen (Diplomarbeit)
37
[28] Nielsen, M., et al.(2003): A procedure for developing intuitive and ergonomic gesture interfaces for HCI; in: Gesture-Based Communication in Human-Computer
Interaction (2004), Springer Berlin Heidelberg, S. 409-420
[29] Warren, J. (2003): Unencumbered Full Body Interaction in Video Games
38
Abbildungsverzeichnis
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
Erstes Flow-Modell nach Csı́kszentmihályi
Microsoft Kinect . . . . . . . . . . . . . .
Infrarot Punktmuster der Kinect . . . . .
DTW Kostenmatrix . . . . . . . . . . . .
DTW Boundary condition . . . . . . . . .
DTW Warping path . . . . . . . . . . . .
Algorithmus OptimalWarpingPath . . . .
OpenNI Architektur . . . . . . . . . . . .
4.1
4.2
4.3
BIU Statistik zur Altersverteilung von Gamern . . . . . . . . . . . . . . . 24
Umfrageergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Flow in Spielen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
5.1
5.2
Tool Softwarearchitektur . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
Kinetic Space GUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
39
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
10
11
12
13
14
14
15
16
Anhänge
Inhalt der CD
• Bachelorarbeit in PDF-Format
40
Hiermit versichere ich, dass ich die vorliegende Bachelorarbeit selbstständig und nur
unter Zuhilfenahme der angegebenen Quellen erstellt habe.
Berlin, den 26. Juni 2013
(Carsten Flöth)