Kurzfassung - Persönliche Webseiten der Informatik

Hochschule für Angewandte Wissenschaften Hamburg
Hamburg University of Applied Sciences
Seminararbeit
Wintersemester 2012/13
Hauke Schröder
Datensammlung zur Untersuchung der Augenaktorik bei
der Steuerung eines Vehikels
Fakultät Technik und Informatik
Department Informatik
Faculty of Engineering and Computer Science
Department of Computer Science
INHALTSVERZEICHNIS
1
Inhaltsverzeichnis
1
Einführung
1.1 Problemstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
2
2
Vorarbeiten
2.1 Projekt 1 . . . . . . . . . . . . . .
2.1.1 Sammlung von Annahmen
2.1.2 Testsoftware . . . . . . .
2.1.3 Testdurchführung . . . . .
2.1.4 Testergebnisse . . . . . .
.
.
.
.
.
3
3
3
4
4
5
3
Ausblick
3.1 Projekt 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Masterarbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
7
8
4
Zusammenfassung
4.1 Status quo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.1.1 Projektplan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
11
11
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Literatur- und Quellenverzeichnis
13
5
15
15
Apendix
5.1 Screenshots der Applikation . . . . . . . . . . . . . . . . . . . . . . . . .
1
1
EINFÜHRUNG
2
Einführung
In dieser Ausarbeitung werde ich auf den aktuellen Stand des Gesamtprojektes “Humanbiologisch motivierte Regelung autonomer Systeme“, die bisherigen Erfolge aus “Projekt
1“ und die Ziele für die Veranstaltung “Projekt 2“ sowie die Masterthesis eingehen.
1.1
Problemstellung
Ein Großteil der heute ausgelieferten Kraftfahrzeuge, speziell Personenkraftwagen, besitzen ein Antiblockiersystem, einige ein elektronisches Stabilitätsprogramm und wenige
Spurhalte- oder Spurwechsel-, Notbrems- oder Toter-Winkel-Assistenten, Abstandsregelautomaten oder andere aktiv eingreifende Assistenzsysteme. Durch die Unterstützung des
Menschen durch diese Assistenzsysteme ändert sich der Automatisierungsgrad von manueller hin zu teilautomatisierter Steuerung. Der nächste Entwicklungsschritt ist der Übergang von der teilautomatisierten zur vollautomatisierten Steuerung eines Fahrzeugs und
ist unlängst viel komplexer als der vergangene Schritt. Hierbei ist die Anforderung an das
System, dass es alle Aufgaben des Fahrers übernimmt und diese mindestens genauso gut
durchführt wie ein Mensch. Dass diese Systeme keine Utopie sind, wurde in verschiedenen Forschungsprojekten [12][14] bereits nachgewiesen. In beiden Projekten ist neben viel
Rechenleistung und diversen Sensoren auch eine sehr detaillierte Karte der Fahrstrecke notwendig, auf die das Fahrzeug zurückgreifen kann. Dies schränkt das Einsatzgebiet stark
ein. Allerdings kann es selbst in diesen stark begrenzten Einsatzgebieten zu unvorhersehbaren Situationen kommen, die Menschen tadellos meistern können, während das autonome
System nichts tun kann, außer zu versuchen einen Fail-Safe-Zustand zu erreichen.
Um den ständig neuen Anforderungen der realen Welt gerecht werden zu können, hat der
Mensch die Fähigkeiten erlernt, mit diesen Anforderungen umgehen zu können. Adaption
und Abstraktion ermöglichen es uns bekannte Probleme zu erkennen, Unterschiede zu Vergangenem auszumachen und eine speziell auf das aktuell vorliegende Problem angepasste
Lösung zu entwickeln. Diese Fähigkeiten erscheinen uns selbstverständlich, doch sind sie
alles andere als trivial.
2
VORARBEITEN
2
3
Vorarbeiten
Die Veranstaltung “Projekt 1“ baut auf die thematische und fachliche Einarbeitung aus Anwendungen 1 [7] und Anwendungen 2 [6] auf. Die Ergebnisse dieser beiden Veranstaltungen
werden hier nicht weiter ausgeführt.
2.1
Projekt 1
Das Ziel der ersten Projektveranstaltung bestand darin, Informationen darüber zu sammeln,
wo der Mensch beim Steuern eines Vehikels hinschaut. Dazu wurde zunächst eine Personenbefragung durchgeführt. Aus den Antworten der Befragten wurden Annahmen generiert, welche Ereignisse bei der Steuerung eines Vehikels als problematisch angesehen werden können. Darauf aufbauend wurden simulationsfähige Testszenarien formuliert, die im
nächsten Schritt in einer selbst entwickelten Testsoftware erzeugt werden können.
2.1.1
Sammlung von Annahmen
Der erste Schritt besteht darin, Annahmen zu machen, die das Steuern eines Fahrzeugs
für eine Maschine komplizierter machen und deren Lösung weniger trivial ist, als es sich
zunächst vermuten lässt. Die Herkunft der Annahmen ist ein Extrakt aus Befragungen
verschiedener Personengruppen, welche Situationen beim Autofahren Probleme beziehungsweise Schwierigkeiten bereiten können:
• Änderung des Lenkverhaltens / Fahrverhaltens
• Nebentätigkeiten (Bedienung des Mobiltelefons, des Multimediaequipments)
• Änderungen des Fahrbahnuntergrundes (witterungsbedingt/ bedingt durch Änderungen oder Beschädigungen des Fahrbahnbelags)
• Zunehmende Verkehrsintensität / Zunehmende Intensität der äußeren Einflüsse
• Eingeschränkte Sichtverhältnisse
• Plötzliche Beschädigungen des Fahrzeug / Verletzungen des Fahrers
• Störungen durch andere Verkehrsteilnehmer
Es wurde bereits an dieser Stelle eine Klassifizierung semantisch ähnlicher Antworten vorgenommen. Ebenso wurden bereits die für diesen Kontext irrelevanten Situationen aus den
Ergebnissen der Befragungen entfernt.
Auf Basis dieser Ergebnisse wurden Testszenarien entwickelt, die in der Testsoftware umgesetzt wurden.
2
VORARBEITEN
2.1.2
4
Testsoftware
Bei der entwickelten Testsoftware handelt es sich um eine Adobe Flash Applikation. Alle
in Kapitel 2.1.1 beschriebenen Situationen sind in der Software durch entsprechende Parameter konfigurierbar. Die fertige Applikation ist in nachfolgendem Screenshot dargestellt:
Abbildung 1: Screenshot der Testsoftware
Zu sehen ist ein maximal einfach gehaltenes User-Interface. Oben rechts einige Systeminformationen und am unteren Bildrand ein kleines rotes Fahrzeug. Aus Anwendersicht
besteht das Ziel der Applikation darin, das kleine rote Fahrzeug durch Betätigung der Cursortasten (links und rechts) auf der vertikal scrollenden geschwungenen Linie zu halten.
Weitere Screenshots sind im Anhang (Kapitel 5.1) zu finden.
2.1.3
Testdurchführung
Es wurden zwei Tests mit den Versuchspersonen durchgeführt. Beim ersten Test wurde die
zuvor beschriebene Testanwendung genutzt. Hierfür wurden die Versuchspersonen instruiert, das Bild des kleinen roten PKWs möglichst gut auf der durch eine Linie dargestellten
Fahrbahn zu halten. Die Anwendung besteht aus sechs Stages, wobei jede Stage mit Hinblick auf bestimmte Aspekte hin parametrisiert wurde (Annahmen aus Kapitel 2.1.1) und
als ein in sich geschlossener Abschnitt betrachtet werden kann.
2
VORARBEITEN
5
Beim zweiten Test wurde das Spiel Flatout 2 von Bugbear Entertainment verwendet. Das
Ziel bestand darin, die beim ersten Test gewonnenen Erkenntnisse in einer realitätsnäheren
Anwendung zu bestätigen, ohne dabei einen Feldversuch durchführen zu müssen.
Zur Auswertung der Tests wurde der gesamte Spielprozess aufgezeichnet. Die vollständige
Beschreibung der Testdurchführung und der Testergebnisse ist in [8] zu finden.
2.1.4
Testergebnisse
Die Ergebnisse der Tests liegen als Videomaterial vor. Der Mitschnitt des Tests ist für jede
Person zwischen fünf und acht Minuten lang. Die Auswertung des Bildmaterials ist Bestandteil der Veranstaltung “Projekt 2“. Nachfolgend sind Screenshots mit Einblicken in
das Videomaterial dargestellt:
Abbildung 2: Screenshots der Auswertungsvideos
2
VORARBEITEN
6
Abbildung 3: Screenshots der Auswertungsvideos - Flatout 2
Auf den Bildern der jeweiligen Applikation sind unterschiedlich groß dargestellte rote Kreise und dünne Verbindungslinien zwischen diesen zu erkennen. Die Punkte sind die Fixationspunkte, auf denen die Testpersonen verweilt haben. Je größter ein Punkt ist, desto länger
wurde an diesem Ort verweilt. Die Linien werden eingezeichnet um den Verlauf der Augenbewegung darzustellen.
In beiden Screenshots ist deutlich zu erkennen, dass die Fixationspunkte ein wenig vor dem
Fahrzeug liegen und dabei dem Straßenverlauf folgen (Abbildungen 2 und 3).
3
AUSBLICK
3
7
Ausblick
Nachfolgend werden die Ziele der Veranstaltung “Projekt 2“ und der Masterarbeit genauer
beschrieben.
3.1
Projekt 2
Das Ziel der Veranstaltung “Projekt 2“ besteht darin, eine neue Spurerkennung für die
Carolo Cup-Plattform des FAUST Projekts zu entwickeln. Folgende Anforderungen an
diese wurden dabei gestellt:
• Abschaffung des bisher verwendeten Scanline-Verfahrens
• Deutliche Reduzierung der Transformationen (Bild Weltkoordinaten)
• Reduzierung der Bildoperationen
• Vermenschlichung der Spurerkennung
Vermenschlichung bedeutet in diesem Kontext, die Spurerkennung dem Verfahren eines
menschlichen Fahrers nachzuempfinden. Hierbei wird instinktiv wie nachfolgend beschrieben vorgegangen.
Der Fahrer fixiert einen Punkt vor dem Fahrzeug, die Entfernung zu diesem Punkt ist dabei Abhängigkeit von der Geschwindigkeit des Fahrzeugs. Nähert sich das Fahrzeug einer
Kurve wird dieser Punkt wenn möglich beibehalten. Damit dies möglich ist, folgt der Fixationspunkt automatisch der Kurve. Abbildung 4 stellt das Vorgehen des Verfahrens dar:
3
AUSBLICK
8
Abbildung 4: Projekt 2:Visualisierung des Scanverfahrens
Zusätzlich werden Korrekturen für Fehlstellen aus [5] implementiert.
3.2
Masterarbeit
Die Masterarbeit hat das Ziel die bestehende FAUST Subsumption Architektur um ein Modul zu erweitern. Hierbei werden die geplanten Schritte aller Teilmodule anhand von Hintergrundwissen aus den Tests der Veranstaltung “Projekt 1“ auf Sinnhaftigkeit und Schlüssigkeit in Bezug auf das Gesamtverhalten des Fahrzeugs hin untersucht und gegebenenfalls
korrigiert, um Fehler zu vermeiden. Die Entscheidungen werden auf Basis von Hintergrundwissen getroffen, das aus den Tests aggregiert wird.
Da jede Entscheidung aller Teilmodule bewertet werden muss, bevor andere Module das
Wissen dieses Moduls nutzen dürfen, agiert das geplante Modul als eine Art Filter, das
zwischen dem FAUSTcore und allen FAUSTplugins angesiedelt ist, wie in nachfolgender
Abbildung dargestellt:
3
AUSBLICK
9
Abbildung 5: Sämtliche Interaktion der FAUSTplugins mit dem FAUSTcore erfolgen
ausschließlich durch das Bewertungsmodul
Wie in Abbildung 5 zu sehen ist, ist das Modul HBMR (Human-biologisch motivierte
Regelung) mit dem FAUSTcore verbunden. Dieser enthält Dienste, die von den FAUSTplugins vielfältig genutzt werden. Weiter gibt es eine Verbindung zu einem Modul Background Knowledge. Dieses stellt eine Schnittstelle bereit, die es ermöglicht Wissen abzufragen und gegebenenfalls anzupassen oder zu erweitern.
4
4
ZUSAMMENFASSUNG
10
Zusammenfassung
Die Einarbeitung in das Thema gestaltete sich zunächst schwierig. Mit Auffinden der Arbeit
A Historical Review on Lateral and Longitudinal Control of Autonomous Vehicle Motions
von Khodayari et al.[1] konnten viele interessante weiterführende Arbeiten gefunden werden. Hierbei sind besonders die Arbeiten von [10] [3] [2] [9] [11] [4] [13] [15] in diesem
Kontext als fachlich interessant zu bewerten. Es stellte sich heraus, dass die Idee Dinge
menschlich anzugehen schon oft betrachtet worden ist, allerdings noch nicht in der Form,
wie es das Ziel dieser Masterarbeit sein soll und in Kapitel 1 beschrieben ist.
Die Entwicklung der Testsoftware und Durchführung der hierauf basierenden Tests beenden den ersten von drei Meilensteinen planmäßig. Die vorsichtige kritische Bewertung der
Testergebnisse in Kapitel 2.1.4 lässt darauf schließen, dass Postulate für den weiteren Projektverlauf aufgestellt und als Hintergrundwissen für die Entscheidungsfindung verwendet
werden können. Aufgrund der nicht ausreichenden Performance der Testhardware im Usability Labor ist es leider nicht möglich die Korrektheit der Postulate zusätzlich durch eine
weniger abstrakte Rennsimulation zu verifizieren.
Der Fortschritt des Projekts, soweit eine Abschätzung möglich ist, ist zufriedenstellend und
planmäßig.
4
ZUSAMMENFASSUNG
4.1
11
Status quo
Während in der Ausarbeitung zur Veranstaltung “Anwendungen 1“ eine Einordnung des
Projekts in die Forschungslandschaft gemacht wurde, hat sich die Ausarbeitung der Veranstaltung “Anwendungen 2“ damit beschäftigt, für das Projekt wissenschaftlich relevante
Quellen zu finden und diese mit Hinblick auf den Projektinhalt zu bewerten. In “Projekt
1“ wurde die zuvor erwähnte Testsoftware geplant und entwickelt sowie ein Test mit verschiedenen Probanden durchgeführt. Anders als bisher geplant, wird in der Veranstaltung
“Projekt 2“ nicht mit der Auswertung der Tests fortgefahren, sondern wie in Abbildung 6
dargestellt, ein neuer Spurerkennungsalgorithmus entwickelt.
4.1.1
Projektplan
Nachfolgend wird ein aktualisierter Projektplan dargestellt, der die Einteilung des Projekts
in Phasen und den aktuellen Stand des Projekts zeigt.
Abbildung 6: Projektplan
LITERATUR- UND QUELLENVERZEICHNIS
12
Literatur- und Quellenverzeichnis
[1] Alireza Khodayari, Sina Ameli, Ali Ghaffari and Jamal Flahatgar. A Historical Review on Lateral and Longitudinal Control of Autonomous Vehicle Motions. Technical
report, Mechanical Engineering Department, Toosi University of Technology, Tehran,
Iran, 2010.
[2] Bellet, T. et al. Modelling Driver Behavior in Automotive Environments. Critical Issues in Driver Interactions with Intelligent Transportation Systems. Cognitive Modelling
and Computational Simulation of Driver Mental Activities., 2007.
[3] Benmimoun, A. Der Fahrer als Vorbild für Fahrerassistenzsysteme? Ein fahrermodellbasierter Ansatz zur Entwicklung von situationsadaptiven FAS., 2004.
[4] Dario D. Salvucci. Modeling Driver Behavior in a Cognitive Architecture, 2006.
[5] Enrico Hensel. Kamerabasierte Fahrspuridentifikation und -repräsentation unter Berücksichtigung eines kinematischen Bewegungsmodells. 2012.
[6] Hauke Schröder. Ausarbeitung AW2: Human-biologisch motivierte Regelung autonomer Systeme, August 2012.
[7] Hauke Schröder. Ausarbeitung AW1: Human-biologisch motivierte Regelung autonomer Systeme, Februar 2012.
[8] Hauke Schröder. Projekt 1: Datensammlung zur Untersuchung der Augenaktorik bei
der Steuerung eines Vehikels, September 2012.
[9] Yili Liu, Robert Feyen, and Omer Tsimhoni. Queueing network-model human processor (qn-mhp): A computational . . . In IN PROCEEDINGS OF THE 45TH ANNUAL
MEETING OF THE HUMAN FACTORS AND ERGONOMICS SOCIETY, page 2006,
2001.
[10] Mark Brackstone and Ben Waterson. Are We Looking Where We are Going? An Exploratory Examination of Eye Movement in High Speed Driving. Technical report, Department of Civil and Environmental Engineering ,University of Southampton, 2003.
[11] Dean A. Pomerleau. Efficient training of artificial neural networks for autonomous
navigation. Neural Computation, 3:97, 1991.
[12] Pressestelle TU Braunschweig. Weltweit erstes automatisches Fahren im realen Stadtverkehr. 133, 2010. URL https://www.tu-braunschweig.de/presse/
medien/presseinformationen?year=2010&pinr=133.
[13] SOAR. SOAR, Abgerufen am 09.12.2012. URL http://sitemaker.umich.
edu/soar/home.
LITERATUR- UND QUELLENVERZEICHNIS
13
[14] Stefan Grundhoff. Fährt sich wie von selbst. Zeit online, 2011. URL http://www.
zeit.de/auto/2011-09/automatisiert-fahren.
[15] Todd M. Jochem and Dean A. Pomerleau and Charles E. Thorpe. MANIAC: A Next
Generation Neurally Based Autonomous Road Follower. In Proceedings of the International Conference on Intelligent Autonomous Systems (IAS-3), 1993.
ABBILDUNGSVERZEICHNIS
14
Abbildungsverzeichnis
1
2
3
4
5
6
7
8
9
10
11
12
Screenshot der Testsoftware . . . . . . . . . .
Screenshots der Auswertungsvideos . . . . . .
Screenshots der Auswertungsvideos - Flatout 2
Projekt 2:Visualisierung des Scanverfahrens . .
Geplante Architekturanpassung . . . . . . . . .
Projektplan . . . . . . . . . . . . . . . . . . .
Startbildschirm der Testapplikation . . . . . . .
Stage 1 der Testapplikation . . . . . . . . . . .
Stage 2 der Testapplikation . . . . . . . . . . .
Stage 3 der Testapplikation . . . . . . . . . . .
Stage 4 der Testapplikation . . . . . . . . . . .
Stage 4 der Testapplikation . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
5
6
8
9
11
15
15
15
15
16
16
5
5
5.1
APENDIX
15
Apendix
Screenshots der Applikation
Abbildung 7: Startbildschirm der Testapplikation
Abbildung 8: Stage 1 der Testapplikation
- Auto auf der Fahrbahn halten
Abbildung 9: Stage 2 der Testapplikation
- Erhöhte Geschwindigkeit, Lenkverstärkung und leichte Ablenkungen
Abbildung 10: Stage 3 der Testapplikation - Fahrbahn unregelmäßig in unregelmäßigen Intervallen ausgeblendet
5
APENDIX
Abbildung 11: Stage 4 der Testapplikation - Stärker werdende visuelle Ablenkungen
16
Abbildung 12: Stage 4 der Testapplikation - Fahrbahn ist aufgrund visueller Ablenkungen kaum noch zu sehen