Teilprojekt SIPBILD 2 Interpretation von Krpersprache Mimik und

Teilprojekt SIPBILD 2: Interpretation von Körpersprache, Mimik und Gestik Bernd Radig Matthias Wimmer, Simone Hämmerle, Christoph Mayer Technische Universität München radig@in. tum. de 25. 09. 2007 1 SIPBILD – Prof. Bernd Radig

Praktische Anwendung • Ermitteln von „Fahrspaß“ des Fahrers im Fahrzeug • Projekt mit Daimler. Chrysler anlässlich der Vorstellung der neuen C-Klasse 25. 09. 2007 2 SIPBILD – Prof. Bernd Radig

Erkennung menschlicher Gestiken • Erkennung einfacher Gestiken zur Steuerung technischer Geräte. • Verarbeitung visuellen Videomaterials zeigt verschiedene Probleme (Beleuchtung, mehrere Personen, Kontrast zwischen Kleidung. Hintergrund…). 25. 09. 2007 3 SIPBILD – Prof. Bernd Radig

Time-of-Flight- und Wärme-Kameras Unterschiedliche Stärken bei der… • Trennung mehrerer Personen. • Erkennung des Hintergrunds. 25. 09. 2007 4 SIPBILD – Prof. Bernd Radig

Fusion der Informationskanäle • Kombination der Stärken der verschiedenen Kameraarten um spezifische Schwächen auszugleichen. • Registrierung der Videoströme nötig. • Kamerakalibrierung mit Hilfe verschiedener Kalibrierplatten ermittelt innere (Brennweite) und äußere (Lage im Raum) Kameraparameter. 25. 09. 2007 5 SIPBILD – Prof. Bernd Radig

Erkennung menschlicher Mimik • Einpassen des Gesichtsmodells und Verfolgung des Gesichts über mehrere Bilder hinweg. • Bewegung von Gesichtspartien dient als Grundlage zur Erkennung der Mimik. 25. 09. 2007 6 SIPBILD – Prof. Bernd Radig

Modellbasierte Bildinterpretation Repräsentation der Konfiguration des Modells durch einen Parametervektor p. Bewertungsfunktion Berechnet, wie gut eine Modellparametrisierung zu einem Bild passt. Fitting Algorithmus Sucht nach der Modellparametrisierung die am besten zum Bild passt, durch Suchen nach dem Minimum der Bewertungsfunktion. 25. 09. 2007 7 SIPBILD – Prof. Bernd Radig

Überblick über Bewertungsfunktionen a) Original b) entlang der Normalen c) Kantenstärke d) manuell erstellte Bewertungsfunktion 25. 09. 2007 8 e) ideale Bewertungsfunktion f) Trainingsdaten g) gelernte Bewertungsfunktion SIPBILD – Prof. Bernd Radig

Ideale Bewertungsfunktionen P 1: Korrektheitskriterium: Das globale Minimum spielt die beste Parameterisierung wieder. P 2: Eindeutigkeitskriterium: Die Bewertungsfunktion hat keine lokalen Extrema. ¬ P 1 ¬P 2 25. 09. 2007 9 SIPBILD – Prof. Bernd Radig

Lernen der Bewertungsfunktion (Schritt 1) Manuelles Annotieren von Bildern mit den korrekten Parametern 25. 09. 2007 10 SIPBILD – Prof. Bernd Radig

Lernen der Bewertungsfunktion (Schritt 2) Manuelles Annotieren von Bildern mit den korrekten Parametern Automatisches Generieren weiterer Bildannotationen Ideale Bewertungsfunktion ……. . . . ……………. . Ergebnis = 0. 3 25. 09. 2007 Ergebnis = 0. 0 11 Ergebnis = 0. 2 SIPBILD – Prof. Bernd Radig

Lernen der Bewertungsfunktion (Schritt 3) Manuelles Festlegen von Bildmerkmalen Manuelles Annotieren von Bildern mit den korrekten Parametern Ideale Bewertungfunktion Automatisches Generieren weiterer Bildannotationen Positionen Arten Größen Anzahl der Merkmale: 6 Arten · 3 Größen · 25 Positionen = 450 25. 09. 2007 12 SIPBILD – Prof. Bernd Radig

Lernen der Bewertungsfunktion (Schritte 4+5) Ideale Bewertungfunktion Manuelles Annotieren von Bildern mit den korrekten Parametern Manuelles Festlegen von Bildmerkmalen Automatisches Generieren weiterer Bildannotationen Automatisches Generieren von Trainingsdaten Gelernte Bewertungsfunktion Erhalte die Berechnungsvorschriften der Bewertungsfunktion automatisch. Abbilden von Merkmalswerten auf die Werte der idealen Bewertungsfunktion Maschinelles Lernen durch einen Modellbaum Auswählen der wichtigsten Merkmale 25. 09. 2007 13 SIPBILD – Prof. Bernd Radig

Evaluation • • • 25. 09. 2007 14 Auswerten von Verschiebung und Kopfbewegung. Schwach ausgeprägtes Minimum der manuell erstellten Bewertungsfunktion. Stark ausgeprägtes Minimum der gelernten Bewertungsfunktion. SIPBILD – Prof. Bernd Radig

Evaluation (2) Kumulative Verteilung der Modellentfernungen • 95% der Modelle sind 0. 12 Einheiten entfernt, wenn die gelernte Bewertungsfunktion benutzt wird. ine Auskunft erlangen möchte. Sie g, • 95% der Modelle sind 0. 16 Einheiten enfernt, wenn die manuell erstellte Bewertungsfunktion benutzt wird. Durch Augenabstand normierte Entfernungen zum idealen Model 25. 09. 2007 15 SIPBILD – Prof. Bernd Radig

Evaluation (3) • • 25. 09. 2007 16 Emotionsklassifikation auf Standard. Bildfolgen der Cohn. Kanade Datenbank SIPBILD – Prof. Bernd Radig

Veröffentlichungen • • • 25. 09. 2007 Learning Robust Objective Functions with Application to Face Model Fitting, Deutsche Arbeitgemeinschaft fuer Mustererkennung 2007 Learning Robust Objective Functions for Model Fitting in Image Understanding Applications, British Machine Vision Conference 2006 A Person and Context Specific Approach for Skin Color Classification , International Conference on Pattern Recognition 2006 Learning Local Objective Functions for Robust Face Model Fitting, IEEE Transactions on Pattern Analysis and Machine Intelligence, angenommen zur Veröffentlichung Initial Pose Estimation for 3 DModel Tracking Using Learned Objective Functions, Asian Conference on Computer Vision 2007 Enabling Users to Guide the Design of Robust Model Fitting Algorithms, Interactive Computer Vision in Verbindung mit IEEE International Conference on Computer Vision 2007 17 SIPBILD – Prof. Bernd Radig

Ausblick: Hautfarbenerkennung • Abhängigkeit der Bilder von der Aufnahmeumgebung (Lichtverhältnisse, Belichtungszeit…) • Haut hat immer Hautfarbe! • Daher verbessert die Erkennung von Hautfarbe die Erkennung von Gesichtern im Bild. 25. 09. 2007 18 SIPBILD – Prof. Bernd Radig

Adaptive Hautfarbenerkennung Offline Schritt: Lernen einer Maske, die Hautfarbenpixel enthält. – Abhängig vom Gesichtsdetektor. Online Schritte: Schritt 1: Finden der bildspezifischen Gesichtsfarbe 1. 2. Benutzen des Gesichtsdetektors Benutzen der Maske Schritt 2: Berechnung der Eingabeparameter Schritt 3: Anpassen des Hautfarbenklassifikators Gesichtsdetektor 25. 09. 2007 Ausgabeparameter Berechnungsvorschriften 19 Eingabeparameter Hautfarbenklassifikator SIPBILD – Prof. Bernd Radig

Ergebnis Vergleich der Ergebnisse zeigt eine deutlich höhere Stabilitaet des adaptiven Algorithmus. 25. 09. 2007 20 SIPBILD – Prof. Bernd Radig

Ausblick: Emotionaler Mensch-Computer-Dialog • Synthese von emotionsbedingter Mimik bei Roboterkopf (zusammen mit Proff. Berns und Duttke, DFG-Antrag) • Integration eines deformierbaren, dreidimensionalen Gesichtsmodels 25. 09. 2007 21 SIPBILD – Prof. Bernd Radig