Hauptseminar Computer Vision Thema 7 Shape from Shading

Hauptseminar Computer Vision Thema 7 Shape from Shading Vortrag von Jakob Thomsen 26. Januar 2001 Shape from Shading (J. Thomsen)

Inhalt 26. Januar 2001 I Einführung II Propagationsverfahren III Globale Verfahren IV Lokale Verfahren Shape from Shading (J. Thomsen) 2

I. Was ist Shape from Shading? - Shape from Shading bedeutet etwa „Form aus Schattierung“ - Ziel: aus Irradianzen die Objekt-Oberfläche rekonstruieren - schlecht gestelltes Problem, nur eingeschränkt verwendbar - Anwendungsgebiete, bei denen SFS (trotzdem) sinnvoll ist: - einzelne Bilder - weit entfernte Objekte - allgemeine Vorraussetzung: durchsichtiges Medium, undurchsichtige Körper => nur Oberfläche sichtbar 26. Januar 2001 Shape from Shading (J. Thomsen) 3

I. 1 allgemeine Vorgehensweise 1. aus den Irradianzwerten mittels Umkehrung der Reflektanzfunktion auf die Orientierung der Oberfläche schließen 2. die Gradienten integrieren um die Höhe der Oberflächenpunkte zu berechnen (siehe Abschnitt 3), z. B. mit dem R. T. Frankot und R. Chellapa Algorithmus 26. Januar 2001 Shape from Shading (J. Thomsen) 4

I. 2 Problem: Mehrdeutigkeit Die Freiheitsgrade der Irradianzwerte (eindimensional) bzw. Gradientenvektoren (zweidimensional) passen nicht zusammen! =>nur die Beziehung zwischen p und q ist direkt aus der Irradianz berechenbar, genaue Werte der Gradienten können nur mit zusätzlichen Informationen rekonstruiert werden. Je nach Verfahren gibt es unterschiedliche Möglichkeiten, diese Mehrdeutigkeit aufzulösen. 26. Januar 2001 Shape from Shading (J. Thomsen) 5

26. Januar 2001 Shape from Shading (J. Thomsen) 6

I. 3 weitere Einschränkungen Beleuchtung - keine Intra-oder Interobjektreflexionen - i. a. paralleles Licht gleicher Stärke E 0 - konstante und bekannte Beleuchtungsrichtung - möglichst Beleuchtungs- gleich Betrachterrichtung Reflexion - bekanntes lambertsches Reflexionsverhalten - Annahme einer bekannten und konstanten Albedo Geometrie - stetige, stetig differenzierbare Oberfläche - Orientierungen / Höhen in einigen Punkten bekannt 26. Januar 2001 Shape from Shading (J. Thomsen) 7

I. 4 verschiedene Verfahren Propagationsverfahren entwickeln Objekt-Oberfläche ausgehend von Punkten bekannter Orientierung bzw. Höhe Globale Minimierungsverfahren optimieren bestimmte Funktionen um die Bildinformation insgesamt auszuwerten Lokale Methoden berechnen die Oberflächenorientierungen jeweils nur anhand einer kleinen Nachbarschaft des Punktes Sonderfall direkte 3 d-Interpretation von Bildirradianzen 26. Januar 2001 Shape from Shading (J. Thomsen) 8

I. 5 Sonderfall direkte Interpretation: unter folgenden Bedingungen - rotationssymmetrische Reflektanzfunktion - Betrachterrichtung senkrecht auf Projektionsebene - Objektfläche perfekt diffus mit uniformer Albedo sind die Bildirradianzen direkt als Höhenwerte interpretierbar 26. Januar 2001 Shape from Shading (J. Thomsen) 9

26. Januar 2001 Shape from Shading (J. Thomsen) 10

26. Januar 2001 Shape from Shading (J. Thomsen) 11

I. 6 Grundlagen gegeben: ein Bild, d. h. eine Funktion E(x, y) von Irradianzen gesucht: die Objektoberfläche, d. h. die Höhenwerte Z(x, y) weitere Funktionen: (p, q) sind die Gradienten (partielle Ableitungen von Z(x, y)) in x-bzw. y-Richtung (geben die Steigung in Z(x, y) an) R(p, q) ist die Reflektanzfunktion, die in Abhängigkeit von den Gradienten der Oberfläche die Irridianzen bestimmt Vektoren: s zeigt in Richtung der Lichtquelle, v in Betrachterrichtung n ist die Normale der Oberfläche in (x, y) 26. Januar 2001 Shape from Shading (J. Thomsen) 12

II. Propagationsverfahren breiten Oberfläche ausgehend von Punkten bekannter Orientierung auf das ganze Objekt aus Der Wachstumsprozess erfolgt - iterativ - entlang bestimmter Pfade Alle Propagationsverfahren setzen (orthografische) Parallelprojektion voraus 26. Januar 2001 Shape from Shading (J. Thomsen) 13

II. 1 lineare Reflektanzfunktionen Definition: Eigenschaft: Punkte gleicher Irradianz liegen im Gradientenraum auf Graden, parallel zur Ursprungsgraden Flächen mit gleicher Irradianz sind in eine Richtung gleich und senkrecht dazu beliebig geneigt (z. B. Kugelgroßkreise) Vorgehensweise: Richtungsableitung aus Irradianzen bestimmen Entlang charakteristischer Kurve integrieren 26. Januar 2001 Shape from Shading (J. Thomsen) 14

26. Januar 2001 Shape from Shading (J. Thomsen) 15

Richtungsableitung (Berechnung) 26. Januar 2001 Shape from Shading (J. Thomsen) 16

lineare Reflektanzkarte 26. Januar 2001 Shape from Shading (J. Thomsen) 17

Integration d. Richtungsableitung 26. Januar 2001 Shape from Shading (J. Thomsen) 18

Mars Global Surveyor Orbiter PIA 01046, Quelle: http: //photojournal. jpl. nasa. gov/ 26. Januar 2001 Shape from Shading (J. Thomsen) 19

26. Januar 2001 Shape from Shading (J. Thomsen) 20

26. Januar 2001 Shape from Shading (J. Thomsen) 21

Rekonstruktion 1 26. Januar 2001 Shape from Shading (J. Thomsen) 22

Rekonstruktion 2 26. Januar 2001 Shape from Shading (J. Thomsen) 23

II. 2 rotationssymmetrische R. Definition: Zusätzlich muss h(p, q) differenzierbar sein Die Irradianz hängt von der Deklination zwischen dem Beleuchtungsvektor s und der Oberflächennormalen n ab. Vorgehensweise: Gradientenlänge durch Umkehrung der Irradianz bestimmen orthogonal zu Isohöhenkurven integrieren 26. Januar 2001 Shape from Shading (J. Thomsen) 24

26. Januar 2001 Shape from Shading (J. Thomsen) 25

Steigung & Richtung des Gradienten 26. Januar 2001 Shape from Shading (J. Thomsen) 26

Steigung in Gradienten-Richtung 26. Januar 2001 Shape from Shading (J. Thomsen) 27

Richtung des Gradienten Veränderungen bei einem Schritt in Richtung des Gradienten mit Schrittlänge lineare Abschätzung der Änderungen in p und q mit Hilfe der ersten partiellen Ableitungen der Bildirradianzfunktion 26. Januar 2001 Shape from Shading (J. Thomsen) 28

Diffgls Mit ergeben sich fünf Differentialgleichungen, die mit Hilfe bekannter Startwerte numerisch lösbar sind. Die Kurven, entlang derer integriert wird, verlaufen orthogonal zu den Isohöhenlinien. 26. Januar 2001 Shape from Shading (J. Thomsen) 29

II. 3 allgemeine Reflektanzf. Es ergeben sich fünf gewöhnliche Differentialgleichungen, die numerisch lösbar sind wenn Startwerte vorliegen. Ansatz der Cauchyschen Streifen von B. K. P. Horn (1986) 26. Januar 2001 Shape from Shading (J. Thomsen) 30

II. 4 Robustere Verfahren bisher vorgestellte Verfahren rekonstruieren Oberfläche entlang charakteristischer Kurven Problem: Fehler in Z-Werten pflanzen sich ungehindert fort Lösung: alle unmittelbaren Nachbarn einbeziehen 26. Januar 2001 Shape from Shading (J. Thomsen) 31

Verfahren von Bichsel & Pentland Initialisierung: bekannte Z-Werte in Höhenkarte eintragen Vorverarbeitungsschritt: für jeden Punkt Oberflächensteigungen in Richtung seiner Nachbarn bestimmen (8 -Nachbarschaft) Iteration: Z-Wert jedes Punktes mit bester Richtungsableitung inkrementieren 26. Januar 2001 Shape from Shading (J. Thomsen) 32

Bestimmung der Steigungen 1. Anhand der Bildirradianz wird jedem Punkt eine Menge von Oberflächen-Orientierungen zugeordnet. . . 2. . diese entsprechen einer Schar von Steigungen in eine vorgegebene Richtung. . . 3. . aus der die beiden Extremwerte bestimmt werden. . . 4. . von denen die Steigung gewählt wird, bei der die Oberfläche sich in Richtung -s entwickelt. 26. Januar 2001 Shape from Shading (J. Thomsen) 33

mögliche Oberflächenorientierungen 26. Januar 2001 Shape from Shading (J. Thomsen) 34

Iteration für jeden Punkt: 1. testen, mit welcher der acht Steigungen die Oberfläche am besten der Beleuchtung entspricht 2. die maximale Steigung zu Z-Wert summieren (maximal wegen Konvergenz) 26. Januar 2001 Shape from Shading (J. Thomsen) 35

Beispiel 26. Januar 2001 Shape from Shading (J. Thomsen) 36

III. globale Verfahren Oberfläche wird als (unbekannte) Funktion Z(x, y) betrachtet, die gewisse Eigenschaften erfüllt Messung der Abweichung der rekonstruierten Funktion von den Zielwerten durch Aufsummierung der Fehler in jedem Punkt Rekonstruktion der Oberfläche durch Minimierung des Fehlers 26. Januar 2001 Shape from Shading (J. Thomsen) 37

Fehlerfunktionen Die (wichtigsten) Bedingungen Irradianzbedingung Glattheitsbedingung Integrabilitätsbedingung beschreiben die erwünschten Eigenschaften der rekonstruierten Bildfunktion Allgemein: Die Fehler in jedem einzelnen Punkt werden über die gesamte Bildfläche integriert (bzw. aufsummiert) 26. Januar 2001 Shape from Shading (J. Thomsen) 38

Irradianzbedingung Ziel: rekonstruierte Irradianz soll ursprünglicher I. entsprechen 26. Januar 2001 Shape from Shading (J. Thomsen) 39

Glattheitsbedingung Ziel: Auflösung der Mehrdeutigkeit der rekonstruierten Oberflächenorientierungen durch Annahme einer glatten Oberfläche Die Argumente geben die Änderung der Gradienten an, die bei einer glatten Oberfläche minimal sind. 26. Januar 2001 Shape from Shading (J. Thomsen) 40

Glattheitsbedingung (Beispiel) 26. Januar 2001 Shape from Shading (J. Thomsen) 41

Integrabilitätsbedingung Ziel: Integration über verschiedene Wege soll gleiche ZWerte ergeben Folgende Funktion sollte minimal sein 26. Januar 2001 Shape from Shading (J. Thomsen) 42

Integrabilitätsbedingung 26. Januar 2001 Shape from Shading (J. Thomsen) 43

Minimierung der Integrale Die Integrale können entweder mittels Variationsrechnung oder diskretisiert und danach mit anderen Optimierungsmethoden minimiert werden 26. Januar 2001 Shape from Shading (J. Thomsen) 44

Stereographische Projektion 26. Januar 2001 Shape from Shading (J. Thomsen) 45

Variationsrechnung Ziel: Funktion minimieren notwendige Bedingung: Ableitung im Optimum ist Null 26. Januar 2001 Shape from Shading (J. Thomsen) 46

die Fehlerfunktion e e misst die Qualität der rekonstruierten Oberfläche 26. Januar 2001 Shape from Shading (J. Thomsen) 47

Ableitung der Fehlerfunktion e e hängt von f , g und deren partiellen Ableitungen ab => bei der Ableitung ergeben sich die Eulergleichungen 26. Januar 2001 Shape from Shading (J. Thomsen) 48

Anwendung der Eulergleichungen 26. Januar 2001 Shape from Shading (J. Thomsen) 49

Algorithmus von Ikeuchi & Horn Vorgehensweise: 1. Bedingungen diskretisieren 2. für jeden Punkt 1. Fehler (lokal) berechnen 2. Werte korrigieren 3. wiederholen bis akzeptable Lösung erreicht 26. Januar 2001 Shape from Shading (J. Thomsen) 50

Diskretisierung der Glattheitsbedingung: Diskretisierung der Irradianzbedingung: Fehlerfunktion: Summe der mit l gewichteten Bedingungen 26. Januar 2001 Shape from Shading (J. Thomsen) 51

(Fortsetzung) partielle Ableitungen der Fehlerfunktion. . . geben Abweichung zum optimalen f bzw. g Wert an Durchschnitt der Umgebung um (i, j) 26. Januar 2001 Shape from Shading (J. Thomsen) 52

Iterationsvorschrift 26. Januar 2001 Shape from Shading (J. Thomsen) 53

IV. lokale Verfahren - berechnen Gestalt an einem Punkt anhand kleiner Umgebung - können i. a. nur Oberflächenorientierungen rekonstruieren, Höhenberechnung erst nach Integration möglich - sind leicht implementierbar und effizient, da nicht iterativ 26. Januar 2001 Shape from Shading (J. Thomsen) 54

Beispiel: Kugelapproximation Annahme: Objekt ist in etwa kugelförmig Ziel: Mehrdeutigkeit der Orientierungen auflösen 26. Januar 2001 Shape from Shading (J. Thomsen) 55

26. Januar 2001 Shape from Shading (J. Thomsen) 56

Azimutbestimmung Problem: Azimut ist wegen Mehrdeutigkeit nicht aus Irradianz bestimmbar Lösung: Objekt als kugelförmig annehmen und Azimut wie bei einer Kugel berechnen 26. Januar 2001 Shape from Shading (J. Thomsen) 57

Deklinationsbestimmung Bestimmung der Deklination aus der Irradianz (erfordert eine Rotationssymmetrische Reflektanzfunktion) 26. Januar 2001 Shape from Shading (J. Thomsen) 58

Rekonstruktion - Beispiel 26. Januar 2001 Shape from Shading (J. Thomsen) 59

Zusammenfassung 26. Januar 2001 I SFS-Beschreibung II Propagationsverfahren III Globale Verfahren IV Lokale Verfahren Shape from Shading (J. Thomsen) 60

Vielen Dank für die Aufmerksamkeit! 26. Januar 2001 Shape from Shading (J. Thomsen) 61