HS Computer Vision Statische Stereoanalyse Daniel Stapf 09

HS – Computer Vision Statische Stereoanalyse Daniel Stapf 09. Januar 2001

Inhalt: 1. 2. 3. 4. 5. 6. Geometrie eines Aufnahmesystems Annahmen und Einschränkungen Intensitätsbasierte Korrespondenzanalyse Merkmalsbasierte Korrespondenzanalyse Stereoanalyse mit drei Kameras Zusammenfassung 09. Januar 2001 2

Statische Stereoanalyse: • Betrachtung eines Objekts aus zwei Positionen → Rückschluß auf Lage des Objekts im 3 D-Raum Voraussetzung: • keine Objekt- und Kamerabewegung • oder zeitgleiche Aufnahme der beiden Bilder Verarbeitungsschritte: • • • Bildaufnahme Kameramodellierung Merkmalsextraktion Korrespondenzanalyse Tiefenwertbestimmung 09. Januar 2001 3

Geometrie Wiederholung aus Vortrag 1: f*X , f*Y p = (x, y) = Z Z 09. Januar 2001 , da X Z = x f 4

Geometrie Standardstereogeometrie: P(X, Y, Z) wird in 2 korrespondierende Punkte projiziert: → plinks = 09. Januar 2001 f*X , f*Y Z Z prechts = f*(X-b) , f*Y Z Z 5

Geometrie Standardstereogeometrie: Disparität (d): Euklidscher Abstand zwischen zwei korrespondierenden Punkten plinks(xl, yl) und prechts(xr, yr) d= (xlinks - xrechts)2 + (ylinks - yrechts)2 → d = xlinks – xrechts f*X da xlinks = Z f*(X-b) und xrechts = Z f*X f*(X-b) →Z= x links rechts 09. Januar 2001 (*) 6

Geometrie Standardstereogeometrie: b* xlinks →X= x links - xrechts (Auflösen nach X) b* f →Z= x links - xrechts (Einsetzen in (*)) b* y →Y= x links - xrechts Z* y (Y = ) f → Disparität ist zu messende Größe, um 3 D-Position des Szenenpunkts zu schließen. → Korrespondenzproblem 09. Januar 2001 7

Geometrie 1. Stereobildaufnahmesystem: 09. Januar 2001 8

Geometrie Koordinatensystem XLYLZL: Rotationsmatrix: cos(θ) 0 -sin(θ) Translation: X-½b Y Z XL YL ZL 09. Januar 2001 = cos(θ) 0 -sin(θ) 0 1 0 sin(θ) 0 cos(θ) X-½b Y Z 9

Geometrie Analog Koordinatensystem XRYRZR: XR YR ZR = cos(θ) 0 sin(θ) 0 1 0 -sin(θ) 0 cos(θ) X+½b Y Z Abbildungen (x. Ly. L) und (x. Ry. R): cos(θ)*(X + ½b) - sin(θ)*Z f * XR x. R = =f ZR sin(θ)*(X + ½b) + cos(θ)*Z Y f * YR y. R = =f ZR sin(θ)*(X + ½b) + cos(θ)*Z x. L und y. L analog 09. Januar 2001 10

Geometrie Umformen der 4 Gleichungen ergibt: [-x. Lsin(θ) – f cos(θ)]* X + [x. Lcos(θ) – f sin(θ)]* Z = -[½b x. Lsin(θ) + ½b f] [x. Rsin(θ) – f cos(θ)]* X + [x. Rcos(θ) + f sin(θ)]* Z = -[½b x. Rsin(θ) - ½b f] [-y [- L sin(θ)]* X + [-f ]* Y + [y [ L cos(θ)]* Z = [½b y. Lsin(θ)] [y. R sin(θ)]* X + [-f ]* Y + [y [ R cos(θ)]* Z = - [½b y. Rsin(θ)] In Koeffizientenschreibweise: a 1 X + a 3 Z = a 0 b 1 X + b 3 Z = b 0 c 1 X + c 2 Y + c 3 Z = c 0 Koordinaten (X, Y, Z) lassen sich durch arithmetische Umformungen berechnen d 1 X + d 2 Y + d 3 Z = d 0 09. Januar 2001 11

Geometrie Epipolare Geometrie: 09. Januar 2001 12

Annahmen und Einschränkungen Problem: Mehrdeutigkeiten bei der Korrespondenzsuche Lösung: Reduzierung der Mehrdeutigkeiten durch • Geometrische Einschränkungen (resultieren aus der Bildentstehung) • Einschränkungen durch Objekteigenschaften → keine Einschränkung an die Komplexität der Objektgeometrie 09. Januar 2001 13

Annahmen und Einschränkungen Geometrische Einschränkungen: 1. Epipolareinschränkung: • Punkt im linken Bild, kann nur mit Punkt im rechten Bild korrespondieren, wenn jener auf Epipolarlinie liegt → Suchraum ist Eindimensional Problem: Erschütterungsproblematik, Positionierungsgenauigkeit → Sicherheitsintervall Spezialfall: Standardstereogeometrie (künstliche Objekte) 09. Januar 2001 14

Annahmen und Einschränkungen Geometrische Einschränkungen: 2. Eindeutigkeit der Zuordnung: • Jedes Pixels eines Bildes korrespondiert nur mit genau einem Pixel des anderem Bildes Ausnahme möglich: • wenn zwei Punkte auf Sichtstrahl der einen Kamera liegen, jedoch Punkte auf anderem Kamerabild getrennt sichtbar 09. Januar 2001 15

Annahmen und Einschränkungen Geometrische Einschränkungen: 3. Verträglichkeit von Intensitätswerten: • Zwei Punkte (x. L, y. L) und (x. R, y. R) können nur dann korrespondieren, wenn |EL(x. L, y. L) – ER(x. R, y. R)| klein ist In der Praxis: • Einbeziehung von Intensitätswerten in der Nachbarschaft eines Pixels, um Störanfälligkeit zu reduzieren Problemfälle: • Glanzlichter • Diskretisierungsfehler 09. Januar 2001 16

Annahmen und Einschränkungen Geometrische Einschränkungen: 4. Geometrische Ähnlichkeit der Merkmale: • Winkelkriterium: Liniensegment SL korrespondiert mit SR nur, wenn |WL – WR| klein ist • Längenkriterium: Liniensegment SL korrespondiert mit SR nur, wenn |LL – LR| klein ist 09. Januar 2001 17

Annahmen und Einschränkungen durch Objekteigenschaften: 1. Kontinuität der Disparitäten: • Wenn zwei Punkte (x. L, y. L) und (x. R, y. R) im linken bzw. rechten gefilterten Bild korrespondieren, können (x. L 2, y. L 2) und (x. R 2, y. R 2) nur dann korrespondieren, wenn | (x. L 1 – x. R 1)2 + (y. L 1 – y. R 1)2 - • (x. L 2 – x. R 2)2 + (y. L 2 – y. R 2)2| klein ist [ (x. L 2, y. L 2) und (x. R 2, y. R 2) sind Nachbarpunkte ] Spezialfall Standardstereogeometrie: ||x. L 1 – x. R 1| - |x. L 2 – x. R 2|| 09. Januar 2001 18

Annahmen und Einschränkungen durch Objekteigenschaften: 2. Kontinuität entlang der Kanten: • Wenn zwei Kantenpunkte (x. L, y. L) und (x. R, y. R) im linken bzw. rechten gefilterten Bild korrespondieren, können (x. L 2, y. L 2) und (x. R 2, y. R 2) nur dann korrespondieren, wenn | (x. L 1 – x. R 1)2 + (y. L 1 – y. R 1)2 - (x. L 2 – x. R 2)2 + (y. L 2 – y. R 2)2| klein ist [ (x. L 2, y. L 2) und (x. R 2, y. R 2) sind Nachbarpunkte ] • Spezialfall Standardstereogeometrie: ||x. L 1 – x. R 1| - |x. L 2 – x. R 2|| 09. Januar 2001 19

Annahmen und Einschränkungen durch Objekteigenschaften: 3. Verträglichkeitsannahme von Merkmalen: • Merkmale in verschiedenen Bildern können nur dann korrespondieren, wenn beide Merkmale die gleiche physikalische Ursache haben Beispiel Kanten: 09. Januar 2001 20

Annahmen und Einschränkungen durch Objekteigenschaften: • Orientierungskanten • Reflexionskanten • Beleuchtungskanten 09. Januar 2001 21

Annahmen und Einschränkungen durch Objekteigenschaften: 4. Disparitätslimit Ergebnis aus psychophysikalischen Versuchen des menschlichen Stereosehens • für korrespondierende Punkte existiert ein maximaler Disparitätswert dmax: → (x. L – x. R)2 + (y. L – y. R)2 < dmax → Mindestabstand der Objekte gefordert • Spezialfall Standardstereogeometrie: |x. L – x. R| < dmax 09. Januar 2001 22

Annahmen und Einschränkungen durch Objekteigenschaften: 5. Disparitätsgradientenlimit: • Definition des Disparitätsgradienten (Mayhew/Frisby): Seien a. R, a. L und b. R, b. L korrespondierende Punkte Disparitätsgradient = Differenz der Disparitäten zyklopische Separation Differenz der Disparitäten = |Δx. L – Δx. R| 09. Januar 2001 23

Annahmen und Einschränkungen durch Objekteigenschaften: Zyklopische Separation : Definition: Abstand der Mittelpunkte zwischen den beiden Punktpaaren → ¼(Δx. L – Δx. R)2 + Δy 2 09. Januar 2001 24

Annahmen und Einschränkungen durch Objekteigenschaften: 5. Disparitätsgradientenlimit (Fortsetzung): Formel für Disparitätsgradienten (Γd ): Γd = |Δx. L – Δx. R| ¼(Δx. L – Δx. R)2 + Δy 2 Zwei benachbarte Punktpaare korrespondieren nur dann, wenn der Disparitätsgradient nicht einen Maxwert überschreitet: → Γd < Γmax 09. Januar 2001 25

Annahmen und Einschränkungen durch Objekteigenschaften: 6. Reihenfolge der abgebildeten Punkte: Punkte auf der Epipolarlinie eines Stereobilds werden in der gleichen Reihenfolge auf der Epipolarlinie des anderen Stereobildsabgebildet 09. Januar 2001 26

Korrespondenzanalyse Intensitätsbasierte Korrespondenzanalyse: • Annahme, korrespondierende Punkte haben ähnlichen Intensitätswert → Problem: nicht ausreichend für eindeutige Zuweisung Beispiel: 640 x 480 Bildpunkte bei 256 Graustufen → 307200 Pixel insgesamt → min. 1200 Pixel mit gleichen Intensitätswert Lösung: Blockbildung mehrerer benachbarter Pixel zu einem Block (Bsp. 8 x 8) 09. Januar 2001 27

Korrespondenzanalyse Block-Matching-Verfahren: • Ähnlichkeitsvergleich der Intensitätswerte zweier Blöcke der Größe n x m • Annahme, alle Pixel in einem Block haben gleichen Disparitätswert Verarbeitungsschritte: • Unterteilung eines Bildes in feste Anzahl von Blöcken • Suche nach korrespondierenden Block im anderen Bild nur für bestimmte Blöcke (Disparitätslimit) 09. Januar 2001 28

Korrespondenzanalyse Block-Matching-Verfahren: Ähnlichkeitsmaß zweier Blöcke (mittlere quadratische Abweichung MSE) 1 MSE(x, y, Δ) = nm Σ Σ |ER(x+i, y+j) – EL(x+i+Δ, y+j)|2 → Disparität d entspricht Abstand (Δ) der Blöcke mit minimalen Wert der MSE-Funktion n-1 m-1 i=0 j=0 Im Fall mehrerer Minima der MSE-Funktion: → Heranziehen der Kontinuitätsannahme für Disparitäten Ergebnis: → Disparitätenmatrix 09. Januar 2001 29

Korrespondenzanalyse Block-Matching-Verfahren: Problem dieses Verfahrens: • • homogene Regionen regelmäßige Texturen Beste Qualität bei n = m = 8 Bildpunkten Verfeinerung des Verfahrens nach T. Reuter: 1. Anwendung des Medianoperator auf Disparitätenmatrix 2. Pixelselektion 3. Anwendung des Medianop. auf Disparitätswerte der Pixel 09. Januar 2001 30

Korrespondenzanalyse Pixel-Selektion: 1. Medianop. auf Blockdisparitäten einer 3 x 3 Umgebung 2. Berechnung der Disparität für jedes Pixel (x‘, y‘) unter Verwendung der Disparitätswerte der 9 Blöcke: DIFF(k) = |ER(x‘, y‘) – EL(x‘ + D(k), y‘)| mit k = 1. . 9 → Disparitätswert für P(x‘, y‘) ist D(k) mit minimalen DIFF(k) 3. Medianop. Auf Disparitätswerte der Pixelselektion 4. Bemerkung: 5. Pixelselektion auf jeden Pixel → dichte Disparitätenkarte 09. Januar 2001 31

Korrespondenzanalyse Block-Matching-Verfahren für d. Farbstereoanalyse: RGB-Raum: R r= R+B+G D 1(F 1, F 2) = G g= R+B+G B b= R+B+G (r 1 – r 2)2 + (g 1 – g 2)2 + (b 1 – b 2)2 D 2(F 1, F 2) = |r 1 – r 2| + |g 1 – g 2| + |b 1 – b 2| D 3(F 1, F 2) = |r 1 – r 2|2 + |g 1 – g 2|2 + |b 1 – b 2|2 D 4(F 1, F 2) = max{|r 1 – r 2|, |g 1 – g 2|, |b 1 – b 2|2 } 09. Januar 2001 32

Korrespondenzanalyse Block-Matching-Verfahren für d. Farbstereoanalyse: HSI-Raum: F 1 = (H 1, S 1, I 1) und F 2 = (H 2, S 2, I 2) D 5(F 1, F 2) = (d I )2 + (d C )2 d I = |I 1 – I 2| und d C = S 12 + S 22 – 2 S 1 S 2 cos(θ) |H 1 – H 2| falls |H 1 – H 2| ≤ π θ= 2π - |H 1 – H 2| falls |H 1 – H 2| > π 09. Januar 2001 33

Korrespondenzanalyse Block-Matching-Verfahren für d. Farbstereoanalyse: Analog zu „normalen“ Block-Matching: 1 MSEFarbe(x, y, Δ) = nm Σ Σ De(CR(x+i, y+j) – CL(x+i+Δ, y+j)) n-1 m-1 i=0 j=0 DIFFFarbe(k) = De(CR(x‘, y‘) – CL(x‘ + D(k), y‘)) mit k = 1. . 9 Bemerkungen: • Qualität der Lösung ist abhängig von Anzahl der Farben • Bei unbunten Farben, keine Verbesserung • Einblenden von Mustern 09. Januar 2001 34

Korrespondenzanalyse Merkmalsbasierte Korrespondenzanalyse: • bsp. Anhand Orientierung/Länge von Kanten Vorteile gegenüber intensitätsbasierte Analyse: 1. geringerer Mehrdeutigkeiten, da weniger Kandidaten 2. Stereozuordnung ist weniger sensitiv 3. genauere Berechnung der Disparitäten möglich 09. Januar 2001 35

Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: (Verfahren nach Y. Shirai und Y. Nishimoto 1985) • Lo. G-Operator für Merkmalsextraktion mit σ1 = 1, 41, σ2 = 3, 18 und σ3 = 6, 01 → Nulldurchgang (ZC) bilden Merkmale für Stereoanalyse → ZC wird als Einheitsvektor e(o) (i, j) definiert • Korrespondenzkandidaten sind Paare von ZC‘s in rechten und linken Bild, deren Richtungsunterschied < 30° ist → Zuordnungsfunktion ML (i, j; d) und MR (i+d, j; d): 1, wenn e. L(i, j) e. R(i+d, j) korrespondieren ML = M R = 0, sonst 09. Januar 2001 36

Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: Beschränkung der Anzahl möglicher Zuordnungen durch Häufigkeitstabelle der möglichen Disparitäten (GDH): Σ MR (i, j; d) GDHR (d) = Σ |e. R(i, j)| (GDHL (d) analog) → Annahme, richtige Zuordnungen treten gehäuft auf Aufgrund dieser Annahme werden Disparitätskandidatenintervalle bestimmt: Iα = { d | GDHR (d) > a*H } 09. Januar 2001 37

Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: Bestimmung lokaler Disparitätskandidaten anhand LDH‘s: • LDH = Häufigkeitstabelle aller in Disparitäten innerhalb eines Fensters W = Nσ x Nσ: Nσ = 2 πσ Σ MR (i, j; d) LDHR (i, j; d) = Σ |e. R(i, j)| (LDHL (d) analog) Bestimmung des besten Kanals: • Kanal bei dem Differenz zwischen größten und zweitgrößten Wert den größten Wert annimmt, ist bester Kanal → Zur Überprüfung des Kanals: Differenzfunktion Qx(i, j; dx) 09. Januar 2001 38

Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: → QL(i, j; d. L) und QR(i, j; d. R) sind korrespond. Differenzen → Zuordnung erfolgt, wenn QL und QR einen bestimmten Wert überschreiten und d. L ≈ d. R → wahrscheinliche Disparität: d* = ½(d. L + d. R) Nach Bestimmung von d* in Wσ werden alle ZC‘s in Wσ und Wσ ‘ (σ ‘ < σ) bestimmt: • für alle möglichen Disparitäten d 1. . dn für ein ZC wird dk ausgewählt, für das gilt: |dk - d*| < |d e – d *| " 1 £ e £ n, e ¹ k und |dk - d*| < dc 09. Januar 2001 39

Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: → jede gefundene Zuordnung wird aus den Merkmalbildern eliminiert → nach Bestimmung aller ZC‘s aus Wσ und Wσ ‘ wird der gesamte Algorithmus ab der Bestimmung der GDH‘s neu gestartet → Algorithmus terminiert, wenn keine neuen ZC‘s gefunden werden, oder alle ZC‘s in der feinsten Auflösung zugeordnet wurden 09. Januar 2001 40

Korrespondenzanalyse Histogrammbasierte Korrespondenzanalyse: Verwendung von Farbinformationen: • analog zu Grauwertbildern • Hinzunahme eines weiteren Kriteriums: Verwendung von 3 Differenzfarbspektren Drg, Dgb und Dbr: Drg (x, y) = r(x, y) – g(x, y) (andere analog) δ (GAUSS* Drg) δx → Vorzeichen der Differenzfarbgradienten sind für jedes Spektrum für beide Kandidaten gleich 09. Januar 2001 41

Stereoanalyse Triokulare Stereoanalyse: • 3 Anordnungen gebräuchlich: 1. Rechtwinklige komplanare Anordnung Vorteil: • einfache Bestimmung der Epipolarlinien Nachteil: • Ausrichtung • Erschütterungsproblematik 09. Januar 2001 42

Stereoanalyse Triokulare Stereoanalyse: • 3 Anordnungen gebräuchlich: 2. kollineare Anordnung: Vorteil: • einfache Epipolarlinien Nachteil: • Ausrichtung • Erschütterungsproblematik • Mehrdeutigkeiten 09. Januar 2001 43

Stereoanalyse Triokulare Stereoanalyse: • 3 Anordnungen gebräuchlich: 3. „freie“ Anordnung Vorteil: • Korrespondenzproblem kann mit Geometrie gelöst werden Nachteil: • Bestimmung der Epipolarlinien 09. Januar 2001 44

Stereoanalyse Triokulare Stereoanalyse: Zwei verschiedene Zuordnungsstrategien: • Pixel wird nur zugeordnet, wenn in allen Bildern eine Korrespondenz bestimmt wurde • Pixel wird zugeordnet, wenn in mindestens zwei Bildern eine Korrespondenz bestimmt wurde 09. Januar 2001 45

Stereoanalyse Triokulare Stereoanalyse: Beispiel anhand eines geometrischen Verfahrens: 09. Januar 2001 46

Zusammenfassung • Geometrie eines Aufnahmesystems • Annahmen und Einschränkungen • Intensitätsbasierte Korrespondenzanalyse • Merkmalsbasierte Korrespondenzanalyse • Stereoanalyse mit drei Kameras 09. Januar 2001 47

Vielen Dank für die Aufmerksamkeit – Fragen? 09. Januar 2001 48