Computer Vision Rumliche Information aus digitalen Bildern 1
Computer Vision Räumliche Information aus digitalen Bildern 1. Dezember 2000 Martin Wodok
Kapitel 1 - Einführung • • Gestaltsrekonstruktion Grauwert- und Farbbilder Kantenerkennung Ein Beispiel – Statische Stereobildanalyse 1. Dezember 2000 Martin Wodok 2
Grundlegendes zur Gestaltsrekonstruktion • • • Visuelle Eingangsdaten / Sensoren Statische / dynamische Szene Statische / dynamische Bildaufnahme Außenszenen Innenszenen Szenenanalyse (3 D) Musteranalyse (2 D) 1. Dezember 2000 Martin Wodok 3
Objekte (Grundbegriffe) • Objektfläche • Objektkanten • Objektoberfläche 1. Dezember 2000 Martin Wodok 4
Aufgaben der Gestaltsrekonstruktion • Oberflächenrekonstruktion (i. a. für Innenszenen) 1. Dezember 2000 Martin Wodok 5
1. Dezember 2000 Martin Wodok 6
Aufgaben der Gestaltsrekonstruktion • Oberflächenrekonstruktion (i. a. für Innenszenen) • Abstandsanalyse (auch für Außenszenen) 1. Dezember 2000 Martin Wodok 7
1. Dezember 2000 Martin Wodok 8
Welche Technik wird eingesetzt? • Gegenstand auf Drehteller plazierbar? • Objektbewegungen unvermeidbar? • Welche Oberflächendaten sind mind. zu berechnen? Gestaltsrekonstruktion kompliziert Weglassen von Unnötigem 1. Dezember 2000 Martin Wodok 9
Analyse von Objektoberflächen Aktive Bildaufnahmeverfahren • Ultraschall, Laser, etc. • Projektion von Linien-/Gittermustern in die Szene • Photometrische Stereoanalyse • shape from focus • shape from motion 1. Dezember 2000 Martin Wodok 10
Analyse von Objektoberflächen Passive Bildaufnahmeverfahren • Variation der Anzahl beteiligter Kameras (monokulare Technik, 1 Kamera) (binokulare Technik, 2 Kameras) (polyokulare Technik, 3+ Kameras) Gewisse Kalibrierung beiden von Nöten! 1. Dezember 2000 Martin Wodok 11
Szenen (Grundbegriffe) • • • Szene s ist Umgebung zu gewisser Zeit Szene definiert in ³ Szenenwert s(a) durch Ortsvektor a=(x, y, z)T Szenenraum: Gesamtheit von Szenenwerte: - Grau- oder Farbwertbilder - Entfernungswerte 1. Dezember 2000 Martin Wodok 12
Abbilder von Szenen • Abbilder E von Szenen 3 D ( ³) 2 D ( ²) • E(x, y) s(a) gemäß bestimmter Projektion • Aufgabe der Gestaltsrekonstruktion hier: - Aus Abbild E ( ²) 3 D ( ³) - E = A(s) s = A-1 (E) • Gestaltsrekonstruktion also nur eingeschränkt möglich 1. Dezember 2000 Martin Wodok 13
Grenzen der Gestaltsrekonstruktion 1. Dezember 2000 Martin Wodok 14
Grenzen der Gestaltsrekonstruktion • Bei Oberflächenrekonstruktion i. a. nur als 2½D-Objekte interpretierbar • 2½D-Objekt: unvollständige räumliche Information über ein Objekt 1. Dezember 2000 Martin Wodok 15
1. Dezember 2000 Martin Wodok 16
Grenzen der Gestaltsrekonstruktion • Bei Oberflächenrekonstruktion i. a. nur als 2½D-Objekte interpretierbar • 2½D-Objekt: unvollständige räumliche Information über ein Objekt • Grenzen bei der Genauigkeit der Oberflächenrekonstruktion 1. Dezember 2000 Martin Wodok 17
• • DSpalte / f = erreichbare Auflösung / d (DSpalte * d) / f = Erreichbare Auflösung 10 m * 3 m / 15 mm = 2 mm Szenenbreite = Erreichbare Auflösung * #Bildspalten 1. Dezember 2000 Martin Wodok 18
Nutzen von zusätzlichem Wissen • Einbinden von einschränkenden Bedingungen in den Analyseprozess • Nutzen von zwei Kameras im vgl. zu einer • Ein-/Ausschalten weiterer Lichtquellen ? • Lichtquellenpositionen wichtig? • Nutzen aus kontrollierter Objektbewegung? 1. Dezember 2000 Martin Wodok 19
Zusätzliches Wissen • Polyeder-Betrachtung der Objekte, d. h. stückweise Rekonstruktion der Facetten • Spezielle Aufnahmetechniken • shape from shadow • shape from shading • shape from texture • shape from motion 1. Dezember 2000 Martin Wodok 20
Grauwert- und Farbbilder Warum Farbe? • Bessere Korrespondenzanalyse für statische Stereoanalysen • Visuelle Ausgabe von berechneten Merkmalen • Eliminierung von Spiegelungsreflexen 1. Dezember 2000 Martin Wodok 21
Digitalisierung • • • Bildpunkt p=(x, y) Bildwert E(p)=E(x, y)=u u ist Signalwert / Grauwert von E(x, y) Pixel: Tripel aus [x, y, E(x, y)] = [x, y, u] Digitales Bild: diskrete Bildpunkte/-werte Breite/Höhe kennzeichn. Bildauflösung/-größe Quantisierung: Abbildung von (kontinuierlichen) Bildwerten Endliche Menge von Signal-/Farb-/Grauwerten 1. Dezember 2000 Martin Wodok 22
Grauwert-Farbmodell • Gmax + 1 Grauwerte • 0 <= u <= Gmax • Praxis: Grauwertbild: Gmax > 1 (üblich: Gmax=255) Binärbild: Gmax = 1 1. Dezember 2000 Martin Wodok 23
Farbbilder: RGB-Farbmodell • Gut für Displays (Fernseher/Monitor) • Additive Farbmischung der 3 Primärfarben: - Rot 700 nm - Grün 546 nm - Blau 435 nm • Übliche Rechnerinterne Repräsentation • Tristimuluswerte C (x, y) = (R, G, B) 1. Dezember 2000 Martin Wodok 24
RGB-Farbwürfel • Jede Kombination ergibt eine Farbe • Auf der Hauptdiagonalen liegen alle unbunten Farben 1. Dezember 2000 Martin Wodok 25
HSI-Farbmodell (auch YUV) • Orientiert am menschlichen Farbwahrnehmungsverhalten • Koordinationachsen: Hue - Buntton Saturation - Sättigung Intensity - Intensität • visuell interpretierbare lokale Markmale • Bildsegmentierung 1. Dezember 2000 Martin Wodok 26
Buntton (Hue) • Charakterisiert die dominant enthaltene Farbe • Richtfarbe ist Rot, also H=0° und H=360° • Formal: 1. Dezember 2000 Martin Wodok 27
Sättigung (Saturation) • Maß für die Reinheit der Farbe im Sinne der Anzahl der Wellenlängen • Große Reinheit S 1 (reine Farbe) • Geringe Reinheit S 0 (unbunt, Grauton) • Formal: 1. Dezember 2000 Martin Wodok 28
Intensität (Intensity) • Entspricht der relativen Helligkeit im Sinne eines Grauwertbildes • I = 0: Schwarz • I = 1: Weiß • Formal: 1. Dezember 2000 Martin Wodok 29
Konvertierung RGB HSI • Bis auf einige Singularitäten und Rundungsungenauigkeiten umkehrbar • Bildverarbeitungskarten: Echtzeit • Als Beispiel: Windows Color-Picker 1. Dezember 2000 Martin Wodok 30
Kantenerkennung • Warum? - Wichtige Merkmale - Korrespondenzanalyse in Stereobildpaaren • Charakteristik von Bildkanten • Verfahren zur Kantenerkennung - in Grauwertbildern - in Farbwertbildern (alle Kanäle einzeln) 1. Dezember 2000 Martin Wodok 31
1. Dezember 2000 Martin Wodok 32
Mathematische Betrachtung • Diskrete Bildwerte stetige Interpolation stetigen Bildwertverlauf z = E (x, y) • Gradient(-en Vektor): • Tangentialebene in (x, y, E(x, y)) 1. Dezember 2000 Martin Wodok 33
1. Dezember 2000 Martin Wodok 34
Wie werden Kanten erkannt? • Neigung der Ebene relativ zur x, y-Ebene (Winkel ) gut geeignet • Betrag des Gradienten bzw. Betrag des Normalenvektors gut geeignet • cos ( ) = 1 / ||n|| • = arccos (1 / ||n||) = arctan (||grad(E)||) Kante starke lokale Änderung von 1. Dezember 2000 Martin Wodok 35
Praktische Kantenerkennung • Einfacher und robuster: Verhältnisse und Richtungsänderungen der Bildwertfunktionen: • Invarianz bzgl. Translation/Rotation • In digitalen Bildern E/ x bzw. E/ y approximativ diskret zu bestimmen: Sobel Operator, mit gleichzeitiger Glättung 1. Dezember 2000 Martin Wodok 36
Graphische Illustration der Kantenerkennung 1. Dezember 2000 Martin Wodok 37
Beispiel eine Kantenoperators • Diskreter Kantenoperator • Glätten, dann 2 -fach ableiten • Schneller: Faltung der (gestörten) Eingabe mit der 2. Laplace-Ableitung der Gauß-Fkt. 1. Dezember 2000 Martin Wodok 38
Laplacian-of-Gaussian (Lo. G) ²(GAUSS*E) * Faltungsoperation • GAUSS = Fehlerverteilungsfunktion der zweidimensionalen Normalverteilung: • Im Kontinuierlichen: ²(GAUSS*E) = ²(GAUSS)*E 1. Dezember 2000 Martin Wodok 39
Statische Stereobildanalyse • Komplanare Stereobildgeometrie (binokulare A. ) 1. Dezember 2000 Martin Wodok 40
Geometrie der Szenen-Projektion • Strahlensatz: 1. Dezember 2000 Martin Wodok 41
Standardstereobildgeometrie 1. Dezember 2000 Martin Wodok 42
2 D 3 D Rekonstruktion • Szenenpunkt P wird projeziert in 2 korrespondierende Bildpunkte: pleft = (xleft, yleft) und pright = (xright, yright) • Bei Standardstereogeometrie Spaltengleichheit: yleft = yright • Linke Rechte 1. Dezember 2000 Martin Wodok 43
2 D 3 D Rekonstruktion • Euklidischer Abstand zwischen 2 korrespondierenden Bildpunkten: 1. Dezember 2000 Martin Wodok 44
2 D 3 D Rekonstruktion Mittels Disparität, f, b, xleft, xright und y ist P=(X, Y, Z) wie folgt rekonstruierbar 1. Dezember 2000 Martin Wodok 45
Praxis • P dicht an Kamera Disp. relativ groß Umgekehrt proportional Genaue math. Bestimmungsmöglichkeit • Erhöhung der Genauigkeit der Entfernungsmessung Erhöhung von b • Kamerakonstante-Angaben auch in Pixelbreiten: 1. Dezember 2000 Martin Wodok 46
Korrespondenzproblem • „Es sind nur Punkte analysierbar, die in beide Bilder projeziert wurden und pleft / pright exakt bestimmt wurde!“ • Zu großer Kameraabstand evtl. dann auch schlecht! • Probleme bei der Korrespondenzanalyse: Markante Merkmale finden („Weißes Blatt Papier“) 1. Dezember 2000 Martin Wodok 47
- Slides: 47