Automatische Extraktion von HDRBeleuchtungsdaten aus Fotos Konrad Klzer
Automatische Extraktion von HDRBeleuchtungsdaten aus Fotos Konrad Kölzer, Frank Nagl, Bastian Birnbach, Paul Grimm Computer Graphics Applied Computer Science Erfurt University of. Applied Sciences
Beispiel Ohne Image-Based-Lighting Mit Image-Based-Lighting Konrad Kölzer 2
Gliederung 1. Einleitung 2. State-Of-The-Art 3. Konzept 4. Realisierung 5. Auswertung 6. Zusammenfassung und Ausblick Konrad Kölzer 3
Einleitung • Großer Anwendungsbereich: Visualisierung von Planungen – Szenario Raum-Möblierung – Platzieren virtueller Modelle in realer Szene – Synthese von realen und virtuellen Anteilen • Virtuelle Modelle nahtlos in reale Szene integrieren • Erfordert realistische Beleuchtung der virtuellen Modelle entsprechend realer Beleuchtungssituaiton Konrad Kölzer 4
Einleitung – Anwendungsszenario • Reale Szene liegt als 3 D-Photo-Collection vor – Nutzer erstellt von einer realen Szene Fotos aus verschiedenen Blickwinkeln – Structure-From-Motion-Algorithmus rekonstruiert Position der Kameras im Raum – Platzierung der Bilder im Raum 3 D-Photo-Collection • Wie können Beleuchtungsinformationen aus 3 D-Photo. Collections extrahiert werden? Konrad Kölzer 5
State-Of-The-Art • Fournier et. al. , 1992: Differenzielles Rendering • Debevec, 1998: Light Probes – Mehrmaliges Abfotografieren einer Metallkugel – Umgebungsbeleuchtung in Form einer Environment-Map • Gibson, 2003: Inverse Radiosity + Irradiance Volume Konrad Kölzer 6
Konzept – Ansatz (1/3) • Wie können Beleuchtungsinformationen aus 3 D-Photo. Collections extrahiert werden? • Lokale Szene liegt nicht in 3 D vor, d. h. kein differenzielles Rendering möglich • Idee: Synthetisieren einer Environment-Map aus Bildern der 3 D-Photo-Collection Konrad Kölzer 7
Konzept – Ansatz (2/3) • Bild als Schnittebene mit Lichtstrahlen auffassen, die von Kameras aufgenommen werden • Jeder Pixel stellt Lichtstrahl dar Konrad Kölzer 8
Konzept – Ansatz (3/3) 1. Bezugspunkt P wählen, für den Licht aus Bildern gesammelt werden soll 2. Bilder mit ähnlichen Kamerapositionen aber unterschiedlichen -richtungen sammeln 3. Reflektiertes Licht aus unterschiedlichen Richtungen in Environment-Map akkumulieren 4. Überlappungen zur Erweiterung des dynamischen Bereichs nutzen HDR wird angestrebt Konrad Kölzer 9
Konzept – Ablauf (1/3) Extraktion von Beleuchtungsdaten aus Bildern • Alle Kameras verwenden, die um Bezugspunkt liegen • Verwendung eines bestimmten Toleranzradius, um gewisse Bildmenge sicher zu stellen • Kamerarichtungen sollten variieren, um möglichst gesamte Umgebung abzudecken P Konrad Kölzer 10
Konzept – Ablauf (2/3) Umwandlung von LDR- in HDR-Beleuchtungsdaten • Unterschiedlich belichtete Bilder überlappen sich • Belichtungsstärke für jedes Bild aus Exif-Tags bekannt • Für gleiche Richtungen mehrere Farbpixel vorhanden • Mehrere LDR-Farbwerte können zu einem HDR-Farbwert kombiniert werden – LDR- Farbwerte werden mit Beleuchtungsstärke multipliziert – Gewichtung eines LDR-Farbwertes unter Berücksichtigung seiner Signifikanz Konrad Kölzer P 11
Konzept – Ablauf (3/3) Umwandeln der Beleuchtungsdaten • HDR-Environment-Map nicht für echtzeitfähiges Rendering geeignet Umwandlung notwendig • – Light-Maps – Spherical Harmonics – Direktionale Lichtquellen Median-Cut-Algorithmus fasst Environment-Map zu wenigen direktionalen Lichtquellen zusammen Konrad Kölzer 12
Realisierung • Realisierung erfolgt in Form von Shadern • Verwendung einer Cube-Map – Akkumulation aller Bilder für alle Umgebungsrichtungen – Jede Seite deckt einen Raumwinkel von 4π/6 ab • Akkumulation erfordert jeweils drei Renderdurchläufe Konrad Kölzer 13
Realisierung • 1. Renderdurchlauf – Akkumulation der Belichtungswerte gewichtet mit Signifikanzen – Ablage in temporärer Textur 1 • 2. Renderdurchlauf – Akkumulation der Signifikanzen – Ablage in temporärer Textur 2 • 3. Renderdurchlauf – Quotient der Ergebnisse aus 1. und 2. Renderdurchlauf • Median-Cut-Algorithmus in Software implementiert Konrad Kölzer 14
Demo Konrad Kölzer 15
Auswertung Ohne Image-Based-Lighting Konrad Kölzer 16
Auswertung Mit Image-Based-Lighting Konrad Kölzer 17
Auswertung Mit Image-Based-Lighting, Nahaufnahme Konrad Kölzer 18
Auswertung – Probleme • Bereiche mit fehlender Abdeckung werden als schwarze Wand behandelt Interpolation notwendig • Keine Nahfeldsimulation, d. h. virtuelles Objekt blockiert kein reales Licht keine realistische Schattendarstellung Bereich mit vielfacher Abdeckung Bereich mit keiner Abdeckung Konrad Kölzer 19
Auswertung – Ausblick • Interpolation: Texel mit unbekannter Lichtintensität in Cube -Map sollen Wert des nächsten Texels mit definierter Lichtintensität erhalten • 3 D-Rekonstruktion der lokalen Szene verwenden – Bessere Bildabdeckung (Vom Bezugspunkt entfernte Kameras können verwendet werden) – Positionierung von Lichtquellen möglich – Projektionsflächen für Schattendarstellung bekannt Konrad Kölzer 20
Zusammenfassung • Verfahren für Imaged-Based-Lighting in 3 D-Photo. Collections vorgestellt • Bildet reale Beleuchtung auf virtuelle Objekte ab unter Annahme von entfernten Lichtquellen • Interpolation von nicht abgedeckten Bereichen notwendig Konrad Kölzer 21
Vielen Dank für die Aufmerksamkeit
- Slides: 22