Registrieren von 3 D Punktwolken mit Hilfe von

Registrieren von 3 D Punktwolken mit Hilfe von MLS basierten Multiskalen Features Großer Beleg - Gunnar Schröder Fakultät Informatik Professur für Computergrafik Prof. Dr. rer. nat. Stefan Gumhold Betreuer: Dipl. -Medien-Inf. Sören König

Inhalt 1. Motivation und Aufgabenstellung 2. Tools 3. Grobregistrierung 4. Feinregistrierung 5. Ergebnisse und Evaluation 6. Präsentation der Anwendung 7. Diskussion Großer Beleg Gunnar Schröder 2

1. Motivation und Aufgabenstellung Grundsätzliche Probleme beim Scannen § 3 D Scanner erfassen immer nur Teile eines Objekts § Verdeckung § Unterschiedliche Oberflächen § Scanfehler § Rauschen § Scanartefakte § Registrierung von Teilscans ist notwendig Großer Beleg Gunnar Schröder 3

1. Motivation und Aufgabenstellung Beschränkungen bestehender Verfahren § Bestehende Verfahren zur Grobregistrierung - Point Signatures - Spin Images - Linienextraktion - Hauptkrümmungen - Hauptkomponentenanalyse § Probleme dieser Verfahren - Features sind oft mehrdeutig - Anfällig für Scanfehler und Rauschen Großer Beleg Gunnar Schröder 4

1. Motivation und Aufgabenstellung des Großen Belegs § Entwicklung eines robusteren Ansatzes zur Registrierung § Extraktion von lokalen Features auf mehreren Detail- und Auflösungsgraden Teilscans als Multiskalen MLS Oberflächenfeatures auf unterschiedlichen Skalen Featurematching Transformation für Grob- und Feinregistrierung § Realisierung einer Software zur Registrierung von Teilscans § Analyse und Auswertung der umgesetzten Verfahren Großer Beleg Gunnar Schröder 5

2. Tools Beschleunigungsdatenstrukturen für Punktwolken § Typische Anfragen in Algorithmen: - Nearest-Neighbor Anfrage - k-Nearest-Neighbor Anfrage - Kugelschalen Anfrage Spatial Access Method Dynamisch Out-of-core Balanciert Octree Nein Kd-Baum Nein Teilweise R-Baum Ja Ja Kugel-Baum Ja Ja Großer Beleg Gunnar Schröder 6

2. Tools Berechnung der Starrkörpertransformation § Starrkörpertransformation = Translation + Rotation § Darstellung der Rotation durch Quaternionen Menge von Punktkorrespondenzen Starrkörpertransformation, die quadratische Abstände minimiert § Berthold K. P. Horn: Closed-Form Solution of Absolute Orientation using Unit Quaternions (1987) - Berechnung der Mittelwerte und der Kovarianzmatrix - Translation ist Differenz der Mittelwerte - Aufstellung einer 4 x 4 Matrix aus den Werten der Kovarianzmatrix (siehe Beleg) - Eigenvektor zum größten Eigenwert ergibt Rotationsquaternion Großer Beleg Gunnar Schröder 7

3. Grobregistrierung Moving Least Squares Oberflächen § Projektion der Punktwolken auf die MLS Oberfläche § Bestimmen einer lokale Referenzebene H durch q mit Normale n durch Minimierung von: § Fitten eines bivariaten Polynoms in der 2 D Domäne: § Projizierter Punkt: Großer Beleg Gunnar Schröder 8

3. Grobregistrierung Multiskalen MLS-Oberflächen § Gewichtung der Punkte mit Gaussfunktion über dem Abstand § Parameter h bestimmt die Lokalität und Glattheit der Oberfläche h=1 h=2 Großer Beleg Gunnar Schröder h=4 h=8 h = 16 h = 32 9

3. Grobregistrierung Krümmung als Feature § Auswertung der Hauptkrümmungen des gefitteten bivariaten Polynoms an der Stelle (0, 0) in der lokalen 2 D Domäne Großer Beleg Gunnar Schröder 10

3. Grobregistrierung Krümmung als Feature § Erste Fundamentalform: § Zweite Fundamentalform: § Hauptkrümmungen sind Eigenwerte von Großer Beleg Gunnar Schröder bzw. 11

Großer Beleg Gunnar Schröder 12

3. Grobregistrierung Multiskalen Feature § Multiskalenfeature besteht aus Konkatenation der Hauptkrümmungen mehrerer Skalen: § Orientierung der Normale kann abweichen! Ordnen des Krümmungspaars nach Absolutwert Negation falls die größere Krümmung negativ sind § Matching - Einsortieren der Features des Referenzscans in Beschleunigungsdatenstruktur - Nearest Neighbor Anfrage § Ideale Auswahl der Skalen? Großer Beleg Gunnar Schröder 13

3. Grobregistrierung Auswahl von Korrespondenzen mit RANSAC § Gründe für falsche Korrespondenzen - Nicht überlappende Regionen - Symmetrien des Objekts - Abweichende MLS Oberflächen am Rand § RANdom SAmple Consensus - Zufällige Menge von 3 Korrespondenzen - Dreiecke auf Kongruenz prüfen - Berechnen der Starrkörpertransformation - Consensus Set besteht aus den Korrespondenzen mit geringer Distanz Großer Beleg Gunnar Schröder 14

4. Feinregistrierung Iterative Closest Points (ICP) § Standardverfahren zur Feinregistrierung § Idee: Finde zu einer Menge von Punkten aus einem Scan den jeweils nächsten Punkt im anderen Scan und minimiere den quadratischen Abstand dieser Korrespondenzen. Iteriere bis zur Konvergenz. § Verwerfen von Korrespondenzen ist wichtig für teilüberlappende Scans! § Ansätze: - Normalenabweichung - Randkorrespondenzen - Prozentsatz der größten Distanzen Großer Beleg Gunnar Schröder 15

4. Feinregistrierung Iterative Closest Points (ICP) § Extrapolation ist schwierig wegen starker Varianz der Fehlermetrik § Erkennen von Konvergenz anhand der Bewegung des Centroids § Nachteil des Verfahrens: Mit der Punktdichte des Scans steigt die Anzahl der notwendigen Iterationen Großer Beleg Gunnar Schröder 16

4. Feinregistrierung Iterative Closest Points (ICP) § Verhältnis zwischen Maximum und Median Fehler erlaubt die Überlappung der beiden Scans zu schätzen § Verwerfen der schlechtesten Korrespondenzen bis der Maximumfehler ein kleines Vielfaches des Medianfehlers ist Großer Beleg Gunnar Schröder 17

5. Ergebnisse und Evaluation Grobregistrierung § Grobregistrierung liefert gute Ergebnisse - Fehler ist weniger als Faktor 10 höher als nach der Feinregistrierung - Sehr robust gegenüber Rauschen § Median des Registrierungsfehlers (Position) für die synthetisch erzeugten und mit unterschiedlichem Rauschen versetzen Scans: Rauschen 0 1 2 3 4 Grobreg. 0. 683 2. 149 5. 212 8. 286 12. 232 Feinreg. 0. 081 0. 735 1. 726 3. 398 4. 745 § Verbesserung durch Feinregistrierung sinkt mit Rauschen Größter Fehler ohne Rauschen Großer Beleg Gunnar Schröder 18

5. Ergebnisse und Evaluation Großer Beleg Gunnar Schröder 19

5. Ergebnisse und Evaluation Kritische Bewertung § Rekonstruktion eines vollständigen Objektes benötigt globales Registrierung Verfahren - Kann auf der paarweisen Registrierung aufbauen § Vorberechnung für kompletten Referenzscan ist sehr zeitaufwendig § Mögliche Verbesserungen der Grobregistrierung - Auswahl der Skalen und anderer Oberflächencharakteristiken - Berechnung weniger Features des Referenzscans - Bessere Distanzmetrik - Lokales Koordinatenframe aus Hauptkrümmungen - Anpassen der Skalenanzahl nach dem Scan Großer Beleg Gunnar Schröder 20

6. Präsentation der Anwendung Großer Beleg Gunnar Schröder 21

7. Diskussion Fragen, Einschätzungen und Kommentare Großer Beleg Gunnar Schröder 22

VIELEN DANK FÜR DIE AUFMERKSAMKEIT!!! Großer Beleg Gunnar Schröder 23