Beispiel Fahrerassistenzsystem Reiseziel MMK Szeneninterpretation Fahrer Reiseziel Auswertefunktionen

Beispiel: Fahrerassistenzsystem Reiseziel MMK Szeneninterpretation Fahrer Reiseziel Auswertefunktionen Routenplanung F 1 Route ZIEL Situationsanalyse Fahrauftrag Sollbahnpl. Kollisionsverm. Soll-Trajektorie Regelung . . . erwartete Fahrerhandlung Koordinierungskomponente Fj. . . Gefährdungsanalyse Sensoren S 1 S 2. . . Sm Fk Gefährdung Warnung Fahrzeug Umgebung Computer Vision 1_Seite 1

Modellierung Szeneninterpretation Für die Situationsanalyse muss die Umwelt erfasst werden: Modellierung von Fahrzeug und Umgebung Auswertefunktionen Objektbewegungsmodell Sensoren F 1 S 1. . . Objektmodell Abbildungsmodell S 2 Fj. . . Szenenmodell Sm Fk Szenendynamikmodell Fahrzeug Umgebung Ausprägung der Modellparameter (= Generierung der Modellwelt) Situationsanalyse Computer Vision 1_Seite 2

Einschränkung der Modellparameter Szeneninterpretation Änderungen in der Kamera und in der Szene führen zu Änderungen im Bild. Ursachen: ● Änderung der Szenenbeleuchtung / Sichtverhältnisse ● Änderung von Form oder Material sichtbarer Objekte ● Änderung der Eigenstrahlung sichtbarer Objekte (Scheinwerfer an/aus) ● Änderung der Abbildungsparameter (focus, Blende) ● Änderung durch Prozessrauschen ● Relativbewegung zwischen Sensor und Objektoberflächen (soll ggf. gemessen werden) Die Ursachen dieser Änderungen sind oft nicht eindeutig. Nutzung von a priori Wissen über Randbedingungen zur Einschränkung der Modellparameter. Computer Vision 1_Seite 3

Interpretationsschemata Szeneninterpretation Die Informationsextraktion (Generierung der Modellwelt) erfolgt in i. A. nach einem von drei Schemata: ● Nicht-zyklisches Schema für Einzelbilder oder Bildfolgen ● Interpretationszyklus für Einzelbilder ● Interpretationszyklus für Bildfolgen Computer Vision 1_Seite 4

Nicht-zyklisches Schema Szeneninterpretation Zuordnung von Modellausprägungen zu Bilddaten Sensorik Aufnahme Szene Ikonik 1) Vorverarbeitung digit. Bild. Symbolik Merkmal/Primitiven-Extr. Estimation Vorverarb. Bild z. B. Gradientenbild Klassifikation Merkmalsvektor/Prim. -Liste z. B. Kreislinien-Liste Aktion Aussage Ergebnis z. B. gut/schlecht Anwendung bei überwiegend stationären Verhältnissen, wie z. B. in der automatischen Sichtprüfung in der Produktion von Standardteilen. Im Außenbereich ist oft eine Rückkopplung notwendig, z. B. um Schwellwerte zu optimieren. 1) ikonisch: bildhaft, anschaulich Computer Vision 1_Seite 5

Interpetationszyklus für Einzelbilder Szeneninterpretation Generische räumliche Beschreibung (parametrisierte Modelle für Szene, Objekte, Beleuchtung, Abbildung) definiert modifiziert Bildauswertung Parameterschätzung, Klassifikation Modellelemente Modellausprägungen (Parametersätze) Modellwelt definiert Projektion Modellwelt-Bild Merkmale, Primitive Verfahren extrahieren Digitalisiertes Bild Signalverarbeitung Synthetisches Bild, Szenenskizze Synthese Bildsensor Computer Vision Display 1_Seite 6 ZIEL

Interpretationszyklus für Bildfolgen Szeneninterpretation Zeitlicher Zusammenhang zwischen räumlichen Beschreibungen n ung en-, b i iktio e d r ä n r h Generische räumliche Beschreibung e P c Bes jekt-, Sz e h eitlic für Ob namik) z e isch Modelle nsordy r e n Ge sierte Se on , s i g Bildauswertung etr räumliche un Pr. Beschreibung dikti t ä Modellwelt m Generische h a c r u a e l (p e B Generische räumliche Beschreibung Bildauswertung Modellwelt Signalverarbeitung . . . Signalverarbeitung Bildsensor t 0 + n*d Bildsensor t 0+d Bildsensor t 0 Computer Vision 1_Seite 7

Situation und Zustandsbeschreibung Szeneninterpretation Erinnerung: Ausprägung der Modellparameter (= Generierung der Modellwelt) Situationsanalyse Für die Situationsanalyse werden eine Situationsbeschreibungen benötigt! Situation: generische Beschreibung aller wesentlichen Sachverhalte • • Eine Situation tritt in bestimmten Zuständen ein. Je nach Zustand bestehen bestimmte Handlungsmöglichkeiten Zustand: Physikalische Beziehungen (zu einem Zeitpunkt) zwischen den an der Situation beteiligten Objekten Wie werden Abfolgen von Situationen modelliert? Computer Vision 1_Seite 8

Situationsgraphen Szeneninterpretation Situationsgraphen zur Modellierung der Abfolgen von Situationen ● Situationsknoten ● Prädiktionskanten Situation 1 vorausfahrendes Fahrzeug fährt in der Spurmitte Situation 2 Situation 5 vorausfahrendes Fahrzeug berührt die linke Fahrbahnmarkierung vorausfahrendes Fahrzeug schert ein Situation 3 Situation 4 vorausfahrendes Fahrzeug schert aus vorausfahrendes Fahrzeug überholt Situationen sind an Zustände (z. B. Abstand des vorausfahrenden Fahrzeugs zur Fahrbahnmarkierung) gebunden und verlangen ggf. nach Handlungen. Computer Vision 1_Seite 9

Situationsgraphen Szeneninterpretation Situationsknoten enthalten je ein ● Zustandsschema: generische (parametrierte) Beschreibung des aktuellen Zustands. ● Handlungsschema, legt eine durchzuführende Aktion festgelegt. Situation 5 vorausfahrendes Fahrzeug schert ein Handlungsschema Bremsen? z. B. Position des vorausfahrenden Fahrzeugs bzgl. der linken Fahrbahnmarkierung und Abstand. Zustandsschema Computer Vision 1_Seite 10

Situationsgraphen Szeneninterpretation Situationskanten besitzen je einen ● Bindungsknoten: gibt an, welche Ausprägungen (Parameter) auf den nachfolgenden Situationsknoten übernommen werden. Situation 1 vorausfahrendes Fahrzeug fährt in der Spurmitte Situation 2 vorausfahrendes Fahrzeug berührt die linke Fahrbahnmarkierung Handlungsschema Zustandsschema z. B. Position des vorausfahrenden Fahrzeugs Computer Vision 1_Seite 11

Situationsgraphen nach W. Krüger Szeneninterpretation Modellierung der zeitlichen Abfolge von Situationen: • Ausgangpunkt: aktueller Situationsknoten • Finde eine Prädiktionskante, die zu einem Situationsknoten mit ausprägbarem Zustandsschema führt. • Im Erfolgsfall wird dieser Knoten zum aktuellen Knoten. • Jede Prädiktionskante besitzt eine Priorität: Reihenfolge der Anwendbarkeitsprüfung der Nachfolgeknoten. Handlungsschema 1. . . Zustandsschema N. . . 2 Handlungsschema 1 Zustandsschema Situationsgraph nach Krüger Computer Vision 1_Seite 12

Einordnung der Bildauswertung Handlungsschema 1. . . Zustandsschema Szeneninterpretation N. . . 2 Handlungsschema 1 Zustandsschema Situationsgraph nach Krüger Ausprägung Das Zustandsschema wird von der Bildauswertung bestimmt!!! Computer Vision 1_Seite 13

Aufgabe: Active Vision Szeneninterpretation Voraussetzung: ● Ein Bildauswertesystem ist in der Lage, in Videobildsequenzen Menschen als solche zu erkennen. ● Sofern ein Mensch im Bild erkannt wird, liefert die Bildauswertekomponenten visible = true und die Position ( i, j ) im Bild. ● Befindet sich kein Mensch im Bildausschnitt im Bildbereich, liefert die Bildauswertekomponente visible = false. ● Vereinfachung: Maximal ein Mensch ist im Bildausschnitt sichtbar. Aufgabe ● Nachführung der Kamera, so dass sich der eventuell abgebildete Mensch immer in der Bildmitte befindet. ● Zeichnen Sie einen Situationsgraphen (ohne Kantenpriorität), der die Abfolge aller für die Kamerasteuerung notwendigen Situationen darstellt. Computer Vision Bildmitte Bild 1_Seite 14

Aufgabe: Active Vision Szeneninterpretation Computer Vision 1_Seite 15

Aufgabe Szeneninterpretation Situation 2 Mensch am Bildrand Situation 1 Mensch in der Bildmitte Kamera nachführen Keine Handlung (i, j) visible Position (i, j) in Bildmitte (i, j) visible Position (i, j) nicht in Bildmitte Keine Handlung !visible Situation 0 Kein Mensch Computer Vision 1_Seite 16