Auf der Suche nach der Semantik Inhaltsbasierte Indizierung

Auf der Suche nach der Semantik Inhaltsbasierte Indizierung von Bildern und Video Wien, 17. November 2000 Christian Wolf

Umfeld der Arbeit Praktikum 1996 mit Ingeborg Tastl: Suche in Bilddatenbanken mit color adjacency graphen Diplomarbeit 1999 -2000 mit Horst Bischof und Jean -Michel Jolion: Suche in Bilddatenbanken mit interest points und Gabor features Dissertation 2000 -? ? mit Jean-Michel Jolion: Suche in Bild- und Videodatenbanken mittels Text und sub-konzeptuellen Informationen Christian Wolf

Themengebiet Die Suche nach Informationen in einer Datenbank von Bildern und Videoclips, basierend auf Inhalt, d. h. “query by example”. Ergebnis Abfrage Vergleich Indizierung Indizes Christian Wolf

„Pre-attentive“ Systeme Attentive: Systeme mit „Bewußtsein“, benutzen Schlußfolgerungen auf hohem Niveau um Information zu suchen. Pre-Attentive: Systeme ohne Bewußtsein. Für den Vergleich werden Bildverarbeitungsmethoden herangezogen, die Informationen auf niedrigem Niveau extrahieren (Farbe, Textur, Kontur usw. ) Teile der Abbildung nach Etienne Loupias: « Indexation d’images: aide au téléenseignement et similarités pré-attentives » (Dissertation, Nov. 2000) Christian Wolf

Aufgaben 1. Definition einer Beschreibung für Bilder oder Videos 2. Definition einer (Pseudo)-Metrik, die Distanz zweier Bilder anhand der Beschreibungen ermitteln kann. Vergleich Distanz Christian Wolf

Ansätze • Spezialisierter Ansatz von Bilddatenbanken: Der Arbeitsbereich ist eingeschränkt (Medizinische Bildverarbeitung, Personen usw. ). Die Features werden auf den Arbeitsbereich zugeschnitten. • Allgemeiner Ansatz: Keine Einschränkung des Arbeitsbereichs, alle Arten von Bildern/Videos sind erlaubt. • Hybrider Ansatz: Keine Einschränkung des Arbeitsbereichs. Detektion des Bildtypes und Benutzung spezieller Features für diesen Typ. Christian Wolf

Zwei Methoden Farbbasierte Distanz mittels Farbnachbarschaftsgraphen Texturbasierte Distanz mittels Gaborfiltern Christian Wolf

Farb Graphen Schwarz Rot Grün Gelb Blau Repräsentation eines Bildes durch einen Graphen Christian Wolf

Farbclustering Graphen theoretisches Clustern Eintragen der Farben in ein 3 D Histogram, erzeugen von Graphen. 34 13 9 17 5 6 18 8 12 23 21 33 37 83 65 44 Christian Wolf

Aufbau und Vergleich Knoten: Die Farbe des Clusterrepräsentanten Kanten: Die Nachbarschaftsbeziehungen, die durch „walks“ von den Zusammenhangskomponenten aus ermittelt werden. Vergleich zweier Graphen: Greedy search in der Distanzmatrix der Farben Christian Wolf

Farb Graphen Liefert durch die Nachbarschaftsbeziehungen mehr Informationen als ein Farbhistogramm Durch das Löschen von kleinen Regionen werden die wichtigeren Informationen hervorgehoben. Die Regionen werden nach ihrer Größe gewichtet. Die Ergebnisse sind von der Segmentierung abhängig. Das Regionenmodell ist nicht für alle Bilder vorteilhaft Christian Wolf

Gabor Features Selektion von Punkten mit Interest point Detektoren Gabor Filterbank Scale 1 IP 3 Scale 2 Scale 3 IP 2 IP 4 Christian Wolf

2 verschiedene Beschreibungen Beschreibung als Menge von Feature Vektoren Level 1 1 2. . . Level 2 Level 3 Beschreibung als Menge von Histogrammen Christian Wolf

Histogramme 0º 45º Nachbarsuche Christian Wolf

Distanz - Vektoren Suche der korrespondierenden Vektoren durch Greedy search in der Distanzmatrix Christian Wolf

Distanz - Histogramme Distanz der Histogramrepräsentation wird über eine Standard Histogrammdistanzfunktion ermittelt. Die Battacharyya distanz: Christian Wolf

Rotationsunabhängigkeit Kompensation von Bildrotationen durch Rotation der Featurevektoren bzw. Histogramvektoren A) Feature vektoren (N pro Bild) B) Histogram vektoren (1 pro Bild) Christian Wolf

Evaluierung der Algorithmen Wie kann die Qualität einer Suchantwort bewertet werden? Christian Wolf

Test Datenbanken Datenbank 1: 609 Bilder aus dem Fernsehen. 568 werden als Abfragebilder verwendet. Die Datenbank wird in 11 Klassen eingeteilt: Datenbank 2: 179 Bilder aus der Datenbank von Jean-Michel Jolion. 105 werden als Abfragebilder verwendet, die DB wird in 6 Klassen eingeteilt r. . . Relevante Bilder in der Rückgabemenge d. . . Relevante Bilder in er DB c. . . Größe der Rückgabemenge Christian Wolf

DB 1 Christian Wolf

DB 2 Christian Wolf

Ergebnisse DB 2 Christian Wolf

Interestpoint Detektoren DB 1 Christian Wolf

Ergebnisse für Interestoperatoren Salient points (Haar) Harris Zufällige Punkte Tiger Objekt gebundene Löwen Klassen Gebäude 26. 7 47. 8 33. 9 25. 6 25. 0 28. 9 11. 7 26. 3 32. 3 Sonnenuntergänge 20. 4 20. 0 25. 6 % für die besten 15 Bilder Nach Etienne Loupias: « Indexation d’images: aide au télé-enseignement et similarités pré-attentives » (Dissertation, Nov. 2000) Christian Wolf

Schlußfolgerung - Gabor features Gute Charakterisierung der Bilder durch lokale Deskriptoren Gute Resultate für verschiedene Arten von Bildern (Fotos, Zeichnungen). Gute Klassifizierung nach Aufnahmen von den gleichen natürlichen Szenen (z. Bsp. Fernsehsendungen). Die Histogrammethoden werden aus Effizienzgründen empfohlen (ca. 20 x schneller als die feature vector Methode) Texturähnlichkeit ist für den Menschen sehr schwer nachvollziehbar (Interface? ) Christian Wolf

KIWI Christian Wolf

Christian Wolf

Semantik Larousse: “Wissenschaft der Bedeutung von Wörtern” Konzept Subkonzept Sensordaten (Features) Sprache Abbildung nach A. Chella, M. Frixione, S. Gaglio Understanding dynamic scenes VIR: Semantik durch Feedback Christian Wolf

Semantik Konzepte: Subkonzepte: • Die Art der Information (Spielfilm) • Himmel • Ort und Zeitpunkt des Geschehens • Wald (Frankreich im Mittelalter) • Wasser • Handlung !! • Bezüge zwischen den einzelnen Shots usw. Christian Wolf

Ansätze Shot/Regionen basierte Klassifizierung und semantische Wahrscheinlichkeitsnetze Fallschirm Wasserfall + + Vogel - - M. R. Naphade and T. S. Huang. Semantic Video Indexing using a probalisitic framework - [17] Explosion Unterwasser Extrahierter Textboxen Position Gesichter Größe • Location shot • Personal - Interview • Personal - Reporter R. Ranford, Christophe Garcia and Jean Carrivé. Conceptual Indexing of Television Images Based on Face and Caption Sizes and Locations - [19] Christian Wolf

Indizierung basierend auf Text Scheitert momentan noch an der mangelnden Verfügbarkeit von zuverlässiger Video OCR. Mögliche Features: • Position und Anzahl von Textfeldern • Größe • Klassifizierung des Textes (Ortsnamen, Personennamen, Sportresultate, fixe Strings wie „Interview“, „Live aus“ usw. ) • Stichwortsuche über den Text muss mit anderen Features kombiniert werden (Gesichter, Motion, Audio) Christian Wolf

Extraktion von Text: Wo ist das Problem? • Anti-Aliasing Effekte durch die Reduzierung der Auflösung (Tiefpaßfilter + Downsampling) • Kompressionsartifakte durch JPEG + MPEG Komprimierung Künstliche Kontrasterhöhung bei überlegtem Text (Lesbarkeit über komplexem Hintergrund) Christian Wolf

Extraktion von Text Komplexer Hintergrund macht die Segmentierung des Textes schwierig Verschiedene Textgrößen machen einen Multiresolutionsansatz erforderlich. Christian Wolf

Ergebnisse der Detektion Christian Wolf

Was ist noch zu tun? Extraktion des Textes: • Einarbeiten von temporellen Aspekten in den Detektionsalgorithmus. Integration von mehreren Frames • Tracking des Textes • Qualitätsverbesserung der Textboxen, wenn möglich Erhöhen der Auflösung • Segmentieren von Vordergrund Hintergrund • OCR (Kommerzielle Tools? ? ) Christian Wolf

Schlußfolgerung Visual Information Retrieval ist noch sehr weit davon entfernt, semantische Informationen zu erkennen und zu benutzen. In der Zwischenweit liefern Methoden basierend auf Farb- und Texturfeatures wertvolle Resultate, deren Einschränkungen den Benutzern bewußt sein sollten. Christian Wolf

Danke für Ihre Aufmerksamkeit! Christian Wolf

Referenzen Farbgraphen [1] J. Matas, R. Marik and J. Kittler, The Color Adjacency Graph Representation of multicolored Objects, Technical Report VSSP-TR-1/95, Department of Electronic & Electrical Engineering, University of Surrey, Guildford. [2] Markus Stricker and Alexander Dimai, Color Indexing with Weak Spatial Constraints, SPIE Vol. 2670/29 (0 -8194 -2044 -1/96) [3] Shapiro L. G. , Haralick R. M. : Decomposition of two-dimensional shapes by graph theoretical clustering. IEEE trans. On Pattern Analysis and Machine Intelligence 1979, 1(1), 10 -20 Christian Wolf

Referenzen Interest points und Gabor features [4] B. Huet and E. R. Hancock. Cartographic indexing into a database of remotely sensed images. In Third IEEE Workshop on Applications of Computer Vision (WACV 96), pages 8 -14, Sarasota, Dec 1996. [5] C. Schmidt and R. Mohr. Local gray value invariants for image retrieval. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(5), May 1997. [6] S. Bres and J. M. Jolion. Detection of interest points for image indexing. In 3 rd Int. Conf. on Visual Inf. Systems, Visual 99, pages 427 -434. Springer, Lecture Notes in Computer Science, 1614, June 1999. [7] H. G. Feichtinger and T. Strohmer. Gabor Analysis and Algorithms. Birkhäuser, 1998. [8] C. Harris and M. Stephens. A combined corner and edge detector. In Proceedings 4 th Alvey Visual Conference. Plessey Research Roke Manor, UK, 1988. [9] A. K. Jain and F. Farrokhina. Unsupervised texture segmentation using gabor filters. Pattern Recognition, 24(12): 1167 -1186, 1991. [10] E. Loupias, N. Sebe S. Bres, and J. M. Jolion. Wavelet-based salient points for image retrieval. In International Conference on Image Processing, Vancouver, Canada, 2000. Christian Wolf

Referenzen Detektion und Extraktion von Text [11] F. Le. Bourgeois. Robust Multifont OCR System from Gray Level Images. Proceedings of the 4 th Int. Conf. on Document Analysis and Recognition, pages 1 -5. 8/1997. [12] H. Li and D. Doermann and O. Kia. Automatic Text Detection and Tracking in Digital Video. Technical report, LAMP-TR-028, Language and Media Processing Laboratory, Institute for Advanced Computer Studies, University of Maryland, College Park, MD 20742, 12/1998. [13] R. Lienhart and W. Effelsberg. Automatic Text Segmentation and Text Recognition for Video Indexing. Technical report, University of Mannheim, Praktische Informatik IV, 1998. [14] T. Sato and Takeo Kanade and E. K. Hughes and M. A. Smith and S. Satoh. Video OCR: Indexing digtal news libraries by recognition of superimposed captions. Multimedia Systems. [15] V. Wu and R. Manmatha and E. M. Riseman. Finding Text In Images. In ACM, editor, Proc. 2 nd ACM Int. Conference on Digital Libraries. 7/1997. [16] Y. Zhong and H. Zhang and A. K. Jain. Automatic Caption Localizatio in Compressed Christian Wolf Video. IEEE Transactions on Pattern Analysis and Machine Intelligence,

Referenzen Semantische Indizierung [17] M. R. Naphade and T. S. Huang. Semantic Video Indexing using a probalisitic framework. In Proceedings of the ICPR 2000, Barcelona, Spain, Sept. 2000, pp 8388. [18] A. Del Bimbo. Issues and Directions in Visual Information Retrieval. In Proceedings of the ICPR 2000, Barcelona, Spain, Sept. 2000, pp 83 -88. [19] R. Ranford, Christophe Garcia and Jean Carrivé. Conceptual Indexing of Television Images Based on Face and Caption Sizes and Locations. In Proceedings of the VISUAL 2000, Lyon, France, Nov. 2000, pp. 349 -359. [20] J. Z. Wang, J. Li and G. Wiederhold. SIMPLICITY: Semantics-sensitive Integrated Matching. In Proceedings of the VISUAL 2000, Lyon, France, Nov. 2000, pp. 349359. Christian Wolf

Appendix Bhattacharyya Distanz: Distanz zweier Mengen von Feature vektoren: 1. 2. X. . . Menge der Paare von korrespondierenden Vektoren t. . . Threshold t = max. Distanz zweier Vektoren Christian Wolf

Appendix Indizierung: • Definition der Features • Definition der Information, die abgeleitet werden kann (Klassen). • Interaktion mit den nicht text-orientierten Features (Motion: Rémi Megret) Christian Wolf