MPEG7 MM Auris Arbeitsgruppe 1 Mag Wolfgang Schinagl

MPEG-7 MM Auris – Arbeitsgruppe 1 Mag. Wolfgang Schinagl Graz, 9. 10. . 2000, WK STMK,

Was ist MPEG-7 ? • • MPEG-7 wird eine standardisierte Beschreibung von verschiedenen Typen multimedialer Information sein. Diese Beschreibung wird mit dem Inhalt selbst assoziiert sein, um schnelles und effizientes Suchen für den Nutzer zu gewährleisten. MPEG-7 wurde aus dem früheren „Multimedia Content Description Interface“ heraus entwickelt. MPEG-7 befindet sich momentan noch in der Entwicklungsphase.

Arbeitsplan MPEG-7 ISO Standard • • • Call for Proposals: October 1998 Working Draft: December 1999 Committee Draft: October 2000 Final Committee Draft: February 2001 Draft International Standard: July 2001 International Standard: September 2001

Hintergrund • MPEG-7 kann völlig unabhängig von den bisherigen MPEGStandards (1, 2, 4) verwendet werden. • Es ist kein Verfahren zur Kompression von audiovisuellen Daten, daher auch die Abgrenzung durch die Ordnungszahl 7 • Es existieren keine MPEG 3, 5, 6 Standards.

Warum wird MPEG-7 entwickelt? • Web wird vermehrt um audiovisuelle digitale Inhalte (insbesonere digitale Videos) erweitert • Problem der Informationslokalisierung (Suchen und Finden) • Problem des Informationstransports von großen Video-Files im Netzwerk (Download oder Streaming/Preview) • Die Identifikation audiovisueller Medien ist zur Zeit noch nicht möglich, da keine generelle Erkennung der Beschreibung dieser Materialien existiert.

Beispiele für MPEG-7 • Wie heißt das Motorrad aus dem Film Terminator II Video? • Suche mir ein Video, wo über den Zeitplan des MPEG-7 Konsortiums berichtet wird! • Suche ein Musikvideo „Die Meistersinger von Nürnberg“ mit Placido Domingo als Ritter Stolzing! • Suche alle Werbungen mit Claudia Schiffer! • Suche mir Computersimulationen über die Wirkungsweise von Schnupfen-Viren!

Beschreibung des MPEG-7 Standards • Im Oktober 1996 begann MPEG mit der inhaltlichen Beschreibung multimedialer Daten (Entwicklung mehrere Datentypen und Deskriptoren) • MPEG-7 verwendet Deskriptoren, ganze Beschreibungs. Schemata für Deskriptoren und die Beschreibung ihren Beziehungen. • Diese Beschreibung (d. h. die Kombination von Deskriptoren und Beschreibungs-Schemata) soll mit dem Inhalt selbst verbunden sein, um dem Nutzer eine schnelle und effiziente Suche zu ermöglichen. MPEG-7 möchte außerdem eine Sprache festlegen, welche die Beschreibungs-Schemata spezifiziert, also eine "Description Definition Language" (DDL).

Multimedia-Material für MPEG-7 • Photos, Grafiken, 3 D-Modelle, Audio-, Sprach, - und Videodaten, Gesichtsausdrücke, persönliche Eigenschaften, sowie Informationen darüber, wie diese Daten in einer multimedialen Präsentation verknüpft sein können. • Eine Funktion des Standards ist es, Referenzen zu passenden Anteilen der anderen Standards bereitzustellen. So kann z. B. ein Oberflächen-Deskriptor aus MPEG-4 auch in einem MPEG-7 Kontext hilfreich sein. Dasselbe gilt z. B. auch für Bewegungsvektoren, welche in MPEG 1 und 2 vorkommen. • MPEG-7 Deskriptoren sind unabhängig von der Art und Weise der Speicherung, bzw. Kodierung des Inhalts. So ist es z. B. möglich, einem analogen Film, sowie einem Bild, das später ausgedruckt werden soll, mit einer MPEG-7 Beschreibung zu verbinden".

MPEG-7 und MPEG-4 • MPEG-7 ist von der kodierten Repräsentation des Materials unabhängig. Diese Fähigkeit baut auf dem MPEG-4 Standard auf, welcher über Methoden verfügt, audiovisuelle Daten als Objekte, welche bestimmte zeitliche (Synchronisation) und räumliche (auf dem Bildschirm für Video, bzw. im Raum für Audio) Beziehungen haben zu enkodieren. • Beim Gebrauch der MPEG-4 Kodierung ist es möglich, Beschreibungen Elementen (Audio- oder visuellen Objekten) innerhalb einer Szene zuzuordnen. MPEG-7 hingegen ermöglicht verschiedene Abstufungen in seiner Beschreibung, welches einem die Möglichkeit verschiedener Unterscheidungsstufen bietet.

Abstraktionsmaße • • • Einfache Abstraktionsmaße für visuelle Materialien sind z. B. : Oberflächenbeschaffenheit, Größe, Textur, Bewegung, und die Position. (wo kann das Objekt in der Szene lokalisiert werden ? ). Für Audio-Materialien sind dies dann z. B. : Tonhöhe, Tempoveränderung, Position und der Raum. Komplexe Abstraktionsmaße geben dann semantische Informationen wie z. B. Dies ist eine Szene mit einem braunen bellenden Hund im Vordergrund links, und einem blauen herabfallenden Ball auf der rechten Seite, mit dem Hintergrundgeräusch fahrender Autos. Der Grad der Abstraktion hängt von der Art und Weise der Merkmalserkennung ab, viele einfache Merkmale können vollautomatisch erkannt werden, wohingegen sehr komplexe Merkmale der menschlichen Interaktion bedürfen.

Andere Informationstypen • • Außer der Beschreibung des Inhalts ist es auch notwendig andere Informationstypen multimedialer Daten heranzuziehen: Die Form: Ein Beispiel für Form ist z. B. das verwendete Kodierungsschema (JPEG, MPEG 2) oder die Größe der Datei. Diese Information hilft bei der Festlegung ob die Information vom Nutzer gelesen werden kann. Zustände für den Zugriff auf das Material: dies könnte die Copyright Information sowie den Preis beinhalten. Klassifikation: Dies könnte das FSK-Rating, sowie die inhaltliche numerische Klassifikation in einem vorgegebenen Kategorieschema enthalten. Links zu anderen relevanten Quellen: Diese Information könnte dem Benutzer helfen die Geschwindigkeit seiner Suche zu erhöhen. Der Inhalt: Im Falle eines "non-fiction" Inhaltes, ist es wichtig den Umstand der Aufnahme zu wissen. (z. B. Olympische Spiele 1996 Finale 200 m Hürden Männer). In vielen Fällen wird es wünschenswert sein textbasierte Information für die Beschreibung zu verwenden. Allerdings sollte diese möglichst unabhängig von Sprache sein. (das bietet sich z. B. bei Namen, Filmen, Autoren oder Plätzen an).

Speicherung von Daten und Beschreibung • Die MPEG-7 Daten mögen physisch auf demselben Datenstrom oder Speichermedium wie das AV-Material liegen, aber die Beschreibung kann auch ganz woanders liegen. • Wenn der Inhalt und deren Beschreibung nicht beieinanderliegen, sind Mechanismen, welche das AV-Material und deren MPEG-7 Beschreibungen verlinken nützlich, diese Links sollten in beiden Richtungen arbeiten.

Umfang des Standards • MPEG-7 kann Anwendungen adressieren, welche On/Offline, oder als Datenstrom (TV-Übertragungen, Pushtechnologien. . . ) gespeichert werden und kann in Echtzeit oder Nicht-Echtzeit Umgebungen operieren. Echtzeit Umgebung bedeutet, dass die Information mit dem Inhalt verbunden wird, währenddessen sie gerade aufgefangen wird (real-time-capturing). • Abbildung 1 soll den Umfang des MPEG-7 Standards anhand eines Blockdiagramms einer möglichen MPEG-7 Prozesskette darlegen. Diese Kette beinhaltet die Merkmalserkennungs(analyse), die Beschreibung selbst, sowie die Anwendung Suchmaschine).

Automatische Erkennung • • Um die Leistungsfähigkeit von MPEG-7 voll auszuschöpfen, ist die automatische Erkennung von Merkmalen sehr hilfreich. Die automatische Erkennung sein mag, sie gehört nicht zum Umfang des MPEG-7 Standards. Hauptgrund ist, dass ihre Nutzung für die Interoperabilität nicht notwendig sein wird, außerdem soll der Wettbewerb in dieser technologischen Sparte nicht eingeschränkt werden. Auch die Suchmaschinen werden im Umfang des Standards nicht enthalten sein, da dies nicht notwendig ist, und auch marktpolitische Gesichtspunkte hat. (Wettbewerb)

Beziehungen zwischen Deskriptoren D, Description Scheme DS und Description Definition Language DDL

MPEG-7 in der Praxis

3. 0 Interessengebiete von MPEG-7 • Digitale Bibliotheken (Bilder Katalog, musikalisches Wörterbuch. . . ) • Multimedia Verzeichnis Services (Gelbe Seiten) • Fernseh- und Radiokanäle • Multimedia Editierung (Persönliche elektronischer News. Service, Media-Authoring)

Anwendungen • • • Bildungsbereiche Journalismus (insbesondere die Suche nach politischen Reden mit Hilfe der Stimme) Touristen Information Kulturelle Serviceleistungen (Geschichtsmuseen, Kunstgalerien) Unterhaltung (Suche nach Spielen, Karaoke) Geheimdienste (Menschliche Eigenschafts-Erkennung) Geographische Informationssysteme Überwachung (Verkehrsüberwachung) Biomedizin Einkaufen (Suche nach ansprechenden Klamotten) Architektur, Bauwesen Film, - Video, - und Radioarchive

Beispiele • • • Musik: Spielt man ein paar Töne mit dem Keyboard ein, so erhält man ein passendes Gegenstück, welches die gespielten Noten in gewisser Weise widerspiegelt. Grafik: Zeichnet man ein paar Linien auf einen Bildschirm, erhält man eine Auswahl an Bildern, Grafiken, Logos. . . Bilder: Definiert man Bilder anhand der Farbe, Textur. . . so erhält man Bilder mit ähnlichen Merkmalen. Bewegung: Beschreibt man anhand einer gegebenen Auswahl an Objekten Bewegungen , so erhält man eine Liste an Animationen, welche die beschriebenen Bewegungen erfüllen. Stimme: Benutzt man einen Auszug von Pavarottis Stimme, so erhält man eine Liste an CD's, Video-Clips welche diese Stimme enthalten.

Zusammenfassung • MPEG-7 wird zu einem wichtigen Standard zur Suche nach multimedialen Informationen avancieren. • Es ist der erste Versuch alle Arten multimedialer Information in einem Standard zusammenzufassen. • Bis zur endgültigen Verabschiedung von MPEG-7 als internationaler ISO Standard im September 2001 ist es noch ein weiter Weg. Doch wenn die jetzigen Ansätze weiterverfolgt werden, wird MPEG-7 eine nie dagewesene Vereinfachung und Transparenz bei der Suche nach audiovisuellen Informationen bieten können. • MPEG-7 wird also für den Endnutzer, genauso wie für den Informations-Profi interessant sein.