Prof Dr Harald H Zimmermann Information und Sprache

Prof. Dr. Harald H. Zimmermann Information und Sprache Was leistet(e) die maschinelle Sprachdatenverarbeitung Vortrag an der VHS Stadtverband Saarbrücken Sonntag, 24. 09. 2006, 11. 00 Uhr 24. 09. 2006 (zi) Information und Sprache 1

Gliederung 1. Wissen, Information und Informationsgesellschaft 2. Die (natürliche) Sprache als Verständigungsmittel 3. Sprachbarrieren 4. Möglichkeiten und Grenzen der maschinellen Sprachdatenverarbeitung 5. Stand und Perspektiven 24. 09. 2006 (zi) Information und Sprache 2

1. Wissen, Information und Informations gesellschaft Wissen (hier): - wahres = gesichertes bzw. allgemein anerkanntes ‚Wissen’, Meinungen Glaube / Glauben - zentral Wissen ist die Ursache für Handlungen, die ohne dieses Wissen (so) nicht stattgefunden hätten. 24. 09. 2006 (zi) Information und Sprache 3

Wege des Wissenserwerbs - Vererbung (Instinkte, Gene) – biogenetisches Wissen - (eigene) Erfahrung - durch Selbsterfahrung oder durch vermittelte Erfahrung (Nachahmung). - durch Menschen oder medial vermittelt (durch Medien wie Bücher, Bilder, Filme …) (tradiert – tradigenetisches Wissen; Lehren / Lernen) – gleiches Kodiersystem (z. B. Sprache). - Forschung 24. 09. 2006 (zi) Information und Sprache 4

Information = (geglückter) Transfer von Wissen - Das beim Rezipienten zuvor vorhandene Wissen verändert sich. Handlungen werden durch die Wissensveränderung mitbestimmt. Handlungen können bewusst oder unbewusst erfolgen. Bewusste Handlungen können auch erfolgen, ohne dass das relevante Wissen verfügbar ist. ‚Idealer’ Wissenszustand: Zustand, bei dem Handlungen unter Heranziehung allen verfügbaren verlässlichen Wissens erfolgen. 24. 09. 2006 (zi) Information und Sprache 5

Wissenserwerb - Information Retrieval Informationsbewusstsein Informationsgesellschaft / Wissensgesellschaft 24. 09. 2006 (zi) Information und Sprache 6

Prozesskette des medialen Wissenstransfers (= Informationsprozess) Ausgangspunkt: Wissen des ‚sendenden Akteurs’ (interne Wissensrepräsentation) -> Erzeugung einer Wissenspräsentation (Transformation, Codierung) -> medialer Transfer (Schall, Papier, Datenspeicher / Datenbank …) -> Empfang der Wissenspräsentation (Hören, Lesen physikalisch) -> Retransformation / Decodierung Ergebnis: Veränderung des Wissens (der internen Wissensrepräsentation) beim ‚empfangenden Akteur’. 24. 09. 2006 (zi) Information und Sprache 7

Mehrstufiger Transferprozess (Beispiel ‚Artikel’): Ausgangspunkt: Wissen des ‚sendenden Akteurs’ (interne Wissensrepräsentation): > Schreiben eines Artikels (Autor): Erzeugung einer Wissenspräsentation (‚intellektuelle’ Transformation, Codierung in Schriftsprache) mit Bezug zum ausge wählten Wissenssegment, > Technische Umsetzung dieser Wissenspräsentation in eine ‚maschinenlesbare’ Codierung, > medialer Transfer (technisch gestützt), > Empfang der maschinenlesbaren Wissenspräsentation durch ein Gerät, > Retransformation / Decodierung I: Umsetzung der ‚maschinenlesbaren’ Form in eine Druck oder Bild schirmpräsentation (Schrift), > Lesen des Artikels (Rezipient) > Intellektuelle Decodierung (II) des Textes, ‚Verstehen’, Ergebnis: Veränderung des Wissens (der internen Wis sensrepräsentation) beim ‚empfangenden Akteur’. 24. 09. 2006 (zi) Information und Sprache 8

2. Die (natürliche) Sprache als Verständigungsmittel Die Sprachwissenschaft befasst sich mit den Möglichkeiten und Grenzen des Wissenstransfers unter Verwendung geschriebener wie gesprochener Sprachäußerungen, die Bestandteil eines Sprachsystems sind. Da es sich dabei um ein gleichsam jedermann nahezu ‚natürlich’ zugängliches Wissensvermittlungsinstrument handelt, besteht ein besonderes Desiderat, Erkenntnisse über das Funktionieren des Wissenstransfers mit Hilfe von (meist geschriebener) Sprache zu vertiefen. 24. 09. 2006 (zi) Information und Sprache 9

Einteilung natürlichsprachiger Sprachsysteme - Sprach Morphologie (alternativ: Phonetik) + Sprach Syntax (formale Seite: Wörter, Sätze, Texte als Zeichen / Strukturen eines Sprachsystems) - Sprach Semantik (In-Beziehung. Setzen zu den ‚Bedeutungen’ der Zeichen, zum – individuellen – ‚Weltwissen’) - sprachliche Pragmatik (Handlungsbezug) 24. 09. 2006 (zi) Information und Sprache 10

Funktionsvielfalt der natürlichen Sprache - Wissensvermittlungsfunktion (= Informationsfunktion) - Zuwendungsfunktion (Trost) - Abreaktions-Funktion (sich ‚Luft machen’) - Appellfunktion - Handlungsanweisung (‚Schließe bitte das Fenster’ / ‚Es zieht’) - … 24. 09. 2006 (zi) Information und Sprache 11

3. Sprachbarrieren Sprachenvielfalt => Sprache(n) als Barriere(n) des Wissens transfers Geschichte vom ‚Turmbau zu Babel’ (1. Mose 11) als Erklä rungsversuch Überwindung der Sprachbarrieren durch Erwerb / Nutzung einer spezifischen Zweitsprache unter Verwendung einer natürlichen Sprache als Verkehrs sprache (heute: Englisch) Erwerb / Nutzung einer künstlichen Sprache (Beispiel: Esperanto) als Zweitsprache Aufgabe der Muttersprache(n) zugunsten einer (anderen) Sprache (sehr problematisch und nicht wahrscheinlich) 24. 09. 2006 (zi) Information und Sprache 12

Überwindung der Sprachbarriere durch ‘Künstliche Intelligenz’? Wird das Computerzeitalter auch diesen Wunschtraum der Menschheit nach einer idealen, schrankenlosen Kommunikations- und Informationsgesellschaft erfüllen, ohne dass jemand seine Muttersprache aufgeben muss (die ja auch den unterschiedlichen kulturellen Zusammenhang bewahren würde)? Wird man sich dank einer zukünftigen Computersoftware, die geschriebene und gesprochene Sprache so weit versteht und übersetzt, wie dies heute ein menschlicher Übersetzer oder Dolmetscher tut, dabei ‘brauchbar’ verständigen können, auch wenn die Gesprächspartner unterschiedliche (natürliche) Sprachen verwenden? 24. 09. 2006 (zi) Information und Sprache 13

Das (utopische? ) Szenario Zwei Personen, jeweils ausgetattet mit einem Mikrofon und einem Kopfhörer, kommunizieren miteinander (lokal oder fernmündlich) über ein zwischengeschaltetes (portables) Übersetzungsoder Dolmetschsystem, jeder unter Verwendung seiner Muttersprache, etwa in der Art, wie dies heute (menschliche) Dolmetscher bei großen internationalen Konferenzen erfolgt. 24. 09. 2006 (zi) Information und Sprache 14

Bis dahin (eines sehr fernen Tages) ist realistisch: - Kompetenz in der Muttersprache - Kompetenz in der internationalen Verkehrssprache - Kenntnisse zur Verständigung in der Nachbarschaftssprache (im Saarland also des Französischen) 24. 09. 2006 (zi) Information und Sprache 15

4. Maschinelle Sprachdatenverarbeitung Ausgangslage: Verfügbarkeit ‚maschinenlesbarer’ Daten Vier Bereiche: - maschinelle Unterstützung beim Schreiben von Texten - Nutzung maschineller Verfahren beim Information Retrieval - Einsatz der maschinellen Übersetzung bzw. maschineller Übersetzungshilfen - Verfahren zur Verarbeitung gesprochener Sprache 24. 09. 2006 (zi) Information und Sprache 16

4. 1 Maschinelle Unterstützung beim Schreiben von Texten Erzeugung ‚formal’ korrekter (‚wohlgeformter’) Sätze / Texte durch: (- Rechtschreibkontrollen und -korrekturen Automatische Silbentrennung Grammatik- und Stilhilfen) Brauchbare Programme zur Kontrolle der Einhaltung der Norm und ggf. zur Korrektur bzw. zum Angebot von Korrekturvorschlägen sind inzwi-schen (zum Deutschen) verfügbar. 24. 09. 2006 (zi) Information und Sprache 17

4. 2 Nutzung maschineller Verfahren beim Automa tischen Indexieren und beim Information Re trieval Zielsetzung: Möglichst alle für die Problemlösung relevanten Texte = Quellen (Recall) und möglichst nur die relevanten Quellen (Precision) bereitzustellen. Einsatz von - statistischen Verfahren - statistisch-linguistischen Verfahren (Trunkierung …) - linguistischen Verfahren (Lemmatisierung, Dekomposition, Derivation - verschiedenen Gewichtungsverfahren (Ranking der Treffer) 24. 09. 2006 (zi) Information und Sprache 18

Schwachstellen - Fehlende (automatische) Bedeutungsdifferenzierung (bei Polysemie) - unzureichende thematische Differenzierung (automatische Fachgebietserkennung …) - Fehlende Zuordnung von Übersetzungsäquivalenten 24. 09. 2006 (zi) Information und Sprache 19

4. 3 Der Einsatz maschineller Übersetzung bzw. maschineller Übersetzungshilfen (I) - Maschinelle Übersetzung (MÜ; Machine Translation, MT) => vollautomatische Übersetzung eines Textes in natürlicher Sprache in eine andere natürliche Sprache. - Human Übersetzung (HÜ; Human Translation, HT) => die intellektuelle Übersetzung eines Textes mit oder ohne maschinelle einfache lexikalische Hilfen (elektronische Wörterbücher) mit oder ohne Textverarbeitung. 24. 09. 2006 (zi) Information und Sprache 20

4. 3 Einsatz maschineller Übersetzung bzw. maschineller Übersetzungshilfen (II) - Computergestützte Übersetzung (CUU; compu-ter -aided Translation, CAT) => einerseits eine intellektuelle Übersetzung, die auf einer maschinellen Vorübersetzung / Rohübersetzung (MT) aufbaut, die nachfolgend intellektuell nachbereitet wird (Postedition); andererseits eine intellektuelle Übersetzung, bei der vor oder während des intellektuellen Übersetzungsprozesses ein Translation Memory und / oder eine Terminologie-Bank verwendet werden. - Informativ Übersetzung (IÜ; informative Translation IT) =>eine spezielle Variante von MT, bei der ein Nutzer ohne (hinreichende) Kenntnis der Quellsprache eine Übersetzung in seine Muttersprache erhält. 24. 09. 2006 (zi) Information und Sprache 21

Stand der Entwicklungen - Die FAHQT (Fully Automatic High Quality Translation’) ist nicht realisiert (wenn überhaupt zu realisieren) - Alle anderen genannten Konzepte (mit unterschiedlichem Aufwand und Kosten verbunden) haben realistische Anwendungen erfahren. 24. 09. 2006 (zi) Information und Sprache 22

Human Übersetzung (HT): Hier werden sowohl im professionellen Bereich (Übersetzungsbüros) als ggf. auch bei privaten Übersetzungen Textverarbeitung und elektronische Lexika eingesetzt. Diese Variante erhöht die intellektuelle professionelle Übersetzungsleistung / Tag von durchschnittlich ca. 8 Seiten / Tag (rein konventionell) auf ca. 10 – 12 Seiten / Tag. 24. 09. 2006 (zi) Information und Sprache 23

Computergestützte Übersetzung (CAT) Ziel: Kostenreduktion, Zeitgewinn Um ein CAT-Verfahren sinnvoll einsetzen zu können, sind in der Regel erhebliche Aufwendungen an Codierleistungen und Regel-Erweiterungen notwendig. Diese Vorab-Investitionen (sie sind zudem nur für Sprachpaare einsetzbar, wo grundlegende MT-Verfahren mit passenden Übersetzungsrichtungen eines Systems bereits vorliegen, etwa bei Deutsch – Englisch) können sich nur größere Unternehmen leisten. Dabei ist u. a. auch das Ziel, die Produkte (etwa eine neue Autoversion) rascher auf den internationalen Markt zu bringen (Slogan ‚Time to Market’). Hier werden sowohl – langfristig gesehen – die Kosten je Übersetzungssegment reduziert (bis zu 50 % gegenüber der HT) als auch Zeit gewonnen. 24. 09. 2006 (zi) Information und Sprache 24

Translation Memory, Terminologiebanken Erhebliche Einsparungen hat man zudem, wenn sich neue Übersetzungen nur gering-fügig von vorherigen Fassungen unterschei-den, etwa bei Wartungsanleitungen. Hier werden die sog. Translation-Memory-Verfahren verwendet: Das System merkt sich sozusagen Segmente früherer (validierter) Übersetzungen und setzt diese als Bausteine bei völliger Identität oder großer Übereinstimmung in die zu fertigende Übersetzung ein. Terminologie-Banken sind i. d. R. systematisch gepflegte, interaktiv abrufbare Fachlexika zur Konsistenzsicherung bei Übersetzungen 24. 09. 2006 (zi) Information und Sprache 25

Informativ Übersetzung (IT) Das Verfahren der Informativ-Übersetzung (IT) - Goodenough-Übersetzung – ist auf den Massenmarkt (etwa das Internet) ausgerichtet. Hierbei ist die Frage entscheidend, ob dem Nutzer / der Nutzerin die Qualität einer vollautomatischen Übersetzung ausreicht, um den Inhalt eines Textes zu verstehen. Hier spielen die Struktur des Quelltextes (ein-fachere Sätze) und der dem System verfügbare Wortschatz (Allgemeinwortschatz oder Wortschatz, zu dem im zugrunde gelegten System schon hinreichend Übersetzungsäquivalente vorliegen) eine Rolle. Bei der Google-Recherche lassen sich beispielsweise – soweit ein entsprechender Hinweis angezeigt ist (‚diese Seite übersetzen’) englischsprachige Texte mit einem derartigen Verfahren ins Deutsche ‚übersetzen’. 24. 09. 2006 (zi) Information und Sprache 26

4. 4 Verarbeitung gesprochener Sprache (Speech) - Umsetzung von Text in gesprochene Sprache (Text to Voice) - Erkennung und Verarbeitung gesprochener Sprache (Speech Recognition). 24. 09. 2006 (zi) Information und Sprache 27

Umsetzung von Schriftsprache in gesprochene Sprache Die Umsetzung von schriftsprachlichen Äußerungen in Laute kann heute als halbwegs zufriedenstellend gelöst gelten. Probleme gibt es ggf. bei der Erzeugung der korrekten Satzmelodie. Anwendungsbereich: Abbau von Barrieren für Blinde und stark Sehbehinderte bei der Computernutzung zum Einsatz (sog. Screen. Reader). 24. 09. 2006 (zi) Information und Sprache 28

Verfahren zur Umsetzung gesprochener Sprache (in Text) (Reaktion eines Systems auf Äußerungen in gesprochener Sprache) Varianten und Lösungen: - Sprecherabhängige Verarbeitung von Äußerungen mit Einzelworteingabe; - Sprecherabhängige Verarbeitung von Äußerungen mit kontinuierlicher Spracheingabe; - Sprecherunabhängige Verarbeitung von Äußerungen mit Einzelworteingabe; - Sprecherunabhängige Verarbeitung von Äußerungen mit kontinuierlicher Spracheingabe. 24. 09. 2006 (zi) Information und Sprache 29

Sprecherabhängigen / unabhängige Sprachverarbeitung Bei der sprecherabhängigen Sprachverarbeitung wird das System zunächst anhand vorgegebener Sprachelemente (Texte, die von entsprechenden Nutzer zu sprechen sind) trainiert, d. h. an die spezifische Lautung usf. dieses Nutzers angepasst. Der Wortschatz kann dabei relativ groß sein. Bei der sprecherunabhängigen Sprachverarbeitung entfällt die Trainings- und Adaptionszeit. Der erkennbare Wortschatz ist dabei jedoch deutlich eingeschränkt, die lautlichen Mehrdeutigkeiten führen leicht zu Fehlinterpretationen. 24. 09. 2006 (zi) Information und Sprache 30

Einzelworteingabe / kontinuierliche Spracheingabe Bei der Einzelworteingabe müssen erkennbare Pausen zwischen den Wörtern eingehalten werden. Bei der kontinuierlichen Spracheingabe verfügt das System selbst über ein ‚Pausenmodell’, um Segmente oder Wörter zu erkennen. 24. 09. 2006 (zi) Information und Sprache 31

Zielvorstellungen bei der Spracherkennung (Speech Recognition) - Die Kommunikation beliebiger Nutzer ohne Training in kontinuierlicher Form mit einem umfassenden Wortschatz ist natürlich auch hier das angestrebte Ziel. - Näherung an das Ziel durch Einschränkungen des Anwendungsbereichs (Hotelbuchung, Bedienung eines Fahrstuhls … und / oder auf Sachgebiete (Operationsbefunde, Anwaltstexte …). 24. 09. 2006 (zi) Information und Sprache 32

5. Stand und Perspektiven Die Sprachdatenverarbeitung bei der Nutzung von Computern schon zum Alltag geworden: - automatische Rechtschreibkontrolle und Silbentrennung - Suche in Datenbanken - Vorlesen von Bildschirm-Texten (Screen Reader) 24. 09. 2006 (zi) Information und Sprache 33

Ungünstige Rahmenbedingungen (1) - Die Entwicklung und Pflege komplexerer Systeme im Bereich des Information Retrieval und der maschinellen Übersetzung ist extrem aufwendig - Die am Markt verfügbaren Basissysteme sind sehr unhandlich, so dass neuere Entwicklungen und v. a. Verbesserungen kaum erkennbar sind. 24. 09. 2006 (zi) Information und Sprache 34

Ungünstige Rahmenbedingungen (2) - Die Informationsindustrie orientiert sich derzeit weitgehend an einem kurzfristigen Return of Investment: Der Zeitpunkt, zu dem die Entwicklungskosten wieder eingespielt sein sollen und Gewinne erzielt werden, ist in wenigen Jahren und nicht in Jahrzehnten zu erreichen. - Die komplexen Probleme, die natürlich gewachsene Sprachen aufweisen, führen nicht selten zu vorwiegend statistisch basierten Lösungen, die in vielleicht 90 % der Fälle greifen, aber insbesondere bei dem kritischen Bereich der Maschinellen Übersetzung eben nicht ‚good-enough’ sind, also keine Akzeptanz beim Nutzer finden. 24. 09. 2006 (zi) Information und Sprache 35

Ungünstige Rahmenbedingungen (3) - Im Informationstechnik-Bereich gibt es zudem noch viele Lösungen, bei denen man sich ohne einen riesigen Investitionsaufwand kurzfristiger das Erreichen der Gewinnzone verspricht, als dass man über lange Zeiträume in die Entwicklung von maschinellen Übersetzungssystemen finanziell erhebliche Mittel binden würde – mit einem zudem noch ungewiss erscheinenden Ausgang. 24. 09. 2006 (zi) Information und Sprache 36

Unternehmerische Initiative gefordert Natürlich gibt es heute Unternehmen (wie Microsoft oder Google), die irgend-wann ihre leichter erreichbaren Ziele ausgereizt haben werden und vielleicht dann auch über die nötigen Mittel verfügen, um erst langfristig erzielbare umfassendere Lösungen im Bereich der gesprochenen Sprache und / oder Sprachübersetzung anzugehen. 24. 09. 2006 (zi) Information und Sprache 37

Der nächste Schritt: Das „Semantic Web“ Der nächste Zwischenschritt dazu zeichnet sich mit den Überlegungen zum ‚Semantic Web’ bereits ab – ein Weg zu einem Internet, das die bisherigen Schwachstellen beim Suchen nach relevanten Quellen vermeidet, die darin bestehen, dass aufgrund ungenügender Leistungen der Sprachdatenverarbeitung zu viel Ballast mit den Rechercheergebnissen mitgeliefert wird und dadurch auch vorhandene relevante Quellen nicht als Treffer gefunden oder erkannt werden. 24. 09. 2006 (zi) Information und Sprache 38

Die „inhaltsbezogene Datenstrukturierung“ Gegenwärtig besteht die Tendenz, zunächst einmal (automatisch) den ‚Weltausschnitt’ (Wissensbereich) zu ermitteln, in den sich eine Quelle einordnen lässt. Eine weitere Möglichkeit kann in der stärkeren inhaltlichen Strukturierung von Texten gesehen werden, die durch Markierungen / Codierungen mittels XML ermöglicht wird. Damit lassen sich Kategorien wie AUTOR, ADRESSAT, DATUM usf. charakterisieren, die (möglichst automatische) ontologische Einordnung eines Dokuments in einen Gegenstandsbereich (z. B. ‚Bankwesen’) kann eine Hilfe zur Bedeutungsdifferenzierung sein (‚Bank’ im Sinne von ‚Geldinstitut’) usf. 24. 09. 2006 (zi) Information und Sprache 39

Hoffnung – ja – aber noch ein langer Weg Es gibt also Hoffnung für die Zukunft – doch es wird noch ein langer Weg sein und bleiben, bis umfassende erschwingliche und brauchbare Lösungen jedermann verfügbar sind und damit die Sprachbarrieren abgebaut sein werden. 24. 09. 2006 (zi) Information und Sprache 40

Eigene Quellen (I) (Auswahl; dort weitere Literaturangaben) - Was leistet die Linguistik für die Informationswissenschaft und die Informatik? (Ms. Regensburg 1976). Download unter http: //is. unisb. de/zimmermann/schriften. php? kat=1 - Stand und Probleme der maschinellen Übersetzung. In: Lebende Spra-chen 25 (1980) S. 2 -5. Download unter http: //is. unisb. de/zimmermann/schriften. php? kat=3 - Bröckelt der Turm zu Babel? In: Das Inforum 18 (4/1984) S. 12 ff. Download unter http: //is. unisb. de/zimmermann/schriften. php? kat=3 24. 09. 2006 (zi) Information und Sprache 41

Eigene Quellen (II) - Computer und Sprache im Zeitalter der Fachinformation. In: Lebende Sprachen 35 (1990) S. 1 -5. Download unter http: //is. unisb. de/zimmermann/schriften. php? kat=1 - Information in Semiotik und Sprachwissenschaft. In: Grundlagen der praktischen Information und Dokumentation, hrsg. von R. Kuhlen, T. Seeger und D. Strauch, 5. Aufl. , 2004, S. - Maschinelle und Computergestützte Übersetzung. In: Grundlagen der praktischen Information und Dokumentation, hrsg. von R. Kuhlen, T. Seeger und D. Strauch, 5. Aufl. , 2004, S. 475 -480 - Ende – Vielen Dank! 24. 09. 2006 (zi) Information und Sprache 42