Spracherkennung mit Kellerautomaten und Turingmaschinen Klaus Becker 2013

Spracherkennung mit Kellerautomaten und Turingmaschinen Klaus Becker 2013

2 Kellerautomat und Turingmaschine

3 Teil 1 Erkennen von Klammersprachen

Klammersprachen 4 Der Hund, der die Katze, die eine Maus, die gerade ein Stück Käse, das gestern, als das Fußballspiel, das im Fernsehen gezeigt wurde, gerade zu Ende war, weggeworfen wurde, anbeißt, jagt, anbellt, heißt Bello. 12+5 23*(57+18) 3+5*(7+4) ((2+6)+5)*(7+4). . . Marke. Setzen Schritt SOLANGE Nicht. Ist. Marke TUE SOLANGE Nicht. Ist. Wand TUE Schritt *SOLANGE Links. Drehen *SOLANGE <? xml version="1. 0" encoding="iso-8859 -1"? > <Buch> <Autor> <Name>Borik</Name> <Vorname>Otto</Vorname> <Hrsg/> </Autor> <Titel>Meyers Schachlexikon</Titel> <Verlag>Meyers Lexikonverlag</Verlag> <Erscheinungsort>Mannheim</Erscheinungsort> <Erscheinungsjahr>1993</Erscheinungsjahr> <ISBN>3 -411 -08811 -7</ISBN> </Buch>

Beispiel: Rechenausdrücke 5 Rechenausdrücke sind Ausdrücke, in denen Zahlen, Rechenzeichen und Klammern vokommen können. Sie begegnen uns überall, wo kompliziertere Rechnungen dargestellt werden müssen. 12+5 z+z 23*(57+18) z*(z+z) 3+5*(7+4) z+z*(z+z) ((2+6)+5)*(7+4) ((z+z)+z)*(z+z) . . . Im folgenden wollen wir uns auf die Klammer- und Rechenstruktur solcher Rechenausdrücke konzentrieren. Die Zahlen soll nur eine untergeordnete Rolle spielen. Wir ersetzen daher jede Zahl durch das Symbol "z". Zusätzlich betrachten wir der Einfachheit halber nur Rechenausdrücke mit den Rechenzeichen + und *. Entscheidend für die so vereinfachten Rechenausdrücke ist die korrekte Klammerung: Zu jeder öffnenden Klammer muss es - an passender Stelle - eine schließende Klammer geben.

6 Beispiel: Rechenausdrücke Die Sprache LRA der vereinfachten Rechenausdrücke soll genau solche Klammer- und Rechenstrukturen beschreiben. Sie basiert auf dem Alphabet Σ = {z, +, *, (, )}. Präzise beschreiben kann man sie mit der folgenden Grammatik: A -> A + S A -> S S -> S * F S -> F F -> ( A ) F -> z Aufgabe: Zeige mit Hilfe einer Ableitung, dass das Wort z*(z+z) (einfach) bzw. das Wort z+z*(z+z) (schwieriger) mit Hilfe der Grammatik erzeugt werden kann.

7 Beispiel: Programmiersprachen Als Beispiel für eine sehr einfache Programmiersprache betrachten wir die Sprache, mit der man den Roboter Karol steuern kann. Auch hier kommen Klammerstrukturen vor. Bei einer Solange-Anweisung werden Beginn und Ende mit den Schlüsselwörtern SOLANGE und *SOLANGE gekennzeichnet.

Beispiel: Programmiersprachen 8 Wir wollen Karol-Programme vereinfacht darstellen. Mit dem Symbol e soll eine elementare Anweisung beschrieben werden, mit dem Symbol b eine Bedingung. Mit den Symbolen s und * sollen Beginn und Ende einer SOLANGE-Anweisung gekennzeichnet werden. Marke. Setzen Schritt SOLANGE Nicht. Ist. Marke TUE SOLANGE Nicht. Ist. Wand TUE Schritt *SOLANGE Links. Drehen *SOLANGE e e sb sb e * eesbsbe*e* Aufgabe: Entwickle eine Grammatik für die Sprache LRP der vereinfachten Roboterprogramme. Du kannst sie auch selbstständig um Symbole zur Kennzeichnung von Fallunterscheidungen erweitern.

9 Beispiel: XML benutzt sogenannte Tags zur Informationsbeschreibung. Anfangs- und Endtags bilden dabei jeweils Klammerpaare. <? xml version="1. 0" encoding="iso-8859 -1"? > <Buch> <Autor> <Name>Borik</Name> <Vorname>Otto</Vorname> <Hrsg/> </Autor> <Titel>Meyers Schachlexikon</Titel> <Verlag>Meyers Lexikonverlag</Verlag> <Erscheinungsort>Mannheim</Erscheinungsort> <Erscheinungsjahr>1993</Erscheinungsjahr> <ISBN>3 -411 -08811 -7</ISBN> </Buch> XML erlaubt es dem Benutzer, solche Klammerpaare selbst festzulegen und somit flexibel komplexe Klammerstrukturen zu entwickeln.

10 Beispiel: XML Die Sprache LMy. XML soll vereinfachte XML-artige Ausdrücke beschreiben. Jedes zu dieser Sprache gehörende Wort soll aus einem Anfangstag, einem Text und einem Endtag bestehen. Anfangs- und Endtag sollen im Wesentlichen identisch sein. Die Tag-Bezeichner sind beliebige nicht-leere Zeichenketten, die nur aus den Buchstaben a und b bestehen. Der Text zwischen den Anfangs- und End-Tag soll nur aus den Buchstaben a, b und c bestehen. Zur Sprache LMy. XML gehört beispielsweise das Wort <ab>acaa</ab>. S -> <a. AT> S -> <b. BT> T -> a. AT T -> b. BT T -> M Aa -> a. A Ab -> b. A AM -> Ma Ba -> a. B Bb -> b. B BM -> Mb M -> >N N -> a. N N -> b. N N -> c. N N -> </ Aufgabe: Die Sprache LMy. XML kann mit der gezeigten Grammatik beschrieben werden. Erstelle eine Ableitung des Worts <ab>acaa</ab>.

11 Grenzen von endlichen Automaten Satz (über die Grenzen von endlichen Automaten): Die Sprache L = {anbn | n = 1, 2, 3, . . . } kann nicht von einem endlichen Automaten erkannt werden. Sie ist also nicht regulär. Allen Klammersprachen ist gemeinsam, dass es zu jeder öffnenden Klammer eine korrespondierende schließende Klammer geben muss. Wir betrachten im Folgenden nur noch diese zentrale Eigenschaft von Klammersprachen. Wir erfassen diese Eigenschaft mit ganz einfachen Klammerausdrücken, die wie folgt aufgebaut sind: (), (()), ((())), . . . ab, aabb, aaabbb, …

12 Erweitertes Automatenmodell Wir betrachten hier korrekte Klammerausdrücke der Gestalt (((. . . ))), die nach einer Anzahl öffnender Klammern genauso viele schließende Klammern haben. So ist (()) ein korrekter Klammerausdruck, während die Ausdrücke (() und (()))) keine korrekten Klammerausdrücke in unserem Sinne sind. Kellerautomat / Stapelautomat

13 Erweitertes Automatenmodell Aufgabe Erstelle mit JFlap den abgebildeten erweiterten Automaten (mit [File][New][Pushdown Automaton]). Teste mit [Input][Step by State] die Arbeitsweise des erweiterten Automaten.

Kellerautomat 14 Der Kellerautomat hat eine nichtleere endliche Menge Z von Zuständen. Im vorliegenden Fall ist das die Menge Z = {q 0, q 1, q 2}. Der Zustand q 0 ist hier als Anfangszustand ausgezeichnet, der Zustand q 2 als ein Endzustand. Eine Verarbeitung wird durch einen Zustandsübergang (von einem Zustand in einen anderen, gegebenenfalls denselben Zustand) beschrieben. Ein Zustandsübergang erfolgt nur in Abhängigkeit von einem Eingabesymbol und den obersten Kellersymbolen. Ein Zustandsübergang aktualisiert zudem den Keller, indem Symbole vom Keller entfernt und neue Symbole im Keller abgelegt werden. Eingabe zu entfernende oberste Kellersymbole hinzuzufügende oberste Kellersymbole

15 Fachkonzept - Kellerautomat Ein (nichtdeterministischer) Kellerautomat ist eine Verarbeitungseinheit, die durch folgende Bestandteile festgelegt wird: n e. nichtleere, endl. Menge von Zuständen n eine nichtleere, endliche Menge von Eingabesymbolen n eine nichtleere, endliche Menge von Kellersymbolen, n eine Überführungsfunktion, die dem aktuellem Zustand in Abhängigkeit von einer vorgegebener Eingabe und einer Folge von Kellersymbolen die Folgezustände zuordnet und zudem die jeweils neu im Keller aufzunehmenden Symbole festlegt, n ein ausgezeichneter Zustand - dem Anfangszustand -, n eine Menge von Endzuständen n ein ausgezeichnetes Kellersymbol, das die untere Kellerbegrenzung beschreibt. Bei einem deterministischen Kellerautomaten müssen die Zustandsübergänge eindeutig sein. Es sind auch keine λ-Übergänge der Gestalt λ, λ; λ erlaubt.

16 Fachkonzept - Kellerautomat Die Menge der Eingabesymbole eines Kellerautomaten kann als Alphabet einer Sprache aufgefasst werden. Unter der Sprache eines Kellerautomaten versteht man die Menge aller Wörter aus Eingabesymbolen, die den Kellerautomaten vom Anfangszustand in einen Endzustand überführen. Wenn K ein gegebener Kellerautomat ist, dann schreiben wir L(K) für die Sprache des Kellerautomaten K. Σ = {(, )} L(A) = {(), (()), ((())), . . . }

17 Fachkonzept - Kellerautomat Ein Kellerautomat ist also eine Verarbeitungseinheit, die Symbole eines Eingabeworts verarbeitet, sich dabei stets in einem bestimmten Zustand befindet und die zum Zwischenspeichern von Symbolen einen Stapel / Keller benutzt.

Übungen 18 Aufgabe: Im Folgenden sollen etwas verallgemeinerte Klammerausdrücke betrachtet werden: ()(), (()(())), ()(()()), . . . bzw. in abstrahierter Form: abab, aabaabbb, abaababb, . . . (a) Beschreibe diese verallgemeinerten Klammerausdrücke mit einer Grammatik. (b) Entwickle einen Kellerautomaten, der die Sprache der verallgemeinerten Klammerausdrücke erkennt. Aufgabe: Entwickle einen Kellerautomaten, der die Sprache der vereinfachten Rechenausdrücke / vereinfachten Karol-Programme erkennt. z+z z*(z+z) z+z*(z+z) ((z+z)+z)*(z+z). . . eesbsbe*e*

19 Teil 2 Kellerautomaten und kontextfreie Sprachen

20 JFlap: Grammatik -> Kellerautomat Wir betrachten eine Grammatik für die Sprache Lab = {anbn | n = 1, 2, 3, . . . } der Klammerausdrücke. Aufgabe: Analysiere den Zusammenhang zwischen der vorgegebenen Grammatik und dem erzeugten Kellerautomaten. Analysiere auch, was sich im Keller des Kellerautomaten abspielt, wenn ein Eingabewort verarbeitet wird. Der aus der Grammatik erzeugte Kellerautomat ist nichtdeterministisch. Woran erkennt man das?

21 JFlap: Kellerautomat -> Grammatik Wir betrachten einen Kellerautomaten zur Erkennung der Sprache Lab = {anbn | n = 1, 2, 3, . . . } der Klammerausdrücke.

22 JFlap: Kellerautomat -> Grammatik Wir ändern den Kellerautomaten geringfügig ab, so dass die Fehlermeldung "Transitions must pop 1 and push 0 or 2" nicht mehr auftritt.

23 JFlap: Kellerautomat -> Grammatik JFlap erzeugt aus dem Kellerautomaten eine komplizierte Grammatik.

24 JFlap: Kellerautomat -> Grammatik JFlap vereinfacht die erzeugte Grammatik.

25 Kontextfreie Grammatiken Zum Kellerautomaten K lässt sich die Grammatik GK erzeugen. Es fällt auf, dass alle Produktionen dieser Grammatik GK eine bestimmte Struktur haben. Nichtterminalsymbol S -> LD A -> a B -> b L -> FB D -> λ F -> AL F -> λ Wort bestehend aus Terminal- und Nichtterminalsymbolen

26 Fachkonzept - kontextfreie Sprache Eine Produktion u -> v heißt kontextfrei genau dann, wenn gilt: Die linke Seite u der Produktion ist ein Nichtterminalsymbol. Die rechte Seite v der Produktion ist ein beliebiges Wort (also auch das leere Wort) bestehend aus Terminal- und Nichtterminalsymbolen. Eine Grammatik heißt kontextfrei genau dann, wenn alle Produktionen der Grammatik regulär sind. Eine Sprache heißt kontextfrei genau dann, wenn es eine reguläre Grammatik gibt, diese Sprache erzeugt. Um nachzuweisen, dass eine Sprache kontextfrei ist, reicht es aus, eine reguläre Grammatik zur Sprache zu konstruieren. Auch wenn man noch keine kontextfreie Grammatik zu einer Sprache gefunden hat, so heißt das noch nicht, dass die Sprache nicht-kontextfrei ist. A -> A+S A -> S S -> S*F S -> F F -> (A) F -> z S -> <a. AT> S -> <b. BT> T -> a. AT T -> b. BT T -> M Aa -> a. A Ab -> b. A AM -> Ma Ba -> a. B Bb -> b. B BM -> Mb M -> >N N -> a. N N -> b. N N -> c. N N -> </ kontextfreie Grammatik für L RA nicht-kontextfreie Grammatik für LMy. XML

27 Theorie - kontextfreie Sprachen Satz (Zusammenhang zwischen kontextfreien Sprachen und Kellerautomaten): Zu jeder kontextfreien Sprache gibt es einen nichtdeterministischen Kellerautomaten, der diese Sprache erkennt. Der Kellerautomat kann automatisiert aus einer kontextfreien Grammatik zur kontextfreien Sprache erzeugt werden. S -> a. Sb S -> λ

28 Theorie - kontextfreie Sprachen S -> a. Sb S -> λ Ableitung mit der Grammatik S -> a. Sb -> aa. Sbb -> aabb Zustandsübergänge beim Kellerautomaten Beachte, dass alle Produktionen der Grammatik in den Zustandsübergängen des Kellerautomaten kodiert sind. Der Kellerauromat ist so konstruiert, dass jede Ableitung mit Produktionen der Grammatik G mit Hilfe von Zustansübergängen des Kellerautomaten simuliert werden kann. Zustand; Kellerinhalt Eingabewort ------------------------q 0; Z aabb | λ, Z; SZ q 1; SZ aabb | λ, S; a. Sb q 1; a. Sb. Z aabb | a, λ; a q 1; Sb. Z abb | λ, S; a. Sb q 1; a. Sbb. Z abb | a, λ; a q 1; Sbb. Z bb | λ, S; λ q 1; bb. Z bb | b, λ; b q 1; b. Z b | b, λ; b q 1; Z | λ, Z; λ q 2

29 Theorie: kontextfreie Sprachen Satz (Zusammenhang zwischen Kellerautomaten und kontextfreien Sprachen): Die Sprache eines nichtdeterministischen Kellerautomaten ist kontextfrei: Zum nichtdeterministischen Kellerautomaten gibt es eine kontextfreie Grammatik, dieselbe Sprache erzeugt, die vom Kellerautomaten erkannt wird. Man kann diese kontextfreie Grammatik automatisiert erzeugen. S -> LD A -> a B -> b L -> FB D -> λ F -> AL L -> λ

30 nicht-/deterministische Kellerautomaten Nichtdeterministische Kellerautomaten sind mächtiger als deterministische Kellerautomaten. Es gibt kontextfreie Sprachen, die zwar von nichtdeterministischen, nicht jedoch von deterministischen Kellerautomaten erkannt werden. S -> 0 S 0 S -> 1 S 1 S -> λ

31 Teil 3 Exkurs: Shift-Reduce-Parser

32 Kellerautomat für eine Rechtsableitung Wir betrachten die Sprache LRA der vereinfachten Rechenausdrücke mit der Grammatik G.

Rechtsableitung eines Wortes 33 A reduce by A -> A+S reduce by S -> S*F -> A+S*F reduce by F -> (A) -> A+S*(A) reduce by A -> A+S*(A+S) reduce by S -> F -> A+S*(A+F) reduce by F -> z -> A+S*(A+z) reduce by A -> S -> A+S*(S+z) reduce by S -> F -> A+S*(F+z) reduce by F -> z -> A+S*(z+z) reduce by S -> F -> A+F*(z+z) reduce by F -> z -> A+z*(z+z) reduce by A -> S+z*(z+z) reduce by S -> F+z*(z+z) reduce by F -> z+z*(z+z) A -> A+S A -> S S -> S*F S -> F F -> (A) F -> z Die gezeigte Ableitung ist eine sogenannte Rechtsableitung. In jedem Ableitungsschritt wird das am weitesten rechts stehende Nichtterminalsymbol mit einer Regel aus G ersetzt.

Simulation mit einem Kellerautomaten 34 A reduce by A -> A+S reduce by S -> S*F -> A+S*F reduce by F -> (A) -> A+S*(A) reduce by A -> A+S*(A+S) reduce by S -> F -> A+S*(A+F) reduce by F -> z -> A+S*(A+z) reduce by A -> S -> A+S*(S+z) reduce by S -> F -> A+S*(F+z) reduce by F -> z -> A+S*(z+z) reduce by S -> F -> A+F*(z+z) reduce by F -> z -> A+z*(z+z) reduce by A -> S+z*(z+z) reduce by S -> F+z*(z+z) reduce by F -> z+z*(z+z) Kellerinhalt Eingabewort Aktion -------------------------------------Z z+z*(z+z)$ shift z z. Z +z*(z+z)$ reduce by F -> z FZ +z*(z+z)$ reduce by S -> F SZ +z*(z+z)$ reduce by A -> S AZ +z*(z+z)$ shift + +AZ z*(z+z)$ shift z z+AZ *(z+z)$ reduce by F -> z F+AZ *(z+z)$ reduce by S -> F S+AZ *(z+z)$ shift * *S+AZ (z+z)$ shift ( (*S+AZ z+z)$ shift z z(*S+AZ +z)$ reduce by F -> z F(*S+AZ +z)$ reduce by S -> F S(*S+AZ +z)$ reduce by A -> S A(*S+AZ +z)$ shift + +A(*S+AZ z)$ shift z z+A(*S+AZ )$ reduce by F -> z F+A(*S+AZ )$ reduce by S -> F S+A(*S+AZ )$ reduce by A -> A+S A(*S+AZ )$ shift ) )A(*S+AZ $ reduce by F -> (A) F*S+AZ $ reduce by S -> S*F S+AZ $ reduce by A -> A+S AZ $

35 Simulation mit einem Kellerautomaten reduce. Aktionen shift. Aktionen A -> A+S A -> S S -> S*F S -> F F -> (A) F -> z Kellerinhalt Eingabewort Aktion -------------------------------------Z z+z*(z+z)$ shift z z. Z +z*(z+z)$ reduce by F -> z FZ +z*(z+z)$ reduce by S -> F SZ +z*(z+z)$ reduce by A -> S AZ +z*(z+z)$ shift + +AZ z*(z+z)$ shift z z+AZ *(z+z)$ reduce by F -> z F+AZ *(z+z)$ reduce by S -> F S+AZ *(z+z)$ shift * *S+AZ (z+z)$ shift ( (*S+AZ z+z)$ shift z z(*S+AZ +z)$ reduce by F -> z F(*S+AZ +z)$ reduce by S -> F S(*S+AZ +z)$ reduce by A -> S A(*S+AZ +z)$ shift + +A(*S+AZ z)$ shift z z+A(*S+AZ )$ reduce by F -> z F+A(*S+AZ )$ reduce by S -> F S+A(*S+AZ )$ reduce by A -> A+S A(*S+AZ )$ shift ) )A(*S+AZ $ reduce by F -> (A) F*S+AZ $ reduce by S -> S*F S+AZ $ reduce by A -> A+S AZ $ Der Keller ist zu Beginn leer. Nach und nach werden mit sogenannten shift-Aktionen Symbole des Eingabeworts im Keller abgelegt. Wenn möglich, wird dann mit einer sogenannten reduce. Aktion eine Produktion rückwärts angewandt.

36 Praxistauglichkeit des Kellerautomaten Als nachteilig erweisen sich beim gezeigten Kellerautomaten die vielen nichtdeterministischen Zustandsübergänge. Wenn man mit [Input][Step by State] ein Eingabewort wie z. B. z+z*(z+z) schrittweise analysiert, dann ergibt sich schnell eine Vielzahl von möglichen Ableitungen.

37 Steuerung mit einer Parsingtabelle Kellerinhalt; Eingabewort Aktion -----------------------------------0; z+z*(z+z)$ | s 5 shift z 5 z 0; +z*(z+z)$ | r 6 reduce by F->z 3 F 0; +z*(z+z)$ | r 4 reduce by S->F 4 S 0; +z*(z+z)$ | r 2 reduce by A->S 2 A 0; +z*(z+z)$ | s 7 shift + 7+2 A 0 z*(z+z)$ | s 5 shift z 5 z 7+2 A 0 *(z+z)$ | r 6 reduce by F->z 3 F 7+2 A 0 *(z+z)$ | r 4 reduce by S->F 10 S 7+2 A 0 *(z+z)$ | s 8 shift * 8*10 S 7+2 A 0 (z+z)$ | s 1 shift ( 1(8*10 S 7+2 A 0 z+z)$. . . 8*10 S 7+2 A 0 $ | r 3 reduce by S->S*F 10 S 7+2 A 0 $ | r 1 reduce by A->A+S 2 A 0 $ | accept A 0 $ Kellerinhalt Eingabewort Aktion -------------------------------------Z z+z*(z+z)$ shift z z. Z +z*(z+z)$ reduce by F -> z FZ +z*(z+z)$ reduce by S -> F SZ +z*(z+z)$ reduce by A -> S AZ +z*(z+z)$ shift + +AZ z*(z+z)$ shift z z+AZ *(z+z)$ reduce by F -> z F+AZ *(z+z)$ reduce by S -> F S+AZ *(z+z)$ shift * *S+AZ (z+z)$ shift ( (*S+AZ z+z)$ shift z z(*S+AZ +z)$ reduce by F -> z F(*S+AZ +z)$ reduce by S -> F S(*S+AZ +z)$ reduce by A -> S A(*S+AZ +z)$ shift + +A(*S+AZ z)$ shift z z+A(*S+AZ )$ reduce by F -> z F+A(*S+AZ )$ reduce by S -> F S+A(*S+AZ )$ reduce by A -> A+S A(*S+AZ )$ shift ) )A(*S+AZ $ reduce by F -> (A) F*S+AZ $ reduce by S -> S*F S+AZ $ reduce by A -> A+S AZ $ Die Aktionen des Kellerautomaten werden mit einer sog. Parsingtabelle gesteuert.

38 Steuerung mit einer Parsingtabelle Kellerinhalt; Eingabewort Aktion ALGORITHMUS shift-reduce-Analyse: -----------------------------------lege 0 im Stapel ab 0; z+z*(z+z)$ WIEDERHOLE | s 5 shift z zustand = oberstes Symbol im Stapel 5 z 0; +z*(z+z)$ lookahead = erstes Zeichen im aktuellen Eingabewort | r 6 reduce by F->z aktion = Eintrag in der Parsingtabelle zum Paar (zustand, lookahead) 3 F 0; +z*(z+z)$ FALLS aktion == shift i (kurz: si): | r 4 reduce by S->F entferne das erste Zeichen des Eingabeworts und. . . 4 S 0; +z*(z+z)$. . . lege es im Stapel ab | r 2 reduce by A->S lege i im Stapel ab 2 A 0; +z*(z+z)$ FALLS aktion == reduce i (kurz: ri): | s 7 shift + entferne doppelt so viele Symbole vom Stapel, . . . 7+2 A 0 z*(z+z)$. . . wie Symbole auf der rechten Seite von Produktion i stehen | s 5 shift z zustand = oberstes Symbol vom Stapel 5 z 7+2 A 0 *(z+z)$ symbol = linke Seite von Produktion i | r 6 reduce by F->z zustand = Eintrag i. d. Parsingtabelle zum Paar (zustand, symbol) 3 F 7+2 A 0 *(z+z)$ lege symbol im Stapel ab | r 4 reduce by S->F lege zustand im Stapel ab 10 S 7+2 A 0 *(z+z)$ BIS aktion == acc oder aktion == rej (bzw. leerer Eintrag) | s 8 shift * 8*10 S 7+2 A 0 (z+z)$ | s 1 shift ( 1(8*10 S 7+2 A 0 z+z)$. . . 8*10 S 7+2 A 0 $ | r 3 reduce by S->S*F 10 S 7+2 A 0 $ | r 1 reduce by A->A+S 2 A 0 $ | accept A 0 $

39 Erzeugung einer Parsingtabelle JFlap erzeugt zu (geeigneten) kontextfreien Grammatiken eine passende Parsingtabelle.

40 Erkennung kontextfreier Sprachen Viele Sprachen, die in der Praxis genutzt werden, können durch kontextfreie Grammatiken beschrieben werden. Automatisiert erzeugte Kellerautomaten zur Erkennung solcher Sprachen sind meist nichtdeterministisch und daher zum praktischen Einsatz wenig geeignet. Zum Erkennen kontextfreier Sprachen nutzt man in der Praxis Shift-Reduce-Parser mit geeigneten Parsingtabellen. Solche Shift-Reduce-Parser benutzen - genau wie Kellerautomaten - einen Keller / Stapel zum Zwischenspeichern von Symbolen. Anders als Kellerautomaten nutzen sie aber eine Art Vorschau auf das nächste zu verarbeitende Eingabesymbol. Shift-Reduce-Parser arbeiten deterministisch, d. h. sie können Wortprobleme direkt - ohne Ausprobieren mehrerer Möglichkeiten - lösen. Man kann jedoch nicht zu jeder kontextfreien Grammatik einen passenden Shift-Reduce-Parser automatisiert erzeugen. Nur wenn die Grammatik eine bestimmte Gestalt hat, ist eine automatisierte Erzeugung möglich. Verfahren zur Erzeugung von Shift-Reduce-Parsern sind komplex und werden daher hier nicht behandelt.

41 Teil 4 Turingmaschinen

42 Vereinfachte XML-Ausdrücke Die Sprache LMy. XML soll vereinfachte XML-artige Ausdrücke beschreiben. Jedes zu dieser Sprache gehörende Wort soll aus einem Anfangstag, einem Text und einem Endtag bestehen. Anfangs- und Endtag sollen im Wesentlichen identisch sein. Die Tag-Bezeichner sind beliebige nicht-leere Zeichenketten, die nur aus den Buchstaben a und b bestehen. Der Text zwischen den Anfangs- und End-Tag soll nur aus den Buchstaben a, b und c bestehen. Zur Sprache LMy. XML gehört beispielsweise das Wort <ab>acaa</ab>. S -> <a. AT> S -> <b. BT> T -> a. AT T -> b. BT T -> M Aa -> a. A Ab -> b. A AM -> Ma Ba -> a. B Bb -> b. B BM -> Mb M -> >N M -> a. M M -> b. M M -> c. M M -> </

43 Grenzen von Kellerautomaten Problem: Kann man die Sprache LMy. XML mit Kellerautomaten erkennen? <ab>acaa</ab> ok K <ab>acaa</ba> Fehler Man kann zeigen, dass die Sprache LMy. XML nicht von einem (noch so komplizierten) Kellerautomaten erkannt werden kann.

44 Ein mächtigere Verarbeitungsmodell

45 Ein mächtigere Verarbeitungsmodell Aufgabe: Teste das Verhalten des gezeigten verallgemeinerten Automaten. Mit [Input][Step. . . ] kannst du Eingabewörter wie z. B. <ab>acaa</ab> eingeben, mit [Step] den Automaten dann schrittweise das Eingabewort verarbeiten lassen. Vergleiche das neue Verarbeitungsmodell man nennt es Turingmaschine - mit einem endlichen Automaten. Was ist bei einer Turingmaschine anders als bei einem endlichen Automaten? Versuche auch, die Idee der gezeigten Turingmaschine zur Erkennung von Wörtern der Sprache LMy. XML herauszufinden. Teste hierzu verschiedene, zur Sprache gehörende und auch nicht gehörende Wörter über dem Alphabet {a, b, c, <, >}. Beschreibe die Verarbeitung in eigenen Worten.

Turingmaschine 46 Die gezeigte Verarbeitungseinheit befindet sich stets in einem bestimmten Zustand. Sie verfügt über ein nach rechts und links unbegrenztes Band, auf dem sich zu Beginn das Eingabewort befindet. Die einzelnen Zellen des Bandes können mit einem Lese/Schreibkopf angesteuert werden. Der Lese-Schreibkopf kann sich jeweils einen Schritt nach rechts und nach links bewegen (oder auch stehen bleiben). Er kann den Inhalt einer Zelle lesen und auch Symbole in Zellen schreiben. gelesene Bandsymbol geschriebene Bandsymbol Bewegung des Lese/Schreib-Kopfes

47 Fachkonzept - Turingmaschine Eine (deterministische) Turingmaschineist eine Verarbeitungseinheit, die durch folgende Bestandteile festgelegt wird: n eine nichtleere, endliche Menge von Zuständen n eine nichtleere, endliche Menge von Eingabesymbolen, die das Symbol ∅ nicht enthält n eine nichtleere, endliche Menge von Bandsymbolen, die alle Eingabesymbole und auch das Symbol ∅ für eine leere Zelle enthält n eine Überführungsfunktion, die dem aktuellem Zustand in Abhängigkeit von einem gelesenen Symbol den Folgezustand zuordnet, zudem das zu schreibende Symbol und die Bewegung des Lese-Schreibkopfes n einen ausgezeichneten Zustand - den Anfangszustand n eine Menge von Endzuständen Bei einer nichtdeterministischen Turingmaschine müssen die Zustandsübergänge nicht eindeutig sein.

48 Fachkonzept - Turingmaschine Die Menge der Eingabesymbole einer Turingmaschine kann als Alphabet einer Sprache aufgefasst werden. Unter der Sprache einer Turingmaschine versteht man die Menge aller Wörter aus Eingabesymbolen, die Turingmaschine vom Anfangszustand in einen Endzustand überführen. Wenn T eine gegebene Turingmaschine ist, dann schreiben wir L(T) für die Sprache der Turingmaschine T. Σ = {(, )} L(T) = {(), (()), ((())), . . . }

49 Fachkonzept - Turingmaschine Eine Turingmaschine ist also eine Verarbeitungseinheit, die Symbole verarbeitet, sich dabei stets in einem bestimmten Zustand befindet und die zum Zwischenspeichern von Symbolen ein unbegrenztes, beschreibbares und nach rechts und links begehbares Band benutzt.

50 Bedeutung der Turingmaschine Satz (Zusammenhang zwischen Turingmaschinen und formalen Sprachen): Zu jeder formalen Sprache, die mit einer Grammatik beschreibbar ist, gibt es eine (nicht-) deterministische Turingmaschine, der diese Sprache erkennt. Umgekehrt gibt es auch zu jeder (nicht-) deterministischen Turingmaschine eine Grammatik, dieselbe Sprache erzeugt, die von der Turingmaschine erkannt wird. Trotz dieser Mächtigkeit wird das Verarbeitungsmodell Turingmaschine in der Praxis nicht genutzt. Wegen der doch sehr eingeschränkten Verarbeitungsmöglichkeiten einer Turingmaschine werden die Verfahren zur Erkennung von Sprachen schnell kompliziert und aufwendig. Das Verarbeitungsmodell Turingmaschine hat eine zentrale Bedeutung im Rahmen der Theoriebildung. Die Verwendung beschränkt sich dabei nicht auf den Kontext Spracherkennung, das Verarbeitungsmodell wird auch bei Fragen der Berechenbarkeit benutzt.

51 Übungen Man kann zeigen, dass die Sprache L = {anbncn | n = 1, 2, 3, . . . } nicht mit einem Kellerautomaten erkannt werden kann. Diese Sprache besteht aus Wörtern, die wie folgt aufgebaut sind: abc, aabbcc, aaabbbccc, aaaabbbbcccc, . . . Zeige, dass diese Sprache mit einer Turingmaschine erkannt werden kann. Erweitere hierzu die Turingmaschine zur Erkennung von L = {anbn | n = 1, 2, 3, . . . }.

52 Teil 5 Sprachklassen und Automatenklassen

Chomsky-Hierarchie 53 Typ Grammatik äquivalenter Automat 0 allgemein (nicht)deterministische Turingmaschine 1 kontextsensitiv nichtdet. linear beschr. Turingmaschine 2 kontextfrei nichtdeterministischer Kellerautomat 3 regulär (nicht)deterministischer endl. Automat

54 Literaturhinweise F. Gasper, I. Leiß, M. Spengler, H. Stimm: Technische und theoretische Informatik. Bsv 1992. E. Modrow: Automaten, Schaltwerke, Sprachen. Dümmlers Verlag 1988. R. Baumann: Informatik für die Sekundarstufe II, Band 2. Klett-Verlag 1993. Informatik heute, Band 2. Schroedel-Verlag 1988. U. Schöning: Theoretische Informatik – kurzgefasst. Spektrum Akademischer Verlag 2001. J. E. Hopcroft / J. D. Ullman: Einführung in die Automatentheorie, Formale Sprachen und Komplexitätstheorie. Addison-Wesley 1988. S. H. Rodger, T. W. Finley: JFLAP. Jones and Bartlett Publishers 2006. . Die Darstellung hier orientiert sich an den Materialien auf den Webseiten: http: //www. inf-schule. de