Formale Sprachen Klaus Becker 2017 2 Formale Sprachen

Formale Sprachen Klaus Becker 2017

2 Formale Sprachen

3 Teil 1 Einführung und Präzisierung

Sprachen in der Informatik 4 Sprachen werden in der Informatik vielfach benutzt. So muss Information stets in geeigneten Sprachen dargestellt werden, bevor sie in Form von Daten automatisiert verarbeitet werden kann. Die Verarbeitung der Daten selbst wird mit speziellen Sprachen beschrieben. Deuten Darstellen PGM P 2 5 8 15 15 8 8 8 12 12 12 5 12 12 8 8 8 12 12 12 15 8 8 12 5 12 15 15 8 12 12 12 Verarbeiten def invertieren(daten): . . . return d Python P 2 5 8 15 0 0 0 7 7 7 3 3 3 10 3 3 PGM 7 0 7 7 3 3 3 10 3 3 0 0 7 3 3 3

5 Zeichensysteme Jede Sprache benutzt Zeichen bzw. Symbole zur Darstellung von Information.

Syntax, Semantik, Pragmatik 6 Kommunikation mit Zeichensystemen kann ganz schön kompliziert sein. Verschiedene Aspekte von Sprache kommen dabei ins Spiel. Haste ne Uhr dabei? Was? Die Syntax einer Sprache (eines Zeichensystems) beschreibt die Regeln, nach denen die Sprachkonstrukte (Zeichen des Zeichensystems) gebildet werden. Haste ne Uhr dabei? Ja! Die Semantik einer Sprache (eines Zeichensystems) beschreibt die Bedeutung der Sprachkonstrukte (Zeichen des Zeichensystems). Haste ne Uhr dabei? Halb zwei! Die Pragmatik einer Sprache (eines Zeichensystems) beschäftigt sich mit der Verwendung und Bedeutung von Sprachkonstrukten in konkreten Situationen.

7 Fokussierung auf die Syntax Wir werden uns hier mit der Syntax von Sprachen beschäftigen. Wir betrachten dabei ganz einfache Sprachen, die sowohl aus der Informatik als auch aus dem Alltag stammen. Deuten Darstellen P 2 5 8 15 15 8 8 8 12 12 12 5 12 12 Syntax: muss präzise festgelegt werden 8 8 8 12 12 12 15 8 8 12 5 12 15 15 8 12 12 12 Verarbeiten def invertieren(daten): . . . return d Semantik: muss präzise festgelegt werden P 2 5 8 15 0 0 0 7 7 7 3 3 3 10 3 3 7 0 7 7 3 3 3 10 3 3 0 0 7 3 3 3 Pragmatik: spielt keine Rolle

8 Ein Präzisierungsansatz Eine formale Sprache ist eine Menge von Zeichenketten (mit Zeichen aus einem vorgegebenen Zeichenvorrat). Beispiel: Die Sprache der römische Zahlen XV XXIX MIC MXCIX MMMDCCLXXXIV MLL ZXXI IXC MURX … Beispiel: Sprache der chem. Verbindungen H 2 O C 2 H 4 O 2 Na. Cl Ti. Mo K 0 M 1 N 2 0 BOCK … Welche Symbole darf man in römischen Zahlen benutzen? Welche Symbole darf man in chemischen Verbindungen benutzen? Welche der gezeigten Symbolfolgen stellt eine römische Zahl dar? Welche der gezeigten Symbolfolgen stellt eine chemische Verbindung dar?

9 Fachkonzept - formale Sprache Ein Alphabet ist eine nicht-leere endliche (geordnete Menge) von Symbolen. Alphabet der römischen Zahlen: = {I, V, X, L, C, D, M} Ein Wort über einem Alphabet ist e. Hintereinanderreihung endlich vieler Symbole aus einem vorgegebenen Alphabet. Wörter über dem Alphabet der römischen Zahlen: MMX, LXX, XXL, LILLI, . . . Bei der Bildung von Wörtern über einem Alphabet Σ lässt man auch zu, dass überhaupt keine Symbole hintereinandergereiht werden. Man nennt dieses besondere Wort leeres Wort und bezeichnet es üblicherweise mit ε oder λ. Leeres Wort: λ Die Menge aller Wörter über einem Alphabet Σ wird mit Σ* bezeichnet. Mit Σ+ bezeichnet man die Menge aller Wörter über Σ ohne das leere Wort. Menge aller Wörter über dem Alphabet = {I, V, X, L, C, D, M}: Eine (formale) Sprache über einem Alphabet Σ ist eine bestimmte Teilmenge der Menge Σ* aller möglichen Wörter über Σ. Sprache der römischen Zahlen: * = {λ, I, III, IIII, . . . , IX, . . . , IIXIXX, . . . } L = {I, III, IV, V, VII, VIII, IX, X, . . . }

10 Fachkonzept - formale Sprache Ein Alphabet ist eine nicht-leere endliche (geordnete Menge) von Symbolen. Ein Wort über einem Alphabet ist e. Hintereinanderreihung endlich vieler Symbole aus einem vorgegebenen Alphabet. Bei der Bildung von Wörtern über einem Alphabet Σ lässt man auch zu, dass überhaupt keine Symbole hintereinandergereiht werden. Man nennt dieses besondere Wort leeres Wort und bezeichnet es üblicherweise mit ε oder λ. Die Menge aller Wörter über einem Alphabet Σ wird mit Σ* bezeichnet. Mit Σ+ bezeichnet man die Menge aller Wörter über Σ ohne das leere Wort. Eine (formale) Sprache über einem Alphabet Σ ist eine bestimmte Teilmenge der Menge Σ* aller möglichen Wörter über Σ. Du hast sicher schon bemerkt, dass die Präzisierung der Begriffe hier mit den Mitteln der Mathematik erfolgt. Mit Hilfe des Mengen - und Folgenkonzepts aus der Mathematik werden die Begriffe "Alphabet", "Wort" und "Sprache" exakt definiert. Die Begriffe "Alphabet", "Wort" und "Sprache" erhalten hierdurch eine spezielle Bedeutung, die sich durchaus an die Bedeutung der Begriffe im Alltag anlehnt, aber nicht genau mit der Bedeutung im Alltag übereinstimmt. So wird der Begriff "Alphabet" in einem allgemeineren Sinn verwendet. Beachte auch, dass mit dem Begriff "(formale) Sprache" nur syntaktische Aspekte erfasst werden. Es kommt hier lediglich auf die Aneinanderreihung von Symbolen an, die Bedeutung von Symbolfolgen spielt dabei zunächst einmal keinerlei Rolle.

11 Beispiel - Schach Die Sprache FEN (Forsyth-Edwards-Notation) wird benutzt, um Schach-Spielzustände zu beschreiben. Viele Schachprogramme nutzen diese Sprache, wenn Spielzustände abgespeichert werden. So wird etwa der Schach-Spielzustand in der folgenden Abbildung wie folgt in der Sprache FEN beschrieben: rnbqkb 1 r/pp 1 p 1 ppp/2 p 2 n 2/8/2 P 1 p 3/2 N 2 NP 1/PP 1 P/R 1 BQKB 1 R w KQkq - 0 5 Aufgabe: Wir betrachten der Einfachheit halber nur den ersten Teil eines solchen "FEN-Wortes", der die aktuelle Spielbrettbelegung beschreibt: rnbqkb 1 r/pp 1 p 1 ppp/2 p 2 n 2/8/2 P 1 p 3/2 N 2 NP 1/PP 1 P/R 1 BQKB 1 R (a) Welches Alphabet Σ liegt der Sprache L der reduzierten FEN-Wörter zur Beschreibung von Spielbrettbelegung zu Grunde? (b) Gib Beispiele für Wörter über Σ an, die zu L bzw. nicht zu L gehören. (c) Beschreibe in Worten die Syntaxregeln, die reduzierten FEN-Wörtern zu Grunde liegen.

12 Beispiel - Pixelgrafik PGM (Portable Graymap) kann als Sprache zur Beschreibung von Graustufenbildern aufgefasst werden. Das nebenstehende Bild wird wie folgt in der Sprache PGM beschrieben: P 2 4 2 7 0 1 2 3 4 5 6 7 Aufgabe: (a) Welches Alphabet Σ liegt der Sprache PGM zu Grunde? Gib Beispiele für Wörter über Σ an, die zu PGM bzw. nicht zu PGM gehören. (b) Verdeutliche am Beispiel PGM, was man unter Syntax und Sematik einer Sprache versteht.

13 Beispiel - ipigisi In Ipogesien hört man im Mathematikunterricht der 1. Klasse ständig Wörter der folgenden Art: ipigisi isipigisisi ipisigisisipigisisisi isipisigisisisi ipisisigisisisi. . . Aufgabe: Nachdem Ipo das Wort "isipisisigisisisi" sagt, gibt es ein Proteste. Warum wohl?

14 Beispiel - ipigisi Alphabet: Σ = {i, p, g, s}. "isi-Folgen": i, isisi, . . Folge von i-Symbolen, bei der jeweils benachbarte i-Symbole durch ein s getrennt sind. "ipigisi-Folgen": ipigi, ipigisi, isipigisi, . . . Struktur: isi-Folge p isi-Folge g isi-Folge. Sprache der beliebigen ipigisi-Ausdrücke: L 1 = {ipigi, isipigi, ipisigi, ipigisi, isipisigi, . . . } alle Wörter über dem Alphabet Σ = {i, p, g, s}, die eine ipigisi-Folge bilden. Sprache der mathematisch korrekten ipigisi-Ausdrücke: L 2 = {ipigisi, isipigisisi, ipisigisisi, isisipigisisisi, isipisigisisisi, ipisisigisisisi, . . . } alle Wörter über dem Alphabet Σ = {i, p, g, s}, die eine ipigisi-Folge bilden und bei denen die Summe der i-Symbole vor und nach dem g-Symbol gleich sind.

15 Syntax und Semantik Symbole und Symbolkombinationen werden oft so gewählt, dass sie eine bestimmte Bedeutung suggerieren. Das Beispiel zeigt aber, dass die Bedeutung den syntaktischen Einheiten nicht innewohnt, sondern unabhängig hiervon festgelegt werden muss. Einheit Bedeutung ipigisi 1+1=2 ipigisi 1 ist gleich 1 subtrahiert von 2 isipigisisi 2+1=3 isipigisisi 2 ist gleich 1 subtrahiert von 3 ipisigisisi 1+2=3 ipisigisisi 1 ist gleich 2 subtrahiert von 3 isisipigisisisi 3+1=4 isisipigisisisi 3 ist gleich 1 subtrahiert von 4 isipisigisisisi 2+2=4 isipisigisisisi 2 ist gleich 2 subtrhiert von 4 ipisisigisisisi 1+3=4 ipisisigisisisi 1 ist gleich 3 subtrahiert von 4 . . . gleiche Syntax, unterschiedliche Semantik

16 Ausblick Die Beschreibung einer Sprache mit Hilfe einer Wortmenge ist zwar präzise, aber nicht konstruktiv. Es wird hier nicht festgelegt, wie die Wörter der Sprache erzeugt werden können. Im Folgenden werden Verfahren beschrieben, die es erlauben, alle Wörter einer formalen Sprache konstruktiv zu erzeugen.

17 Teil 2 Sprachbeschreibung mit Syntaxdiagrammen

18 Beispiel – Turtle-Programme Turtle-Grafik geht von der Vorstellung aus, die Bewegung einer Schildkröte (engl. turtle) auf einer Zeichenfläche mit Hilfe von Anweisungen zu steuern. Die Schildkröte ist mit einem Stift versehen und hinterlässt bei ihren Bewegungen eine Spur auf der Zeichenfläche. Online-Interpreter: http: //www. calormen. com/jslogo/ fd 100 rt 90

19 Turtle-Programme Welche der folgenden Turtle-Programme sind korrekt gebildet? Was leisten sie? fd 100 rt 90 fd 100 rt 90 fd 100 rt 90 fd 100 fd -100 rt -90 fd -100 fd 100. 5 rt 90. 0 fd 100. 5 fd 50 repeat 4 [fd 100 rt 90] lt 180 fd 50 lt 180 repeat 10 [repeat 4 [fd 20 rt 90] rt 90 fd 20 lt 90] Aufgabe: Teste mit dem Turtle-Interpreter.

20 Korrekte Turtle-Programme Unter der Sprache der Turtle-Programme soll die Menge aller korrekt gebildeten Anweisungsfolgen verstanden werden. fd 100 rt 90 fd 100 rt 90 fd 100 rt 90 fd 100 Gehören diese Symbolfolgen zur Sprache der Turtle-Programme? fd -100 rt -90 fd -100 fd 100. 5 rt 90. 0 fd 100. 5 Ziel ist es, die Sprache der Turtle-Programme präzise zu beschreiben.

21 Präzisierung der Sprache der Turtle-P. Der Aufbau eines Turtle-Programms kann mit Hilfe von Syntaxdiagrammen präzise festgelegt werden. Hier ein erster Versuch: Ziffer: Natzahl: Zahl: Leer: Turtleanw: WS: Anwfolge: Turtleprogr:

22 Präzisierung der Sprache der Turtle-P. Jeder "Weg" durch diese Diagramme liefert ein korrekt gebildetes Turtle-Programm: Ziffer: Natzahl: Turtleanw: Turtleprogr -> Anwfolge -> TAnw WS TAnw -> Zahl: 'fd' WS Zahl WS TAnw -> 'fd' Leer Zahl WS TAnw -> 'fd' ' ' Natzahl WS TAnw -> 'fd' ' ' Ziffer WS TAnw -> 'fd' ' ' '5' Ziffer WS TAnw -> Leer: Anwfolge: 'fd' ' ' '5' '0' WS TAnw -> 'fd' ' ' '5' '0' ' ' 'ht' WS: Turtleprogr:

23 Übungen Aufgabe: Welche der folgenden Turtle-Programme sind nach den bisher erstellten Syntaxdiagrammen korrekt gebildet? fd 100 rt 90 fd 100 rt 90 fd 100 rt 90 fd 100 fd -100 rt -90 fd -100 fd 100. 5 rt 90. 0 fd 100. 5 Aufgabe: Ändere die Syntaxdiagramme so ab, dass auch Dezimalzahlen als Parameter erfasst werden. Aufgabe: Ändere die Syntaxdiagramme so ab, dass nach einer Anweisung mit Parameter (wie z. B. fd 100) keine Leerzeichen folgen müssen, wenn noch weitere Anweisungen folgen.

24 Übungen Aufgabe: Entwickle die oben gezeigten Syntaxdiagramme so weiter, dass auch Wiederholeanweisungen mit erfasst werden. fd 50 repeat 4 [fd 100 rt 90] lt 180 fd 50 lt 180 repeat 10 [repeat 4 [fd 20 rt 90] rt 90 fd 20 lt 90]

25 Fachkonzept - Syntaxdiagramme dienen dazu, die Syntax einer Sprache präzise zu beschreiben. Syntaxdiagramme bestehen aus Terminalsymbolen, Nichtterminalsymbolen und Verbindungspfeilen. Terminalsymbole sind Symbole des Alphabets der Sprache, die in Diagrammen durch abgerundete Rahmen zu erkennen sind. Im Beispiel: Ziffer: Nichtterminalsymbol Terminalsymbol Natzahl: 0, 1, . . . , 9, . , □, fd, bk, lt, rt, st, ht Nichtterminalsymbole sind Hilfssymbole, die in Diagrammen durch rechteckige Rahmen zu erkennen sind. Nichtterminalsymbole stehen jeweils für eigene Diagramme. Im Beispiel: Ziffer, Natzahl, Zahl, … Zahl:

26 Fachkonzept - Syntaxdiagramm Mit Hilfe von Syntaxdiagrammen lassen sich Wörter über dem Alphabet der Terminalsymbole herleiten. Eine Herleitung besteht dabei aus einer Folge von Umformungen eines Ausdrucks entlang der Wege durch die Syntaxdiagramme mit dem Ziel, die Nichtterminalsymbole letztlich alle durch Terminalsymbole zu ersetzen. Turtleprogr -> Anwfolge -> TAnw WS TAnw -> 'fd' WS Zahl WS TAnw -> 'fd' Leer Zahl WS TAnw -> 'fd' ' ' Natzahl WS TAnw -> 'fd' ' ' Ziffer WS TAnw -> 'fd' ' ' '5' '0' ' ' TAnw -> 'fd' ' ' '5' '0' ' ' 'ht' Leer: Turtleanw: WS: Anwfolge: Turtleprogr:

Konstruktionsmuster 27 Sequenz A: Alternative A: Iteration A: Rekursion A:

28 Eine Sprache für Syntaxdiagramme Ziffer : : = '0' | '1' | '2' | '3' | '4' | '5' | '6' | '7' | '8' | '9' Natzahl : : = Ziffer+ Zahl : : = '-'? Nat. Zahl … Ziffer: Natzahl: Zahl:

29 Eine Sprache für Syntaxdiagramme … Leer : : = ' ' WS : : = Leer+ Turtleanw : : = 'fd' WS Zahl | 'bk' WS Zahl | 'lt' WS Zahl | 'rt' WS Zahl | 'st' | 'ht' Anwfolge : : = (Turtleanw WS)* Turtle. Anw Turtleprogr : : = Anwfolge Leer: Turtleanw: WS: Anwfolge: Turtleprogr:

30 Eine Sprache für Syntaxdiagramme Aufgabe: Probiere das selbst mit dem Railroad Diagram Generator aus. Siehe: http: //bottlecaps. de/rr/ui

31 Übungen Aufgabe: Die Sprache der (Standard)Zahlen sind Wörter über dem Alphabet {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, . , +, -}. Beispiele für Wörter, die zur Sprache gehören: 12, 4. 5, 0. 23, 1. 0, 0. 000, +5, -3. 1, -1000 Beispiele für Wörter, die nicht zur Sprache gehören: 3. . 1, 2. 2. 1, 4. , . 5, 03. 3, +-0, Beschreibe die Sprache der Zahlen mit Syntaxdiagrammen. Aufgabe: Die Sprache der inf-schule-Kapitelnummern Auf inf-schule kann man auch direkt eine Kapitelnummer eingeben: http: //www. inf-schule. de/? seite=8. 1. 3 Welche Kapitelnummern sind hier erlaubt? Kapitelnummern sind Wörter über dem Alphabet {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, . }. Beispiele für Wörter, die zur Sprache gehören: 3, 3. 1, 1. 1. 2. 1, 4. 2. 12 Beispiele für Wörter, die nicht zur Sprache gehören: . 4, 3. . 5, 1. 0. 3, 2. 02. 2, 0 Beschreibe die Sprache der inf-schule-Kapitelnummern mit Syntaxdiagrammen.

Übungen 32 Aufgabe: Die Sprache der vereinfachten E-Mail-Adressen Wir betrachten hier vereinfachte E-Mail-Adressen, in denen nur die Symbole b, @ und. vorkommen dürfen. Beispiel: bb@b. bbb Folgende Regeln sollen zur Bildung solcher E-Mail-Adressen beachtet werden: n n Eine vereinfachte E-Mail-Adresse besteht aus einem User-Namen gefolgt vom @-Symbol und einer Domain-Angabe. Der User-Name soll nur aus b´s bestehen. Die Domainangabe soll aus Subdomains aufgebaut sein, die jeweils mit einem Punkt getrennt werden. Eine Subdomain besteht nur aus b´s. (a) Warum ist die textuelle Beschreibung der Regeln zur Bildung vereinfachter E-Mail-Adressen noch zu ungenau? Erläutere anhand von Beispielen. (b) Präzisiere die Sprache der vereinfachten E-Mail-Adressen mit Syntaxdiagrammen. Beachte, dass dabei auch Festlegungen getroffen werden müssen, die in der textuellen Regelbeschreibung noch zu ungenau sind.

33 Übungen Quelle: Biber-Wettbewerb 2009

34 Übungen Aufgabe: (Hinweise siehe I: 8. 1. 2. 3) Da beim letzten Biber-Song-Contest zu viele Kandidaten die Regeln der Bunny-Banana. Sprache nicht beachtet haben, hat sich die Jury entschlossen, die Regeln nochmal präzise darzustellen. Ein Team von Biber-Informatikern ist beauftragt worden, die Bunny-Banana. Sprache mit Syntaxdiagrammen zu beschreiben.

35 Teil 3 Sprachbeschreibung mit Grammatiken

36 Email-Adresse Vertippt! Du willst immer auf dem neuesten Stand sein und daher die entsprechende „Newsletter“ abonnieren. Gott sei Dank „bemerkt“ das System den Tippfehler. Quelle: http: //www. abc. net. au/tv/connect/newsletter. htm

37 Gültige Email-Adressen Mit speziellen Programmen (sog. Validierern) kann man überprüfen, ob eine Email-Adresse korrekt gebildet ist. Nur – was heißt hier korrekt? Quelle: http: //www. web-toolbox. net/webtoolbox/index. htm

38 Aufbau einer Email-Adresse RFC 822 Quelle: http: //www. web-toolbox. net/ webtoolbox/index. htm

39 Ein Blick in die RFC 822 Quelle: http: //tools. ietf. org/html/rfc 822#section-6. 1 Formale Präzisierung

40 Zielsetzung und Vorgehensweise Es gibt eine Vielzahl an Möglichkeiten, wie E-Mail-Adressen aufgabaut sein können. Beispiele auch ungewöhnliche - findest du auf den Seiten von Wikipedia. Wir werden uns hier nicht mit all diesen Adressformaten beschäftigen. Ziel dieses Abschnittes ist es, ein Verfahren zur präzisen Festlegung des Aufbaus von E-Mail-Adressen einzuführen. Für diesen Zweck reicht es, ein sehr einfaches E-Mail-Adressformat zu betrachten.

41 Stark vereinfachte E-Mail-Adressen Wir betrachten hier vereinfachte E-Mail. Adressen, in denen nur die Symbole b, @ und. vorkommen dürfen. Beispiel: bb@b. bb Eine vereinfachte E-Mail-Adresse besteht aus einem User-Namen gefolgt vom @-Symbol und einer Domain-Angabe. Welche der folgenden Zeicheketten stellen vereinfachte E-Mail-Adressen dar? b@b. bb @b. b. bb bbb@bb bb. b@b. bb Der User-Name soll nur aus b´s bestehen. Die Domainangabe soll aus Subdomains mit einer Topleveldomain aufgebaut sein, die jeweils mit einem Punkt getrennt werden. Eine Subdomain und eine Topleveldomain besteht nur aus b´s. Informelle Beschreibung Schwierigkeit: Informelle Beschreibungen sind nicht ganz exakt und werden manchmal unterschiedlich interpretiert.

42 Präzisierung mit Syntaxdiagrammen Wir betrachten hier vereinfachte E-Mail. Adressen, in denen nur die Symbole b, @ und. vorkommen dürfen. Beispiel: bb@b. bb Eine vereinfachte E-Mail-Adresse besteht aus einem User-Namen gefolgt vom @-Symbol und einer Domain-Angabe. Der User-Name soll nur aus b´s bestehen. Die Domainangabe soll aus Subdomains mit einer Topleveldomain aufgebaut sein, die jeweils mit einem Punkt getrennt werden. Eine Subdomain und eine Topleveldomain besteht nur aus b´s. Emailadresse: User: Domain: Subdomains: Topleveldomain: Name: Buchstabe: Informelle Beschreibung Formale Beschreibung

43 Präzisierung mit Syntaxdiagrammen Emailadresse -> User @ Domain -> Name @ Domain -> Buchstabe @ Domain -> b b @ Subdomains Topleveldomain -> b b @ Name. Topleveldomain -> b b @ Buchstabe. Name. Topleveldomain -> b b @ b. Buchstabe. Topleveldomain -> b b @ b. b Buchstabe. Topleveldomain -> b b @ b. b b b. Name -> b b @ b. b b b. Buchstabe -> b b @ b. b b b. b -> bb@b. bb Emailadresse: User: Domain: Subdomains: Topleveldomain: Name: Ableitung eines Wortes Buchstabe: Schwierigkeit: Syntaxdiagramme eignen sich nicht so gut für eine automatisierte Verarbeitung (hier: Erzeugung von Ableitungen). Formale Beschreibung

44 Textuelle Darstellung von Syntaxdiagr. Emailadresse : : = User '@' Domain Emailadresse: User : : = Name User: Domain : : = Subdomains Topleveldomain Domain: Subdomains : : = (Name '. ')+ Subdomains: Topleveldomain : : = Name Topleveldomain: Name : : = Buchstabe+ Name: Buchstabe : : = 'b' Buchstabe: Textuelle Darstellung Du kannst das selbst mit dem Railroad Diagram Generator ausprobieren. Syntaxdiagramme

45 Textuelle Darstellung von Syntaxdiagr. Emailadresse : : = User '@' Domain Emailadresse -> User '@' Domain User : : = Name User -> Name Domain : : = Subdomains Topleveldomain Domain -> Subdomains Topleveldomain Subdomains : : = (Name '. ')+ Subdomains -> Name. Subdomains Topleveldomain : : = Name Topleveldomain -> Name : : = Buchstabe+ Name -> Buchstabe Name Buchstabe : : = 'b' Buchstabe -> b Textuelle Darstellung vereinfachte Darstellung

Ableitung mit Ersetzungsregeln 46 Emailadresse -> User @ Domain -> Name @ Domain -> Buchstabe Name @ Domain -> b Buchstabe @ Domain -> b b @ Subdomains Topleveldomain -> b b @ Name. Subdomains. Topleveldomain -> b b @ Buchstabe. Subdomains. Topleveldomain -> b b @ b. Name. Topleveldomain -> b b @ b. Buchstabe Name. Topleveldomain -> b b @ b. b b b. Name b b @ b. b b b. Buchstabe Name b b @ b. b b b. b Buchstabe bb@b. bb Ableitung # (1) # (2) # (8) # (9) # (7) # (9) # (3) # (5) # (7) # (9) # (4) # (8) # (9) # (7) # (6) # (8) # (9) # (7) # (9) Emailadresse -> User '@' Domain 1 User -> Name 2 Domain -> Subdomains Topleveldomain 3 Subdomains -> Name. Subdomains 4 5 Topleveldomain -> Name 6 Name -> Buchstabe Name 7 8 Buchstabe -> b 9 Ersetzungsregeln

47 Ersetzungsregeln in abgekürzter Form Emailadresse -> User @ Domain User -> Name Domain -> Subdomains Topleveldomain Subdomains -> Name. Subdomains Topleveldomain -> Name -> Buchstabe Name Buchstabe -> b Ersetzungsregeln E -> U@D U -> N D -> ST S -> N. S T -> N N -> BN B -> b Ersetzungsregeln in abgekürzter Form

Ableitung mit Ersetzungsregeln 48 Aufgabe: Entwickle mit Hilfe der Ersetzungsregeln (in abkürzender Schreibweise) eine Ableitung der Adresse bb@b. bb. In jedem Ersetzungsschritt darf nur eine Regel angewandt werden. E -> U@D U -> N D -> ST S -> N. S T -> N N -> BN B -> b E -> # mit der Regel E -> U@D -> # mit der Regel U -> N N@D -> # mit der Regel N -> BN Ersetzungsregeln bb@b. bb Ableitung eines Wortes

49 Fachkonzept - Grammatik Eine Grammatik besteht aus den folgenden Komponenten: n einer endlichen nichtleeren Menge T von Terminalsymbolen (Alphabet der betreffenden Sprache) n einer endlichen nichtleeren Menge N von Nichtterminalsymbolen (Hilfsymbole) n einer endlichen Menge P von Produktionen (Ersetzungsregeln) E -> U@D U -> N D -> ST S -> N. S T -> N N -> BN B -> b Produktionen n einem Startsymbol S aus N (zum Starten einer Ableitung) Man schreibt auch kurz: G = (T, N, P, S). Terminalsymbole Nichtterminalsymbole Produktionen Startsymbol T = {b, @, . } N = {E, U, D, S} P = {E -> U@D, . . . , B -> b} S: E

50 Fachkonzept - Grammatik Eine Produktion hat die Gestalt u -> v. Die linke Seite u und die rechte Seite v sind dabei Wörter über dem Alphabet V = T ∪ N sämtlicher Symbole. Die linke Seite u muss mindestens ein Nichtterminalsymbol aus N enthalten. E -> U@D U -> N D -> ST S -> N. S T -> N N -> BN B -> b Produktionen E -> b. U@D U -> b. U U -> λ D -> b. S S ->. b. T T -> λ Produktionen T = {b, @, . } N = {E, U, D, S} Beachte: Eine Produktion kann das leere Wort λ als rechte Seite haben. Auf der linken Seite einer Produktion kann auch ein komplexeres Wort stehen, das mindestens ein Nichtterminalsymbol enthält.

51 Worterzeugung mit Ableitungen Eine Ableitung beginnt immer mit dem Startsymbol. Sie endet, wenn alle Nichtterminalsymbole ersetzt sind. Ein Ableitungsschritt besteht darin, ein Teilwort innerhalb eines Worts mit Hilfe einer passenden Produktion zu ersetzen. Produktionen sind demnach Ersetzungsregeln. E -> U@D -> N@D -> BB@D -> bb@ST -> bb@N. N. T -> bb@B. N. T -> bb@b. BN. T -> bb@b. BBB. T -> bb@b. bb. B. T -> … bb@b. bb # # # # # mit mit mit mit mit der der der der der Regel Regel Regel Regel Regel E U N N B B D S S N B N N N B B B -> -> -> -> -> U@D N b. N B b b ST N. S N. B b BN BN B b b b E -> U@D U -> N D -> ST S -> N. S T -> bb N -> BN B -> b Produktionen Ableitung

52 Sprachfestlegung mit einer Grammatik Eine Grammatik G = (T, N, P, S) erzeugt eine Sprache L(G) über dem Alphabet T. L(G) ist dabei die Menge der Wörter über T, die vom Startsymbol S mit Hilfe der Produktionen aus P abgeleitet werden können. Man nennt L(G) die von G erzeugte Sprache. = T = {b, @, . } L(G 1) = {…, bb@b. bb, …} Menge der stark vereinfachten E-Mail-Adressen L(G 2) = {…, bb@b. bb, …} Menge der stark vereinfachten E-Mail-Adressen Beachte, dass verschiedene Grammatiken dieselbe Sprache erzeugen können. E -> U@D U -> N D -> ST S -> N. S T -> N N -> BN B -> b E -> b. U@D U -> b. U U -> λ D -> b. S S ->. b. T T -> λ Grammatik G 1 Grammatik G 2

53 Experimente mit JFlap Eingabe der Grammatik Überprüfung eines Wortes

Experimente mit JFlap 54 Ableitung eines Wortes

55 Übungen Aufgabe Teste mit JFlap die folgenden Grammatiken. Mache dir mit Hilfe von Tests auch die Besonderheiten der Regelsysteme klar. Findest du weitere Ersetzungsregeln, dieselben EMail-Adressen erzeugen wie die Ersetzungsregeln oben? Teste deine Vorschläge mit JFlap. E -> U@D U -> N D -> ST S -> N. S T -> N N -> BN B -> b E -> b. U U -> @S S -> b. B B ->. S B ->. T T -> b E -> b. U@D U -> b. U U -> λ D -> b. S S ->. b. T T -> λ

56 Übungen Aufgabe Binärzahlen sind Zahlen, die im Dualsystem / Zweiersystem dargestellt sind und daher nur die Symbole 0 und 1 zur Zahldarstellung benutzen. Die folgende Zahlenreihe beschreibt, wie man im Dualsystem / Zweiersystem zählt: 0, 1, 10, 11, 100, 101, 110, 111, 1000, . . . Binärzahlen sind Wörter über dem Alphabet Σ = {0, 1}. Die Sprache der Binärzahlen L Bin besteht aus sämtlichen Wörtern über Σ = {0, 1}, die eine Binärzahl darstellen: LBin = {0, 1, 10, 11, 100, 101, 110, 111, 1000, . . . } Entwickle eine (mehrere) Grammatik(en) zur Erzeugung der Sprache L Bin.

57 Übungen Aufgabe: Die Sprache der inf-schule-Kapitelnummern Auf inf-schule kann man auch direkt eine Kapitelnummer eingeben: http: //www. inf-schule. de/? seite=8. 1. 3 Welche Kapitelnummern sind hier erlaubt? Kapitelnummern sind Wörter über dem Alphabet {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, . }. Beispiele für Wörter, die zur Sprache gehören: 3, 3. 1, 1. 1. 2. 1, 4. 2. 12 Beispiele für Wörter, die nicht zur Sprache gehören: . 4, 3. . 5, 1. 0. 3, 2. 02. 2, 0 Entwickle eine Grammatik zur Erzeugung der Sprache der inf-schule-Kapitelnummern. Es reicht, wenn du nur die Ziffern 0, 1 und 2 betrachtest.

58 Übungen Aufgabe (a) Entwickle eine Grammatik zur Erzeugung der Sprache L 1 = {ipigi, isipigi, ipisigi, ipigisi, isipisigi, . . . } alle Wörter über dem Alphabet Σ = {i, p, g, s}, die eine ipigisi-Folge bilden. (b) Entwickle eine Grammatik zur Erzeugung der Sprache L 2 = {ipigisi, isipigisisi, ipisigisisi, isisipigisisisi, isipisigisisisi, ipisisigisisisi, . . . } alle Wörter über dem Alphabet Σ = {i, p, g, s}, die eine ipigisi-Folge bilden und bei denen die Summe der i-Symbole vor und nach dem g-Symbol gleich sind.

59 Kurzschreibweise für Produktionen floatnumber: pointfloat: exponentfloat: intpart: fraction: exponent: floatnumber : : = pointfloat | exponentfloat pointfloat : : = intpart? fraction | intpart ". " exponentfloat : : = (intpart | pointfloat) exponent intpart : : = digit+ fraction : : = ". " digit+ exponent : : = ("e" | "E") ["+" | "-"] digit+ digit : : = "0". . . "9" digit: In der Praxis werden Produktionen oft in einer Kurzschreibweise (EBNF) beschrieben. Mit geeigneten Werkzeugen (z. B. dem Railroad Diagram Generator) lassen sich aus dieser Schreibweise Syntaxdiagramme automatisiert erzeugen. Aufgabe: Probiere das selbst aus.

60 Kurzschreibweise für Produktionen Die (erweiterte) Backus-Naur-Form (kurz BNF bzw. EBNF) ist eine Kurzschreibweise für Produktionen. Es gibt eine Reihe verschiedener Schreibweisen für Regeln in (E)BNF. Die am häufigsten benutzten Schreibweisen werden im Folgenden anhand einfacher Beispiele vorgestellt. vorzeichen -> + vorzeichen -> - vorzeichen -> + | Alternative zahl -> ziffer zahl = ziffer {ziffer} zahl = ziffer* zahl = ziffer+ Iteration zahlmitvorzeichen -> + zahlmitvorzeichen -> - zahlmitvorzeichen = [vorzeichen] zahlmitvorzeichen = vorzeichen? zahl optionale Teile

61 Grammatiken für Alltagssprachen Ein Satz besteht aus einer Nominalphrase und einer Verbalphrase. Eine Nominalphrase muss immer aus einem Nomen bestehen, welchem unter Umständen ein Artikel vorangestellt ist. Ferner kann dem Nomen eine Präpositionalphrase nachgestellt sein. Eine Verbalphrase besteht aus einem Verb, dem eine Nominal- oder Präpositionalphrase nachgestellt sein kann. Eine Präpositionalphrase besteht aus einer Präposition und einer Nominalphrase. Es gibt folgende Nomen: … Es gibt folgende Verben: … Es gibt folgende Artikel: … Es gibt folgende Präpositionen: … <S> -> <NP><VP> <NP> -> <A><N> <NP> -> <N><PP> <VP> -> <V><NP> <VP> -> <VP><PP> -> <P><NP> <N> -> Katze <N> -> Maus. . . <V> -> fängt. . . <A> -> der <A> -> die <A> -> das <A> -> eine. . . <P> -> mit <P> -> in. . . Grammatik

62 Grammatiken für Alltagssprachen Die Beschreibung, Erkennung und Übersetzung natürlicher Sprachen ist sehr schwierig. Der Beschreibungsansatz über Grammatiken (im Sinne der Informatik) hat bisher nicht zum Erfolg geführt. Heute benutzt man eher statistische Methoden, um natürliche Sprachen zu erfassen und automatisiert zu verarbeiten. <S> -> <NP><VP> -> <A><N><VP> -> die Katze <VP> ->. . . die Katze fängt die Maus <S> -> <NP><VP> <NP> -> <A><N> <NP> -> <N><PP> <VP> -> <V><NP> <VP> -> <VP><PP> -> <P><NP> <N> -> Katze <N> -> Maus. . . <V> -> fängt. . . <A> -> der <A> -> die <A> -> das <A> -> eine. . . <P> -> mit <P> -> in. . . Grammatik

63 Teil 4 Sprachbeschreibung mit regulären Ausdrücken

64 Mustersuche in Open. Office Es kommt des öfteren vor, dass man bestimmte Zeichenketten in einem langen Text suchen möchte. Textverarbeitungsprogramme stellen in der Regel spezielle Suchfunktionen für diesen Zweck bereit. Das Textverarbeitungsprogramm Open. Office erlaubt nicht nur einfache Suchmuster wie z. B. "RFC", sondern auch komplexere Suchmuster wie z. B. "RFC. . . ", wobei die Punkte hier für Ziffern von 0 bis 9 stehen sollen. Ein mögliches Suchergebnis wäre z. B. "RFC 0822". Die Beschreibung der Suchmuster erfolgt mit Hilfe regulärer Ausdrücke. Die Abbildung zeigt, wie man ein Suchmuster in Open. Office mit einem regulären Ausdruck festlegt.

65 Aufgabe Besorge dir die RFC 5322 und teste die oben gezeigten Suchoperationen. Benutze die folgenden regulären Ausdrücke als Suchmuster und lasse sie von Open. Opffice beim Text RFC 5322 auswerten. Beschreibe jeweils, wonach gesucht wird. Ø 0+ Ø 00* Ø [0 -9] Ø [1 -9](. ) Ø ([1 -9](. ))+ Ø ([1 -9 ABC](. ))+ Ø [1 -9](. )? [1 -9] Ø (From: )|(To: ) Denke dir selbst weitere Suchmuster aus, um die Bedeutung der Metazeichen zu erschließen. Du kannst auch die Hilfe von Open. Office zu Rate ziehen.

66 Aufgabe Entwickle einen regulären Ausdruck, mit dem man E-Mail-Adressen als Suchergebnis geliefert bekommt. Beginne mit den vereinfachten Adressen der Gestalt bb@b. bb (siehe Folie 43). Schreibe Beispiele und gegenbeispiele für solche Adressen in ein Open. Office-Textdokument und teste so den entwickelten regulären Ausdruck. Erweitere jetzt zu realeren E-Mail-Adressen. Entwickle so Schritt für Schritt einen regulären Ausdruck für solche Adressen. Benutze ggf. die Informationen auf den folgenden Folien.

67 Regulärer Ausdruck (Praxisversion) Zeichen und Zeichenmengen regulärer Ausdruck beschriebene Wortmenge a {a} + {+} [hsv] {h, s, v} [[x+y]] {[, x, +, y, ]} [a-z] {a, b, . . . , y, z} [a-z 0 -9] {a, b, . . . , y, z, 0, 1, . . . , 8, 9} [^0 -9] Z - {0, 1, . . . , 8, 9}; Menge Z aller Zeichen ohne 0, . . . , 9 Konkatenation regulärer Ausdruck beschriebene Wortmenge K 2 {K 2} [a-z][0 -9] {a 0, . . . , a 9, b 0, . . . , b 9, . . . , z 0, . . . , z 9} 1[0 -9]1 {101, 111, 121, 131, 141, 151, 161, 171, 181, 191}

68 Regulärer Ausdruck (Praxisversion) Iteration regulärer Ausdruck beschriebene Wortmenge a* {λ, a, aaa, aaaa, . . . } a+ {a, aaa, aaaa, . . . } [0 -9]+ {0, . . . , 9, 00, . . . , 99, 000, . . . , 999, . . . } 1[01]*1 {11, 101, 111, 1001, 1011, 1101, 1111, 10001, . . . } Option regulärer Ausdruck beschriebene Wortmenge b? {λ, b} ab? c {ac, abc} [+-]? [0 -9]+ {0, +0, -0, 1, +1, -1, . . . }

69 Regulärer Ausdruck (Praxisversion) Alternative regulärer Ausdruck beschriebene Wortmenge a|b {a, b} [a-c]|[0 -2] {a, b, c, 0, 1, 2} Bindungsstärke und Gruppierung regulärer Ausdruck beschriebene Wortmenge ab+ {ab, abbbb, . . . } (ab)+ {ab, ababab, . . . } ab|c {ab, c} a(b|c) {ab, ac}

Regulärer Ausdruck (Praxisversion) 70 Weitere Möglichkeiten zur Bildung regulärer Ausdrücke findet man in Nachschlagewerken, z. B. in der Open. Office-Hilfe. Beispiel: ^[: digit: ]{3}$ n ^ besagt, dass die Übereinstimmung am Absatzanfang stehen muss, n [: digit: ] entspricht einer beliebigen Dezimalziffer, n {3} besagt, dass genau 3 Entsprechungen für "digit" existieren müssen, n $ besagt, dass die Übereinstimmung am Absatzende auftreten muss. Quelle: Open. Office-Hilfe

71 Experimente mit e. Online-Werkzeug Reguläre Ausdrücke lassen sich auch gut mit dem Online-Werkzeug Regex Pal testen (siehe http: //www. regexpal. com/).

Übungen 72 Aufgaben: Entwickle reguläre Ausdrücke für folgende Mustersuchsituationen: - Datumsangaben (wie z. B. 1. 1. 2017 oder 04. 2018) - Telefonnummern (wie 06232 -2341) - Überschriften in HTML-Quelltexten (wie z. B. <h 2>Reguläre Ausdrücke</h 2>) - Gleitkommazahlen (wie z. B. 13. 4 oder 3. 1 e 4 oder 5. 0 E-2)

73 Reguläre Ausdrücke in Python import re def suchen(reg. Ausdruck, textdatei): f = open(textdatei, 'r', encoding = 'iso-8859 -1') rfctext = f. read() f. close() reg. Ausdruck. Obj = re. compile(reg. Ausdruck) return reg. Ausdruck. Obj. findall(rfctext) Die Operation findall erzeugt eine Liste mit den zum regulären Ausdruck passenden Zeichenketten. # Test print(suchen("(? : [1 -9 ABC]. )+", "rfc 5322. txt")) >>> ['1. ', '1. 2. 2. ', '1. 2. 3. ', '2. 1. 1. ', . . . ] >>> Bem: ? : bewirkt in einer Klammerung (…), dass keine Gruppe erzeugt wird, auf die man später zugreifen kann.

74 Reguläre Ausdrücke in Python import re def suchen(reg. Ausdruck, textdatei): f = open(textdatei, 'r', encoding = 'iso-8859 -1') rfctext = f. read() f. close() reg. Ausdruck. Obj = re. compile(reg. Ausdruck) for match in reg. Ausdruck. Obj. finditer(rfctext): print(match. group()) # Test suchen("(? : [1 -9 ABC]. )+", "rfc 5322. txt") >>> '1. ' '1. 2. 2. ' '1. 2. 3. '. . . >>> Die Anweisung re. finditer(reg. Ausdruck, rfctext) erzeugt einen Iterator, der über alle gefundenen, nicht überlappenden Übereinstimmungen iteriert.

75 Regulärer Ausdruck (Theorieversion) Beispiele regulärer Ausdruck beschriebene Wortmenge Ø {} λ {λ} 0 {0} 1 {1} 10 {10} 0+1 {0, 1} 1* {λ, 1, 111, 1111, . . . } 01* {0, 011, 01111, . . . } 0*1* {λ, 0, 00, . . . , 1, 001, . . . , 11, 0011, . . . } 0*+1* {λ 0, 000, . . . , 1, 111, . . . } 0+1(0+1)* {0, 1, 10, 11, 100, 101, 110, 111, . . . }

76 Fachkonzept - regulärer Ausdruck Reguläre Ausdrücke über dem Alphabet Σ und die Wortmengen, die sie beschreiben, werden wie folgt festgelegt: Ø ist ein regulärer Ausdruck. Er beschreibt die leere Wortmenge {}. λ ist ein regulärer Ausdruck. Er beschreibt die Wortmenge {λ}, in der nur das leere Wort vorkommt. Für jedes a aus Σ ist a ein regulärer Ausdruck. Der reguläre Ausdruck a beschreibt die Wortmenge {a}.

77 Fachkonzept - regulärer Ausdruck Reguläre Ausdrücke über dem Alphabet Σ und die Wortmengen, die sie beschreiben, werden wie folgt festgelegt: Wenn α und β reguläre Ausdrücke sind, dann ist auch die Konkatenation αβ ein regulärer Ausdruck. Wenn α die Wortmenge A und β die Wortmenge B beschreibt, dann beschreibt die Konkatenation αβ die Menge {ab | a aus A und b aus B} aller Wörter, die mit einem Wort aus A beginnen und mit einem Wort aus B enden. Wenn α und β reguläre Ausdrücke sind, dann ist auch die Alternative α+β ein regulärer Ausdruck. Wenn α die Wortmenge A und β die Wortmenge B beschreibt, dann beschreibt die Alternative α+β die Menge {w | w aus A oder w aus B} aller Wörter, die in A oder in B vorkommen. Wenn α ein regulärer Ausdruck ist, dann ist auch die Iteration α* ein regulärer Ausdruck. Wenn α die Wortmenge A beschreibt, dann beschreibt die Iteration α* die Menge A* aller Wörter, die durch endlich-maliges Aneinanderfügen von Wörtern aus A entstehen.

78 Übungen Aufgabe: Erkläre jeweils, welche Wortmengen hier beschrieben werden: (halli)*hallo Too*r (5+6+7+8+9+10)(a+b+c+d) ((0+1)(0+1+2+3+4+5+6+7+8+9)+2(0+1+2+3)): (0+1+2+3+4+5)(0+1+2+3+4+5+6+7+8 +9) Aufgabe: Beschreibe die Menge der vereinfachten E-Mail-Adressen mit einem regulären Ausdruck. Aufgabe: Auf inf-schule kann man auch direkt eine Kapitelnummer eingeben: http: //www. inf-schule. de/? seite=8. 1. 3 Entwickle einen regulären Ausdruck, mit dem man den korrekten Aufbau einer Kapitelnummer überprüfen kann.

79 Literaturhinweise F. Gasper, I. Leiß, M. Spengler, H. Stimm: Technische und theoretische Informatik. Bsv 1992. E. Modrow: Automaten, Schaltwerke, Sprachen. Dümmlers Verlag 1988. R. Baumann: Informatik für die Sekundarstufe II, Band 2. Klett-Verlag 1993. Informatik heute, Band 2. Schroedel-Verlag 1988. U. Schöning: Theoretische Informatik – kurzgefasst. Spektrum Akademischer Verlag 2001. J. E. Hopcroft / J. D. Ullman: Einführung in die Automatentheorie, Formale Sprachen und Komplexitätstheorie. Addison-Wesley 1988. S. H. Rodger, T. W. Finley: JFLAP. Jones and Bartlett Publishers 2006. . Die Darstellung hier orientiert sich an den Materialien auf den Webseiten: http: //www. inf-schule. dew/