Lernen 1 Vorlesung Ralf Der Universitt Leipzig Institut

Lernen 1. Vorlesung Ralf Der Universität Leipzig Institut für Informatik der@informatik. uni-leipzig. de Ralf Der Lernen. Vorlesung 01 -WS 06 / 07

Allgemeines zur Vorlesung • • • Vertiefungsmodul Intelligente Systeme. Modulnummer 10 -202 -2302 Vertiefungsmodul im M. Sc. Informatik und Master Lehramt Informatik Gymnasium und Mittelschule Vorlesung Lernen ist Bestandteil des Moduls. Umfang 2 SWS. Prüfung durch Klausur am Ende des Semesters. Ralf Der Lernen. Vorlesung 01 -WS 06 / 07 2

Inhaltsverzeichnis Behandelt werden symbolische und subsymbolische Lernverfahren. Themen sind - Allgemeines zu Lernen - Neuronale Netze - Clustering und Klassifikationslernen - Support Vector Machines - Reinforcement Learning - Entscheidungsbaum-Lernen - Lernen von Regeln und Konzepten Ralf Der Lernen. Vorlesung 01 -WS 06 / 07 3

Paradigmen des Lernens I • Allgemeiner Kontext: Unter Lernen versteht man den bewussten und unbewussten individuellen oder kollektiven Erwerb von geistigen und körperlichen Kenntnissen und Fertigkeiten oder Fähigkeiten. Lernen kann als Änderung des Verhaltens, Denkens oder Fühlens aufgrund verarbeiteter Wahrnehmung der Umwelt oder Bewusstwerdung eigener Regungen bezeichnet werden. (Quelle Wikipedia) • Wissenschaftliche Teildisziplinen: Lernpsychologie, die Pädagogische Psychologie, Neurobiologie, die Didaktik und Pädagogik • Für uns aber besonders die Künstliche Intelligenz • Jedoch ist Lernen mehr als das reine Abspeichern von Informationen. Lernen beinhaltet die Wahrnehmung der Umwelt, die Verknüpfung mit Bekanntem (Erfahrung) und das Erkennen von Regelmäßigkeiten (Mustererkennung). Ralf Der Lernen. Vorlesung 01 -WS 06 / 07 4

Paradigmen des Lernens II • Diese allgemeinen, und insbesondere auf den Menschen abgestimmten Paradigmen interessieren hier weniger. Stattdessen: • Aufbau einer formalisierten Theorie mit konkreten Algorithmen für die Realisierung eines lernenden Sytems als Bestandteil eines intelligenten Systems. • Beispiel überwachtes Lernen (Lernen mit Lehrer, supervised learning): Lernsignal Inputvektor x Outputvektor y Lerner +/Lehrer: y = f(x) Ralf Der Solloutputvektor ysoll Lernen. Vorlesung 01 -WS 06 / 07 5

Paradigmen des Lernens IIa • Aufgabe des Lerners im supervised learning ist das „Erlernen“ des Funktionszusammenhages y = f(x) aus einer endlichen Anzahl von im allgemeinen verrauschten Trainingsbeispielen (x, ysoll ). Lernsignal Inputvektor x Outputvektor y Lerner +/Lehrer: y = f(x) Ralf Der Solloutputvektor ysoll Lernen. Vorlesung 01 -WS 06 / 07 6

Paradigmen des Lernens III • Reinforcement-Lernen: Lernen aus Lob und Tadel. Zwischen supervised unsupervised Lernen. Inputvektor x Outputvektor y Lerner r Lehrer Ralf Der Bewertung des Verhaltens des Lerners (Reward r) Lernen. Vorlesung 01 -WS 06 / 07 7

Paradigmen des Lernens IVa • Nichtüberwachtes Lernen (unsupervised learning): Erkennen von Strukturen in den Daten, meist aus statistischen Regelmäßigkeiten • Beispiel Clusterung: der Lerner lernt selbständig, jeden Datenvektor einem Cluster zuzuordnen. Cluster 1 Inputvektor x Lerner Cluster n Ralf Der Lernen. Vorlesung 01 -WS 06 / 07 8

Paradigmen des Lernens IVa • Beispiel Clusterung: der Lerner lernt selbständig, jeden Datenvektor einem Cluster zuzuordnen. x 2 Clustervektoren x 1 Ralf Der Lernen. Vorlesung 01 -WS 06 / 07 9

Lernverfahren • Neben den Paradigmen des Lernens unterscheidet man auch nach den Lernverfahren, d. h. den konkreten algorithmischen Ansätzen mit denen das Lernen stattfindet. • Diese hängen eng von der konkreten Realisierung des Lerners an. Z. B. parameteradaptive Lernverfahren: Lerner durch eine parametrisierte Funktion realisiert. Beispiel neuronales Netz. Parameter werden sukzessive angepasst, um die Leistungen des Lerners zu optimieren. • Beispiel supervised learning mit Gradientenverfahren: Definiere eine Fehlerfunktion » E = || y – ysoll ||2 • Gradientenabstieg: Update für Parametervektor w: Ralf Der Lernen. Vorlesung 01 -WS 06 / 07 10

Beispiel lineare Regression • Lerner durch Funktionsansatz y = ax + b mit Parametervektor w = (a, b)T gegeben. Gesucht beste Parameter, die Abweichung von den Datenpunkten minimieren: y y = ax + b x • Avanciertes Verfahren (nichlinear, hochdimensional, effektiv): Support-Vector-Machines Ralf Der Lernen. Vorlesung 01 -WS 06 / 07 11

Vorschau • Im folgenden zunächst neuronale Netze als Beispiele für parameteradaptive Lernverfahren behandelt. Ralf Der Lernen. Vorlesung 01 -WS 06 / 07 12

Einige Bilder Ralf Der Lernen. Vorlesung 01 -WS 06 / 07 13

Neuronen Mathematisches Modell des Neurons : x 1 w 1 z y xn Ralf Der Lernen. Vorlesung 01 -WS 06 / 07 14

Neuronale Netze Ralf Der Lernen. Vorlesung 01 -WS 06 / 07 15