AI Kaleidoscoop College 11 Machinaal Leren Algemeen Voorbeeld

AI Kaleidoscoop College 11: Machinaal Leren èAlgemeen èVoorbeeld èConcept Learning (Version Space) èBias AI 11 Leeswijzer: Hoofdstuk 10. 0 - 10. 2 + 10. 4. 1 1

Machinaal leren: algemeen (1) • Leren » betere prestaties na herhaling van zelfde of soortgelijke taak • Belangrijk, want: – essentieel voor intelligent gedrag – “startbaan” voor AI • Twee families lerende systemen: aanpassen van – symbolisch gerepresenteerde kennis – niet-symbolische gerepresenteerde kennis AI 11 2

Machinaal leren: algemeen (2) • Leren » betere prestaties na herhaling van zelfde of soortgelijke taak • “soortgelijke taak”: leer algemene kennis d. m. v. beperkt aantal voorbeelden: ð inductie probleem • verandering ¹ verbetering: ð leren kan gedrag verslechteren • Leren als zoeken: zoek de te leren representatie in de ruimte van alle mogelijke representaties AI 11 3

Machinaal leren: algemeen (3) • Twee typen leersystemen: – supervised learning (vb: concept induction) = leer goede beschrijving van een klasse d. m. v. geclassificeerde voorbeelden – unsupervised learning (vb: conceptual clustering) = ontdek nuttige klassen • Kernbegrippen: – inductive learning – inductive bias – concept learning – version space learning AI 11 4

Raamwerk voor Machinaal Leren (1) ΠWelke data & goals Welke kennis-representatie van de geleerde kennis Operaties op de kennis-representatie tijdens leren Zoekruimte voor de te leren representatie Zoektechnieken om door deze ruimte te navigeren AI 11 5

Raamwerk voor Machinaal Leren (1) Œ Data & Goals • Vb: concept-learning data = verzameling van pos. & neg. voorbeelden van een klasse goal = vind algemene beschrijving van een klasse die nieuwe voorbeelden korrekt classificeert als pos. of neg. • Vb: explanation-based learning data = een voorbeeld + algemene domein kennis goal = als bij concept learning • Vb: conceptual clustering data = verzameling ongeclassificeerde voorbeelden goal = vind een goede opdeling in groepen AI 11 6

Raamwerk voor Machinaal Leren (2) Representatie van geleerde kennis – Elke kennis-representatie uit vorige college’s – sterke invloed op leer-algorithme Operaties op de kennisrepresentatie tijdens leren – generaliseren, specialiseren, gewicht aanpassen, . . . Zoekruimte voor de te leren representatie – Gedefineerd door combinatie van & Navigatie door zoekruimte – generaliseer vanuit meest preciese definitie – specialiseer vanuit mees algemene definitie –. . AI 11 7

Voorbeeld van lerend systeem: Winston (1) Huidig concept + Nieuw pos. vb. + Domein kennis = Nieuw (algemener) concept AI 11 8

Voorbeeld van lerend systeem: Winston (1) Huidig concept + Nieuw neg. vb. = Nieuw (specifieker) concept AI 11 9

Voorbeeld: conclusies • Supervised learning, concept-learning • Positief tegen-voorbeeld: generaliseer • Negatief tegen-voorbeeld: specialiseer • Data stuurt zoek-proces • Voorbeelden moeten “lijken” op huidige concept (“near miss”) AI 11 10

Algorithme voor supervised concept learning: Version Space Search • Illustratie aan de hand van voorbeeld: Door aanbieden van pos. en neg. voorbeelden, leer het concept: “small, round, red things” small square yellow small round red +, +, + AI 11 large round green +, -, - large square red -, -, +, 11

Algorithme: Version Space Search (1) Œ Representatie van concepten als formules. Vb: square Ù small Ù red Operaties op concept-representatie: AI 11 – Generalisatie: • constante ðvariabele round ðX • verwijder conjunct square Ù small ðsquare • introduceer disjunct square ðsquare Ú small • vervang constante door algemenere square ðrectangle – Specialisatie: alles omgekeerd 12

Algorithme: Version Space Search (2) Organiseer concepten in een ruimte, geordend naar algemeenheid Navigeer door ruimte volgens de ordening: AI 11 • van specifiek naar algemeen • van algemeen naar specifiek • combinatie 13

Version Space Search: specifiek ð algemeen • Kies S = alle laagste mogelijkheden die alle positive voorbeelden dekken, en geen van de negatieve voorbeelden • Bij positief tegenvoorbeeld: generaliseer (Negatieve voorbeelden voorkomen overgeneralisatie : ÏS : ÎS _ AI 11 + + _ 14

Version Space Search: algemeen ð specifiek • Kies G = alle hoogste mogelijkheden die alle positive voorbeelden dekken, en geen van de negatieve voorbeelden • Bij negatief tegenvoorbeeld: specialiseer (Positieve voorbeelden voorkomen overspecialisatie : ÏS : ÎS _ AI 11 + + _ 15

Version Space Search: combinatie • • • Bereken zowel S als G Positief Vb: S omhoog (maar nooit boven G) Negatief Vb: G omlaag (maar nooit onder S) Ideaal: S=G ðprecies concept Als “boven S” Ç “onder G” = Æ dan bestaat er geen correct concept: – incorrecte data? – onvoldoende concept-taal? • Vb: rode ballen of blauwe blokken: niet te beschrijven met alleen conjunctie in concept-taal AI 11 16

Bias (1) • Probleem: heel veel generalisaties mogelijk van voorbeelden. • Vb: generalisaties van de bitstrings 1100, 1010: – evenveel 1 als 0 – begint met 1, eindigt met 0 – lengte 4 –. . . • Schatting van aantal mogelijke concepten: – # concepten = # mogelijke deelverzamelingen n (# elementen in de verzameling) 2 =2 =2 voor strings van lengte n – n=5 ð 4. 2 miljard concepten AI 11 17

Bias (2): bias = “vooroordeel” • vooropgezet criterium over – de concept-ruimte – keuzes in de concept-ruimte om aantal mogelijkheden te beperken Belangrijkste vorm van bias = language-bias • Vb: concept is beschreven m. b. v. 1, p en 0: 1 p p 0 = {1000, 1010, 1100, 1110} Dan: 3 n concepten: 34 = 81 –begint met 1, eindigt met 0: wel beschrijfbaar –lengte 4: wel beschrijfbaar –evenveel 1 als 0: niet beschrijfbaar AI 11 18

Bias (meer voorbeelden) • Vb: conceptaal bevat wel Ù maar niet Ú – blue Ù block Ù light: wel beschrijfbaar – (blue Ù block) Ú (light Ù block): niet beschrijfbaar • Vb: conceptaal bevat conjuncties van max. lengte: – blue Ù block : wel beschrijfbaar – blue Ù block Ù light: niet beschrijfbaar AI 11 19

Volgende keer (laatste keer. . ) Neurale Netwerken. Genetische Algorithmen: 10. 0 -10. 3, 11. 1 AI 11 20