Oppiminen Bayesverkoissa II D Heckerman A Tutorial on
Oppiminen Bayes-verkoissa II D. Heckerman. A Tutorial on Learning with Bayesian Networks. In Learning in Graphical Models, M. Jordan, ed. . MIT Press, Cambridge, MA, 1999. NIPS 2001 Tutorial: Learning Bayesian Networks From Data. Nir Friedman and Daphne Koller Tommi Kauppinen ja Tuukka Sarvi S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 1
Esitelmän sisältö • Rakenteen ja parametrien oppiminen – Pisteytysmenetelmät – Täysi Bayes • Epätäydellinen data • Case: College plans • Yhteenveto S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 2
Rakenteen ja parametrien oppiminen • Tilanne: meillä on datajoukko , josta pitää määrittää sekä Bayes-verkon rakenne että parametrit – Määritettävä kaaret ja todennäköisyydet • Määritellään satunnaismuuttuja S, jonka tilat vastaavat eri rakennevaihtoehtoja • Jo pienellä muuttujamäärällä mahdollisia verkkoja suuri määrä (ylieksponentiaalinen) • Eri lähestymistapoja: mallien pisteytys ja täysi Bayes S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 3
Mallien pistetys • Määritetään pisteytysfunktio, joka kertoo kuinka hyvin malli vastaa dataa • Etsitään suurimman pistearvon tuottavaa rakennetta • Suurin osa Bayes-verkkojen oppimista käsittelevästä kirjallisuudesta keskittyy mallien pisteytykseen ja valintaan • Monia pisteytystapoja, esim. likelihood score, crossvalidation score • Parhaat pisteet saava malli etsitään laskemalla kaikki vaihtoehdot läpi tai käyttämällä jotain etsintäalgorimia rakennevaihtoehtojen S joukossa S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 4
Mallien pisteytys: selventävä kuva S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 5
Likelihood score • Logaritmi todennäköisyydestä, että malli tuottaa annetun datan D: • Todennäköisyys saadaan kaavasta: • on datasta laskettu parametrijakauma S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 6
Cross-validation score • Opetetaan malli (päivitetään parametrit) datalla V, jossa on jätetty pois yksi havainto: • Lasketaan tn. poisjätetylle havainnolle – mitä suurempi tn. saadaan sitä suuremmat pisteet • Lasketaan eri havainnot poisjättämällä saadut pisteet yhteen: S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 7
Esim. kaksi kolikkoa 1 2 3 4 5 6 7 X h t t h h • Kaksi kolikkoa X ja Y sekä data seitsemästä heitosta Y h t h h t t h • Kaksi mallia S 1 ja S 2 • Lasketaan likelihood score molemmille S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 8
Esim. kaksi kolikkoa: malli S 1 • Halutaan laskea: • Bayesin kaavalla: • Sijoitetaan, jolloin saadaan: • on parametrien priori-jakauma mallissa S 1 • p(D|S 1) on datan priori-todennäköisyys mallissa S 1 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 9
Esim. kaksi kolikkoa: malli S 1 • Datasta saadaan: • Priori-tn. oletetaan tasajakautuneeksi: • Datan priori-tn. integroimalla: • Nyt saadaan alkup. lauseke: S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 10
Esim. kaksi kolikkoa • S 1: lle saadaan likelihood score: • Vastaavasti lasketaan S 2: n likelihood score: • S 2: n pistemäärä suurempi => S 2 on parempi malli datan valos • Tämä on järkevää kun tarkastellaan dataa S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 11
Täysi Bayes • • Lasketaan datan perusteella posteriori-todennäköisyydet p(S|D) Bayesin kaavasta: Käytetään saatuja posteriori-todennäköisyyksiä laskettaessa h Esim. lasketaan datajoukkoa D seuraavan havainnon jakauma S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 12
Täysi Bayes: selventävä kuva S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 13
Täysi Bayes vs. pisteytys • Täysi Bayes –menetelmässä säilytetään mukana kaikki mallit • Pistetysmenetelmissä valitaan paras malli • Täysi Bayes antaa kattavampia ennusteita – kaikki mahdollisuudet säilytetään mukana • Täysi Bayes laskennallisesti raskasta – mahdollisia malleja suuri määrä • Käytännössä parempi käyttää pisteytysmenetelmää S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 14
Epätäydellinen data • Datan epätäydellisyydessä voidaan erottaa kaksi eri tapausta – Puuttuvat arvot datassa – Puuttuvat tai piilotetut muuttujat (hidden variables) S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 15
Puuttuvat arvot datajoukossa ja EM (expectation maximization) • EM on metodi, jossa puuttuvat arvot datassa täydennetään olemassa olevan Bayes-verkon avulla • Saatuja arvoja käytetään kuin mitattuja S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 16
Esim. EM (expectation maximization): Data: X h t h h t Y ? ? h t t Z t ? ? t h oletetaan tunnetuksi: Tästä saadaan arviot eri yhdistelmille X, Y. N(X, Y): X Y # h h 1. 3 t h 0. 4 h t 1. 7 t t 1. 6 S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 17
Puuttuvat muuttujat (hidden variables) • Ei suoraa metodia löytää puuttuvia solmuja • Erilaisia heuristisia metodeja olemassa – puretaan toisistaan riippuvien muuttujien osaverkko kulkemaan yhteisen muuttujan kautta – Testataan verkkoa epäilyttävissä kohtaa lisäämällä mahdollisia puuttuvia muuttujia ja vertailemalla saatujen verkkojen ilmenemistodennäköisyyksiä alkuperäiseen S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 18
Puuttuvat muuttujat: selventävä kuva • (a) Datan perusteella saatu verkko (mitatut muuttujat) • (b) Ehdotus puuttuvien muuttujien lisäämiseksi S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 19
Case: College plans • Muuttujat: sex (SEX): male, female; socioeconomic status (SES): low, lower middle, upper middle, high; intelligence quotient (IQ): low, lower middle, upper middle, high; parental encouragement (PE): low, high; college plans (CP): yes, no • Data: tiedot 10318 Wisconsin high school oppilaista • Tarkoitus: saada tietoa muuttujien syy-seuraussuhteista • Lähteet: data Sewell & Shah (1968) ja analyysi D. Heckerman (1999) S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 20
Case: College plans • Kuvassa kaksi todennäköisintä rakennetta • Epäilyttävää: SES vaikuttaa suoraan IQ: iin S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 21
Case: College plans • Lisättiin puuttuva muuttuja H selittämään muuttujia IQ ja SES • Malli 2*1010 kertaa todennäköisempi kuin paras malli ilman muuttujaa H • Muuttuja H vastaa ”vanhempien laatua” S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 22
Yhteenveto: oppivat Bayes-verkot • Auttaa mallin rakentamisessa • Opitaan kahta asiaa: parametrit (todennäköisyydet) ja rakenne (kaaret) • Käytännössä tärkein menetelmä: parhaan rakenteen ja parametrien etsiminen pisteytysmenetelmillä • Epätäydellisen datan kaksi tapausta: puuttuvat arvot ja puuttuvat muuttujat • Suuri potentiaali, monia toimivia sovelluksia S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 23
Kotitehtävä 28 • (a) Todista, että N muuttujan tapauksessa mahdollisten verkkojen määrä on suurempi kuin N! (ylieksponentiaalinen). (3 p) • (b) Keksi ongelma, johon voisit käyttää oppivia Bayes-verkkoja. Listaa tutkittavat muuttujat ja kerro mistä saat dataa mallisi opettamiseksi. (3 p) S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 28 – Tuukka Sarvi Optimointiopin seminaari - Syksy 2005 / 24
- Slides: 24