Tukivektorikoneet II S ysteemianalyysin Laboratorio Aaltoyliopiston teknillinen korkeakoulu
Tukivektorikoneet II S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Tavoitteet • Kirja 12. 3. 3 -12. 3. 8 • Rinnastaa TVK aiemmin käsiteltyihin aiheisiin – Suuren osan hyppäsimme yli • Esitellä – – Kerneleitä & ominaisuuksia Sakkokertoimia ja funktiota Polkualgoritmi Regressio ja TVK S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Tukivektorikoneet • Laajennus aiempiin: • Jako luokkiin G lineaarisin rajoin – Epälineaarisin rajoin (polynomit, splinit) laajentamalla x: n avaruutta • Vertaa – Esitelmä 17: Laajennus kantafunktioden suhteen – Esitelmä 9: Polynomisplinit • sama idea, korkeampi muunnoksen dimensio S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Tukivektorikoneet • x: ien muunnokset • (Epä)lineaarinen funktio • Luokittelija S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Kerneli • Esimerkki: Toisen asteen polynomikerneli (esitys 9) • Muuttujat & • • M = 6 ja valitsemalla S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Lagrangen duaalifunktio • Valitsemalla h(x): t sopivasti saadaan Lagrange/Wolfen duualifunktio sisätulomuodossa • Ratkaisu • Jos tunnemme : t, voidaan ratkaista mille tahansa jolle pätee • h(x) mukana vain sisätulomuodossa => laskentatehokasta! S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Kerneli • h(x): n transformaatiota ei tarvitse määrätä • Tarvitaan vain tietoa kerneli –funktiosta – Vaatimus: symmetrisesti positiivinen (semi) defininiitti funktio • Suosittuja valintoja – d: nnen asteen polynomi – Sädeperusfunktio (radial basis) – Hermoverkosto S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Esimerkki • Purppura raja: S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
TVK ja ulottuvuuksien kirous • S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
TVK ja ulottuvuuksien kirous • ”Illustratiivinen” esimerkki kirjasta – – 100 havaintoa per luokka, X: t N~(0, 1) 1. luokka: 2. luokka: sama mutta ehdolla Lisätty 6 kpl N~(0, 1) kohinaa – Tulos: 2. luokka melkein täysin ympäröi 1. luokan – 4 –ulotteinen appelsiini ja sen kuori S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Testivirheen keskiarvo 50 simulaatiosta S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Sakkoparametri C • Edellisestä esitelmästä: • Sakkoparametri C: n valinta vaikuttaa testivirheeseen – Pisteen i etäisyys väärällä puolella päätösrajaa = - Iso C sakottaa paljon : : tä - voi johtaa ylisovittamiseen ja turhan rosoiseen rajaan - Pienempi C => pienempi => sileämpi raja S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
• f S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
TVK sakkofunktiona • Minimoitava funktio Muotoa => menetys + sakko missä + viittaa positiiviseen osaan, y = +/- 1 ja S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
TVK sakkofunktiona • Erilaisia sakkofunktiota ja niitä minimoivia funktiota Minimoiva funktio • Binomipoikkeama • SVM sarana • Neliösumma • Huberisoitu neliösumma S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Polkualgoritmi TVKluokittelijalle • Miten valita oikea C? • Käytetään menetys + sakko- muotoista funktiota muodossa • Lagrangen kertoimet • Iteroidaan muuttamalla , : aa S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Polkualgoritmi TVKluokittelijalle • KKT- ehdoista seuraa, että havainnot luokkaa: kolmea eri – Oikein luokitellut pisteet marginaalin ulkopuolella – Marginaalilla olevat – Mahdollisesti väärin luokitellut pisteet (marginaalin sisäpuolella) • Aluksi iso ja marginaali • Pienennetään : aa => sisäpuolella iso => kaikki pisteet sisäpuolella pienenee => vähemmän S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
• G S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Polkualgoritmi TVKluokittelijalle – Oikein luokitellut pisteet marginaalin ulkopuolella – => ei vaikutusta : ään – Marginaalilla olevat • => ainoat vaikuttavat pisteet, kun muuttuu – Pisteet marginaalin sisäpuolella • => kiinteä vaikutus : ään • Epälineaarisille malleille: S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Regressio ja TVK • Entä jos Y kvantitatiivinen eikä kvalitatiivinen luokittelija +/- 1? • Minimointitehtävä S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Regressio ja TVK • Missä • Vaihtoehtoisesti Huberin: S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Regressio ja TVK • Ratkaisu: Missä positiivisia ja ratkaisevat SQP –ongelman s. e. vain osa i: stä täyttää tämän ehdon=> tukivektorit S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Kysymyksiä? • Kuva: http: //lecun. org/gallery/libpro/20011121 -allyourbayes/dsc 01228 -02 -h. jpg S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
Kotitehtävä Sanaselitys • Miten TVK pystyy lieventämään ulottuvuuksien kiroukseen liittyvää laskentavaativuutta? – (Vinkki: liittyy h(x): n laskentatapaan) • Jos ulottuvuuksia p on paljon (x: ien lkm), anna esimerkki tilanteesta, jolloin TVK laskee tarpeettoman monien ulottuvuuksien yli. • Lue kpl 12. 3. 0 -1, 12. 3. 4 (ja mahd. 12. 3. 7) S ysteemianalyysin Laboratorio Aalto-yliopiston teknillinen korkeakoulu Esitelmä 18 – Otto Sormunen Optimointiopin seminaari - Syksy 2010
- Slides: 24
