Regresija Odkrivanje zakonitosti v podatkih UNG 2011 Petra

Regresija Odkrivanje zakonitosti v podatkih UNG, 2011 Petra Kralj Novak, Vid Podpečan

Regresijski problemi • bistvo – razred ni več diskretna spremenljivka, ampak zvezna – torej: vrednosti razreda so realna števila • algoritmi – – – linearna regresija (najpreprostejše) regresijska drevesa metoda podpornih vektorjev (SVM) nevronske mreže varianta Naivnega Bayesa • komplicirana, se obnese slabše kot ostale metode

Podatki Imamo podatke o starosti in telesni višini ljudi

Linearna regresija - linearna regresija je premica (y = k*x + n) - minimizira povprečje kvadratov odstopanj višina = 0. 0023 * Starost + 1, 52

Primer linearne regresije Želimo napovedati višino 40 in 5 let starega človeka (formula: Višina = 0. 0023 * Starost + 1, 52) Višina(40 let) = 0. 0023 * 40 + 1, 52 = 1, 61 m Višina( 5 let) = 0. 0023 * 5 + 1, 52 = 1, 53 m

Regresijsko drevo • • podobno kot odločitveno drevo ciljna spremenljivka je zvezna minimizira standardno deviacijo v listu napoved – povprečje vrednosti v listu ali – linearna funkcija v listu ali – poljubna funkcija v listu • primer:

Regresijsko drevo

Primer: regresijsko drevo - želimo napovedati višino 40 in 5 let starega človeka - ker je 40 > 10, 5 višina je 1, 6278 m - ker je 5 < 10, 5 višina je 1, 4029 m

Model tree • napoved v listu je linearna regresija (premica)

Model tree

Primer: model tree - želimo napovedati višino 40 in 5 let starega človeka - ker je 40 let > 10, 5 let 0, 0015 * 40 + 1, 5755 = 1, 63 - ker je 5 let < 10, 5 let 0, 0279 * 5 + 1. 203 = 1, 34

Regresija v Weki Linearna regresija: weka –> classifiers –> functions –> Least. Med. Sq Regresijsko drevo: weka –> classifiers –> trees –> M 5 P s parametrom build regression tree = true Model tree: weka –> classifiers –> trees –> M 5 P s parametrom build regression tree = false

Povzetek