Metoda Nave Bayes Formula Bayes Pentru evenimente independente

Metoda Naïve Bayes

Formula Bayes Pentru evenimente independente: P(A, B) = P(A) * P(B) Pentru evenimente dependente: P(A, B) = P(A/B) *P(B) P(A, B) = P(B/A) * P(A) Unim equațiile: P(A/B) * P(B) = P(B/A) * P(A) Rescriem: P(A/B) = P(B/A) * P(A) / P(B)

Statistica pentru un examen N frecvența exemplară studierea înainte de examen nota 1 da da pozitivă 2 nu da negativă 3 da da pozitivă 4 nu da negativă 5 da da pozitivă 6 da nu negativă 7 da nu pozitivă 8 nu nu negativă 9 da nu pozitivă 10 da nu ? ? ?

Formula Bayes P(A/B) = P(B/A) * P(A) / P(B) A – class B – data P(class / data) = P(data / class) * P(class) / P(data) = P(a 1 a 2 a 3 . . . an-1 an) a 1 a 2 a 3. . . an-1 an - atributele

Aplicăm Formula Bayes A – class B – data P(class / data) = P(data / class) * P(class) / P(data) P(data / class) = P(a 1 a 2 a 3 . . . an-1 an / class) a 1 a 2 a 3. . . an-1 an - atributele

Naïve Bayes Este numit naïve din cauză că considerăm că fiecare atribut este independent față de celelalte atribute P(data) = P(a 1 a 2 a 3 . . . an-1 an) = = P(a 1) P(a 2) P(a 3) . . . P(an-1) P(an) = = P(a 1) * P(a 2) * P(a 3) *. . . * P(an-1) * P(an)

Naïve Bayes fiecare atribut este independent față de celelalte atribute însă dependent de clasă P(class / data) = P(data / class) * P(class) / P(data) P(data / class) = P(a 1 / class a 2 / class a 3 / class . . . an-1 / class an / class) = = P(a 1 / class) * P(a 2 / class) * P(a 3 / class) *. . . * P(an-1 / class) * P(an / class)

Formula Bayes P(class / data) = P(data / class) * P(class) / P(data) P(examen=da / (frecvența=da, studii=nu)) = P(frecvența=da / examen=da)* * P(studii=nu/ examen=da) * * P(examen=da ) / P(frecvența=da, studii=nu) = = (5/5) * (2/5) * (5/9) / ((6/9)*(4/9)) = 0, 75

Formula Bayes P(class / data) = P(data / class) * P(class) / P(data) P(examen=nu / (frecvența=da, studii=nu)) = P(frecvența=da / examen=nu)* * P(studii=nu/ examen=nu) * * P(examen=nu ) / P(frecvența=da, studii=nu) = = (1/4) * (2/4) * (4/9) / ((6/9)*(4/9)) = 0, 19

Statistica pentru un examen N frecvența exemplară studierea înainte de examen nota 1 1 2 0 1 0 3 1 1 1 4 0 1 0 5 1 1 1 6 1 0 0 7 1 0 1 8 0 0 0 9 1 0 1 10 da nu da (P=0, 75)

Terminologia

Baza deciziei de alegere a clasei: selectăm clasa cu probabilitatea maximă