EM Algoritam ExpectationMaximization algoritam 117 Uvod Kmeans algoritam

  • Slides: 17
Download presentation
EM Algoritam Expectation–Maximization algoritam 1/17

EM Algoritam Expectation–Maximization algoritam 1/17

Uvod - K-means algoritam cvrsto grupisanje (granice izmedju grupa cvrste) - Probabilisticko grupisanje (meko

Uvod - K-means algoritam cvrsto grupisanje (granice izmedju grupa cvrste) - Probabilisticko grupisanje (meko grupisanje , granice izmedju grupa nisu tako cvrste) - Data instanca(model) moze dakle pripadati vise grupa istovremeno sa vecom ili manjom verovatnocom pripadanja nekoj grupi 2/17

Tema za danas. . . - Kod klasifikacije (cvrstog grupisanja) znamo tacno pripadnost grupi

Tema za danas. . . - Kod klasifikacije (cvrstog grupisanja) znamo tacno pripadnost grupi (verovatnoca 0 ili 1) - Ovde u nasem primeru (meko grupisanje) ne znamo tacno pripadnost grupi (verovatnoca 0 -1) - Algoritam EM je upravo nacin da utvrdimo sa kojom verovatnocom (manjom ili vecom) neke od instanci nekog izvora(modela) pripdaju tom izvoru - Primer ? ? ? 3/17

Primeri - U sledecim primerima bice pokazano: - Izracunavanje parametara Gausove mesavine kada je

Primeri - U sledecim primerima bice pokazano: - Izracunavanje parametara Gausove mesavine kada je poznat broj izvora (primer 1. ) - Pronalazenje sa kom verovatnocom svaka od instanci pripada kom izvoru Gausove mesavine ako su poznati parametri raspodele (primer 2. ) - Pronalazenje sa kojom veravtnocom svaka od instnaci pripada kom izvoru ako nisu poznati parametri raspodele (EM alogoritam : ) ) (primer 3. ) 4/17

Neki opsti pojmovi - Upoznacemo se sa nekim opstim pojmovima koji ce biti korisni

Neki opsti pojmovi - Upoznacemo se sa nekim opstim pojmovima koji ce biti korisni prilikom prolaska kroz navedene primere. - U narednim primerima posmatracemo plave i zute kuglice (dakle dva izvora Gausove mesavine) - Inace moze biti reci o bilo kakavim instancama nekih modela podataka u racunarskoj tehnologiji a sire … - Dva parametra Gausove raspodele kao sto su srednja vrednost i varijansa(odstupanje od srednje vrednosti) 5/17

Primer 1 - U ovom primeru posmatracemo zute i plave kuglice - Dakle dva

Primer 1 - U ovom primeru posmatracemo zute i plave kuglice - Dakle dva poznata izvora Gausove mesavine - Posto su nam izvori mesavine poznati jednodimenzionalno mozemo doci do parametara Gausove mesavine za neke posmatrane x vrednosti ovi podataka (kuglica) 6/17

Primer 1 nastavak. . . - Prva jednacina izracunava srednju vrednost Gausove raspodele za

Primer 1 nastavak. . . - Prva jednacina izracunava srednju vrednost Gausove raspodele za palve kuglice - Druga jednacina izracunava varijansu za plave kuglice - Na isti nacin mozemo doci i do parametara raspodele za drugi izvor (zute kuglice) - Kao sto smo videli vrlo lako se dolazi do resenja ako su izvori Gausove mesavine poznati - AKO NISU ? ? 7/17

Primer 2 - Posmatramo primer istih kuglica - Samo u ovom slucaju ne znamo

Primer 2 - Posmatramo primer istih kuglica - Samo u ovom slucaju ne znamo koja kuglica pripada kom izvoru ? - U slucaju da nam neku kaze srednje vrednosti pojavljivanja plavih? ? ? i zutih? ? ? kuglica i njihove varijanse takodje mozemo odrediti koja od kuglica pripada kom izvoru i sa kolikom verovatnocom 8/17

Primer 2 nastavak. . . - Verovatnoca da je neka od kuglica plava se

Primer 2 nastavak. . . - Verovatnoca da je neka od kuglica plava se izracunava: - b u zagradi dolazi od blue - Takodje na isti nacin vrsimo racunjanje za zute kuglice - ALI ZASTO BI NAM NEKO UOPSTE REKAO KOJI SU PARAMETRI RASPODELE ? ? ? - Algoritam EM nam pomaze u tome kada nemamo parametre poznate 9/17

Primer 3 - Kako EM algoritam resava problem pronalazenja koja od instnaci pripada kom

Primer 3 - Kako EM algoritam resava problem pronalazenja koja od instnaci pripada kom izvoru neznajuci parametre ? ? ? - EM algoritam je iterativni algoritam - U prvoj iteraciji se za vrednosti parametre raspodele biraju totalno random vrednosti - I za svaku od instanci(kuglica) se proracunava verovatnoca na osnovu slucajnih vrednosti izabranih za srednju vrednost i varijansu - formule iz primera 2. 10/1 7

Primer 3 nastavak. . . - Da li je verovatnoca da je poslednja kuglica

Primer 3 nastavak. . . - Da li je verovatnoca da je poslednja kuglica plava blizu 1 na osnovu date slike ? ? 11/1 7

Primer 3 nastavak. . . - Nije, ali je mnogo veca verovatnoca da je

Primer 3 nastavak. . . - Nije, ali je mnogo veca verovatnoca da je plava nego da je zuta - Kod EM algoritma verovatnoca nece nikada biti 0 ili 1 vec uvek nesto izmedju (meko grupisanje da se podsetimo) 12/1 7

Primer 3 nastavak. . . - Posle prve iteracije kao sto smo videli na

Primer 3 nastavak. . . - Posle prve iteracije kao sto smo videli na slici verovatnoce izgledaju tako - Proracunate formulom - Gde je bi verovatnoca da je kuglica plava a ai verovatnoca da je zuta - Sada na osnovu verovatnoca mozemo izracunati nove vrednosti za Gausove parametre 13/1 7

Primer 3 nastavak. . . - Formule koje koristimo : - Upravo ove vrednosti

Primer 3 nastavak. . . - Formule koje koristimo : - Upravo ove vrednosti parametara koristimo u sledecoj iteraciji algoritma - Nalazimo nove vrednosti verovatnoca u novoj iteraciji 14/1 7

Primer 3 nastavak. . . - Slike neke od narednih iteracija - I tako

Primer 3 nastavak. . . - Slike neke od narednih iteracija - I tako algoritam iterira sve do konvergencije parametra verovatnoca (dok se parametri sasvim ne priblize u iteracijama) 15/1 7

Zakljucak - Dakle EM algoritam na osnovu slucajnih pocetnih vrednosti za parametre Gausove raspodele

Zakljucak - Dakle EM algoritam na osnovu slucajnih pocetnih vrednosti za parametre Gausove raspodele nalazi verovatnoce koja instanca(kuglica) pripada kom izvoru (plavom-zutom) i tako iterira do konvergencije 16/1 7

Hvala na paznji !!! ssd Stefan Spasic 3045/2014 stefan. m. spasic@gmail. com 17/1 7

Hvala na paznji !!! ssd Stefan Spasic 3045/2014 stefan. m. spasic@gmail. com 17/1 7

ALGORITAM A ALGORITAM A PRETRAGA ILI ALGORITAM AALGORITAM A ALGORITAM A PRETRAGA ILI ALGORITAM A
kmeans Clustering Hongning Wang CSUVa Todays lecture kmeanskmeans Clustering Hongning Wang CSUVa Todays lecture kmeans
Cluster Analysis KMeans KMeans Clustering Hierarchical Clustering DensityBasedCluster Analysis KMeans KMeans Clustering Hierarchical Clustering DensityBased
Cluster Analysis KMeans KMeans Clustering Hierarchical Clustering DensityBasedCluster Analysis KMeans KMeans Clustering Hierarchical Clustering DensityBased
Kmeans Clustering Kmeans Clustering What is clustering WhyKmeans Clustering Kmeans Clustering What is clustering Why
KMeans Clustering Algoritma KMeans Euclidean Distance Rumus EuclideanKMeans Clustering Algoritma KMeans Euclidean Distance Rumus Euclidean
KMEANS Kmeans Clustering Partitional clustering approach Each clusterKMEANS Kmeans Clustering Partitional clustering approach Each cluster
CSCE 587 Midterm Review Kmeans Clustering KMeans ClusteringCSCE 587 Midterm Review Kmeans Clustering KMeans Clustering
Clustering kMeans hierarchical clustering SelfOrganizing Maps Outline kmeansClustering kMeans hierarchical clustering SelfOrganizing Maps Outline kmeans
Kmeans properties Pasi Frnti 11 10 2017 KmeansKmeans properties Pasi Frnti 11 10 2017 Kmeans
Iterative and nonIterative Computations Kmeans Performance of KMeansIterative and nonIterative Computations Kmeans Performance of KMeans
Kmeans properties Pasi Frnti 11 10 2017 KmeansKmeans properties Pasi Frnti 11 10 2017 Kmeans
Iterative and nonIterative Computations Kmeans Performance of KMeansIterative and nonIterative Computations Kmeans Performance of KMeans
Clustering kMeans hierarchical clustering SelfOrganizing Maps Outline kmeansClustering kMeans hierarchical clustering SelfOrganizing Maps Outline kmeans
Clustering kMeans hierarchical clustering SelfOrganizing Maps Outline kmeansClustering kMeans hierarchical clustering SelfOrganizing Maps Outline kmeans
Clustering kMeans hierarchical clustering SelfOrganizing Maps Outline kmeansClustering kMeans hierarchical clustering SelfOrganizing Maps Outline kmeans