Smisla funkcii tehniki i proces na Data mining

Smisla, funkcii, tehniki i proces na Data mining • So razvojot na informacionata tehnologija zna~itelno se zgolemuvaat tehni~kite mo`nostiza kreirawe, generirawe, sobirawe i prenos na podatoci. Nivno efektivno i sigurno magacionirawe kako i mo`nosta za brz pristap; • Vo razni oblasti na istra`uvawe (statistika, ve{ta~ka inteligencija, ma{insko u~ewe, prepoznavawe na oblici, baza na podatoci) se razvile proceduri na avtomatizirani analizi na podatoci so koi se otktivaat skrieni vrski i odnosi vo golemoto mno{tvo podatoci

Smisla, funkcii, tehniki i proces na Data mining • Procesot so koj se postignuva toa, prakti~arite vo oblasta na statistikata i vo oblasta na bazata na podatoci go ozna~ile so izrazot “Data Mining” rudarewe (kopawe) na podatocite; • Izrazot “Data Mining” se upotrebuva da ozna~i avtomatiziran analiti~ki proces oblikuvan za efektivna i efikasna eksploracija vo golemite zbirki na podatoci so cel otkrivawe i crpewe na vredni , “skrieni informacii” koi se odnesuvaat na novi, dotoga{ nepoznati, odnosi, fakti, relacii.

Smisla, funkcii, tehniki i proces na Data mining • Data mining se koristi so algoritmi so cel od golemoto mno{tvo podatoci da se otkrijat zna|~ajni skrieni odnosi, a tuma~eweto i razbiraweto na tie odnosi ovozmo`uva podobro dijagnosticirawe na sostojbata na stvarite, podobro predviduvawe a so samoto toa i podobro odlu~uvawe.

Smisla, funkcii, tehniki i proces na Data mining • Data mining i otkrivawe na znaewe vo golemite bazi na podatoci se poistovetuvaat i pretstavuvaat avtomatiziran proces koj proizveduva znaewe bez vklu~uvawe na istra`uva~ot vo toj proces

Smisla, funkcii, tehniki i proces na Data mining • Data mining e samo edna faza vo procesot na otkrivawe na znaewe vo golemite bazi na podatoci, vo tekot na koj se vnesuvaat pro~isteni, transformirani podatoci, barawe so posredstvo na algoritmi koristat podatoci i se dobiva proishodvrski i odnosi koi }e pominat niz fazite interpretacija i evaluacija vo procesot na otkrivawe na znaewe (Knowledge Databases Discovery- KDD)

Smisla, funkcii, tehniki i proces na Data mining • Data mining mo`at da otkrijat samo hipoteza za vrskite i odnosite koi se predmet na interpretacija i evaluacija pred nego {to (eventualno) bidat proglaseni za znaewe. Pri toa, algotitmite za avtomatsko prebaruvawe imaat bitna uloga vo slo`enite interakcii pome|u ~ovekot i bazata na podatoci

Smisla, funkcii, tehniki i proces na Data mining • Data mining e proces na eksploracija i analiza, so avtomatski ili poluavtomatski sredstva, golema koli~ina na podatoci zaradi otkrivawe na smislata na vrskite i pravilata (Berry & Linoff, 2000)

Smisla, funkcii, tehniki i proces na Data mining • Data Mining e proces na ekstrahirawe na prethodno nepoznati, validni i delotvorni informacii od golemite baza na podatoci i koristewe na tie informaci za donesuvawe klu~ni delovni odluki. (IBM)

Smisla, funkcii, tehniki i proces na Data mining • Data mining e proces na izbor, eksploracija i modelirawe na golema koli~ina pdatoci zaradi otkrivawe na prethodno nepoznati vrski za unapreduvawe na raboteweto. • Data mining se koristi so tehnikite i algoritmite od oblasta na statistikata, ve{ta~kata inteligencija i drugi oblasti za da od golemite mno{tva na podatoci se otkrijat zna~ajni “skrieni” vrski. Razbiraweto na tie vrski ovozmo`uvaat podobro dijagnosticirawe, predviduvawe, prognozirawe, simulacija i kone~no odlu~ivawe

Funkcii na Data mining • Data mining slu`i za slednive osnovni celi: – Klasifikacija- ispituvawe na svojstvata na entite I nivno sortirawe vo odnapred odredeni klasi; – Klasterizacija- segmentirawe na heterogeno mno{tvo entiteti vo homogeni podgrupi, klasteri; – Ocenuvawe- predviduvawe na nepoznatite vrednosti na kntinuiranite varijabli;

Funkcii na Data mining – Detekcija na promenite i odstapuvawata – otkrivawe na najzna~ajnite promeni vo podatocite od prethodno izmerenite ili normativnite vrednosti; – Otkrivawe asocijacii- pronao|awe stavki vo transakcijata koi impliciraat prisutnost na drugi stavki vo ista transakcija – Opi{uvawe i vizuelizacija

Funkcii na Data mining • Berry i Linoff gi klasificiraat funkciite na Data Mining vo dve grupi: – “naso~ena” analiza (zasnovana na kntrolirano u~ewe): klasifikacija, ocenuvawe, predviduvawe i – “nenaso~ena” analiza (zasnovana na nekontrolirano u~ewe): grupirawe (klasterizirawe), asocijacioni pravila, deskripcija i vizuelizacija

Tehniki i algoritmi na Data mining • Nevronski mre`i; • Klasifikacioni stebla; • Tehniki zasnovani na teorijata na fuzzy mno`estva; • Geneti~ki algoritmi; • Tehnikata najbliskiot sosed i dr.

Tehniki i algoritmi na Data miningnevronski mre`i • Nekoga{, analogija “razum-kompjuter”- na razumot mu se svojstveni mentalne reprezentacije po analogija so strukturata na podatocite vo kompjuterot i procedurite vo razumot so kompjuterskite algoritmi vo kompjuterot

Tehniki i algoritmi na Data miningnevronski mre`i • Denes – analogija “mozok- kompjuter” – spreka akonekcionisti~kite koncepcii, reprezentacijata i kompjutacijata se svateni so posredstvo na neuronite i “sinapsi”- konekcija.

Tehniki i algoritmi na Data miningnevronski mre`i • F. Rozenblat (1950) nevronski mre`iperceptroni • 1992 nevronskata mre`a kako komercijalni programi , se zasnova na ~ip koj go razvile F. Fagin i C. Mead a e primeneta vo funkcija na skener za ~ekovi

Tehniki i algoritmi na Data miningnevronski mre`i • Nevronskata mre`a e model na kompjutacija koj se sostoi od mno{tvo prosti procesori povrzani so adaptivni ponderi • Nelinearen dinami~ki sistem od “nevroni” i “sinapsi” koj gi transformira vleznite vrednosti (inputi) vo ishodi (autputi)

Tehniki i algoritmi na Data miningnevronski mre`i • U~at vrz osnova na primeri i vrz osnova na golema koli~ina na kompleksni podatoci (~esto od istoriska priroda) • Procesot na u~ewe se izvr{uva so koristewe na povratni informacii za podesuvawe na internite konekcii, {to vlijae na ishodot koj }e bide proizveden

Nevronski mre`i-osnovni funkcii • Klasifikacija (pravewe distinkcija pome|u stavkite) • Klasterizacija (grupirawe na sli~ni stavki vo grupi – klasteri) ; • Asocijativna memorija (povrzuvawe na dve ili pove}e stavki); • Modelirawe (predviduvawe zasnovano na primeri); • Predviduvawe vrz osnova na vremenski serii.

Nevronski mre`i-fazi vo procesot na dobivawe informacii od podatoci • Podgotovka na podatocite (izbor, pro~istuvawe na podatocite, prethodna obrabotka na podatocite i reprezentacija na podatocite • Otkrivawe informacii so posredstvo na algoritmite za dobivawe informacii od podatocite; • Analiza na rezultatite od proishodot od primenata na toj algoritam

Nevronski mre`i-fazi vo procesot na dobivawe informacii od podatoci • Pro~istuvaweto na podatocite- proces vo koj neto~nite podatoci ili onie koi nedostasuvaat se zamenuvaat so validni podatoci; • Prethodna obrabotka na podatocite e faza vo koja podatocite se kombiniraat so cel sozdavawe novi varijabli ili pak na drug na~in da se transformiraat pred da bidat izlo`eni na algoritmot- crpewe informacii

Nevronski mre`i-fazi vo procesot na dobivawe informacii od podatoci • Reprezentacija na podatocite e transformacija na izvornite podatoci vo format prifatliv za algoritmot na dobivawe informacii od podatoci; • Podatoci: kategoriski, diskretni numeri~ki, kontinuirani numeri~ki, simboli~ki, … • Izborot na na~inot na pretstavuvawe na podatocite zna~ajno vlijae na efikasnosta na nevronskite mre`i.

Nevronski mre`i- osnovni pristapi na u~ewa • U~ewe so kontrolirawe (nevronskite mre`i se prika`uvaat, se pretstavuvaat vleznata struktura i sakanata izlezna sodr`ina; • U~ewe bez kontrolirawe (neuronskite mre`i se prika`uvaat, se pretstavuvaat vleznite podatoci no bez dobivawe na naso~uvawe za toa koj sakan ili to~en ishod treba da bide, a da neuronskata mre`a se “samoorganizira” i obrazuva klasteri ili segmenti na podatoci • U~ewe so podr{ka podrazbira deka prika`uvaweto na sekvencite na vleznite podatoci e prateno so signali koi pretstavuvaat podr{ka.

Nevronski mre`i • Nevronskata mre`a e organizirana vo sloevi na neuronski procesorski edinici. – Sloj na vlezni edinici (procesori na vlezni podatoci) – Eden ili pove}e sloevi na skrieni edinici (koi nemaat nadvore{en input ni output) – Sloj na izlezni edinici

Nevronski mre`i • Nevronska mre`a (rekurentna) od tipot feed forward – podatocite doa|aat vo vleznata edinica, minuvaat niz skrieni sloevi a potoa vo izleznite edinici kade se pojavuva proishod, odgovor na nevronskata mre`a

Nevronski mre`i- modeli • Nevronska mre`a so propagacija nanazat – Toa e feed forward nevronska mre`a so mno{tvo sloevikoja za prilagoduvawe na konekcionite ponderi go koristi u~eweto so kontrolirawe – Ima nekolku varijacii na ovoj algoritam koj se sostoi od tri ~ekori:

Nevronski mre`i-modeli • So vleznata struktura se prika`uva slojot na vleznite procesori, niz mre`ata do izleznite edinici. Pritoa dadeni se sakanite proishodi; • Aktuelnite proishodi na mre`ata se odzemaat od sakanite proishodi i e proizveden e signalot za gre{ki koj e osnova za sleden ~ekor na propagacijta nanazat

Nevronski mre`i- modeli • Gre{kite pominuvaat nanazat niz mre`ata po pat na presmetuvawe na pridonesot na sekoja skriena procesorska edinica I izveduvawe na soodvetno prisposobuvawe kon ispraven proishod. Konekcionite ponderi se prisposobuvaat a nevronskata mre`a ne{to “nau~ila” od iskustvo.

Nevronski mre`i- modeli • Samoorganizirani mapi – Kohonen-vi mapi na crti – feed forward nevronski mre`i koristat u~ewe bea kontrolirawe • Model na nevronski mre`i zasnovan na teorijata na adaptivna rezonansa • Mre`a na radijalna bazna funkcija • Verojatnosni nevronski mre`i

Nevronski mre`i- izbor na soodveten model • Izborot na soodveten model na nevronska mre`a zavisi od: – Funkciite koi treba da gi izvr{i (pred obu~uvaweto na neuronskata mre`a treba da se odredat kriteriumite i merkite na uspe{nost na nevronskata mre`a za onaa funkcija koja treba da ja izvr{i- klasifikacija, modelirawe, predviduvawe vrz osnova na vremenski serii. Da se odredat parametrite na obu~uvawe (iznos na u~eweto, momentum, tolerancija na gre{kata, vnimatelnost, broj “epoha” – Prirodata na vleznite podatoci – Koli~inata na podatoci

Nevronski mre`i- korisnici • Relativno svatlivi za korisnicite se proishodite dobieni od informaciite koi nevronskite mre`i gi crpat od podatocite pri re{avawe na problemite na klasifikacija, klasterizacija ili predviduvawe. • Neophodno preveduvawe na onie informaci, vo oblik za polesno sva}awe od korisnicite, koi se rezultat od u~eweto na nevronskite mre`i a se implicitni vo nivnata struktura i vo vrednostite na konekcionite ponderi.

Nevronski mre`i- pristapi za otkrivawe na sodr`inata na nau~enoto od nevronskata mre`a • Analiza na osetlivosta (sensitivity analysis)odreduvawe na pridonesot, efektot koj go ima nekoja vlezna promenliva na ishod; • Generirawe na pravila na nevronskata mre`a • Vizuelizacija • Izveduvawe na mno{tvo pravila od sirovi podatoci

Nevronski mre`i- svojstva • Uspe{ni se vo koristeweto na podatocite so {umovi; • Funkcioniraat mnogu brzo; • Vremeto za nivna obuka ne e dolgo.