Pcsi Tudomnyegyetem Pollack Mihly Mszaki Kar Mszaki Informatika

Pécsi Tudományegyetem Pollack Mihály Műszaki Kar Műszaki Informatika Szak Data Mining 27. Előadás Dr. Pauler Gábor, Egyetemi Docens PTE-PMMFK Villamos Intézet Számítástechnika Tanszék Iroda: Boszorkány u. , B épület 101 Tel: 72/503 -650/3725 E-mail: gjpauler@acsu. buffalo. edu Készült a PTE Alapítvány támogatásával

Az előadás tartalma Eloszlásfüggetlen becslési rendszerek • Az eloszlásfüggetlen becslési módszerek alapfogalmai • Analitikus módszerek – Taylor-sor – Fourier transzformáció • Szabályalapú rendszerek – Alapfogalmak – Következtető gépek és fabejáró algoritmusok – Következtető gépek és a bizonytalanságkezelés – Manuális tudásbeszerzésre épülő szabályalapú rendszerek • Egyszerű szabályalapú rendszerektől a szakértői rendszerekig • Szakértői Rendszer Shellek – Az objektum-hierarchia alapfogalmai – A szakértői rendszer shell komponensei – A szakértői rendszer shell felhasnálóinak csoportjai – A szakértői rendszer shellel megoldható problémák – A szakértői rendszer shellek értékelése – Automatikus tudásbeszerzésre épülő szabályalapú rendszerek • CART • C 4. 5 • CHAID Szakirodalom

Az eloszlásfüggetlen becslési módszerek alapfogalmai 1 • A gyakorlati problémákban igen gyakran van szükség rá, hogy input és output változók (Input/Output Variables) alkotta döntési térben (Decision Space) egy bonyolult nemlineáris, nem folytonos, nem konvex/konkáv függvénytranszformációt, vezérlési függvényt (Control Function) megbecsüljünk egy tanító minta (Learning Sample), korábban megfigyelt input-output értékpárok halmaza segítségével • Az eddig tanult eloszlásfüggő függvénybecslési módszerek (Distribution Dependent Estimators), (pl. lineáris regresszió, és különféle linearizált változatai, vagy az eltérésnégyzetösszegek minimalizációján alapuló paraméterbecslések) ennek csak nagyon korlátozottan, a feltételezett elmélet eloszlásukhoz illeszkedő körülmények közt képesek eleget tenni 27. 1. PÉLDA Futódaruk • A szingapúri kikötő a világ legnagyobb konténerkikötője, ahol a konténerszállító hajókról futódaruk segítségével rakják ki/be a konténereket • A darun lógó konténert addig nem lehet lerakni, amíg leng, mert ledönti a többi konténert, viszont a daru futó részének gyorsításalassítása következtében a konténer óhatatlanul lengésbe jön • A ki/be rakodások szoros határidői viszont megkövetelik, hogy a rakodás a lehető legygyorsabban történjen

• • Az eloszlásfüggetlen becslési módszerek alapfogalmai 2 Így a darukezelőknek úgy kell gyorsítani és lassítani a futószerkezetet (Power), figyelembe véve a célpontig visszalévő távolságot (Distance), a pillanatnyi sebességet, a konténer tömegét, a drótkötél hosszát és állásszögét (Angle), a szél irányát és erősségét, hogy a konténer lengés nélkül megálljon egy adott pont felett, és gyorsan le lehessen ereszteni Amikor differenciálegyenletekkel próbálták modellezni ezt a látszólag egyszerű , néhány változós vezérlési problémát, igen csúnya és nehezen megoldható modellhez jutottak, mert az input és output változók kapcsolatát leíró vezérlési függvény egy bonyolult nemlineáris felület A darukezelők nagy része viszont egy hét alatt tökéletesen beletanul a dologba, és lengés nélkül megállítja a konténert, pedig nem jártak egyetemre (akkor nem darukezelőként dolgoznának), és a differenciálegyenletekről meg legfeljebb azt hiszik, hogy az valami cifra káromkodás. Tehát, létezniük kell alternatív módszereknek a darukezelők fejében, amik hatékonyabban megoldják a problémát!

• Az eloszlásfüggetlen becslési módszerek alapfogalmai 3 y Az eloszlásfüggetlen becslési rendszerek (Distribution Free Estimators) úgy végeznek becslést az input és output változók közti függvénytranszformációra, hogy kozben nem tesznek kikötéseket ezek korábban megfigyelt értékeinek eloszlására vonatkozóan Ezeknek vannak analitikus módszerei: • A Taylor-sor (Taylor Series) egy magasabb fokszámú polinommal közelít egy bonyolult nemlineáris függvényt értelmezési tartományának egy zárt intervallumában. A Sin(x) közelítésére látunk példát. • A Fourier-transzformáció (Fourier Transform) egy bonyolult többváltozós függvényt különböző hullámhosszú szinuszos hullámzások súlyozott kombinációjára bont. Pl. egy változóban ez lehet egy A idősor, vagy hanghullám, két változóban egy kép RGB-színmodelljének R, G, B komponensei. Értékelésük: +: Számolás- és memóriaigényük alacsony -: Nem modulárisak: a közelített függvény bármely kis lokális változása (pl. egy pici kanyarral több van benne) megváltoztatja az egész modellt, és csekély számú változás is exponenciálisan növelheti a modell komplexitását és megbízhatatlanságát • Emiatt itt ezeket a módszereket nem tárgyaljuk részletesebben (lásd az irodalomjegyzéket) • Erre a problémára a szabályalapú eloszlásfüggetlen becslési rendszerek adnak választ: x t

• • Az eloszlásfüggetlen becslési módszerek alapfogalmai 4 y A szabályalapú eloszlásfüggetlen becslési rendszerek (Rule-Based Distribution Free Estimators) az input/output változók közt a döntési térbeli vezérlési függvényt rk szabályok k=1. . l véges halmazával, a szabálybázissal (Rule Basis) vju közelítik Az rk szabályok (Rule) xi i=1. . n input és yj j=1. . m IF output változók vi, vj értékeinek, vagy [vil, viu] x [vil, viu] értékintervallumainak egymáshoz rendelése. THEN Az rk szabályok nyelvi (Linguistic) megjelenési y [vjl, vju] formája: HA Input. Valtozo 1 = Intervallum ÉS Input. Valtozo 2 = Intervallum ÉS. . . AKKOR vjl Output. Valtozo = Intervallum formában. Az rk szabályok grafikus (Graphic) megjelenési viu formája a döntési térben valamilyen hipertéglatest vil (Hyperregion) A szabályok lehetnek kölcsönösen egymást kizáróak (Mutually Exclusive), amikor nincsenek y közös részhalmazaik a döntési térben, vagy átlapolóak (Overlapping), amikor vannak Minden szabálynak van egy mx(rk) érvényességi (Validity) értéke, amely azt mutatja, hogy az input mx(rk) = 1 változók adott x vektora esetén érvényesül-e, tüzel -e (Firing): x rk. Ha input változók bármely x vektora esetén maximum egy szabály érvényes, a x szabályrendszer ellentmondásmentes (Non. Contradictive), különben önellentmondó (Contradictive) x x 2 x 1

• • • Az eloszlásfüggetlen becslési módszerek alapfogalmai 4 Egymást kizáró esetben a szabályok érvényessége y P(x rk) mx(rk) {0, 1} bináris érték, átlapoló vagy = 0. 025 mx(rk) önellentmondó esetben valamilyen = 0. 025 mx(rk) [0, 1] intervallumbeli skalár, amely az +4 m érvényesülés bizonytalanságát fejezi ki: mx(rk) P(x r ) k – Ha a szabályok bekövetkezése bizonytalan P(x rk) = 0. 945 (Uncertainty of Occourence), de a határaik pontosan definiáltak, és nem átlapolók, akkor ez a= 0. 945 mx(rk) P(x rk) Bayes-i valószínűség (Bayesian Probability) -4 m mx(rk) Pl. 94. 5% esélye van, hogy a dugattyú átmérője ± 4 m-os tűréshatáron belül marad: az atomi P(x rk) mx(rk) pontossággal definiált, mi a ± 4 m, de egy konkrét = 0. 020 dugattyúról nem lehet tudni, hogy belül lesz-e x 1 – Ha a szabályok bekövetkezése biztos, de x 2 határaiknak definiálása bizonytalan (Uncertainty of Definition), és átlapolók, akkor ez a mx(rk) fuzzy z P(x rk)= tagságfüggvény (Fuzzy membership function) Pl. Biztos, hogy minden kormány „megszorító P(x rk)= 0. 020 mx(rk) csomagot” vezet be az első 100 nap után, de 0. 025 P(x r )= k hogy ez mit takar, az nem teljesen pontosan mx(rk) 0. 945 definiált, lehet alkudozni, feszegetni a limiteket P(x rk)= – Mindkét esetben valamilyen interpolációra z (Interpolation) kerül sor a tüzelő szabályok 0. 945 P(x rk)= mx(rk) output értékei közt 0. 020 P(x rk)= Egy szabályhalmazt azonos univerzumba (Common Universe) tartozónak nevezünk, ha ugyanazon mx(rk) 0. 020 input/output változók közt vannak felírva. x Ilyenkor az outputok közvetlenül kiszámíthatók az x 1 inputokból a szabályok segítségével

Az eloszlásfüggetlen becslési módszerek alapfogalmai 5 • A valóságban azonban egy nagyméretű, z 2 sokváltozós rendszer esetén sokkal valószínűbb, hogy a szabályok a teljes döntési tér különböző altereiben (Subspace) (pl. x×z 1, z 1×z 2, z 2×z 3, z 3×y) vannak felírva, nincs bennük felhasználva az összes döntési változó • Ilyenkor 1 vagy több szabály output változója láncolódik (Chain) 1 vagy több szabály input változójához z 3 • A szabályok láncolata (Rule Chain) irányított gráffal modellezhető, amely összefüggő y (Connected), és körmentes (Non-Cycling) fax struktúrát (Tree) kell, hogy alkosson 03 02 01 • A következtető gép (Inference Engine) egy z 1 algoritmus a több altérben felírt szabályalapú 07 rendszerekben, amely a döntési tér input és 06 05 04 output altere közt létesít kapcsolatot: z 2 – Lehet előrekövetkeztető (Forward 10 09 08 chaining), vagyis adatvezérelt (Data Driven), amikor a megadott inputoktól z 3 halad az outputok kiszámítása irányába az 13 12 11 ilyenkor démonnak (Demon) nevezett y szabályok láncolatán keresztül – Lehet hátrakövetkeztető (Backward Rule 01: IF x=3 THEN z 1=1 chaining), vagyis célvezérelt (Goal Driven) amikor a megadott output értékekhez keres Rule 04: IF z 1=1 THEN z 2=1 input értékeket, a szabályok (Rule) láncolatán keresztül Rule 08: IF z 2=1 THEN z 3=3 z 1 x

Az előadás tartalma Eloszlásfüggetlen becslési rendszerek • Az eloszlásfüggetlen becslési módszerek alapfogalmai • Analitikus módszerek – Taylor-sor – Fourier transzformáció • Szabályalapú rendszerek – Alapfogalmak – Következtető gépek és fabejáró algoritmusok – Következtető gépek és a bizonytalanságkezelés – Manuális tudásbeszerzésre épülő szabályalapú rendszerek • Egyszerű szabályalapú rendszerektől a szakértői rendszerekig • Szakértői Rendszer Shellek – Az objektum-hierarchia alapfogalmai – A szakértői rendszer shell komponensei – A szakértői rendszer shell felhasnálóinak csoportjai – A szakértői rendszer shellel megoldható problémák – A szakértői rendszer shellek értékelése – Automatikus tudásbeszerzésre épülő szabályalapú rendszerek • CART • C 4. 5 • CHAID Szakirodalom

Következtető gépek és fabejáró algoritmusok 1 • A következtető gép működése egy fabejáró (Tree-Walking) algoritmuson alapul, amely a szabályfa megadott input/output vagyis start/cél csomópontjai közt igyekszik utat találni. Ezen algoritmusoknak több változata van, amelyet a következő szempontok szerint értékelhetünk: • d – a szabályfának átlagosan hány szintje (Levels) van: egy adott csomópontját gyökér elemnek (Root Node) kiválasztva, átlagosan hány él irányában áthaladva juthatunk el a levélelemekig (Leaf Node), amelyek csak egy másik elemhez kapcsolódnak • b – az elágazások (Branches) átlagos száma: a szabályfa egy csomópontjából átlagosan hány él indul ki • t=f(d, b) – átlagos keresési idő, adott szintszám és elágazásszám mellett • T {0, 1} – teljesség: biztosan megtalálja-e a start és a cél közt az utat, ha létezik • O {0, 1} – optimalitás: a lehető legrövidebb úton jut el a starttól a célig • C {0, 1} – végtelen ciklusba esik-e, ha a fa kört tartalmaz • M {0, 1} – igényel-e jelentős memóriát

Következtető gépek és fabejáró algoritmusok 2 IF X=1 A fabejáró algoritmusok csoportosítása: THEN Z 1=3 • M=0 Memóriával nem rendelkező keresések (Non-Memory Based IF Z 1=3 Search): az algoritmus nem tárol működése közben jelentős THEN mennyiségű információt a fa szerkezetéről, mindig csak egy Z 3=3 Z 2=1 csomópont szomszédaival foglalkozik IF Z 2=1 IF Z 3=3 AND – Egyszerű visszaléptetés (Simple Backtracking): a fa szintjein THEN Z 3=3 THEN lefele haladva bontja ki az ágakat, ha nem tud továbbmenni, Z 4=1 Z 6=3 THEN Z 5=2 visszafordul az előző elágazáshoz, és másik ágat választ. IF Z 6=3 Előnye az egyszerűség, de többször bejárhatja ugyanazt az THEN IF X=1 utat és körön végtelen ciklusba esik (t=bd, T=0, O=0, C=1) Z 1=3 THEN • Memóriával rendelkező keresések (Memory Based Search): Z 1=3 működésük közben a memóriában bizonyos információkat tárolnak IF Z 1=3 THEN a fa szerkezetét illetően: Z 3=3 Z 2=1 – Nem informált keresések (Non-informed Search): az algoritmus IF Z 2=1 AND IF Z 3=3 csak a csomópontok kapcsolódásának tényét vizsgálja: THEN Z 3=3 THEN • Mélységi keresés (Depth Search): a lehető legmélyebb Z 4=1 THEN Z 6=3 Z 5=2 szintig megy, közben folyamatosan tárolja egy verem. IF Z 6=3 memóriában (Last In First Out, LIFO), a szintek és THEN IF X=1 Z 1=3 elágazások adatait. Ha nem tud tovább lefele menni, az THEN első felsőbb szintű elágazásnál választja a következő még Z 1=3 be nem járt ágat. Egyszerű, teljes, közepes IF Z 1=3 THEN memóriaigényű, de nem optimális, és végtelen ciklusba THEN d Z 3=3 Z 2=1 eshet (t=b , T=1, O=0, C=1, M=b×d) IF Z 2=1 • Szélességi keresés (Width Search): Először egy adott szint IF Z 2=1 AND IF Z 3=3 THEN Z 3=3 összes csomópontját bejárja, memorizálja egy sor. Z 4=1 THEN Z 6=3 memóriában (First In First Out, FIFO), majd a legjobb Z 5=2 csomóponton lép lefele. Gyors, optimális, nem esik IF Z 6=3 d THEN végtelen ciklusba, de csillagászati a memóriaigénye (t=b , Z 1=3 T=1, O=1, C=0, M=bd)

Következtető gépek és fabejáró algoritmusok 3 IF x 1=1 IF x 1=2 IF x 2=1 IF x 2=2 Informált keresések (Informed Search): az algoritmus AND X 3=1 THEN nemcsak a csomópontok kapcsolódását vizsgálja, THEN Z 0=1 Z 1=2 Z 0=2 hanem hogy milyen hosszú úton, hány szabály láncolásán keresztül juthatunk át. Lényegében egy legrövidebb út (Shortest Path) probléma (lásd: 1 1 Lesson 24) leegyszerűsített megoldásai • Dijkstra-féle címkerögzítő algoritmus (Dijkstra Label IF x 1=1 IF x 1=2 IF x 2=1 Fixing Algorithm): AND X 3=2 THEN – Minden csomópont egy memória címkét kap, Z 0=3 Z 1=4 Z 0=4 1 ami a minimális távolságát tárolja a kezdőponttól. 1 1 – A címke kezdetben ideiglenes ekkor még csak 11 1 becslést tartlmaz, majd rögzített, amikor már IF z 0=1 IF z 1=3 IF z 0=3 biztos távolsági infót. AND z 1=2 AND z 0=4 AND z 1=4 THEN – 0. Lépés: Minden címke kezdőértéke végtelen, THEN Z 2=1 az aktuális pont a kezdőpont Z 3=1 Z 2=2 Z 3=2 1 – 1. Lépés: Az aktuális ponthoz közvetlenül 1 1 csatlakozó szomszéd csomópontok címkéi IF z 2=1 megkapják az él hosszát (általában=1), és fixre IF z 2=2 AND z 3=1 váltanak, a szomszédok szomszédainak AND z 3=2 THEN Z 4=1 THEN Z 5=1 ideiglenes címkéjét pedig javítjuk, ha a szomszéd ELSE Z 4=2 fix címkéje + élhossz értéke kisebb Z 5=2 – 2. Lépés: Ha nincs több ideiglenes címke, akkor 1 1 22 vége, különben a minimális ideiglenes címkéjű csomópontot fixre váltjuk, ez lesz az aktuális IF z 4=1 IF z 4=2 pont, majd vissza az 1. Lépéshez AND z 5=1 AND z 5=2 AND z 5=1 – Teljes, optimális, memóriaigénye közepes, de THEN d Y=1 Y=4 nem gyorsabb, mint a szélességi keresés (t=b , 3 Y=2 3 Y=3 3 T=1, O=1, C=0, M=b×d)

Következtető gépek és fabejáró algoritmusok 4 A Dijkstra-féle algoritmus azért nem gyorsabb, mert nem csak a kezdő- és a végpont közt határozza meg alegrövidebb utat, hanem a kezdőpont által generált fára (Node-Generated Tree): minden olyan csomópontra, ahova a csomópontból az élek irányában el lehet jutni. Ez az optimalitás biztosítása miatt szükséges. Azonban a legtöbb szabályfa nem olyan bonyolult szerkezetű, hogy a teljes generált fa számítására szükség lenne. • Ezen a megfigyelésen alapul a nyalábolt keresés (Beam Search): olyan Dijkstra algoritmus, ahol az aktuális pontból történő legjobb w<b db elágazással foglalkozunk. Így ez nem teljes, nem optimális, viszont sokkal gyorsabb (t=wd, T=0, O=0, C=0, M=w×d) • Az előretekintő keresésnél (Best-Fit Search) minden csomópontra van egy becslésünk, hogy mekkora távolságra lehet a céltól, és a Dijkstra algoritmusban ezeket minimalizálja. Nagyon gyors, de nem teljes és nem optimális (t=b×d, T=0, O=0, C=0, M=b×d) • Az A keresés (A Search) az előretekintő és a Dijkstra algoritmus vegyítése: a megtett távolságot + célig visszalévő távolság becslésének összegét minimalizálja. Igen gyors, teljes, de nem optimális (b×d<t<wd, T=1, O=0, C=0, M=b×d) • Az A* keresésnél (A* Search) feltesszük, hogy olyan becsléssel rendelkezünk minden csomópont céltól mért távolságára, amely nem lépi túl az ismeretlen tényleges távolságot. Így optimális is lesz (b×d<t<wd, T=1, O=1, C=0, M=b×d) (Az algoritmusokat az előrekövetkeztető esetre ismertettük. A hátrakövetkeztetésnél minden ugyanígy történik, csak fordított irányban haladunk végig az éleken) Fontos megjegyezni, hogy az A* keresés kivételével a csomópontokat összekötő élek nem tárolódnak a memóriában, hanem egy mintaillesztő (Pattern Matching) algoritmus keres kapcsolatot a szabályhalmaz elemei közt: a szabály input változóinak és ezek értékeinek kell megegyeznie már tüzelő szabályok output változóival és értékeivel. A mintaillesztés lehet: • Pontos illeszkedés (Exact Match): teljes egyezést követel, rugalmatlanabb • Részleges illeszkedés (Partial Match): egy bizonyos maximális %-os eltérést még tolerál a változók és értékeik tekintetében. Ilyenkor az eltérés költségként beépül a fa-bejáró algoritmus legrövidebb út-számításaba (nemcsak fixen 1 -es távolságot számít be élenként)

Következtető gépek és a bizonytalanságkezelés 1 A következtető gépek tovább bonyolódnak, ha a szabályok érvényessége nem bináris {0, 1} értékű, hanem valamilyen [0, 1] intervallumbeli skalárral kifejezhető bizonytalanságot takar: A legrégibb bizonytalanságkezelési módszer a Bayes-i valószínűség (Bayesian Probability): • A szabályok nem lehetnek átlapolóak, diszjunkt részhalmazait képezik a döntési térnek • A szabályrendszer önellentmondó, egy adott x inputra több, különböző output értéket eredményező rk szabály is tüzelni kezd • Azonban ezek bekövetkezése (Occourence) bizonytalan, vagyis sztochasztikus (Stochastic), határértékben P(x rk) valószínűséggel mérhető, a lehetetlen esemény valószínűsége 0, a biztos eseményé 1 • Döntési fának (Decision Tree) nevezzük azt a szabályfát, amelynek minden csomópontjánál a kiinduló élek által csatolt csomópontok szabályai ugyanazon output változóval, de ennek különböző értékeivel rendelkeznek, • És valószínűségeloszlást (Probability Distribution) alkotnak, valószínűségeik összege 1. 0. 6 0. 4 IF NEM=FFI THEN X=1 0. 5 IF NEM=NŐ THEN X=2 0. 5 0. 3 0. 7 IF IF X=2 X=1 AND HAJ= SZŐKE BARNA THEN Z=4 Z=3 Z=2 Z=1 1. 0 0. 4 0. 6 1. 0 IF IF z=2 IF IF Z=1 OR Z=3 AND IQ= z=4 THEN BUTA OKOS THEN VÁSÁRL= 16. 00$ VÁSÁRL= 2. 00$ 8. 00$ 4. 00$

• Következtető gépek és a bizonytalanságkezelés 2 0. 6× 0. 7=0. 42 0. 6× 0. 3=0. 18 0. 4× 0. 5=0. 2 Itt a szabályok bármilyen logikai kapcsolódása esetén 0. 6 0. 4 kiszámítható egy szabály bekövetkezési valószínűsége az inputjainak bekövetkezési valószínűségéből: IF 0. 40 IF 0. 60 – Komplementaritás: B: IF NOT A=1 THEN. . . P(B) NEM=FFI NEM=NŐ = 1 -P(A=1) (27. 1) THEN X=1 X=2 – Metszet: C: IF A=1 AND B=1 THEN. . . P(C) = P(A=1)×P(B=1) /ha függetlenek (27. 2) 0. 5 0. 7 0. 3 – Unió: C: IF A OR B THEN. . . P(C) = P(A=1)+P(B=1)-P(A=1∩B=1) (27. 3) IF IF X=2 X=1 • A valószínűségelméleti bizonytalanságkezelés AND HAJ= értékelése: SZŐKE BARNA – Előnye, hogy szilárd valószínűségszámítási elméleti THEN Z=4 Z=3 Z=2 Z=1 alapokkal rendelkezik – Hátránya, hogy egy nagy szabályfa összeállításához elemi valószínűségek tízezreit 1. 0 0. 4 0. 6 1. 0 kellene manuálisan begyűjteni, ami irreálisan IF IF hosszú ideig tart z=2 IF – Ezért egyes szabályalpú rendszerek a IF Z=1 OR Z=3 AND IQ= z=4 THEN BUTA valószínűségelméleti megközelítés bizonyos nem OKOS THEN VÁSÁRL= teljesen egzakt leegyszerűsítéseit használják 16. 00$ VÁSÁRL= 2. 00$ bizonytalanságkezelésre (Pl. Konfidencia faktorok, 8. 00$ 4. 00$ Dempster-Shafer modell, Modális logika, stb. ) Ezzekkel itt nem foglalkozunk, lásd az irodalomjegyzéket A bizonytalanságkezelés másik fontos eszközrendszere a Fuzzy-logika. Ezzel bővebben a Session 28–ban folalkozunk majd. 0. 6× 0. 7× 1. 0=0. 42 0. 4× 0. 5× 0. 6=0. 12 0. 4× 0. 5× 0. 4=0. 08 0. 4× 0. 5+0. 6× 0. 3=0. 38

• A szabályalapú rendszerek csoportjai Az áttekintés során nem foglalkozunk a mesterséges intelligencia (Artificial Intelligency, AI) fogalmával, történetével, a szabályalapú rendszerek elméleti hátterét adó racionális ágensek (Rational Agents) elméletével, az egyszerűbb tudásreprezetációs logikai nyelvekkel, ezekkel kapcsolatban lásd az irodalomjegyzéket. Csak olyan leszűkített nézőpontból vizsgáljuk a szabályalapú rendszereket, amennyiben eloszlásfüggetlen becslési rendszerként szóba jöhetnek az adatbányászatban: 1. Manuális tudásbeszerzésre (Manual Knowledge Aquisition) alapuló rendszerek: a szabályok létrehozása az adott tárgykör szakértőitől verbáliasna begyűjtött információk segítségével történik, ezért igen lassú és drága: 1. 1. Egyszerű szabályalapú/produkciós rendszerek (Simple Rule Based/Prod. System): • Csak előrekövetkeztető szabályokból (Production Rule), logikai operátorokból, az input/output változók deklarálásából, az inputok kezdőértékadásából áll • A szabályok egyetlen halmazt képeznek, nincs semmi belső struktúra köztük • A következtető gép körbe-körbe jár a szabályokon, és mintaillesztéssel keresi az ismertté változókhoz csatlakozó szabályokat, amelyek tüzelnek • Bizonytalanságkezelésük a Bayes-i valószínűségelméleten alapul • Példa: Prolog nyelv, Facilitator Értékelésük: +: Egyszerű felépítés, szabálybázis moduláris építhetősége, nem kell algoritmust programozni, az outputokat meg tudja magyarázni (Reasoning) a tüzelő szabályokkal -: Nagyméretű szabálybázisoknál lassú, körbeláncolt szabályokon végtelen ciklusba esik

Budos Egyszerű szabályalapú rendszerektől a szakértői rendszerekig Dim Ablak As Boolean Dim Szag As Boolean • Matematikailag bizonyítható, hogy bámely tudásanyagot Dim Huzat As Boolean lehetséges procedurális/algoritmikusan és szimbolikusan is Const Csukva As Boolean = False Nyitva As Boolean = True tárolni. Ez azért lehetséges, mert mindkét fajta tárolási mód Const Nem. Budos As Boolean = False visszavezethető bizonyos döntési térben megjelenő Const Budos As Boolean = True Const Nincs As Boolean = False alakzatokra. Lássunk erre egy példát: Const Van As Boolean = True Ablak = Csukva „Vagy büdös van, vagy huzat. ” (Braun aerodinamikai IF Ablak = Nyitva THEN axiomája Murphy I. törvénykönyvéből) Szag = Nem. Budos: Huzat = Van ELSE • Ábrázoljuk az Ablak(Csukva, Nyitva), Szag(Nem büdös, Szag = Budos: Huzat = Nincs Büdös), Huzat(Nincs, Van) változók kapcsolatrendszerét: ENDIF Huzat – Algoritmikus módon (pl. Visual Basic-ben): ha az IF ág nem n a Szag V teljesül, csak utána tér rá az ELSE ágra s Ninc – Döntési térbeli alakzatként: a szabályok tüzelését figyeli – Szimbolikus módon (pl. Prolog-ban): körbejár az 1. -2. szabályokon és kapcsolódó I/O-változókat/értékeket keres • Ez azonban nem jelenti azt, hogy minden tudásanyagot egyforma hatékonysággal lehet a kétféle módon ábrázolni! – Pl. a sokszorosan egymásbaágyazott többszörös Csukv a elágazások nem nagyon áttekinthetők algoritmukusan Nyitva Ablak Domains ‘Változók értékkészletei’ ábrázolva Ablak(Csukva, Nyitva); – Pl. a többszörösen egymásba ágyazott ciklusokat Szag(Nem. Budos, Budos); Huzat(Nincs, Van); tartalmazó algoritmusokat nehéz szabály alapú Predicates ‘Tényállítások’ rendszerben tárolni, mert a ciklus nyitó/záró Ablak(Csukva); peremfeltételek lehetséges kombinációi az n Rules ‘Szabályok’ Rule 1: Szag(Nem. Budos), Huzat(Van) változószámmal robbanásszerűen (3 n-1) nőnek IF Ablak(Nyitva); Rule 2: Szag(Budos), Huzat(Nincs) • Ezért volt szükség olyan rendszerre, amely mindkétféle IF Ablak(Csukva); módon képes tudást ábrázolni! ? Szag(X); ‘Output változó megad’ Nem. Budos

Az előadás tartalma Eloszlásfüggetlen becslési rendszerek • Az eloszlásfüggetlen becslési módszerek alapfogalmai • Analitikus módszerek – Taylor-sor – Fourier transzformáció • Szabályalapú rendszerek – Alapfogalmak – Következtető gépek és fabejáró algoritmusok – Következtető gépek és a bizonytalanságkezelés – Manuális tudásbeszerzésre épülő szabályalapú rendszerek • Egyszerű szabályalapú rendszerektől a szakértői rendszerekig • Szakértői Rendszer Shellek – Az objektum-hierarchia alapfogalmai – A szakértői rendszer shell komponensei – A szakértői rendszer shell felhasnálóinak csoportjai – A szakértői rendszer shellel megoldható problémák – A szakértői rendszer shellek értékelése – Automatikus tudásbeszerzésre épülő szabályalapú rendszerek • CART • C 4. 5 • CHAID Szakirodalom

Szakértői Rendszer Shellek 1 1. 2. A manuális tudásbeszerzést használó szabályalapú rendszerek bonyolultabb, fejlettebb változatai a szakértői rendszerek (Expert System, ES), illetve az ezeket generáló szakértői rendszer shellek (Expert System Shell, ESS): • Az ESS a szabálybázist a hatékonyabb következtetés érdekében struktúrált módon, egy objektumhierarchiában (Object Hierarchy) tárolja: – Az objektum (Object) a modellezett valós probléma egy alrendszerének számítógépi megjelenítése, adott egyedi azonosítóval ellátva. Pl. Gepkocsi – Az osztály (Class) egy adott fajta objektum szerkezet definícióját jelenti, amely nem foglal erőforrásokat. Pl. Gepkocsi. Leiro. Objektum. Tipus – A példány (Instance) egy konkrét objektum megjelenítése a neki kiosztott memóriaterület-, és processzoridő erőforrásokkal. Pl. Az. En. Kocsim: Gepkocsi. Leiro. Objektum. Tipus – Az objektumoknak tulajdonságaik (Property) vannak, amelyek adott nevű (Name), tipusú (Type), értékhatárú (Range) változók, adott értékekkel (Value). Pl. Fogyasztas = 8. 5 l/100 km, Vegsebesseg = 180 km/h. A tulajdonságok rekordszerkezetekbe (Record Type) csoportosíthatók, amelyek több szinten egymásba ágyazhatók (Embedding). A beágyazásjelölő általában a „. ”: pl. : Objektum. Nev. Tulajdonsag. Altuladonság, Az. En. Kocsim. Szelepek(7). Szelep. Hezag – A tulajdonságok lehetnek globálisan (Global) és lokálisan (Local) deklaráltak, aszerint, hogy hozzáférhetők-e más objektumok számára – Az objektumoknak eljárásaik/metódusaik (Procedure/Method) vannak, amelyek a tulajdonságaik közti, illetve bizonyos, minden objektum által hozzáférhető globális változók (Global Variable) közti kapcsolatrendszert írnak le, úgy, hogy input/output paraméterként megkapják ezeket. Pl. Objektum. Nev. Metodus(Paraméter), Az. En. Kocsim. Szelep. Beallitas(Szelep. Szam = 7)

• • • Szakértői Rendszer Shellek 2 A metódusok háromfélék lehetnek: – Procedurális utasítások (Procedural Command). Pl. : Az. En. Kocsim. Inditas – Adatezérelt, előrekövetkeztető szabályok/démonok (Demon). Pl. Az. En. Kocsim. Mi. Lesz. Ha. Napolojat. Toltok. Bele – Célvezérelt, hátrakövetkeztető szabályok (Rule). Pl. : Az. En. Kocsim. Miert. Nem. Eg. ABal. Fek. Lampa A metódusok is egymásba ágyazhatók, és lehetnek nyilvánosak (Public) és rejtettek (Hidden). Minden objektumnak van egy konstruktor (Constructor) és egy destruktor (Destructor) metódusa, ami az erőforrásokat foglalja le/szabadítja fel létrehozásakor/törlésekor. Az objektumok a külvilág fele zártak (Encapsulation): csak globális tulajdonságaik módosításával, és nyilvános metódusak meghívásával befolyásolható a működésük, kívülről nem írhatunk/olvashatunk a memóriaterületükön, és nem módosíthatjuk metódusaik kódját Az objektumok öröklési kapcsolatban (Inheritance) állnak egymással: egy bonyolultabb leszármazott/gyerek objektum (Descendent/Child Object) beágyazva tartalmazhat maximum 1 db. egyszerűbb ős/szülő objektumot (Ancestor/Parent), és maga is része lehet több, korlátlan számú még bonyolultabb objektumnak. Pl. Gyerek. Szulo, Az. En. Kocsim. Motor. Onindito A leszármazott objektum hozzáfér a az ős tulajdonságaihoz és metódusaihoz, fordítva ez nem igaz. A leszármazások többszintű rendszerét objektum hierarchiának (Object Hierarchy) nevezzük, és egy irányított gráf-fával ábrázolhatjuk. Mivel az irányított gráf grafikusan nem túl kompakt megjelenítési forma: _ □× Object: Onindito Parent: Properties: Tipus: KFZ-407 Marka: General Motors 200 W Teljesit: Methods: Ellenorzes: DIM J As Integer FOR J=1 TO 2 DO Object: Motor Parent: Onindito Properties: Tipus: Benzines Loket: 1400 ccm 16 Szelep: Methods: Hutes: _ □× IF Temp>85 THEN Term_ Szelep=Be ELSE Term_ Object: Az. En. Kocsim _ □ × Parent: Motor Properties: Tipus: Astra G Marka: Opel 1998 Evjarat: Methods: Inditas: DIM I As Integer FOR I=1 TO 12 DO

Szakértői Rendszer Shellek 3 • Ha az objektum hierarchia grafikus felhasználói felületen (Graphic User Interface, GUI) jelenik meg, akkor általában a bal oldalon van egy objektum hierarchia kontroll (Object Hierarchy Controll) (pl. Actvie. X vagy Java), a jobb oldalon az éppen szerkesztett objektum egy keretben (Frame), amelyben kitöltő mezőkbe (Slot) írhatjuk a tulajdonságok értékeit és kódszerkesztő dobozokban (Code Editor Box) férünk hozzá a metódusokhoz • Az ős-objektum metódusai a leszármazott objektumban polimorf módon (Polymorphism) jelenhetnek meg: a leszármazott objektum saját magában definiálhat az ősével megegyező nevű metódust más kóddal, ami itt és minden további leszármazottban átveszi az eredeti szerepét. – Pl. az ősben: METHOD Futomu. Fek. Ellenorzés(Fekmeret); BEGIN IF Fekmeret<8 THEN Baj; END; – Az egyik leszármazottban: METHOD Elso. Futomu. Fek. Ellenorzés(Fek. Tarcsa); BEGIN IF Fek. Tarcsa<8 THEN Baj; END; – A másik leszármazottban: METHOD Hatso. Futomu. Fek. Ellenorzés(Fek. Dob. Res); BEGIN IF Fek. Dob. Res>12 THEN Baj; END; A módosított metódusokat a virtuális metódus tábla (Virtual Method Table) nevű memóriaterület tartja nyilván Az ESS többféle bizonytalanságkezelési módszert képes használni: Bayes-i valószínűségelmélet, Konfidencia faktorok, újabban pedig Fuzzy halmazokat is • •

Szakértői Rendszer Shellek 4 Az ESS kódja és felhasználói felülete szigorúan elkülönített komponensekre (Component) oszlik: • Az adott szakterületekkel kapcsolatos tudást objektum-hierarchia alapú tudásbázisban (Knowledge Base, KB) tárolja. Ebben lehetnek: – tárgykör specifikus szabályok (Area Specific Rules) – Meta szabályok (Meta Rules), amelyek a rendszer helyes működéséhez szükségesek, Pl. objektum törlésekor a destruktor metódus meghívása • Ezt a hibrid (Hybrid) jellegű következtető gép (Inference Engine) dolgozza fel, ami képes – Procedurális kód végrehajtására – Adatvezérelt előrekövetkeztetésre: ez rugalmasabb, minden változást nyomonkövet de nagyon lassú és könnyebben végtelen ciklusba eshet – Célvezérelt hátrakövekeztetésre: ez merevebb, csak az adott céllal foglalkozik, de sokkal gyorsabb, és nehezebben esik végtelen ciklusba • Ez a munkamemóriát (Operative Memory) használja a részeredmények tárolására • Az output és létrejöttének magyarázata, valamint további szimulációs lehetőségek a magyarázó komponensben (Reasoning Component) jelennek meg. Ennek a következő funkciói vannak: – WHY Output. Valtozo=1? /WHY NOT Output. Valtozo=1? : Célvezérelt következtetésnél a megadott célhoz/ vagy tagadásához tartozó szabálylánc mutatása, diagnosztikai céllal. Pl. WHY NOT Bal. Feklampa=Eg? – WHAT IF Input. Valtozo=1? : Adatvezérelt következtetés és a hozzá tartozó szabályláncolat mutatása, szimulációs céllal Pl. WHAT IF Olaj. Nyomas<14? – WHAT IS Objektum. Nev? : Az tudásbázis szerkezetének mutatása, következtetés nélkül. Pl. WHAT IS Az. En. Kocsim. Motor. Szelep. Vezerles. Forgattyus. Tengely. Szog. Jelado. Led?

Szakértői Rendszer Shellek 5 A tudásbázis feltöltése az ismeretbeszerző komponensen (Knowledge Acquisition Component) keresztül zajlik • Direkt gyűjtési módszerek: a szakértő verbálisan/analitikusan megfogalmazható, explicit tudását (Explicit Knowledge) gyűjtik be – Interjú (Inter. View): személyes, verbális ismeretbeszerzés (lásd: Session 2) – Protokoll elemzés (Protocol Analysis): személyes, a tevékenysége közben megszakítja a szakértőt, és megkéri, hogy gondolkodjon hangosan – Külső megfigyelés (Observation): monográfia készítése a szakértő munkájáról (lásd: III/3, KGB, CIA, Moszad, MI-6) • Indirekt gyűjtési módszerek: a szakértő verbálisan/analitikusan nem megfogalmazható, látens tudását (Latent Knowledge) gyűjtik be – Fókuszcsoport (Focus Group): csoportos interjútechnika, a csoporthatás révén hoz elő rejtett infókat (lásd: Session 4) – Playback színház (Playback Theater): nagyobb közönség elött mesélteti a tudásmérnök a szakértőt egy múltbeli szituációról, amit színészek visszajátszanak a saját értelmezésükben. A szakértő álláspontját összevetve a színészek értelmezésével előjöhetnek rejtett információk (lásd: Session 4) – Pszichodráma (Psychodrama): Abban különbözik az előzőtől, hogy egy kisebb 10 -12 fős csoport önmagában játssza el az egyik tag által elmesélt történetet, aki esetleg maga is részt vehet a játékban. A személyes átélés, a csoporthatás, és szerepjáték együtt hozhat ki rejtett információkat A komponens feladata az is, hogy kiszűrje az egymásnak ellentmondó, vagy egymásra körben hivatkozó szabályokat

Szakértői Rendszer Shellek 6 • Az ESS felhasználóinak csoportjai: – Az adott tárgykör szakértője (Expert), amiben a rendszer készül, Pl. Orvos, Autószerelő – A tudásmérnök (Knowledge Engineer), aki a szakértőtől szerzett ismereteket felviszi a tudásbázisba, igyekezvén kiküszöbölni belőle az ellentmondásokat – A végfelhasználó (User), akinek egy problémáját a rendszer megoldja • Az ESS-el megoldható problémák csoportosítása: – Procedurális problémák (Procedural Problems): ezt ESS-el megoldani, annyi, mint ágyúval verébre lőni, egyszerűbben megoldható 4. generációs objektumorientált programnyelvekkel (Visual C, Visual Basic, Delphi) – Diagnosztika (Diagnostics): sok megfigyelt output változó értékeiből visszakövetkesztetni kevés lehetséges inputra. Pl. Meghibásodások felderítése, orvosi diagnosztika. Itt aratta az ESS a legnagyobb sikert – Monitoring/Szimuláció (Monitoring/Simulation): Kevés inputból előrekövetkeztetni az összes lehetséges outputra. Pl. repülőgépek robotpilótája, robotika. Ebben az ESS nem volt igazán sikeres, mert túl sok szabályt igényelt és a következtetése túl lassú volt – Konfiguráció/tervezés (Configuration/Planning): Sok inputra adott megszorító feltétel mellett kellene hátra következtetni, amíg egy kívánt célértéket el nem érünk. Pl. A motor és segédberendezéseinek összezsúfolása minél kisebb motortérbe, erőforráskorlátos tevékenységütemezés. Ebben az ESS-nek jóval erősebb – bár nehezebben érthető - vetélytársai a matematikai programozási modellek.

Szakértői Rendszer Shellek 7 • Példák ESS-re: Level 5 Object, XPert-Rule Az ESS értékelése: • +: Gyorsabb és hatékonyabb következtetési mechanizmus, mint az egyszerű szabályalapú rendszereknél, az objektumhierarchia zártsága miatt: könnyebben lehatárolható a szabályok azon részhalmaza, amelyek tüzelhetnek, és a következtetési gépnek nem kell mindig több 10000 szabályon átrágni magát • +: Az ellentmondó és körbeláncolt szabályok könnyebben felderíthetők • +: Az outputokhoz részletes magyarázatot ad a tüzelő szabályok láncolata segítségével grafikus felületen, ami a felhasználó számára átláthatbbá teszi a rendszer működését, és könnyebben elfogadhatóvá az eredményeket. Ez az ESS fő előnye az általában sokváltozós statisztikai elemzésen alapuló döntéstámogató rendszerekhez (Decision Supporting System, DSS) (lásd szakirodalom) képest: azok csak az outputot adják meg, a magyarázatát nem! • +: Ennek következtében a 1980 -as évek elejétől nagy reményeket fűztek az ESS -hez, és a mesterséges intelligencia alappilléének tartották • -: A következtetési gép kódja rendkívül bonyolult a következtetési mechanizmusok keveredése miatt • -: A manuális tudásbeszerzés redkívül drága, és egyes problémák (pl. folytonos többváltozós függvények közelítése) csak rengeteg szabállyal leírhatók, és rengeteg elemi valószínűséget kellene megfigyelni a bizonytalanság kezeléséhez • -: Mindezek miatt az ESS-ek a 1990 -es évek közepén haldoklani kezdtek. Megmentésükre kombinálni kezdték őket fuzzy rendszerekkel, ahol jóval kevesebb szabályra van szükség, a fuzzy logika sajátosságai miatt

Az előadás tartalma Eloszlásfüggetlen becslési rendszerek • Az eloszlásfüggetlen becslési módszerek alapfogalmai • Analitikus módszerek – Taylor-sor – Fourier transzformáció • Szabályalapú rendszerek – Alapfogalmak – Következtető gépek és fabejáró algoritmusok – Következtető gépek és a bizonytalanságkezelés – Manuális tudásbeszerzésre épülő szabályalapú rendszerek • Egyszerű szabályalapú rendszerektől a szakértői rendszerekig • Szakértői Rendszer Shellek – Az objektum-hierarchia alapfogalmai – A szakértői rendszer shell komponensei – A szakértői rendszer shell felhasnálóinak csoportjai – A szakértői rendszer shellel megoldható problémák – A szakértői rendszer shellek értékelése – Automatikus tudásbeszerzésre épülő szabályalapú rendszerek • CART • C 4. 5 • CHAID Szakirodalom

Automatikus tudásbeszerzést használó szabályalapú rendszerek 1 Automatikus tudásbeszerzésre elsősorban a klasszikus sokváltozós statisztikai módszerek használatosak: • Lineáris/linearizált regressziók (Linear Regression, OLS) a változók közti kapcsolatrendszer elemzésére (lásd: Session 15) • Faktoranalízis (Factor Analysis, FA) a változók mögötti rejtett hatótényezők feltárására (lásd: Session 16) • Hierarchikus klaszterezés (Hierarchical Clustering, HC) a megfigyelések csoportosítására (lásd: Session 17). A K-közép klaszterezésnek (K-mean Clustering, KC) viszont igen limitált szerepe van a tudásbeszerzésben, mivel ott előre meg kell adni a csoportok számát. • Kontingencia tábla (Crosstabulation, Cross. Tab) a csoportok háttérváltozókkal történő jellemzésére (lásd: Lesson 17) • Diszkriminancia analízis (Discriminant Analysis, DA) csoportbasorolási modell létrehozására (lásd: Session 19) • Többdimenziós skálázás (Multi Dimensional Scaling, MDS) fogalmak térbeli elhelyezésére (lásd: Session 20) Ezeket a módszereket is használják ESS-ek szabálybázisának feltöltésekor, de sohasem tudták őket rendesen integrálni a szakértői rendszer shellekbe, mert:

Automatikus tudásbeszerzést használó szabályalapú rendszerek 2 A klasszikus sokváltozós statisztikai módszerek : • Eloszlásfüggőek, ezért a mintaadatok jelentős manuális előfeldolgozását, szűrését igénylik • Csak outputokat és eloszláshoz illeszkedési teszteket szolgáltatnak, • Az outputok kialakulását nem magyarázzák, a rendszer belső transzformációi (Troughput) nem átláthatóak (Non-transparent) a felhasználó számára • Eredményeik pedig nehezen interpretálhatók IF-THEN szabályok formájában: – Pl. a diszkriminancia analízis ugyan felállít egy csoportbasorolási modellt, konvex poliéder alakú térrészekbe dobván szét a megfigyeléseket, de ezek jóval bonyolultabb alakzatok, mint azok a hipertéglatestek, amiket szöveges szabályokkal ábrázolhatunk – Ha ezeket a poliédereket több szöveges szabály együttesével közelítjük, még akkor is meglehetősen pontatlan közelítést kapunk • Az egyetlen kivétel ez alól a kontingencia-tábla, ahol a kiugró reziduális értéket mutató cellák szabályként alkalmazhatóak. Ezen az ötleten alapulnak az asszociatív szabálygenerátor (Associative Rule Generator) rendszerek, melyekkel itt nem foglalkozunk részletesen (Lásd az irodalomjegyzéket).

Automatikus tudásbeszerzés: CART 1 A klasszifikációs és regressziós fák (Classification And Regression Trees, CART) módszer célja: • Kategória- vagy folytonos független változókat (pl. hiteligénylési adatok) és egy bináris, két csoport tagjait (pl. 1: Csőd , 0: Nem csőd $ ) kódoló függő változót tartalmazó mintaadatbázis alapján • Nem fix szintszámú bináris döntési fát (Binary Decision Tree) épít, melynek minden csomópontja egy független változó adott értéke szerint bontja alsó- és felső részcsoportra a hozzá tartozó mintát, úgy hogy a részcsoportok a függő változó szerint belülről minél homogénebbek legyenek (vagy 1 vagy 0 értékek legyenek bennük nagy arányban) • A döntési fa szerkezete könnyen lefordítható egy előrekövetkeztető IFTHEN szabálybázisba • Egy független változókat tartalmazó új megfigyelés (pl. egy új hiteligénylő) bináris függő változó értéke megbecsülhető a bináris döntési fa segítségével (pl. csődbe fog menni, vagy vissza tudja fizetni a hitelt) RULE 1: IF CFPer. Kot ≤ 0. 13 THEN GOTO RULE 2 ELSE GOTO RULE 3 RULE 2: IF Ered. Per. Eszk ≤ 0. 14 THEN P(Csod)=40/45 ELSE GOTO RULE 4 RULE 3: IF Kot. Per. Eszk ≤ 0. 69 THEN P(Csod)=5/122 ELSE P(Csod)=4/10 RULE 4: IF Kot. Per. Eszk ≤ 0. 25 THEN P(Csod)=9/13 ELSE P(Csod)=0/10 $

0. 80 Automatikus tudásbeszerzés: CART 2 Inputok: • X={xij, yj, i=1. . n, j=1. . m} mintaadatok • xi i=1. . n független változókkal, amelyek vik k=1. . l diszkrét értékeket vehetnek fel (a folytonos változókat kategorizáljuk) • y {0, 1} bináris függő változóval • j=1. . m megfigyeléssel Paraméterek: • D≥ 0 – félreklasszifikációs hibavalószínűség alsó korlátja, Ered. Per. Eszk alapértelmezett értéke 0 0. 18 Kot. Per. Eszk $ Algoritmus: 0. 10 $ $ • 0. LÉPÉS: Inicializáció: Legyen az aktuális minta A = X $ $ • 1. LÉPÉS: A aktuális minta minden xi független $ $ változójára: $ $ – Ha a változónak vannak eltérő értékei (Stdev(xi)>0 $ $$$ $ $ $ és Stdev(y)>0) akkor: $ $$ $ $ $ $$ $$$$$$ • A változó minden előforduló vik értékére: $ $ $$$ $ $ $ – A aktuális mintát Gc, c {0, 1} $$$$ $ $ $ „kisebb”/”nagyobb” részcsoportokba vágja vik 0. 10 $ $$$ $ $ 0. 13 érték szerint, ahol: 0. 16 CFPer. Kot xij ≤ vik| j G 0, xij > vik | j G 1 (27. 4) – Közben keresi azt az optimális vik* változóértéket, ahol a (G 0*, G 1*) optimális RULE 1: részcsoportok y változó étékei szerinti IF CFPer. Kot ≤ 0. 13 összesített belső szórása minimális (bináris THEN. . . változóra vonatkozó szórásképlettel). Legyen ELSE. . . vik* | Sc(Sj Gc(1 -yj)/Sj Gc(1) × Sj Gc(yj)/Sj Gc(1)) Min (27. 5) 0. 30

• Automatikus tudásbeszerzés: CART 3 0. 18 Ered. Per. Eszk 0. 80 E(Gc) félreklasszifiációs hibavalószínűségek Kot. Per. Eszk 0. 14 $ 0 1. kiszámítása a két optimális részminta (G 0*, G 1*) 0 $ $ szerint: $ $ $ – Melyik csoportban magasabb az y=1 $ $ értékek aránya: $ $ $$$ $ $ c* | Sj Gc(yj)/Sj Gc(1) Max (27. 6) $ $ $$ $ $ – Az y=0 értékek aránya az y=1 többségű $ $ $$ $$$$$$ $ csoportban: $ $$$ $ $ $ $$ $ $ E(Gc*) = Sj Gc(yj-1)/Sj Gc(1) (27. 7) 0. 10 $ $$ $ $ 0. 13 – Az y=1 értékek aránya az y=0 többségű 0. 16 CFPer. Kot csoportban: E(G(c*-1)) = Sj Gc(yj)/Sj Gc(1) (27. 8) RULE 1: IF CFPer. Kot ≤ 0. 13 • Az algoritmus rekurzív ágaztatása a két THEN GOTO RULE 2 optimális részminta (G 0*, G 1*) szerint, ha azok ELSE GOTO RULE 3 nincsenek a D hibavalószínűségi korlát alatt – Ha E(G 0*) ≥ D, legyen az aktuális minta A=G 0*, ugrás az 1. LÉPÉS-hez RULE 2: IF Ered. Per. Eszk ≤ 0. 14 – Ha E(G 1*) ≥ D, legyen az aktuális minta THEN P(Csod)=40/45 A=G 1*, ugrás az 1. LÉPÉS-hez ELSE GOTO RULE 4 – Különben, ha nincsenek eltérő értékei az xi változónak: RULE 3: IF Kot. Per. Eszk ≤ 0. 69 • A aktuális minta levél elem lesz THEN P(Csod)=5/122 2. LÉPÉS: Termináció: ELSE P(Csod)=4/10 – Ha a legfelsőbb szinten vagyunk (A=X) akkor STOP különben visszalép a felsőbb szintű 0. 69 0. 30 minta ágaztatásig

Automatikus tudásbeszerzés: CART 4 Outputok: • A döntési fa szerkezete könnyen lefordítható egy előrekövetkeztető IF-THEN szabálybázisba • Egy xi független változókat tartalmazó új megfigyelés y függő RULE 1: változó értéke becsülhető a bináris döntési fa segítségével IFIFCFPer. Kot≤ ≤ 0. 13 THEN GOTO RULE 2 • A becslés megbízhatóságát a szabályfa tüzelő levél elemének THEN GOTO RULE 2 ELSE RULE 3 E(Gc) félreklasszifikációs hibavalószinűség értéke adja ELSEGOTO P(Csod)=9/132 Tesztelés: • Legyen R az E(Gc) hibavalózínűségek átlaga az összes levélelemre vonatkozóan. Ez az egész rendszer működését teszteli RULE 2: • Keresztvalidáció (Cross-validation): IF Ered. Per. Eszk ≤ 0. 14 – X mintaadatbázist elfelezi egy tanító és egy tesztmintára THEN P(Csod)=40/45 ELSE GOTO RULE 4 – A tanítómintával előállítja a döntési fát – A tesztminta újrabecslésénél figyeli az R átlagos félreklasszifikációs hibavalószínűséget RULE 3: • Beleütközhet a túltanulás (Over. Learning) jelenségébe: IF Kot. Per. Eszk ≤ 0. 69 THEN P(Csod)=5/122 – Nem a legrészletesebb felbontású fa adja a legjobb ELSE P(Csod)=4/10 keresztvalidációs eredményt! – Ez azért van, mert a túl részletes felbontás szinte egyedileg elkülöníti a minta elemeit, és eltűnik belőle minden általánosítás (Induction), ami pedig szükséges a hatékony RULE 4: becsléshez IF Kot. Per. Eszk ≤ 0. 25 $ THEN P(Csod)=9/13 – A túltanulást hallgatók esetén magolásnak (Conning) ELSE P(Csod)=0/10 nevezzük, előfordulási valószínűsége konvergál a 0 -hoz • Ez ellen a fa vágásával (Tree Pruning) védekezhetünk: – D hibavalószínűségi korlát folyamatos emelése mellett többször újrageneráljuk a fát, ami le fogja vágni a nagyon részletező ágakat, így a szabályrendszer általánosítóbb lesz – Minden fára keresztvalidálunk, és megnézzük melyik a legjobb

Automatikus tudásbeszerzés: CART 5 Előnyei: • A független változók legalább ordinális skálán kell, hogy mérhetőek legyenek, a függő binárison, így nincsenek nagy igényei a skálázást illetően • Nem zavarja meg a változóértékek túlzott koncentrációja a kategóriaváltozóknál, mint a klaszterezéseket és a diszkriminancia analízist • Folytonos változókat is képes kezelni, ha kategóriákra vágják őket elötte, bár a vágások optimalizálására nincs egzakt módszer • Egyszerű számolás a sokváltozós statisztikai módszerekhez képest • Transzparens a belső működése, a becslést képes magyarázni egy előrekövetkeztető IF-THEN szabályláncolat segítségével Hátrányai: • Az alap algoritmus csak két csoportot képes elkülöníteni, ezt a szoftverek általában többszörös iterációval áthidalják (minden csoport helyzetét megvizsgálják az összes többiből képzett csoport ellenében) • Nehézkesen kezeli a független változók közti erős kapcsolatrendszert, mert ezek átlós hiperfelületekbe kényszerítik a mintaadatbázis eloszlását a döntési térben, és ezeket nehéz leírni az IF-THEN szabályok hipertéglatestjeivel • Ez különösen súlyos ha a független változók egy idősor elemei, az időbeli kapcsolatok nem jelennek meg a CART számára. Időbeli ablakban történő felírás, dinamikus modellként segíthet • Az ágaztatás hatékonyságának tesztelése heurisztikus, nem valószínűségelméleti alapokon nyugvó teszt • Csak bináris fát képes építeni, ezért az egyszerű dolgok leírásához is sok szabály kell

Automatikus tudásbeszerzés: A CART továbbfejlesztései C 4. 5 algoritmus: Megoldja a nem bináris faszerkezetek létrehozásának problémáját: • Nem bináris, hanem korlátlan elágazásszámú fát hoz létre • Az ágankénti átlagos belső szórást igyekszik minimalizálni • A fa vágásánál binomális eloszlással konfidencia intervallumot számít az E(Gc) hibára, és a felső határ szerint vágja a fát, de életben hagyhat belőle jó alágakat • Adatvesztéses tömörítést végez a szabálybázison, az input/output értékek hasonlósága alapján Chi-square Automatic Interaction Detection (CHAID) algoritmus: Megoldja a valószínűségelmélet-alapú tesztelés problémáját: • Nem utólag vágja a fát, közben igyekszik megakadályozni a túlnövését, de van olyan változata is amely teljesen kifejti a fát (Exhaustive CHAID) • Nemcsak bináris, hanem többszörös ágaztatást képez egy független kategóriaváltozó értékeinek k csoportba sorolásával • k× 2 -es kontingencia táblát készít a kdb értékcsoportosítás × a bináris függő változó két értéke {0, 1} közt, és C 2 asszociácós tesztet mér. Ez a Session 9– ben megismert Cramer-V teszt nem normalizált változata • A maximális tesztértékű változó/értékcsoportosítás szerint ágaztat Mindezeket bővebben lásd az irodalomjegyzékben:

Szakirodalom 1 Taylor-sorok: • Egyszerű definíció: http: //hu. wikipedia. org/wiki/Taylor-sor • Matematikában: http: //www. math. bme. hu/~pogacsa/b 2_04_2_elemei/po 02_25. pdf • Fizikában: http: //www. szfki. hu/~klengyel/vektor. pdf Fourier-transzformáció: • Jelfeldolgozásban: http: //itl 7. elte. hu/html/jelfel/node 7. htm • Fizikában: http: //astro. u-szeged. hu/szakdolg/peterfia/html/chap 3. htm Szabályalapú rendszerek: • Mesterséges intelligencia bevezető: http: //www. cs. ubbcluj. ro/~csatol/mestint/ • Racionális ágensek: http: //bme. selye. sk/segedanyagok/6 felev/mi/eloadas-1 bevezeto-2004. doc • Tudásreprezentáció fajtái, logikai nyelvek: http: //hu. wikipedia. org/wiki/Els%C 5%91 rend%C 5%B 1_nyelv • Alternatív bizonytalanságkezelési módszerek: –Konfidencia faktorok: http: //www. tfhrc. gov/advanc/vve 4 a. htm –Dempster-Shafer modell: http: //www. glennshafer. com/assets/downloads/article 48. pdf –Modális logika: http: //en. wikipedia. org/wiki/Modal_logic • Döntéstámogató rendszerek: http: //www. otk. hu/cd 9198/1992/turchanyi. htm • Ingyenes szoftver: Facilitator: http: //www. dss. netstorm. net. au/software/index. html

Szakirodalom 2 Szakértői rendszer shellek: • Bevezető: http: //en. wikipedia. org/wiki/Expert_system • Indirekt tudásbeszerzési módszerek: –Playback színház: http: //elib. kkf. hu/edip/D_10239. pdf –Pszichodráma: http: //www. pszichodrama. hu/indexhu. html • Ingyenes és kereskedelmi szakértői rendszer shellek linkgyűjteménye: http: //www. ghg. net/clips/Other. Web. html Ingyenes teljesítmény-limitált demó: XPert. Rule: http: //www. xpertrule. com/samples/kb_setup. htm Automatikus tudásbeszerzés: • Asszociatív szabálygenerátorok: http: //cronos. cos. ufrj. br/publicacoes/reltec/es 61603. pdf http: //students. cs. tamu. edu/kbiggers/datamining/DMReport. Final. doc http: //www. datamining. monash. edu. au/software/camml/index. shtml • CART jegyzetek magyarul, CANAL-formátumban: CART notes. doc • CART módszer elméleti alapok: http: //www. answers. com/topic/decision-tree • C 4. 5 algoritmus: http: //en. wikipedia. org/wiki/C 4. 5_algorithm http: //people. inf. elte. hu/saci/MI/esszek/ID 3 -algoritmus. doc http: //palacsint. hu/doksik/behatolaserzekeles http: //www. jataka. hu/rics/speci/src/class 11/ • CHAID algoritmus: http: //www. statsoft. com/textbook/stchaid. html • Khi 2 teszt: http: //www. hik. hu/tankonyvtar/site/books/b 163/ch 11 s 02. html