SZTUCZNA INTELIGENCJA DIAGRAMY oraz DRZEWA DECYZYJNE i KLASYFIKUJCE

SZTUCZNA INTELIGENCJA DIAGRAMY oraz DRZEWA DECYZYJNE i KLASYFIKUJĄCE Akademia Górniczo-Hutnicza Adrian Horzyk Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii Biomedycznej Laboratorium Biocybernetyki 30 -059 Kraków, al. Mickiewicza 30, paw. C 3/205 horzyk@agh. edu. pl, Google: Adrian Horzyk

DRZEWA DECYZYJNE DECISION TREES ü Wspomagają podejmowanie decyzji. ü Uwzględniają wyniki zdarzeń losowych, kosztów, zasobów, użyteczności itp. ü Umożliwiają określenie najbardziej prawdopodobnej lub korzystnej strategii osiągnięcia zaplanowanego celu. ü Są proste do zrozumienia oraz interpretacji wyników (biała skrzynka – white box), więc łatwe w stosowaniu. ü Nie wymagają wstępnej obróbki danych, normalizacji, standaryzacji ani konwersji na dane liczbowe.

Tworzenie i optymalizacja drzew decyzyjnych Przy konstrukcji drzew decyzyjnych stosujemy entropię. Entropia H to średnia ilość informacji przypadająca na znak symbolizujący zajście zdarzenia x z pewnego zbioru. Każde zdarzenie i w tym n-elementowym zbiorze ma przypisane pewne prawdopodobieństwo wystąpienia p(i):

Własności entropii Entropia H jest: Ø Nieujemna. Ø Maksymalna, gdy prawdopodobieństwa zajść wszystkich zdarzeń są takie same. Ø Zerowa, gdy prawdopodobieństwa zajść zdarzeń przyjmują wartości tylko 0 lub 1. Ø Sumą entropii, gdy zdarzenia są niezależne (zachodzi tzw. superpozycją).

Zbiór uczący „ Golf ” przykład tworzenia drzewa decyzyjnego Zbiór uczący Golf prezentuje decyzje członków klubu golfowego o obecności w klubie i podjęciu gry w golfa w zależności od pogody wyrażonej przez zachmurzenie, temperaturę, wilgotność i wietrzność:

Przykład drzewa decyzyjnego dla zbioru „ Golf ”

Tworzenie drzewa decyzyjnego z wykorzystaniem entropii dla zbioru uczącego „ Golf ” Najpierw liczymy entropię dla różnych przypadków określonych w zbiorze uczącym: Zachmurzenie = słonecznie: Zachumurzenie = deszczowo: Zachumurzenie = pochmurno: Jeśli entropia = 0, oznacza to utworzenie liścia w drzewie.

Tworzenie drzewa decyzyjnego z wykorzystaniem entropii dla zbioru uczącego „ Golf ” Następnie na podstawie określonych entropii potomków wyznaczamy wartość entropii węzła z wykorzystaniem prawdopodobieństwa La. Place’a wystąpienia danego zdarzenia losowego:

Warunek stopu oparty o zysk informacyjny dla tworzenie drzewa decyzyjnego „ Golf ” Drzewa decyzyjne możemy budować tak długo, dopóki otrzymujemy pewien zysk informacyjny wynikający z dalszych podziałów, obliczony jako różnica pomiędzy entropią przed podziałem i po podziale:

Przycinanie drzew decyzyjnych ma na celu uzyskanie lepszej zdolności do uogólniania, szczególnie w sytuacjach, gdy dane są zaszumione lub mogą w nich występować błędy. Można też wykorzystać zbiór testowy lub walidację krzyżową w celu uzyskania optymalnej wielkości strukturę drzewa decyzyjnego. Przycinać możemy: Ø Przez obcięcie (uniemożliwiając dalsze rozgałęzienia, zastępując węzeł liściem – etykietą klasy), jeśli węzeł reprezentuje generalnie wzorce jednej klasy. Ø Przez zamianę (zastępowanie węzła jednym z jego potomków), jeśli potomek jest repzentatywny dla danej gałęzi drzewa.

Algorytm tworzenia drzewa decyzyjnego C 4. 5 Rossa Quilana 1. Wybierz atrybut, który najbardziej różnicuje wartości wyjściowe atrybutów. 2. Stwórz oddzielną gałąź w drzewie dla każdej wartości wybranego atrybutu. 3. Podziel przypadki na podgrupy tak, aby odzwierciedlały wartości w wybranym węźle. 4. Dla każdej podgrupy zakończ proces wybierania kolejnych atrybutów, jeśli: Ø Wszystkie podgrupy mają taką samą wartość dla atrybutu wyjściowego. Ø Podgrupa zawiera pojedynczy węzeł. 5. Dla każdej podgrupy stworzonej w punkcie 3. , która nie została określona jako liść, powtórz powyższy proces od punktu 1.

DRZEWA KLASYFIKUJĄCE CLASSIFICATION TREES Drzewa klasyfikujące to drzewa decyzyjne zastosowane do zadań klasyfikacji. W liściach drzew klasyfikujących znajdują się etykiety klas. W węzłach drzew klasyfikujących określone są reguły podziału podzbioru wzorców uczących względem jednego z atrybutów, który możliwie najbardziej różnicuje wzorce z tego podzbioru wzorców. Proces podziału drzewa klasyfikującego kończy się w momencie, gdy wzorce z podzbioru reprezentowanego przez dany węzeł reprezentują już tylko wzorce jednej klasy lub zasadniczo wzorce jednej klasy, a wtedy taki węzeł przekształcany jest na liść tego drzewa.

Wykorzystanie Rapid. Minera do budowy klasyfikującego drzewa decyzyjnego Wykorzystajmy teraz Rapid. Miner 6. 5 Studio do zbudowania klasyfikującego drzewa decyzyjnego dla zbioru uczącego „ Golf ”.

Importowanie danych z Excela (*. xls) do Rapid. Miner 6. 5 Studio:

Importowanie danych z Excela (*. xls) do Rapid. Miner 6. 5 Studio:

Wykorzystanie Rapid. Minera do budowy klasyfikującego drzewa decyzyjnego Zaimportowane dane z Excela podłączamy do wyjścia res: Dane z uwzględnieniem określenia danych i identyfikacji klasy (label) możemy zapisać do lokalnego repozytorium: nadając nazwę plikowi danych w tym repozytorium.

Wykorzystanie Rapid. Minera do budowy klasyfikującego drzewa decyzyjnego

Wykorzystanie Rapid. Minera do budowy klasyfikującego drzewa decyzyjnego

Porównanie wyniku uzyskanego Rapid. Minera z modelowanym drzewem

Sprawdzenie poprawności zbudowanego modelu – drzewa decyzyjnego

Sprawdzenie efektywności i precyzji działania modelu – drzewa decyzyjnego W tym przypadku wszystkie dane uczące udało się poprawnie sklasyfikować, wykorzystując zbudowane drzewo decyzyjne i osiągając 100% poprawność modelu.

DIAGRAMY DECYZYJNE DECISION DIAGRAMS Diagramy decyzyjne tworzymy poprzez redukcję drzew decyzyjnych na skutek: 1. łączenia (agregacji) liści o tych samych wartościach, 2. następnie poprzez redukcję węzłów, których wszystkie połączenia prowadzą do tego samego następnika. W taki sposób powstaje graf, który jest diagramem decyzyjnym, oszczędniejszym niż analogiczne drzewo decyzyjne. Jeśli każdy węzeł drzewa decyzyjnego posiada dokładnie dwa następniki, wtedy w wyniku takiego przekształcenia otrzymujemy binarny diagram decyzyjny (binary decision diagram).

Tworzenie diagramu decyzyjnego z drzewa decyzyjnego

AI CZY JEST JUŻ BLISKO?