Metody Eksploracji Danych Eksploracja danych 1 Podstawowe pojcia

Metody Eksploracji Danych Eksploracja danych (1) Podstawowe pojęcia Data Mining, przebieg procesu, zastosowania www. metal. agh. edu. pl/~regulski Krzysztof Regulski, WIMi. IP, KISi. M, regulski@agh. edu. pl Konsultacje: pon, 9: 45; B 5, pok. 408

Plan wykładów 1. Wprowadzenie do Eksploracji Danych 2. Repetytorium z probabilistyki i statystyki. Regresja. Analiza szeregów czasowych. 3. Przygotowanie i wstępna obróbka danych. Dobór, eliminacja i redukcja liczby zmiennych 4. Klasyfikacja. 5. Grupowanie – analiza skupień. 6. Odkrywanie asocjacji. Odkrywanie wzorców sekwencji. 7. Eksploracja tekstu. Eksploracja sieci Web. KISIM, WIMi. IP, AGH 2

Eksploracja Danych Data Mining Machine Learning

Gdzie stosujemy eksplorację danych? inne polityka ? zarządzanie ekonomia gospodarka produkcja zarządzanie jakością sztuczna inteligencja: rozpoznawanie wzorców, mowy, pisma, semantyka KISIM, WIMi. IP, AGH Big. Data data mining 4

Industry 4. 0 5

Machine Learning • Uczenie maszynowe jest konsekwencją rozwoju idei sztucznej inteligencji i jej praktycznego wdrażania. • Algorytmy pozwalają na zautomatyzowanie procesu pozyskiwania i analizy danych do ulepszania i rozwoju własnego systemu. KISIM, WIMi. IP, AGH 6

Machine Learning Ø Data Mining – pozyskiwanie wiedzy przez człowieka Ø Machine Learning – odbiorcą jest maszyna, celem – usprawnienie działania. Metody (przykładowe): • Indukcja drzew decyzyjnych • Uczenie Bayesowskie (Bayesian Learning) • Uczenie z przykładów (Instance-based Learning) (np. k. NN) • Sieci neuronowe • Clustering • Support vector machines (SVM) • Analiza asocjacji (Association rule learning) • Algorytmy genetyczne • Wnioskowanie epizodyczne (CBR) • Uczenie przez wzmacnianie (Reinforcement Learning) KISIM, WIMi. IP, AGH 7

Big Data big data to zbiory informacji o dużej objętości, dużej zmienności lub dużej różnorodności, które wymagają nowych form przetwarzania w celu wspomagania podejmowania decyzji, odkrywania nowych zjawisk oraz optymalizacji procesów: szukanie, pobieranie, gromadzenie i przetwarzanie model 4 V (Volume, Velocity, Variety, Value) : • wykorzystanie – wykorzystaj najpierw wewnętrzne (własne) zasoby danych; • wnioskowanie – umiejętnie stosuj techniki analityczne, użyj ekspertów; • wzbogacanie – wzbogacaj własne dane o informacje z rynku, używaj słowników i baz referencyjnych; • weryfikacja – koniecznie weryfikuj hipotezy i wnioski. • Big Data as-a-Service (BDaa. S), czyli przetwarzanie w chmurze obliczeniowej wielkich zbiorów danych, to dziś najszybciej rozwijająca się gałąź IT • Ponad 7 miliardów dolarów – na tyle szacowana jest wartość sektora Big Data as-a-Service (BDaa. S) w roku 2020 • segment Big Data rozwija się niemal 6 -krotnie szybciej niż cały rynek IT 8

Big Data Early detection of defects and production failures, thus enable their prevention, increase productivity, quality, and agility benefits that have significant competitive value. Big Data Analytics consists of 6 Cs in the integrated Industry 4. 0 and Cyber Physical Systems environment. The 6 C system comprises: » Connection (sensor and networks) » Cloud (computing and data on demand) » Cyber (model & memory) » Content/context (meaning and correlation) » Community (sharing & collaboration) » Customization (personalization and value) Data has to be processed with advanced tools (analytics and algorithms) to generate meaningful information. KISIM, WIMi. IP, AGH 9

KISIM, WIMi. IP, AGH 10

Przechowywanie / Przetwarzanie / Analiza KISIM, WIMi. IP, AGH 11

Zalew danych Bez analizy przechowywanie danych nie ma najmniejszego sensu. UC Irvine Machine Learning Repository http: //archive. ics. uci. edu/ml/ KISIM, WIMi. IP, AGH 12

Czym jest eksploracja danych? Eksploracja danych: proces automatycznego odkrywania nietrywialnych, dotychczas nieznanych, potencjalnie użytecznych reguł, zależności, wzorców, schematów, podobieństw lub trendów w dużych repozytoriach danych. Celem eksploracji danych jest analiza danych i procesów dla lepszego ich zrozumienia Odkrywane w procesie eksploracji danych wzorce mają najczęściej postać reguł logicznych, klasyfikatorów (np. drzew decyzyjnych), zbiorów skupień, wykresów, równań liniowych, itp. Eksploracja danych to etap odkrywania wiedzy w bazach danych KDD (Knowledge Discovery in Databases). KISIM, WIMi. IP, AGH 13

Dane a wiedza Toniemy w danych, a brakuje nam wiedzy jaka jest w tych danych zawarta. „Wiedza jest specyficznym rodzajem zasobów – w przeciwieństwie do wszystkich innych, przybywa jej w miarę używania” G. Probst KISIM, WIMi. IP, AGH 14

KOMPONENTY KAPITAŁU INTELEKTUALNEGO kompetencje pracowników rotacja pracowników poziom motywacji odbyte szkolenia wiedza zawarta w dokumentach KAPITAŁ LUDZKI KAPITAŁ PROCESÓW procedury i techniki produkcyjne systemy zarządzania jakością jakość produktów odsetek braków KISIM, WIMi. IP, AGH liczbę zleceń na klienta lojalność (czas współpracy z klientem) liczbę utraconych klientów udział w rynku rozpoznawalność marki znaki handlowe inwestycje w marketing KAPITAŁ KLIENCKI KAPITAŁ INNOWACJI patenty: wartość, stan wykorzystania – korzyści płynące z patentu inwestycje w badania i rozwój odnawialność technologii IT 15

Rodzaj kapitału a funkcja zarządzania KISIM, WIMi. IP, AGH 16

Zarządzanie wiedzą (Knowledge Management) G. Probst, S. Raub, K. Romhardt Zarządzanie wiedzą (KM) - pełni rolę koordynacyjną w przedsiębiorstwie. Tworzy warunki do tworzenia lub pozyskiwania wiedzy, dzielenia się nią i wykorzystywania zajmuje się wiedzą, czyli kapitałem ludzkim – jest jedną z „funkcji” zarządzania kapitałem intelektualnym. Jego rolą jest zapewnienie sprawnego przepływu informacji i wiedzy pomiędzy wszystkimi częściami organizacji. 17

Zastosowania praktyczne • automatyczne sterowanie robotami, maszynami • automatyczna nawigacja, ustalanie tras • rozpoznawanie obrazów (twarzy, wzorców, pisma) • rozpoznawanie mowy • rozpoznawanie chorób, grup, cech, systematyka • klasyfikowanie danych do grup według kryteriów • aproksymacja nieznanej funkcji na podstawie próbek • przewidywanie trendów na rynkach finansowych • marketing KISIM, WIMi. IP, AGH 18

Web. Mining - zastosowania — Odkrywanie i analiza informacji gromadzonych w serwisie (web content mining): » wydzielenie tematów (przestrzenie tematyczne) » analiza tekstów (text mining) » katalogowanie zawartości na podstawie założonych kryteriów (crawlery) — Odkrywanie i analiza wzorców korzystania z serwisu przez użytkowników (web usage mining) » analiza logów » wykrywanie sesji w serwisach bez identyfikacji » wykrywanie ścieżek nawigacyjnych » wykrywanie „wzorców sposobów korzystania” » struktura obciążenia systemu — Analiza struktury serwisu - analiza korzystania z odsyłaczy (web structure mining) » wykrywanie nieużywanych, » błędnych, » ścieżki „na około”, » martwe końcówki KISIM, WIMi. IP, AGH 19

Proces odkrywania wiedzy Heterogeniczne źródła danych wybór zmiennych przekształcenia interpretacja i ocena odkrytych struktur KISIM, WIMi. IP, AGH 20

Dziedziny naukowe eksploracji danych Eksploracja danych to zadanie interdyscyplinarne: » statystyka, » technologie bazodanowe, » uczenie maszynowe, » rozpoznawanie wzorców, » sztuczna inteligencja, » wizualizacja. “Eksploracja danych polega na torturowaniu danych tak długo, aż zaczną zeznawać” KISIM, WIMi. IP, AGH 21

Techniki eksploracji danych • wizualizacje na wykresach • metody statystyczne • sieci neuronowe • metody uczenia maszynowego • metody ewolucyjne • logika rozmyta • zbiory przybliżone KISIM, WIMi. IP, AGH 22

KISIM, WIMi. IP, AGH 23

KISIM, WIMi. IP, AGH 24

Metody eksploracji danych — klasyfikacja/regresja (classifications) — grupowanie/analiza skupień (clustering) — odkrywanie sekwencji (sequential patterns) — odkrywanie charakterystyk — analiza przebiegów czasowych (time-series similarities) — odkrywanie asocjacji (associations) — wykrywanie zmian i odchyleń (deviation detection) — eksploracja WWW — eksploracja tekstów KISIM, WIMi. IP, AGH 25

Przykładowe algorytmy z zakresu Data Mining analiza regresji liniowej i nieliniowej, regresja logistyczna, analiza przeżycia modele szeregów czasowych ARIMA analiza ANOVA analiza skupień modele drzew decyzyjnych » indukcja drzew (CART, CHAID) data mining Grupowanie (k-Średnich; EM) SVM, ANN Rough. Sets Neuro. Fuzzy (ANFIS) MARSplines, ANOVA, VEPAC (klasyfikacyjne/regresyjne, CART) Sztuczne Sieci Neuronowe metody klasyfikacji: » najbliższych sąsiadów, naiwny klasyfikator Bayesa algorytmy indukcji reguł analiza asosjacji analiza składowych głównych PCA metoda wektorów nośnych SVM algorytm NIPALS komponenty wariacyjne (VEPAC) Sieci neuronowe KISIM, WIMi. IP, AGH Narzędzia: → STATISTICA - Stat. Soft → IBM- SPSS Statistics → środowisko R → Weka → Oracle Data Mining → Enterprise Miner SAS → Mine Set - Silicon Graphics → Alteryx → Rapid. Miner → Data Mining Client for Excel → Azure → GNU PSPP - a program for statistical analysis → Open. Stat → Statistical Lab http: //home. agh. edu. pl/~matlab/software. html 26

Sztuczna Inteligencja ?

Inteligencja — Czy inteligencja jest jakąś jedną dziedziną, czy też jest to nazwa dla zbioru odrębnych i niepowiązanych zdolności? — Co zyskujemy w procesie uczenia się? — Co to jest intuicja? — Czy inteligencja może być nabyta wskutek nauki lub obserwacji, czy też jest jakoś uwarunkowana wewnętrznie? — Jak wiedza wpływa na wzrost inteligencji? — Czy inteligencja to szczegółowa wiedza o jakiejś dziedzinie, czy zbiór związanych ze sobą różnych zdolności? KISIM, WIMi. IP, AGH 28

Inteligencja jest zdolnością do sprawnego rozwiązywania zadań intelektualnych, które zazwyczaj uchodzą za trudne. … są trudne tak długo, jak długo nie są znane algorytmy ich rozwiązywania, potem przestają być traktowane jako zadania sztucznej inteligencji w ten sposób sztuczna inteligencja nigdy nie ma żadnych osiągnięć KISIM, WIMi. IP, AGH 29

sztuczna inteligencja - rozwiązywanie „trudnych” zadań Czy to jest trudny problem ? 98731269868414316984251684351 × 985316846315968463198643541684 A to: ”Kochanie, kup ładny kawałek wołowiny…” KISIM, WIMi. IP, AGH 30

Robot kolejkowy EWA-1 -Pan tu nie stał, pan nie jest w ciąży. Krzysztof Manc (Wynalazca) KISIM, WIMi. IP, AGH - Moja konstrukcja jest optymalna, tylko ludzie nie dorośli do tego. Wolą sami stać w kolejkach. 31

Zagadnienia Sztucznej Inteligencji (AI) Soft Computing reprezentacja wiedzy Logika rozmyta Sieci neuronowe Algorytmy ewolucyjne i genetyczne Optymalizacja badania operacyjne wnioskowanie Systemy ekspertowe Wizualizacja Data mining KISIM, WIMi. IP, AGH Computational Intelligence - numeryczne Artificial Intelligence - symboliczne Uczenie maszynowe Metody statystyczne Rachunek prawdopodobieństwa Rozpoznawanie Wzorców 32

Przykłady zadań sztucznej inteligencji — dokonywanie ekspertyz ekonomicznych, prawnych, technicznych, medycznych (ocena) — wspomaganie podejmowania decyzji (doradzanie) — rozpoznawanie obrazów, twarzy, wzorców, etc. — optymalizacja (harmonogramowanie, alokacja zasobów, planowanie tras) — generacja nowej wiedzy (poszukiwanie zależności, tendencji, reguł, etc – data mining) — prognozowanie zjawisk ekonomicznych, przyrodniczych — rozumienie języka naturalnego — sterowanie urządzeniami (roboty etc) — i inne… KISIM, WIMi. IP, AGH 33

Czy nam to szybko grozi? KISIM, WIMi. IP, AGH 34

Klasy metod (techniki) eksploracji danych Odkrywanie asocjacji (kojarzenie, odkrywanie wzorców i reguł, opis zależności) - najszersza klasa metod obejmująca, najogólniej, metody odkrywania interesujących zależności lub korelacji, nazywanych ogólnie asocjacjami pomiędzy danymi w dużych zbiorach danych. Wynikiem działania metod odkrywania asocjacji są zbiory reguł asocjacyjnych lub wzorców sekwencji opisujących znalezione zależności i/lub korelacje. KISIM, WIMi. IP, AGH 35

Klasy metod (techniki) eksploracji danych Klasyfikacja (modelowanie przewidujące) - obejmuje metody odkrywania modeli (tak zwanych klasyfikatorów) lub funkcji opisujących zależności pomiędzy zadaną klasyfikacją obiektów a ich charakterystyką. Odkryte modele klasyfikacji są, następnie, wykorzystywane do klasyfikacji nowych obiektów o nieznanej klasyfikacji. Klasyfikacja często korzysta z algorytmów opartych na drzewach decyzyjnych lub sieciach neuronowych. Użycie tych algorytmów rozpoczyna się od podania im w ramach uczenia się (treningu) zbioru przykładów już sklasyfikowanych. W wypadku wykrywania nadużyć, zbiór taki zawierałby przypadki (przykłady) gdzie wystąpiło nadużycie oraz przypadki „uczciwe”. KISIM, WIMi. IP, AGH 36

Klasy metod (techniki) eksploracji danych Regresja (analiza regresji, modelowanie przewidujące) również korzysta z procesu uczenia się, z tą różnicą w stosunku do klasyfikacji, że powstaje tu funkcja (a nie odwzorowanie), która danemu elementowi przyporządkowuje konkretną wartość. Przykładem jej zastosowania jest przewidywanie popytu na nowy produkt w zależności od wydatków na reklamę. Jeśli zmienne wykorzystywane w modelach opartych na regresji mają złożoną naturę (np. wielkość sprzedaży, wskaźniki giełdowe), to zwykle do zaimplementowania regresji korzysta się z sieci neuronowych, a to z uwagi na ich przydatność w „sytuacjach nieliniowych”. KISIM, WIMi. IP, AGH 37

Klasy metod (techniki) eksploracji danych Grupowanie (analiza skupień, klastrowanie, modelowanie opisowe, segmentacja) - obejmuje metody analizy danych i znajdowania skończonych zbiorów klas obiektów posiadających podobne cechy (podział na nieznane wcześniej grupy). Grupowanie polega na przyporządkowaniu branego pod uwagę elementu do jednej lub wielu grup, przy czym grupy te są wyznaczane na podstawie analizy danych, a nie jak w przypadku klasyfikacji, gdzie klasy są zadane. KISIM, WIMi. IP, AGH 38

Klasy metod (techniki) eksploracji danych Wykrywanie punktów osobliwych - obejmuje metody wykrywania (znajdowania) obiektów osobliwych, które odbiegają od ogólnego modelu danych (klasyfikacja i predykcja) lub modeli klas (analiza skupień). Często, metody wykrywania punktów osobliwych stanowią integralną część innych metod eksploracji danych, na przykład, metod grupowania. KISIM, WIMi. IP, AGH 39

Klasy metod (techniki) eksploracji danych Analiza przebiegów (szeregów) czasowych obejmuje metody analizy przebiegów czasowych w celu znalezienia: trendów, podobieństw, anomalii oraz cykli. - - możliwe cele: - zależność pomiędzy operacjami - zależność pomiędzy wystąpieniami - odkrywanie wzorców sekwencji - prognozowanie zjawisk KISIM, WIMi. IP, AGH 40

Klasy metod (techniki) eksploracji danych Odkrywanie charakterystyk – opisy koncepcji/klas – obejmuje metody znajdowania zwięzłych opisów lub podsumowań ogólnych własności klas obiektów. Znajdowane opisy mogą mieć postać reguł charakteryzujących lub reguł dyskryminacyjnych. W tym drugim przypadku, opisują różnice pomiędzy ogólnymi własnościami klasy docelowej (klasy analizowanej) a własnościami klasy (zbioru klas) kontrastującej (klasy porównywanej). Analiza trendów i odchyleń – obejmuje metody analizy danych zmiennych w czasie w celu znalezienia różnic pomiędzy aktualnymi a oczekiwanymi wartościami danych, anomalnych zmian wartości danych w czasie, itp. Eksploracja tekstu, Eksploracja WWW – obejmuje wyszukiwanie według zawartości (podobnych wzorców) KISIM, WIMi. IP, AGH 41