Statystyka i opracowanie danych Wprowadzenie do bada statystycznych

Statystyka i opracowanie danych Wprowadzenie do badań statystycznych Podstawowe definicje i twierdzenia Rachunku Prawdopodobieństwa www. metal. agh. edu. pl/~regulski Krzysztof Regulski, WIMi. IP, KISi. M, regulski@agh. edu. pl B 5, pok. 408

Gdzie stosujemy statystykę? inne polityka ? zarządzanie ekonomia gospodarka produkcja zarządzanie jakością sztuczna inteligencja: rozpoznawanie wzorców, mowy, pisma, semantyka KISIM, WIMi. IP, AGH Big. Data data mining 2

Zagadnienia Sztucznej Inteligencji (AI) Soft Computing reprezentacja wiedzy Logika rozmyta Sieci neuronowe Algorytmy ewolucyjne i genetyczne Optymalizacja badania operacyjne wnioskowanie Systemy ekspertowe Wizualizacja Data mining KISIM, WIMi. IP, AGH Computational Intelligence - numeryczne Artificial Intelligence - symboliczne Uczenie maszynowe Metody statystyczne Rachunek prawdopodobieństwa Rozpoznawanie Wzorców 3

Przykłady zadań sztucznej inteligencji — dokonywanie ekspertyz ekonomicznych, prawnych, technicznych, medycznych (ocena) — wspomaganie podejmowania decyzji (doradzanie) — rozpoznawanie obrazów, twarzy, wzorców, etc. — optymalizacja (harmonogramowanie, alokacja zasobów, planowanie tras) — generacja nowej wiedzy (poszukiwanie zalezności, tendencji, reguł, etc – data mining) — prognozowanie zjawisk ekonomicznych, przyrodniczych — rozumienie języka naturalnego — sterowanie urządzeniami (roboty etc) — i inne… KISIM, WIMi. IP, AGH 4

Industry 4. 0 5

Big Data big data to zbiory informacji o dużej objętości, dużej zmienności lub dużej różnorodności, które wymagają nowych form przetwarzania w celu wspomagania podejmowania decyzji, odkrywania nowych zjawisk oraz optymalizacji procesów: szukanie, pobieranie, gromadzenie i przetwarzanie model 4 V (Volume, Velocity, Variety, Value) : • wykorzystanie – wykorzystaj najpierw wewnętrzne (własne) zasoby danych; • wnioskowanie – umiejętnie stosuj techniki analityczne, użyj ekspertów; • wzbogacanie – wzbogacaj własne dane o informacje z rynku, używaj słowników i baz referencyjnych; • weryfikacja – koniecznie weryfikuj hipotezy i wnioski. • Big Data as-a-Service (BDaa. S), czyli przetwarzanie w chmurze obliczeniowej wielkich zbiorów danych, to dziś najszybciej rozwijająca się gałąź IT • Ponad 7 miliardów dolarów – na tyle szacowana jest wartość sektora Big Data as-a-Service (BDaa. S) w roku 2020 • segment Big Data rozwija się niemal 6 -krotnie szybciej niż cały rynek IT 6

Big Data Early detection of defects and production failures, thus enable their prevention, increase productivity, quality, and agility benefits that have significant competitive value. Big Data Analytics consists of 6 Cs in the integrated Industry 4. 0 and Cyber Physical Systems environment. The 6 C system comprises: » Connection (sensor and networks) » Cloud (computing and data on demand) » Cyber (model & memory) » Content/context (meaning and correlation) » Community (sharing & collaboration) » Customization (personalization and value) Data has to be processed with advanced tools (analytics and algorithms) to generate meaningful information. KISIM, WIMi. IP, AGH 7

KISIM, WIMi. IP, AGH 8

Przechowywanie / Przetwarzanie / Analiza KISIM, WIMi. IP, AGH 9

Plan Sprawy organizacyjne: » Organizacja zajęć » Zasady zaliczenia i system oceniania Wykład 1 – » Znaczenie i rola statystyki matematycznej we współczesnych badaniach inżynierskich. » Podstawowe pojęcia w statystyce » Wprowadzenie do rachunku prawdopodobieństwa: Zdarzenia, przestrzeń zdarzeń. KISIM, WIMi. IP, AGH 10

System oceniania z przedmiotu zgodny z Regulaminem studiów AGH Punkty za ćwiczenia 100 15 * 1 = 15 40 30 Obecność Aktywność Sprawdziany Projekt indywidualny Ocena na zaliczenie w [%] = punktów z ćwiczeń Punkty za udział w wykładach 15 * 2 = 30 + bonusy Ocena końcowa = ocena z ćwiczeń + {JEŚLI wykł ≥ 90% → pół stopnia w górę; ≥ 150% → stopień w górę ELSE → nic} Skala ocen Poniżej 50% punktów możliwych do uzyskania ocena 50 -60 % 60 -70 % 70 -80 % 80 -90 % 90 -100 % 5, 0 2, 0 3, 5 4, 0 4, 5 11

Nakład pracy studenta (syllabus) KISIM, WIMi. IP, AGH 12

Statystyka i opracowanie danych Cel przedmiotu Zdobycie wiedzy o metodach i technikach statystyki matematycznej i poprawnym ich stosowaniu w badaniach naukowych (opracowanie wyników pomiarów i obserwacji) oraz w gospodarce (analiza rynku, kontrola jakości). Nabycie umiejętności stosowania statystycznych form analizy danych i techniki komputerowej z użyciem programów EXCEL i STATISTICA. 13

Statystyka i opracowanie danych Treści • Badania statystyczne; Podstawowe pojęcia. Statystyka opisowa miary położenia, miary zmienności, asymetrii i koncentracji, reprezentacja graficzna danych. Szeregi. • Elementy rachunku prawdopodobieństwa: interpretacja zdarzeń, prawdopodobieństwo – podstawowe twierdzenia. Zmienne losowe, ich rozkłady i parametry rozkładu. • Techniki wnioskowania statystycznego: estymacja i estymatory, weryfikacja hipotez statystycznych, testy statystyczne parametryczne i nieparametryczne. • Analiza struktury zbiorów danych. Dopasowanie rozkładu empirycznego do teoretycznego. Analiza wariancji. • Szukanie i badanie zależności. Podstawy korelacji i regresji: pojęcia podstawowe, korelacje cząstkowe, korelacje nieparametryczne, funkcje regresji. Ocena dopasowania funkcji do danych. • Podstawowa wiedza o procesach stochastycznych. • Zastosowania programów Excel i Statistica do analizy danych. 14

Polecane podręczniki 1. Lapin L. L. J Statistics for modern engineering, PWS Publishers 1983 2. Plucińscy A. , E. Rachunek Prawdopodobieństwa, Statystyka matematyczna, Procesy stochastyczne, WNT, Warszawa 2000 3. Stanisz A. , Przystępny kurs statystyki z zastosowaniem STATISTICA PL, Stat. Soft, Kraków 2006 4. Hand D. , Mannila WNT Warszawa 2005 5. Hill T. , Lewicki P. Statistics Methods and Applications, Stat Soft Inc. 2006 H. , Smyth P. Eksploracja danych, 15

Znaczenie i rola statystyki matematycznej we współczesnych badaniach inżynierskich Statystyka pozwala wydobyć wiedzę z chaosu (z danych szczegółowych) Stale posługujemy się statystyką, np. uogólniając sądy • Zarabiamy mniej niż w innych krajach UE, • Dłużej żyjemy • Częściej chorujemy Stosujemy pojęcia statystyczne w języku potocznym: • Przeciętny konsument • Podwyżka energii pociąga za sobą wzrost cen żywności Skąd wynika zła opinia o statystyce „kłamstwo, łgarstwo, statystyka”: • Hermetyczna i trudna terminologia, • Brak wiedzy na temat metod statystycznej analizy, które chronią przed skutkami niepewności wynikającej z przypadkowości, ze współdziałania wielu czynników i umożliwiają podejmowanie najlepszych decyzji w warunkach niepewności • Niepoprawne (świadome) stosowanie statystyki dla osiągania ściśle określonych celów np. politycznych, komercyjnych itp. 16

Podstawowe pojęcia • Populacja i próba statystyczna • Badania statystyczne • Cechy statystyczne, rodzaje cech i stosowane skale ich pomiaru • Dane statystyczne i ich wstępne opracowanie 17

Populacja i próba statystyczna Populacja jest to zbiór wszystkich elementów reprezentujących analizowany problem (zjawisko). Może być zbiorem skończonym, przeliczalnym lub nieprzeliczalnym. Próba statystyczna – to podzbiór właściwy elementów badanej populacji, będący podstawą wnioskowania statystycznego o populacji. 18

Podstawowe cele badań statystycznych i statystycznej analizy zbiorów danych • Badanie struktury populacji, reprezentowanej przez zbiór (danych) wartości wybranych cech (zmiennych) i jej wizualizacja w postaci rozkładów tych zmiennych bądź charakterystyka przy zastosowaniu parametrów statystyki opisowej. • Odkrywanie i określanie (charakteru, siły, kierunku) zależności występujących w zbiorach danych reprezentujących różne cechy badanych obiektów, zjawisk, procesów. • Wnioskowanie statystyczne – weryfikacja hipotez. 19

Badania statystyczne - rodzaje Badania pełne obejmują wszystkie elementy populacji, np. na przeglądzie uzębienia danego pacjenta można określić dokładną liczbę zębów i ich stan Badania częściowe – badania elementów próbki statystycznej, mają szerokie zastosowania i są: • konieczne w przypadku populacji nieskończonej, • stosowane w populacjach skończonych bardzo licznych • stosowane w przypadkach badań niszczących 20

Badania statystyczne – próby losowe • Losowy dobór próby polega na tym, że o fakcie znalezienia się poszczególnych elementów populacji w próbie decyduje przypadek. • Jest to taki sposób wyboru przy którym spełnione są następujące dwa warunki; • każda jednostka populacji ma dodatnie, znane prawdopodobieństwo znalezienia się w próbie • istnieje możliwość ustalenia prawdopodobieństwa znalezienia się w próbie dla każdego zespołu elementów populacji 21

Wybór próby reprezentatywnej • Od próby wymaga się reprezentatywności, czyli aby z przyjętą dokładnością opisywała strukturę badanej populacji. • O reprezentatywności decydują dwa czynniki: • Liczebność (n) • Sposób doboru grupy » Wybór celowy: o przynależności do grupy decyduje badacz, stopień reprezentatywności zależy wyłącznie od jakości selekcji » Wybór losowy: każdy element populacji ma jednakową szansę znalezienia się w próbie z takim samym prawdopodobieństwem, stopień reprezentatywności rośnie wraz ze wzrostem liczebności grupy. » Stosowane są dwie techniki losowania: » Losowanie niezależne (zwrotne) » Losowanie zależne (bezzwrotne) 22

O źródłach błędów w badaniach statystycznych Badania zawsze obciążone są błędami, zarówno pełne jak i częściowe, związanymi z: • organizacją eksperymentu, • niedokładnością pomiarową, • przetwarzaniem wyników, • w badaniach częściowych z niedokładnością odwzorowania struktury populacji w strukturę próbki 23

Cechy statystyczne i ich rodzaje • Cechy, którymi wyróżniają się jednostki wchodzące w skład zbiorowości, nazywa się cechami statystycznymi. • Każda zbiorowość statystyczna ma dużo cech, wyboru cech dokonuje się na podstawie zakładanego celu badań. Należy wybierać takie cechy, które stanowią istotną własność badanego zjawiska • Typy cech – cechy jakościowe – niemierzalne (np. kolor, sprawny, niesprawny) – cechy ilościowe – mierzalne to takie, które dadzą się wyrazić za pomocą jednostek miary w pewnej skali ( np. wzrost [cm], waga [kg], udział[%]). Cecha mierzalna jest: » ciągła, może przyjmować każdą wartość z określonego, skończonego przedziału liczbowego (np. odległość, ciężar, temperatura) » dyskretna, skokowa przyjmuje wartości ze zbioru skończonego lub przeliczalnego (ilość wyrobów wadliwych, liczba zatrudnionych w zawodzie 24

Skale pomiaru cechy • Skala nominalna – dotyczy cech jakościowych, operacją pomiarową jest identyfikacja kategorii do której należy zaliczyć wynik, prowadzi do podziału zbioru na zbiory rozłączne ( np. samochody wg kolorów). • Skala porządkowa – stosowana jest do badania cech których natężenie jest określane przez przymiotniki, pociąga za sobą porządkowanie lub uszeregowanie badanej zmiennej ( np. poniżej normy, w normie, powyżej normy, albo za mały, średni, duży, za duży) • Skala równomierna (przedziałowa) – stosowania do pomiaru cech ilościowych, zakłada że zbiór wartości cechy składa się z liczb rzeczywistych określona przez wskazanie stałej jednostki miary i relacji przyporządkowującej liczbę każdemu wynikowi obserwacji (czas kalendarzowy, temperatura o C) • Skala ilorazowa – posiada wszystkie właściwości skali przedziałowej ale pomiary wg tej skali charakteryzują się stałymi stosunkami i bezwzględnym zerem, ma zastosowanie w fizyce, technice np. czas jaki upłynął od chwili t 1 do t 2 25

Dane jako wyniki badań Wyniki obserwacji i pomiarów mogą być wyrażone w postaci • Tekstu (cechy jakościowe) • Liczb całkowitych • Przedziałów liczbowych Dane źródłowe zawierają się w: • zbiorze, • zbiorze uporządkowanym, zwanym szeregiem szczegółowym • zbiorze podzielonym na klasy, zwanym szeregiem rozdzielczym 26

Opracowanie materiału statystycznego Szeregi statystyczne • Celem tych działań jest przejście od danych indywidualnych do danych zbiorowych. • Materiał źródłowy należy odpowiednio posegregować i policzyć, w wyniku otrzymuje się tzw. tablice robocze. • Klasyfikacja danych musi być przeprowadzona: » w sposób rozłączny, jednostki o określonych cechach muszą być jednoznacznie przydzielone do poszczególnych klas » W sposób zupełny, tzn. klasy muszą objąć wszystkie występujące cechy danej zbiorowość • Technika zestawiania zależy od rodzaju skali pomiarowej 27

Szeregi statystyczne szczegółowe rozdzielcze Z cechą ilościową punktowe proste skumulowane czasowe Z cechą jakościową przedziałowe proste skumulowane 28

Szereg szczegółowy • Badana cecha przyjmuje niewielką liczbę jednostek (mała grupa) {x 1, . . , xn} • Wartości porządkuje się – Rosnąco x 1<. . <xn lub – Malejąco x 1>. . >xn 29

Szereg czasowy, dynamiczny, chronologiczny Otrzymuje się w wyniku grupowania • typologicznego (wyodrębniającego różne jakościowo cechy) • wariancyjnego (porządkującego zbiorowość przez łączenie w klasy jednostek mających odpowiednie wartości cech) • gdy podstawą grupowania jest zmiana badanego zjawiska w czasie 30

Analiza zmian w czasie - budowa szeregu czasowego 31

Szereg rozdzielczy Przy budowie szeregu rozdzielczego wyróżnia się trzy etapy: • Ustalenie liczby klas oraz wielkości przedziałów klasowych • Przyporządkowanie danych przyjętym przedziałom klasowym • Zliczanie liczby jednostek w każdej klasie Liczba klas k zależy przede wszystkim od liczby obserwacji n Stosowane bywają następujące wzory pomocne do szacowania liczby przedziałów budowanego szeregu rozdzielczego: k=1+3, 322 log n lub 32

Szereg rozdzielczy prosty – analiza struktury wiekowej pacjentów 33

Wykresy 34

Przykład zastosowania pakietu Statistica do analizy zapotrzebowania na energię 35

KISIM, WIMi. IP, AGH 36

Struktura wynagrodzeń Liczba pracujących (skumulowane) (netto) Odsetek pracujących (skumulowane) Poniżej 1181 zł ok. 800 tys. osób 10% Poniżej 1423 zł ok. 1, 44 mln 18% Poniżej 2776 zł ok. 5, 2 mln osób 66% Poniżej 3549 zł ok. 6, 4 mln osób 80, 50% Ponad 3549 zł netto miesięcznie zarabia tylko 19, 5% pracujących Ponad 7000 zł ok. 270 tys. osób 3, 47% Ponad 14000 zł ok. 48 tys. osób 0, 60% Ponad 19000 zł ok. 16 tys. osób 0, 20% Źródło: opracowanie Bankier. pl na podstawie danych GUS *Dane w tabeli dotyczą ok. 8 mln osób zatrudnionych w gospodarce narodowej (sektor przedsiębiorstw plus sektor publiczny) 2016 r. 0, 5 0, 4 2012 r. 0, 35 0, 3 0, 25 0, 2 0, 15 0, 1 0, 05 0 <1100 KISIM, WIMi. IP, AGH <1400 <2700 <3500 >7000 >14000 >19000 37

KISIM, WIMi. IP, AGH 38