KORELACJE I REGRESJA LINIOWA Korelacje i regresja liniowa

KORELACJE I REGRESJA LINIOWA

Korelacje i regresja liniowa Analiza korelacji: Badanie, czy pomiędzy dwoma zmiennymi istnieje zależność Obie analizy się wzajemnie przeplatają Analiza regresji: Opisanie modelem matematycznym zależności pomiędzy dwoma zmiennymi

Korelacje i regresja liniowa Badamy [%] wyciek soków tkankowych z tkanki mięśniowej ryb w czasie chłodniczego przechowywania przez 2, 4, 6, 8 i 10 dni. Chcemy określić wpływ długości przechowywania na wielkość wycieku. X Zmienna niezależna Y Zmienna zależna n=5 L-ba par zmiennych X i Y

Analiza korelacji Metoda graficzna Współczynnik korelacji rang Spearmana Kowariancja Współczynnik korelacji liniowej Pearsona

Analiza korelacji Metoda graficzna Współczynnik korelacji rang Spearmana Kowariancja Współczynnik korelacji liniowej Pearsona

Analiza korelacji Metoda graficzna Do wykrycia zależności (korelacji) służą wykresy rozrzutu Wyniki układają się wzdłuż linii Jest zależność! Wyniki układają się w rozmytą chmurę punktów Brak zależności!

Analiza korelacji Metoda graficzna Do wykrycia zależności (korelacji) służą wykresy rozrzutu Zależność wprosproporcjonalna Zależność odwrotnie proporcjonalna

Analiza korelacji Metoda graficzna Współczynnik korelacji rang Spearmana Kowariancja Współczynnik korelacji liniowej Pearsona

Analiza korelacji Kowariancja Liczbowa miara zależności dwóch zmiennych X i Y Zmienne X i Y są niezależne jeśli cov(X, Y)=0

Analiza korelacji Kowariancja Cov(X, Y) > 0 zależność wprostproporcjonalna (ze wzrostem x rośnie y) Cov(X, Y) < 0 zależność odwrotnie proporcjonalna (ze wzrostem x maleje y) Możemy ocenić kierunek zależności, ale nie możemy ocenić jej siły!

Analiza korelacji Metoda graficzna Współczynnik korelacji rang Spearmana Kowariancja Współczynnik korelacji liniowej Pearsona

Analiza korelacji Współczynnik korelacji liniowej Pearsona • Między zmiennymi X i Y istnieje zależność liniowa, jeżeli najlepszym przybliżeniem obserwowanego związku jest linia prosta • obliczając r Pearsona mierzymy, jak blisko linii prostej najlepiej opisującej ich związek liniowy leżą punkty

Analiza korelacji Współczynnik korelacji liniowej Pearsona Dla próby:

Analiza korelacji Współczynnik korelacji liniowej Pearsona Właściwości: • r przyjmuje wartości z przedziału od -1 do +1 • Znak r wskazuje, czy zależność jest wprostproporcjonalna (dodatni r) czy odwrotnie proporcjonalna (ujemny r) • Wielkość r wskazuje, jak blisko linii prostej znajdują się punkty • X i Y można zamieniać miejscami bez wpływu na wartość r • Korelacja między X i Y niekoniecznie oznacza związek przyczynowy

Analiza korelacji Współczynnik korelacji liniowej Pearsona r=1 r = -1 Idealna zależność liniowa wprostproporcjonalna Idealna zależność liniowa odwrotnie proporcjonalna

Analiza korelacji Współczynnik korelacji liniowej Pearsona r = 0, 90 Silna zależność liniowa wprostproporcjonalna r = -0, 90 Silna zależność liniowa odwrotnie proporcjonalna

Analiza korelacji Współczynnik korelacji liniowej Pearsona r=0 Brak zależności r = -0, 5 Umiarkowana zależność liniowa odwrotnie proporcjonalna

Analiza korelacji Współczynnik korelacji liniowej Pearsona Na podstawie wartości r oceniamy siłę zależności: Ø |r| = 0 zmienne nieskorelowane Ø 0 < |r| 0, 3 korelacja niska Ø 0, 3 < |r| 0, 5 korelacja przeciętna (średnia) Ø 0, 5 < |r| 0, 7 korelacja wysoka Ø 0, 7 < |r| 0, 9 korelacja bardzo wysoka Ø 0, 9 < |r| < 1 korelacja prawie pełna

Analiza korelacji Współczynnik korelacji liniowej Pearsona Aby ocenić korelację pomiędzy zmiennymi należy znać: Ø poziom istotności p współczynnika r (określa, czy korelacje jest/nie jest statystycznie istotna) Ø wartość r (siła korelacji) Ø znak +/- przy r (zależność wprost/odwrotnie proporcjonalna)

Analiza korelacji Współczynnik korelacji liniowej Pearsona Jak ocenić czy r jest istotny? Hipoteza zerowa: H 0: |r|=0 Hipoteza alternatywna: H 1: |r| 0 p 0. 05 - przyjmujemy hipotezę H 0 p<0. 05 - przyjmujemy hipotezę H 1

Analiza korelacji Współczynnik korelacji liniowej Pearsona Stosujemy gdy: Ø zmienne mają rozkład normalny ORAZ Øzależność ma charakter liniowy

Analiza korelacji Współczynnik korelacji liniowej Pearsona Kiedy nie należy obliczać r: Ø istnieje nieliniowy związek między dwoma zmiennymi (np. związek kwadratowy

Analiza korelacji Współczynnik korelacji liniowej Pearsona Kiedy nie należy obliczać r: Ø występuje jedna lub więcej wartości odstających

Analiza korelacji Współczynnik korelacji liniowej Pearsona Kiedy nie należy obliczać r: Ø dane zawierają podgrupy, dla których średnie poziomy wartości dla co najmniej jednej zmiennej są różne

Analiza korelacji Metoda graficzna Współczynnik korelacji rang Spearmana Kowariancja Współczynnik korelacji liniowej Pearsona

Analiza korelacji Współczynnik korelacji rang Spearmana Alternatywa dla współczynnika korelacji liniowej Pearsona. Nadaje się również do analizy zależności nieliniowych. Stosujemy, gdy: Ø zmienne nie mają rozkładu normalnego ORAZ/LUB Ø zależność ma charakter nieliniowy

Analiza korelacji Współczynnik korelacji rang Spearmana Uporządkowanym od najmniejszej do największej wartości zmiennym nadaje się rangi i wylicza R Spearmana: n – ilość pomiarów D - różnica rang Przyjmuje wartości od -1 do +1 interpretacja taka jaka dla r Pearsona

Analiza korelacji Współczynnik korelacji rang Spearmana Jak ocenić czy R jest istotny? Hipoteza zerowa: H 0: |R|=0 Hipoteza alternatywna: H 1: |R| 0 p 0. 05 - przyjmujemy hipotezę H 0 p<0. 05 - przyjmujemy hipotezę H 1

Analiza regresji liniowej

Analiza regresji liniowej Regresja liniowa jest rozszerzeniem korelacji liniowej i pozwala na: Ø graficzną prezentację linii prostej dopasowanej do wykresu rozrzutu Ø określenie równania opisujące zależność dwóch zmiennych w postaci y = a + b* x zmienna zależna wyraz wolny współczynnik kierunkowy prostej zmienna niezależna

Wynik testu Analiza regresji liniowej Iloraz inteligencji

Analiza regresji liniowej Wynik testu y = a + b* x Iloraz inteligencji

Analiza regresji liniowej W jaki sposób wyznaczana jest linia regresji liniowej? przez minimalizację sumy kwadratów odchyleń punktów doświadczalnych od linii regresji tzw. metoda najmniejszych kwadratów yi – wartości doświadczalne yi obl – wartości obliczone z równania regresji

Analiza regresji liniowej

Analiza regresji liniowej W jaki sposób wyznaczana jest linia regresji liniowej y=a+b*x ? Sprowadza się to do obliczenia współczynników a i b

Analiza regresji liniowej Sprawdzamy, czy a i b istotnie różnią się od 0: Hipoteza zerowa: H 0: a=0 H 0: b=0 Hipoteza alternatywna: H 1: a 0 H 1: b 0 tkr( , f=n-2) ta (tb) <tkr - przyjmujemy hipotezę H 0 (współczynnik będzie na czarno w Statistica) ta (tb) >tkr - przyjmujemy hipotezę H 1 (współczynnik będzie na czerwono w Statistica

Analiza regresji liniowej y = a+ b*x Współczynniki a i b muszą istotnie różnić się od 0 aby były uwzględnione w równaniu. Jeśli b=0 – wartości y są stałe (równe a) Jeśli a=0 – równanie upraszcza się do y=b*x

Analiza regresji liniowej Do czego służy wyznaczone równanie? 1) Na podstawie znanych x obliczamy y 2) Na podstawie znanych y obliczamy x

Analiza regresji liniowej Ocena dobroci dopasowania ØWspółczynnik korelacji liniowej Pearsona ØWspółczynnik determinacji ØWspółczynnik indeterminacji ØAnaliza reszt

Analiza regresji liniowej Ocena dobroci dopasowania ØWspółczynnik korelacji liniowej Pearsona ØWspółczynnik determinacji ØWspółczynnik indeterminacji ØAnaliza reszt

Analiza regresji liniowej Ocena dobroci dopasowania ØWspółczynnik korelacji liniowej Pearsona Korelacja między wartościami zmiennej na osi Y doświadczalnymi a obliczonymi z równania Im r bliższy 1 tym lepsza jakość modelu

Analiza regresji liniowej Ocena dobroci dopasowania ØWspółczynnik korelacji liniowej Pearsona ØWspółczynnik determinacji ØWspółczynnik indeterminacji ØAnaliza reszt

Analiza regresji liniowej Ocena dobroci dopasowania ØWspółczynnik determinacji r 2 – współczynnik korelacji liniowej Pearsona podniesiony do kwadratu Podawany w postaci: - ułamkowej [0, 1] - procentowej 0 -100% Im bliższy 1 tym lepsza jakość modelu

Analiza regresji liniowej Ocena dobroci dopasowania ØWspółczynnik korelacji liniowej Pearsona ØWspółczynnik determinacji ØWspółczynnik indeterminacji ØAnaliza reszt

Analiza regresji liniowej Ocena dobroci dopasowania ØWspółczynnik indeterminacji 2 = 1 - r 2 – tzw. współczynnik rozbieżności Podawany w postaci: - ułamkowej [0, 1] - procentowej 0 -100% Im bliższy 0 tym lepsza jakość modelu

Analiza regresji liniowej Ocena dobroci dopasowania ØWspółczynnik korelacji liniowej Pearsona ØWspółczynnik determinacji ØWspółczynnik indeterminacji ØAnaliza reszt

Analiza regresji liniowej Ocena dobroci dopasowania ØAnaliza reszt ei ei = yi – yi obl Reszty powinny spełniać rozkład normalny, mieć charakter losowy i nie wykazywać autokorelacji • Normalność reszt – badamy testem chi-kwadrat lub testem Kołmogorowa-Smirnowa • Losowość reszt oceniamy na wykresie

Analiza regresji liniowej reszty Reszty losowo znajdują się powyżej i poniżej 0

Analiza regresji liniowej Ocena dobroci dopasowania ØAnaliza reszt ei Autokorelacja – korelacja serii pierwotnej reszt z serią przesuniętą Jeśli przesunięcie jest o 1 miejsceautokorelacja 1 -go rzędu

Analiza regresji liniowej Sprowadzanie innych funkcji do f. liniowej ØFunkcja potęgowa y=a xb y 1 = a 1 + b x 1 ln(y)=ln(a)+b ln(x)

Analiza regresji liniowej Sprowadzanie innych funkcji do f. liniowej ØFunkcja wykładnicza y=a ebx y 1 = a 1 + b x ln(y)=ln(a)+b x x

Analiza regresji liniowej Sprowadzanie innych funkcji do f. liniowej ØFunkcja x

Analiza regresji liniowej Sprowadzanie innych funkcji do f. liniowej ØFunkcja e-x

Analiza regresji liniowej Sprowadzanie innych funkcji do f. liniowej y ØFunkcja

Analiza regresji liniowej Sprowadzanie innych funkcji do f. liniowej ln(y) ØFunkcja