UJI HIPOTESIS REGRESI BERGANDA TUJUAN Menjelaskan teknik uji

UJI HIPOTESIS REGRESI BERGANDA TUJUAN Menjelaskan teknik uji hipotesis dalam regresi berganda (full model dan reduced model)

Dalam regresi berganda muncul per(? )an tentang kontribusi bbrp IV untuk memprediksi nilai Y. Tiga per(? )an: a. An overall test: apakah semua IV (the fitted model) berkontribusi bermakna utk memprediksi Y? ; b. Uji utk adisi satu var. : apakah pe(+) satu IV me(+) secara bermakna utk memprediksi Y lebih besar dibanding tanpa pe(+)an var. baru dlm model? ; c. Uji utk adisi sekelompok var. : apakah pe(+)an atau adisi sekelompok IV akan me(+) secara bermakna utk memprediksi nilai Y dibanding tanpa pe(+)an kelompok var. tsb yg sudah ada di model? Ke 3 per(? ) dijawab dgn uji hipotesis stat. dr masing 2 per(+)an. Setiap uji hipotesis di ekspresikan dgn uji F dan utk bbrp kasus digunakan uji t

1. Uji F dlm analisa regresi adalah rasio dari dua independent estimate variance adl estimasi s 2 bila H 0 benar (true) adl estimasi s 2 bila HO salah (not true) Dlm tabel ANOVA Mean Square, digunakan mengestimasi varians. Jika HO salah (not true) maka estimasi

Nilai F mendekati 1 jika HO benar (true), dan >1 bila HO salah (not true). Makin besar nilai F makin besar kemungkinan HO salah (not true) 2. Masing 2 uji (test) dpt di interpretasikan sbg perbandingan 2 model. Model pertama disebut ‘full model’ atau ‘complete model’ dan model berikutnya adl ‘reduced model’ (full model dikurangi satu atau lebih IV) Contoh: Y = b 0 + b 1 X 1 + b 2 X 2 + E full model Y = b 0 + b 1 X 1 + E reduced model Dengan HO: b 2=0 ‘the full model’ dikurangi satu atau lebih IV menjadi ‘reduced model’. Pengujian HO: b 2=0 berarti menguji mana yang lebih baik ‘fit model’ antara kedua model tersebut

Contoh itu menjelaskan bahwa ‘reduced model’ (X 1) mrpk bagian dr IV atau ‘full model’ (X 1 & X 2) Di ‘full model’ kita H 0: b 1=b 2, di ‘reduced model’: Y=b 0+b 1 X 1+E dgn b=b 1=b 2 & X=X 1+X 2 Uji Kemaknaan Regresi Berganda Kita punya suatu model dengan k-IV: Y=b 0+b 1 X 1+b 2 X 2+……. +bk. Xk+E Maka Null Hypothesis dpt ditulis: Tidak perbedaan bermakna dalam ‘overall regression’ atau H 0: b 1=b 2=………. +bk=0, dan uji hipotesa digunakan ANOVA:

àMerupakan Total Sum of Square dan Error Sum of Square. F-hitung dibandingkan dgn F -tabel=Fk, n-k-1 sesuai dgn a = 0. 05. H 0 ditolak bila F-hitung >= F-tabel F-hitung diperoleh dgn cara lain yaitu Contoh: Model Y=b 0+b 1 X 1+b 2 X 2+b 3 X 3 Y=b 0+b 1 HGT+b 2 AGE+b 3 AGE 2

Dengan sample 12 anak, kita mempunyai k=3 MS-Regr=231. 02, MS-Resid=24. 40 & r 2=0. 782 maka kita memperoleh: Titik kritis untuk a=0. 05 adl F 3, 8, 0. 95 = 4. 07 H 0 ditolak pada a=0. 05 ditulis p<0. 05 umumnya ditulis F 3, 8, 0. 95 = 4. 07 (p<0. 05) Hasil ini disimpulkan vars HGT, AGE dan AGE 2 secara bersama dpt memprediksi WGT (dgn data yang ada). Namun, tidak selalu demikian, mungkin saja hanya HGT dan/atau AGE sudah cukup memprediksi WGT. Perlu di cek.

Pelajari tabel-tabel ANOVA berikut Model 1: WGT = b 0 + b 1 HGT + E Coefficient Standard Error Partial F Sb 1=0. 242 19. 66 b 0 = 6. 190 b 1 = 1. 073 Estimated model: WGT=6. 190+1. 073 HGT ANOVA Table Source df Regression 1 SS MS 588. 92 Residual 10 299. 33 Total 11 888. 25 29. 93 F r 2 19. 67 . 6630

Model 2: WGT = b 0 + b 2 AGE + E Coefficient Standard Error Partial F Sb 2 = 0. 955 14. 55 b 0 = 30. 571 b 1 = 3. 643 Estimated model: WGT = 30. 571 + 3. 643 AGE ANOVA Table Source df SS MS F r 2 14. 55 . 5926 Regression 1 526. 39 Residual 10 361. 86 36. 19 Total 11 888. 25

Model 3: WGT = b 0 + b 3(AGE)2 +E Coefficient Standard Error Partial F Sb 1=0. 055 14. 03 b 0 = 45. 998 b 1 = 0. 206 Estimated model: WGT=45. 998 + 0. 206 (AGE)2 ANOVA Table Source df SS Regression 1 Residual 10 366. 32 Total 11 888. 25 MS 521. 93 36. 63 F r 2 14. 25 . 5876

Model 4. WGT = b 0 + b 1 HGT + b 2 AGE + E Coefficient Standard Error Partial F b 1 = 0. 722 Sb 1 = 0. 261 7. 65 b 2 = 2. 050 Sb 2 = 0. 937 4. 79 b 0 = 6. 553 Esti’d model: WGT= 6. 553 + 0. 722 HGT+ 2. 050 AGE ANOVA Table Source df SS MS F r 2 Regression 2 692. 82 346. 41 15. 95 . 78 Residual 9 195. 43 21. 71 Total 11 888. 25

Model 5. WGT = b 0 + b 1 HGT + b 3(AGE)2 + E Coefficient Standard Error Partial F b 1 = 0. 726 Sb 1 = 0. 263 7. 62 b 3 = 0. 115 Sb 3 = 0. 054 4. 54 b 0 = 15. 118 Esti’d model: WGT = 15. 118 +. 726 HGT +. 115(AGE)2 ANOVA Table Source df SS Regression 2 689. 65 Residual 8 198. 60 Total 11 888. 25 MS F 344. 82 15. 63 22. 07 r 2. 7764

Model 6: WGT = b 0 + b 1 HGT + b 2 AGE + b 3(AGE)2 + E Coefficient Standard Error Partial F b 1 = 0. 724 Sb 1 =. 277 6. 83 b 2 = 2. 777 Sb 2 = 7. 427 0. 14 b 3 = -0. 042 Sb 3 = 0. 422 0. 01 b 0 = 3. 438 E. M. WGT = 3. 438 +. 724 HGT + 2. 777 AGE -. 042(AGE)2 ANOVA Table Source df Regression 3 693. 06 231. 02 Residual 8 195. 19 Total SS 11 888. 25 MS 24. 4 F r 2 9. 47 . 7802

Kita sudah mengetahui jawaban dr pertanyaan no. 1 perhatikan EM 6. Menggunakan X 1=HGT sbg IV, nilai 588. 92 adalah SS Regresi utk model garis lurus; nilai SSE utk model ini adl hanya menambahkan 195. 19, 103. 90 dan 0. 24 secara bersama adl 299. 33 dgn dk=10 (8+1+1) F-stat utk menguji kemaknaan persamaan garis lurus dgn hanya memasuk HGT adl F=(588. 92/1)/(299. 33/10)= 19. 67 p<0. 05 Utk menjawab per(? )an 2 & 3 gunakan partial F test. Uji ini akan memberikan gambaran apakah kita hrs me(+) semua var. atau hanya satu atau dua IV saja.

Null Hipothesis Bila kita ingin menguji apakah pe(+)an satu var. X* akan secara bermakna meningkatkan prediksi Y ketika bbrp var. X 1, X 2, ……, Xp sdh dlm model? Maka hipotesanya: H 0: ‘X* tdk me(+) secara bermakna utk memprediksi Y setelah ada X 1, X 2, . . , Xp dlm model’ d. p. l H 0: b* = 0 utk model Y=b 0+b 1 X 1+b 2 X 2+…. , +bp. Xp+b*X* Ini mrpk prosedur utk membandingkan antara ‘full model’ X 1, X 2, ……. , Xp dan X* sbg IV dgn ‘reduced model’ X 1, X 2, ……, Xp (tanpa X*) karena H 0: b* = 0 Tujuan analisis ini adl menentukan model yang paling sesuai utk memprediksi Y

ANOVA Tabel utk WGT dgn HGT, AGE, (AGE)2 Source df SS MS F r 2. 7802 X 1 1 588. 92 19. 67 X 2 l. X 3 1 103. 90 4. 78 X 3 l. X 1, X 2 1 0. 24 Residual 8 195. 19 24. 40 Regresi Total 11 888. 25 (. 05<p<. 1)

Uji Partial F Null Hypothesis Andaikan kita uji apakah pe(+)an X* secara bermakna meningkatkan prediksi Y setelah X 1, X 2, …. . , Xp sudah ada di model. Maka Ho: X* tidak meningkatkan secara bermakna prediksi Y setelah X 1, X 2, …. , Xp ada di model atau Ho: b*=0 didalam model y = b 0 + b 1 X 1 + b 2 X 2+ …. . + bp. Xp +b*X* + E Dengan perkataan lain kita membandingkan 2 model: Full model X 1, X 2, ……, Xp dan X* sebagai IV dan Reduced model X 1, X 2, …. . , Xp Ini berarti kita menguji model regresi yang paling tepat, apakah pe(+) variabel X* meningkatkan secara bermakna prediksi Y setelah di model ada X 1, X 2, …, Xp

Prosedur Uji parsial F utk mengetahui peran X* setelah ada var. X 1, X 2, ……, Xp didalam model, kita hrs hitung Sum of Square full model X 1, X 2, …. . , Xp, X* dan Sum of Square reduced model X 1, X 2, ……, Xp di ANOVA table: Regression X*l. X 1, X 2, ……, Xp dan Sum of Square dihitung: SS dr pe(+) X* setelah ada X 1, X 2, …, Xp = Regr SS full model: X 1, X 2, …. . , Xp, X* - Regr SS reduced model: X 1, X 2, …. , Xp SS (X*l. X 1, X 2, …. Xp) = Regr SS (X 1, X 2, …. Xp, X*) – Regr SS (X 1, X 2, ……, Xp)

Jadi utk model Y = b 0 + b 1 X 1 + b 2 X 2 H 0 : b 2 = 0 dengan SS(X 2 l. X 1) = Regr SS (X 1, X 2) – Regr SS (X 1) = 692. 82 - 588. 92 = 103. 90 Utk model Y = b 0 + b 1 X 1 + b 2 X 2 + b 3 X 3 SS (X 3 l. X 1, X 2) = Regr SS(X 1, X 2, X 3) – Regr SS (X 1, X 2) = 693. 06 – 692. 82 = 0. 24 Simpulan uji hipotesa: ‘penambahan var. X* kedalam model yang sudah ada X 1, X 2, …. . , Xp tidak meningkatkan secara bermakna utk memprediksi Y atau F(X*l. X 1, X 2, . , Xp) = pe(+) SS setelah ada X 1, X 2, . , Xp/ MS Resid model dgn var X 1, X 2, …. . , Xp, X* Dgn derajat kebebasan (dk)=1 & n-p-2, kita menolak H 0 bila nilai F-hitung > F 1, n-p-2. Data kita sebagai berikut:

F(X 2 l. X 1) = SS(X 2 l. X 1) / MS Residual (X 1, X 2) = (103. 90)/(195. 19+0. 24)/9 =4. 78 dan F(X 3 l. X 1, X 2) = SS(X 3 l. X 1, X 2) / MS Resid (X 1, X 2, X 3) = 0. 24 / 24. 4 = 0. 01 Dari tabel F kita lihat bahwa untuk F 1, 9, 0. 90 = 3. 36 dan F 1, 9, 0. 95 = 5. 12 maka hasil uji statistik untuk F(X 2 l. X 1) = 4. 78 artinya nilai p: 0. 05<p<0. 1, artinya kita menolak H 0 pada a = 0. 1 disimpulkan bahwa pe(+)an var. AGE me(+) nilai utk memprediksi Y pada a = 0. 1 tidak pada a = 0. 05 Uji F(X 3 l. X 1, X 2) = 0. 01 p>0. 1 kita menerima H 0, disimpulkan bahwa model yang paling sesuai (the best fitted model): Y = b 0 +b 1 HGT + b 2 AGE

Uji t sebagai alternatif Cara yang sama sperti uji F parsial adl menggunakan uji t dgn dk = n-k-1. Uji t fokus uji null hipotesa H 0: b* = 0 b* adl nilai koefisien dr X* di model regresi: Y = b 0 + b 1 X 1 + b 2 X 2, …. , + bp. Xp +b*X* untuk menguji H 0: b 0 = 0 digunakan uji Dalam uji ini kita menolak H 0: b* = 0 jika ltl > tn-p-2, 1 -a/2 uji dua arah; Ha: b* # 0 T > tn-p-2, 1 -a uji satu arah; Ha: b*>0 T < tn-p-2, 1 -a uji satu arah; Ha: b*<0

Uji t dua arah memberikan hasil yang sama dengan uji F parsial Contoh: uji H 0: b 3 = 0 dalam model = b 0 + b 1 X 1 + b 2 X 2 + b 3 X 3 + E dari ANOVA table 6 kita akan memperoleh Nilai tersebut kita kuadratkan: t 2 = 0. 01 = parsial F(X 3 l. X 1, X 2) Y

SUMBER DF REGRESI x 1 1 SS 3196 X 2|x 1 1 498 MS 3196 37. 5 498 RESIDUAL 27 2301 85. 2 TOTAL 29 5996 F 5. 8