SELEKSI VARIABEL DAN PEMILIHAN MODEL TERBAIK Gangga Anuraga

SELEKSI VARIABEL DAN PEMILIHAN MODEL TERBAIK Gangga Anuraga, M. Si

PENDAHULUAN � Salah satu tujuan di dalam analisis regresi adalah untuk mendapatkan model terbaik yang menjelaskan hubungan antara variabel independent dengan variable dependent, model terbaik adalah model yang seluruh koefisien regresinya berarti (significant) dan mempunyai kriteria model terbaik optimum.

KRITERIA MODEL TERBAIK PADA REGRESI

METODE UNTUK MENDAPATKAN MODEL TERBAIK (1) � Metode Backward : Dimulai dengan model lengkap, kemudian variabel independen yang ada dievaluasi, jika terdapat variabel independen yang tidak signifikan dikeluarkan yang paling tidak signifikan. Dilakukan terus menerus sampai tidak ada lagi variabel independen yang tidak signifikan. � Metode Forward : Variabel independen yang pertama kali masuk kedalam model adalah variabel yang mempunyai korelasi tertinggi dan signifikan terhadap variabel dependen, variabel yang masuk kedua adalah variabel yang korelasinya dengan variabel dependen adalah tertinggi kedua dan masih signifikan, dilakukan terus menerus samapi tidak ada lagi variabel independen yang signifikan.

METODE UNTUK MENDAPATKAN MODEL TERBAIK (2) � Metode Stepwise : merupakan gabungan antara metode forward dan backward, variabel yang pertama kali maasuk adalah variabel yang korelasinya tertinggi dan signifikan terhadap variabel dependen, variabel yang masuk kedua adalah variabel yang korelasi parsialnya tertinggi dan masih signifikan, setelah variabel tertentu masuk kedalam model maka variabel lain yang ada didalam model dievaluasi, jika ada variabel lain yang tidak signifikan maka variabel tersebut dikeluarkan. � Metode Best Subset : Metode ini menyajikan k buah model terbaik untuk model dengan 1, 2, …, p variabel independen.

Contoh : X 1 15, 57 44, 02 20, 42 18, 74 49, 2 44, 92 55, 48 59, 28 94, 39 128, 02 96 131, 42 127, 21 X 2 2463 2048 3940 6505 5723 11520 5779 5969 8461 20106 13313 10771 15543 X 3 472, 92 1339, 75 620, 25 568, 33 1497, 6 1365, 83 1687 1639, 92 2872, 33 3655, 08 2912 3921 3865, 67 X 4 18 9, 5 12, 8 36, 7 35, 7 24 43, 3 46, 7 78, 7 180, 5 60, 9 103, 7 126, 8 X 5 4, 45 6, 92 4, 28 3, 9 5, 5 4, 6 5, 62 5, 15 6, 18 6, 15 5, 88 4, 88 5, 5 Y 566, 52 696, 82 1033, 15 1603, 62 1611, 37 1613, 27 1854, 17 2160, 55 2305, 58 3503, 93 3571, 89 3741, 4 4026, 52 252, 9 36194 7684, 1 157, 7 7 10343, 81 409, 2 34703 12446, 33 169, 4 10, 78 11732, 17 463, 7 39204 14098, 4 331, 4 7, 05 15414, 94 510, 22 86533 15524 371, 6 6, 35 18854, 45

METODE BACKWARD

METODE FORWARD

METODE STEPWISE

KORELASI PARSIAL � Perbedaan utama antara korelasi dengan korelasi parsial ialah; pada korelasi antara variable X dengan Y hanya terdapat variable X dan Y saja, sedang pada korelasi par-sial antara variable X dengan Y terdapat variable lain, mi-sal Z, yang disebut sebagai variable pengoreksi. Korelasi parsial ini sangat berguna untuk memilih variabel predik-tor yang dimasukkan ke dalam model.

KORELASI PARSIAL � Misal terdapat variabel respon Y dengan k prediktor, yaitu X 1, X 2, … , Xk. . Kemudian diregresikan Y terhadap X 1, maka akan terbentuk model regresi : Y = 0 + 1 X 1 + , dan timbul variabel baru, yaitu Y*, X*2, X*3, . . . , X*k, dengan : Y* adalah sisaan/residual model Y = 0 + 1 X 1 + , X*2 adalah sisaan model X 2 = 02 + 12 X 1 + , X*k adalah sisaan model Xk = 0 k + 1 k X 1 + .

KORELASI PARSIAL Korelasi antara Y* dengan X*2 dinotasikan r 2 y. 1, disebut korelasi parsial, dibaca “korelasi parsial antara X 2 dengan Y, setelah kedua variabel tsb terkoreksi oleh X 1”. Korelasi parsial ini dapat dinyatakan oleh persamaan berikut : � Korelasi parsial yang lain : r 3 y. 1 , r 4 y. 1 , . . . , rpy. 1, dll. �

CONTOH KORELASI PARSIAL PADA METODE STEPWISE (Langkah 1) � Menggunakan data yang sama, didapatkan korelasi Y dengan X 1, X 2 X 3 , X 4 X 5

CONTOH KORELASI PARSIAL PADA METODE STEPWISE (Langkah 2) � Regresikan Y dengan X 1 dan Y dengan X 1 kemudian tentukan nilai R -square tertinggi, dan pertahankan indikator tersebut.

CONTOH KORELASI PARSIAL PADA METODE STEPWISE (Langkah 3) � Tentukan nilai Y* yang merupakan nilai residual dari regresi Y dengan X 3 Dapatkan X 1* yang merupakan residual dari regresi X 1 dengan X 3 � Dapatkan X 2* yang merupakan residual dari regresi X 2 dengan X 3 � Dapatkan X 4* yang merupakan residual dari regresi X 4 dengan X 3 � Dapatkan X 5* yang merupakan residual dari regresi X 5 dengan X 3 �

CONTOH KORELASI PARSIAL PADA METODE STEPWISE (Langkah 4) � Dari langkah 3 didapatkan bahwa korelasi Y* dengan X 2*, sehingga X 2 dipertahankan kedalam model. � Kemudian regresikan Y dengan X 2 dan X 3, dan lakukan kembali sesuai prosedur diatas untuk mendapatkan model terbaik yang masuk dalam persamaan regresi

CONTOH KORELASI PARSIAL PADA METODE STEPWISE (Langkah 5)

METODE BEST SUBSET � Dengan menggunakan criteria Cp-Mallows dan MSE terkecil diperoleh model terbaik yang mengandung variabel X 2, X 3 dan X 5. Sehingga model terbaik

TERIMA KASIH