Model Linier untuk Data Kontinyu S 2 Statistika

Model Linier untuk Data Kontinyu S 2 Statistika Semester Genap 2011/2012 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

Struktur Acak (Random Structure) • Peubah respons Y (kontinyu) akan bervariasi walaupun mempunyai kovariate (X) yang bernilai sama. • Setiap respons yi : realisasi dari peubah acak Yi. • Diasumsikan bahwa: • μi : Nilai harapan • σ2 : ukuran deviasi/fluktuasi pengamatan terhadap nilai harapannya. 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

• Fungsi kepekatan peluang sebaran normal bagi satu pengamatan ke i • Asumsi, pengamatan-pengamatan saling bebas. – Sebaran peluang bersama adalah perkalian dari sebaran peluang masing-masing pengamatan → pembentukan fungsi likelihood – Antar pengamatan tidak berkorelasi: cov(Yi, Yj) = 0 untuk i ≠ j. 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

• n pengamatan disajikan dalam vektor kolom y → realisasi dari peubah acak Y – E(Y) = μ → nilai harapan – var(Y) = σ2 I, → matriks ragam peragam, di mana I adalah matriks identitas, dengan diagonal utama σ2 dan nol untuk elemen selainnya • n pengamatan tidak berkorelasi dan mempunyai ragam sama. • Y mempunyai sebaran normal berganda 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

Struktur Sistematis (Systematic Structure) • Digunakan p peubah prediktor: x 1, … , xp – Realisasi prediktor untuk pengamatan ke i: xi 1, … , xip • Asumsi: nilai harapan respons (μi) tergantung pada prediktor tsb. • Jika μi sebagai fungsi linier dari prediktor: • Koefisien βj adalah koefisien regresi • Dalam notasi matriks, 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

• Dalam notasi matriks untuk mewakili seluruh pengamatan: • X matriks berukuran an n ×p • Memuat nilai prediktor ke p dari seluruh n pengamatan. • X disebut sebagai matriks model atau matriks desain. • Notasi matriks lebih umum digunakan 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

• Xβ : Penduga linier /linear predictor – Regresi sederhana, regresi berganda – Analisis ragam / analisis peragam Null model • Model linier paling sederhana μi = μ untuk semua pengamatan i • Tidak ada perbedaan sistematis antar pengamatan. • Bentuk khusus penduga linier, pada satu peubah prediktor p = 1 dan xi = 1 untuk semua i 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

Saturated model: • Setiap pengamatan mempunyai nilai tengah sendiri μi. • Bentuk khusus penduga linier dengan n peubah prediktor, p = n • xi =1 untuk pengamatan ke- i dan 0 selainnya. • Umumnya model yang bersifat di antara kedua kasus tersebut. • Struktur sistematis diwakili oleh penduga linier • Struktur acak diwakili oleh suku galat. 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

Pendugaan Parameter • Bagaimana menduga β dan σ2? • Metode penduga kemungkinan maksimum/ Maximum Likelihood Estimator • Memaksimumkan fungsi likelihood, – Fungsi likelihood: perkalian fungsi kepekatan peluang untuk semua pengamatan – Membentuk log dari fungsi tsb. Pilih β dan σ2 yang memaksimum kan 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

• Pemilihan β yang memaksimumkan fungsi log likelihood, pada nilai tertentu σ2 (dianggap tetap) setara dengan • Pemilihan β yang meminimumkan jumlah kuadrat galat Pilih β yang meminimumkan • Memilih nilai β yang membentuk μi = xiβ sedekat mungkin dengan nilai pengamatan yi. 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

• Persamaan normal bagi penduga kemungkinan maksimum – Turunan dari RSS terhadap β yang disamadengankan nol • Matriks X disebut matriks model • Jika X matriks adalah matriks yang full column rank – Tidak ada kolom yang merupakan kombinasi linier dari kolom-kolom yang lain • Matriks X’X juga full rank • Matriks X’X dapat dibalik (dicari inverse-nya) untuk menentukan solusi dari persamaan normal 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

• Penduga kemungkinan maksimum bagi parameter β: • Jika X bukan matriks yang ‘full column rank’ • Dapat digunakan generalized inverse dari X’X. • Interpretasi lebih mudah jika kolom redundan dari X ditiadakan. – Terdeteksi oleh statistical software yang terbaru, dan otomatis ditiadakan. 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

• Beberapa metode untuk mencari inverse dari X’X: – Choleski decomposition, – Dekomposisi LU – The Gram-Schmidt orthogonalization. • Walaupun diasumsikan bahwa MLE diperoleh pada nilai σ2 tertentu (fixed), penduga MLE tidak tergantung pada σ2 – Global maximum 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

Null model • Model linier paling sederhana μi = μ untuk semua pengamatan i • Bentuk khusus penduga linier, pada satu peubah prediktor p = 1 dan xi = 1 untuk semua i • X adalah vektor dengan seluruh elemen bernilai 1 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc

Tugas Terstruktur • Buat resume mengenai Choleski decomposition • Buat resume mengenai dekomposisi LU • Buat resume mengenai Gram-Schmidt orthogonalization. 22/02/2021 Dr. Rahma Fitriani, S. SI. , M. Sc