Estimator Bayes dan Minimax Sigit Nugroho Estimator Bayes

Estimator Bayes dan Minimax Sigit Nugroho

Estimator Bayes adalah estimator yang meminimumkan rata-rata resiko, dimana fungsi resiko, RT( ), dirata-ratakan berdasarkan atau menggunakan fungsi kepekatan peluang prior p( ). Prinsip pembandingan minimax adalah memilih estimator yang meminimumkan resiko maksimum. Keseluruhan kelas estimator dapat dihasilkan dengan menggunakan p( ) yang berbeda. Sangat baik untuk memiliki kelas estimator dalam suatu permasalahan, meskipun jika ada beberapa alasan fisik tertentu untuk memilih p( ) yang sesuai, maka estimator yang berkenaan dengan p( ) akan diasumsikan terlebih dahulu sebagai yang terbaik untuk digunakan dalam permasalahan tersebut. Terdapat filosofi yang berbeda sehubungan dengan pemilihan kepekatan prior p( ), namun kita tak akan begitu memperhatikan bagaimana p( ) dipilih. Dalam berbagai kasus mungkin bertindak seperti peubah acak, dan p( ) akan mencerminkan fakta ini. Sebagai teladan, dapat merepresentasikan proporsi senjata dalam sebuah tumpukan yang berfungsi. Dilain pihak, p( ) merepresentasikan derajat kepercayaan yang berhubungan dengan nilai yang datangnya dari informasi penarikan contoh (penyuplikan) sebelumnya, atau dengan cara lainnya. Dalam sembarang peristiwa, estimator potensial yang bermanfaat dapat dikembangkan melalui struktur ini.

Definisi Kepekatan bersyarat bilamana observasi contoh x = (x 1, x 2, …, xn) disebut dengan kepekatan posterior atau fkp posterior, dan diberikan oleh Estimator Bayes adalah estimator yang meminimumkan rata-rata resiko untuk keseluruhan , . Namun demikian, dan estimator T yang meminimumkan untuk setiap x juga meminimumkan rata-rata pada X. Dengan demikian, estimator Bayes dapat diperoleh dengan meminimumkan rata-rata kerugian dengan memperhatikan sebaran posterior.

Teorema Jika X 1, …, Xn melambangkan suatu contoh acak dari f(x| ), maka estimator Bayes adalah estimator yang meminimumkan rata-rata kerugian dengan memperhatikan sebaran posterior |x, Teorema estimator Bayes, T, bagi ( ) dengan menggunakan fungsi kerugian galat kuadrat (squared error loss function), adalah rata-rata bersyarat bagi ( ) berdasarkan sebaran posteriornya, Teorema estimator Bayes, T, bagi dengan menggunakan fungsi kerugian harga mutlak (absolute error loss), adalah median dari sebaran posterior Teorema Jika T* adalah estimator Bayes dengan resiko konstan, maka T* adalah estimator minimax ,

Teladan Misalkan Xi ~ Poisson( ), dan kita ingin mendapatkan estimator Bayes bagi , dengan asumsi menggunakan fungsi kerugian galat kuadrat. Kita pilih fungsi kepekatan prior dari kelas Gamma, ~ Gamma( , ), dengan , diketahui. Dengan demikian, fungsi kepekatan sebaran posteriornya adalah merupakan fungsi kepekatan dari sebaran Gamma dengan parameter (n+1/ )-1 dan. Dengan demikian, estimator Bayes nya, dengan fungsi kerugian galat kuadrat, adalah Nilai harapan posterior nya, atau E( |X), Jika apriori dengan yang besar dan yang kecil, estimator Bayes ini mendekati estimator Maximum Likelihood nya

Besarnya resiko dalam hal ini Tak ada nilai atau yang membuat resiko konstan untuk keseluruhan nilai , demikian juga untuk estimator minimax, jikalau ada, tak dapat dihasilkan dari turunan ini. Namun demikian, pilihan fkp prior yang lain mungkin dapat menghasilkan estimator minimax.

Teladan Misalkan suatu contoh acak berukuran n berasal dari sebaran Bernoulli, dan misalkan ~ Seragam(0, 1). Misalkan dalam permasalahan ini digunakan fungsi kerugian galat kuadrat ‘tertimbang’, yang memberikan bobot lebih nilai dekat ke nol atau satu. Tidaklah sulit untuk menunjukkan bahwa fungsi yang memaksimumkan adalah Sebaran posterior dalam hal ini adalah Beta,

Dengan demikian dan sehingga dan estimator Bayesnya adalah Lebih jauh lagi yang konstan untuk keseluruhan . Dengan demikian dalam teladan ini adalah juga estimator minimax.

Teladan Suatu contoh acak dari sebaran eksponensial, Eksp(1/ ) Misalkan juga fungsi kepekatan prior dimana nilai diketahui. Maka juga eksponensial, Eks(1/ ), dimana c( , x) adalah fungsi yang tak tergantung pada , dan hanya merupakan konstanta yang membuat integral dari fkp tersebut sama dengan 1. Sudah jelas dalam kasus ini, bahwa Untuk fungsi kerugian galat kuadrat, estimator Bayes bagi adalah estimator Bayes bagi rata-rata, kuadrat adalah , dengan fungsi kerugian galat