Maksimum Likelihood Estimation pada Regresi Linier dan Regresi Logistik

http://oc.its.ac.id/jurusan.php?fid=1&jid=3
wiwiek@statistika.its.ac.id

Prosedur penaksiran parameter menggunakan metode

MLE adalah berikut : 4. ln fungsi likelihood :
1. Menuliskan model dugaan.  1  n ( yi  (  0  1 X i )) 2
ln L  ln(2 ) 0 , 5 n    
2

2. Menuliskan PDF variabel respon setiap eksperimen,  2 2

 i 1
 ( 2 ) 1  n
disesuaikan dengan model dugaan.  ln(2 2

) 0 , 5 n  
2
  ( yi  (  0 
 1 X i )) 2
  i 1
3. Mengalikan n PDF variabel respon (bila terdapat n n
eksperimen); ini merupakan fungsi likelihood.
4. Melakukan operasi ln pada fungsi likelihood.
lnL maksimum bila (yi 1
i  (  0  1 X i )) 2 minimum;
5. Menurunkan fungsi ln likelihood terhadap parameter
ini merupakan jumlah kuadrat error metode least
yang akan ditaksir, yaitu : koefisien regresi (0 & 1)
dan variansi error(2), bila model dugaan adalah mo- square, sehingga rumus penaksir koefisien regresi seperti
del regresi sederhana. pada metode least square; termasuk rumus untuk standart
error penaksir koefisien regresi.
Penerapan metode MLE pada regresi linier
5. Penurunan fungsi likelihood
sederhana
1. Model dugaan setiap eksperimen :
Yi = 0 + 1Xi + i, i ~ N(0,2) d ln L n 1  1 2 2  n
     ( )  ( yi  (  0  1 X i ))
2
( 1)
Yi ~ N(i, ,2), i = E(Yi) = E(0 + 1Xi + i) d ( 2 ) 22  2  i 1
= 0 + 1Xi
n 1  1 2 2  n
2 = var(Yi)     ( )  ( i )  0
2
( 1)
2. PDF variabel respon setiap eksperimen : 2 2
2  i 1
Eksperimen
PDF n 1  1 2  n n
ke    i     ( i ) 2 / n
2 2
 ( ) maka ˆ
1  1  y1  1  2  2 2
2  i 1 i 1
1 f Y1 ( y1 )  exp    
(2 2 ) 0,5  2    Penaksir ini bias, yang tak bias ialah :
 
n


1  ( y1  (  0   1 X 1 )) 2 
exp    ˆ 2
 
( i ) 2 /(n  2)
(2 )
2 0, 5
 2 2
 i 1
Penaksir parameter mejadi takbias bila n besar.

2 Selang kepercayaan parameter didapatkan seperti pada

1  1  y2  2  2  metode least square, begitu pula dengan pengujian hipo-
f Y2 ( y 2 )  exp   
 2    tesis secara parsial.
(2 )
2 0 ,5
 
1  ( y1  (  0   1 X 2 )) 2 Pengujian
 hipotesis secara sequensial menggunakan sta-
 exp 
  
tistik
 uji perbandingan nilai likelihood. Nilai likelihood
(2 2 ) 0,5  2 2  nilai yang didapatkan dengan cara mensubstitusikan
ialah
. nilai penaksir parameter pada fungsi likelihood.
.
. Contoh :
n  1  yn   n   2 x 1 2 3 4 5 6 7 8
1   
f Yn ( y n )  exp  y 1 1,2 1,8 2,5 3,6 4,7 6,6 9,1
( 2 2 ) 0,5  2   
 
Model dugaan : Yi = 0 + 1Xi + , atau Yi = b0 + b1Xi
1  ( y n  (  0  1 X n )) 2 
 exp 
  
( 2 2 ) 0,5 2 2 Nilai penaksir :
  2
b0 = -1,20 b1 = 1,11 SSE = 5,03 s1 = SSE/8 = 0,6288
MSE = SSE/6 = 0,84
3. Fungsi Likelihood :
Nilai likelihood, yaitu L(y;b0,b1, s12) = ( 2ˆ 2 e)  n / 2
1  ( y1  (  0  1 X 1 ))2 
L exp   X = (10,7397)-4
(2 2 )0,5  2 2 
Nilai likelihood untuk model-model yang lain :
1  ( y2  (  0  1 X 2 )) 2  L(y;b0,s02) = (121,8426)-4 , L(y;b0,b1,b2 ,s22) = (0,4270)-4
exp   X . . .
(2 2 )0,5  2 2  Perumusan hipotesis dan statistik uji menggunakan per-
X bandingan nilai likelihood :
Perumusan
1  ( y  (  0  1 X n )) 2
 Statistik uji, dinotasikan X2
exp  n  . hipotesis
(2 )
2 0,5
 2 2  H0: 1 = 0
 L( y;  0 , s02 )   s02 
H1: 1 ≠ 0  2 ln 2 
  n ln  2 
1  1 n  L ( y ;  ,  , s )  s1 
L exp  2  ( yi  (  0  1 X i ))2   0 1 1 
(2 )
2 0,5 n
 2 i 1  = 19,43
H0: 2 = 0 H0: 1 = 2
 L( y;  0 , 1 , s12 )   s12   L( y;  0 , s02 )   s02 
H1: 2 ≠ 0  2 ln 2 
  n ln 2  =0  2 ln 2 
  n ln 2 
 L( y;  0 , 1 ,  2 , s2 )   s2   L( y;  0 , 1 ,  2 , s2 )   s2 
= 25,8 = 45,23

L( y;  0 , s02 )  L( y;  0 , 1 , s12 )  L( y;  0 , 1 ,  2 , s22 )

Catatan : L(y;b0,b1,b2 ,s22) untuk model kuadratik.

Perumusan Distribusi Statistik uji Daerah

hipotesis Titik Kritis Kesimpulan
bila H0 benar Penolakan H0
H0: 1 = 0 ...
H1: 1 ≠ 0 X 2 ~ 12  12, = X 2   12,
. . .
H0: 2 = 0 ...
H1: 2 ≠ 0 X 2 ~ 12  2
1, = X 2   12,
. . .
H0: 1 = 2 = 0 ...
X 2 ~  22  22, = X 2   22,
. . .

Isilah titik-titik pada tabel di atas dengan hasil tabel atau perhitungan yang benar.
Model mana yang terbaik? Berilah alasan.

Penerapan metode MLE pada Regresi

Logistik
Fungsi Likelihood menjadi :
Regresi Logistik ialah regresi dengan variabel respon ter- ni  ri
 1   e  xi  
ri T
diri dari dua kejadian, sukses atau gagal, disebut respon s
biner; sehingga hasil kejadian tersebut dapat didekati o- L() =    
 xiT   T
leh distribusi Binomial. Selanjutnya, yang dimodelkan i 1 1  e  1  e  xi  
ialah probabilitas terjadi sukses, dengan prediktor yang
diduga berkontribusi terhadap kejadian sukses. s


xTi β
ln L() = {ni[xi β - ln(1 e )]  ri[xi β]}
T T

Model regresi logistik dinyatakan dengan persamaan : i1

1
P(x i )   x Ti β
i = 1, 2, ... , s Khusus untuk satu prediktor, xiT  = 0 + 1xi, sehingga ln
1 e fungsi likelihood menjadi :
s
dengan : P(xi) adalah probabilitas terjadi sukses pada ln L( )  {ni[(0  1x1) - ln(1 e(01x) )]  ri[(0  1x1)]}
kelompok ke i, i1
xiT  = 0 + 1xi , bila digunakan satu prediktor. s s s
  ni [ (  0  1 x1 )] -  ni ln(1  e ( 0  1x ) )   ri [ (  0
Proses penaksiran parameter didahului oleh pembentukan i 1 i 1 i 1

fungsi likelihood. Misal eksperimen menggunakan s ke-

lompok, setiap kelompok dinamai kelompok ke i, i = 1,
2, ... , s. Pada setiap kelompok terdapat ni subyek atau u-
nit eksperimen, dan diantaranya terdapat ri sukses. Selanjutnya ln fungsi likelihood diturunkan terhadap 0
Dengan asumsi terjadinya sukses atau tidak sukses ber- dan 1 , kemudian masing-masing disamadengankan 0,
distribusi binomial, maka PDF banyak sukses setiap ke- sehingga didapatkan :
lompok ke i, dengan ni subyek dan probabilitas setiap
subyek sukses P(xi), adalah :
 ln L(  ) s  e  (  0  1 x i )  s
ri
 e  xiT  
ni  ri
  ni 1   (  0  1 xi ) 
  ri  0
 1   0
*  P( xi ) i 1  P( xi )
r ni  ri
 * T    i 1  (1  e  i 1
 xT 
1  e  xi   1  e i 
 ln L(  ) s  e  (  0  1 xi )  s
Tanda * pada persamaan di atas seharusnya diisi kombi-   ni 1  x   r xi  0
 (  0  1 x i )  i
nasi(ni,ri) atau   , tetapi ini akan hilang pada proses
ni
ri
1 i 1  (1  e  i 1

hasil pendeferensialan disamadengankan 0, sehingga ti- Buktikan!

dak perlu dituliskan. Penaksir 0 dan 1 didapatkan dari solusi dua persamaan
di atas. Solusi tidak dapat dihitung secara langsung, teta-
pi harus melalui iterasi yang lazim digunakan pada meto-
de numerik.
Adapun perumusan hipotesis dan statistik uji (dilakukan
dengan menggunakan perbandingan nilai likelihood) a-
dalah sebagai berikut :
Proporsi yang
Dosis streptoni- Banyak Banyak yg
menyimpang
H0 : 1 = 0 , artinya pengaruh prediktor terhadap kejadian grin (mg/kg berat Lymphoblasts menyimpang
sukses tidak bermakna, badan) (ni) (ri) (Pˆ)
i
H 1 : 1  0 0 600 15 0,025
30 500 96 0,192
60 600 187 0,312
75 300 100 0,333
Statistik uji : 90 300 145 0,483
 L( ˆ ) 
 (  )  2 ln 
ˆ 
 L( P )  Hasil perhitungan respon dan pembobot adalah sbb :

   
s
ˆ)  ri ri ni  ri n i  ri  Pˆ ( xi )  Pembobot
dengan : L( P ni ni ln  Dosis
i 1 1  ˆ (x ) 
P (wi)
ni  ri
 i 

 1   e i 
s ri x  T
-3,6636 0 14,625
L(  )   
ˆ
 xiT  
 T  -1,4373 30 77,568
i 1 1  e  1  e  xi   -0,7908 60 128,794
-0,6946 75 66,633
Distribusi Statistik uji bila H0 benar adalah : -0,0680 90 74,913
Sumber : Classical And Modern Regression With Appli-
cations, Second Edition, oleh Raymond H
L(  ) ~  s2 k 1
Myers, 1990, halaman 320.
Langkah selanjutnya seperti pada Tabel di atas.
Lakukan pengolahan data menggunakan WLS dan Mak-
simum Likelihood, untuk mendapatkan model dan meng-
Regresi logistik juga dapat dipandang sebagai regresi evaluasi kemaknaan pengaruh prediktor.
terboboti dengan :
 P( x )  Kunci Jawaban :
- variabel respon ln i

 1  P( xi )   Pˆ ( xi ) 
- variabel prediktor X ln  = -2,56488 + 0,02806 X

ˆ
 P ( xi )   1  P( xi ) 
- model regresi: ln  = 0 + 1xi + i.
 1  P ( x )
i 

  Pˆ ( xi )   1
- var  ln  ~
 
 1  Pˆ ( x )  ni P( xi )(1  Pˆ ( xi ))
ˆ
  i 

ˆ ( x )(1  P
- pembobot, wi = 1/var = ni P ˆ ( x ))
i i

- V adalah matrik diagonal dengan elemen :

1
ni Pˆ ( xi )(1  Pˆ ( xi ))

Proses selanjutnya seperti regresi WLS.

Penaksir probabilitas sukses pada prediktor bernilai x0 :

1
Pˆ0   ( ˆ 0  ˆ1 x 0 )
1 e

Contoh :
Suatu penelitian dilakukan untuk memodelkan hubungan
antara proporsi lymphoblasts yang menyimpang dengan
dosis pemaparan streptonigrin. Unit eksperimen yang di-
gunakan adalah kelinci. Data eksperimen sbb :