Pertimbangkan model regresi logistik biner sederhana, dengan variabel dependen biner dan hanya dan konstanta biner yang konstan .
mana adalah cdf logistik, .TΛ Λ ( u ) = [ 1 + exp { - u } ] - 1
Pr ( Ysaya= 1 ∣ Tsaya= 1 ) = Λ ( α + βTsaya)
ΛΛ ( u ) = [ 1 + exp{ - u } ]- 1
Dalam formulir logit, kita memiliki
dalam( Pr ( Ysaya= 1 ∣ Tsaya= 1 )1 - Pr ( Ysaya= 1 ∣ Tsaya= 1 )) =α+βTsaya
Anda memiliki sampel ukuran . Mendenotasikan jumlah observasi di mana dan mereka di mana , dan . Pertimbangkan perkiraan probabilitas kondisional berikut:n 1 T i = 1 n 0 T i = 0 n 1 + n 0 = nnn1Tsaya= 1n0Tsaya= 0n1+ n0= n
Pr^( Y= 1 ∣ T= 1 ) ≡ P^1 | 1= 1n1∑Tsaya= 1ysaya
Pr^( Y= 1 ∣ T= 0 ) ≡ P^1 | 0= 1n0∑Tsaya= 0ysaya
Maka model yang sangat mendasar ini menyediakan solusi bentuk tertutup untuk penaksir ML:
α^= ln( P^1 | 01 - P^1 | 0) ,β^= ln( P^1 | 11 - P^1 | 1) -ln( P^1 | 01 - P^1 | 0)
BIAS
Meskipun dan adalah penaksir yang tidak bias dari probabilitas yang sesuai, MLEs bias, karena fungsi logaritmik non-linier menghalangi - membayangkan apa yang terjadi pada model yang lebih rumit , dengan tingkat non-linearitas yang lebih tinggi.P^1 | 1P^1 | 0
Tapi tanpa gejala, bias menghilang karena estimasi probabilitas konsisten. Memasukkan langsung operator di dalam nilai yang diharapkan dan logaritma, kami memiliki
lim
limn → ∞E[ α^] = E[ ln( limn → ∞P^1 | 01 - P^1 | 0) ] =E[ ln( P1 | 01 - P1 | 0) ] =α
dan juga untuk . β
MATRIKS VARIANCE-COVARIANCE MLE
Dalam kasus sederhana di atas yang memberikan ekspresi bentuk tertutup untuk estimator, seseorang dapat, setidaknya pada prinsipnya, melanjutkan dan mendapatkan distribusi sampel hingga yang tepat dan kemudian menghitung sampel sampel varians-kovarians matriks yang tepat . Tetapi secara umum, MLE tidak memiliki solusi bentuk tertutup. Kemudian kami menggunakan estimasi yang konsisten dari matriks varians-kovarians asimptotik, yang memang (negatif dari) kebalikan dari Goni dari fungsi log-likelihood sampel, dievaluasi di MLE. Dan tidak ada "pilihan sewenang-wenang" di sini sama sekali, tetapi ini dihasilkan dari teori asimptotik dan sifat asimptotik dari MLE (konsistensi dan normalitas asimptotik), yang memberi tahu kita bahwa, untuk ,
θ0= ( α , β)
n--√( θ^- θ0) →dN( 0 , - ( E[ H] )- 1)
dimana adalah Hessian. Kira-kira dan untuk sampel terbatas (besar), ini membawa kita keH
Var( θ^) ≈ - 1n( E[ H])-1≈ - 1n( 1nH^)- 1= - H^- 1