Jika Anda benar-benar bermaksud log-likelihood , maka jawabannya adalah: itu tidak selalu nol.
Misalnya, perhatikan data Poisson: ysaya∼ Poisson ( μsaya) , i = 1 , … , n . Log-kemungkinan untuk Y= ( y1, ... , yn) diberikan oleh:
ℓ ( μ ; Y) = - Âi = 1nμsaya+ ∑i = 1nysayacatatanμsaya- ∑i = 1ncatatan( ysaya! ) .( ∗ )
Bedakan ℓ ( μ ; Y) dalam ( ∗ ) sehubungan dengan μsaya dan atur ke 0 (ini adalah bagaimana kami mendapatkan MLE untuk model jenuh):
- 1 + ysayaμsaya= 0.
Memecahkan ini untuk
μsayauntuk mendapatkan
μ i=yi, menggantikan
μ ikembali ke
(*)untuk
μimemberikan bahwa log-kemungkinan model jenuh adalah:
ℓ( μ ;Y)=n ∑ i=1yi(logyi-1)-n ∑ i=μ^saya= ysayaμ^saya( ∗ )μsayaℓ ( μ^; Y) = ∑i = 1nysaya( logysaya- 1 ) - Âi = 1ncatatan( ysaya! ) ≠ 0
kecuali
ysayamengambil nilai yang sangat istimewa.
Di halaman bantuan R
fungsi glm
, di bawah item deviance
, dokumen menjelaskan masalah ini sebagai berikut:
deviance
hingga konstan, dikurangi dua kali log-likelihood yang dimaksimalkan. Dimana masuk akal, konstanta dipilih sehingga model jenuh memiliki penyimpangan nol.
Perhatikan bahwa disebutkan bahwa penyimpangan , bukan log-kemungkinan model jenuh dipilih menjadi nol.
Mungkin, apa yang Anda benar-benar ingin konfirmasi adalah bahwa " penyimpangan model jenuh selalu diberikan sebagai nol", yang benar, sejak penyimpangan, menurut definisi (lihat Bagian 4.5.1 dari Analisis Data Kategorikal (Edisi 2) oleh Alan Agresti) adalah statistik rasio kemungkinan dari GLM yang ditentukan untuk model jenuh. Yang constant
disebutkan dalam dokumentasi R sebenarnya dua kali log-likelihood yang dimaksimalkan dari model jenuh.
Mengenai pernyataan Anda "Namun, cara rumus penyimpangan diberikan menunjukkan bahwa kadang-kadang jumlah ini tidak nol.", Itu mungkin disebabkan oleh penyalahgunaan penggunaan istilah penyimpangan . Misalnya, di R, statistik rasio kemungkinan membandingkan dua sewenang-wenang model (bersarang) dan M 2 juga disebut sebagai penyimpangan, yang akan lebih tepat disebut sebagai yang perbedaan antara penyimpangan dari M 1 dan penyimpangan dari M 2 , jika kita mengikuti dengan seksama definisi yang diberikan dalam buku Agresti.M.1M.2M.1M.2
Kesimpulan
Log-likelihood dari model jenuh pada umumnya bukan nol.
Penyimpangan (dalam definisi aslinya) dari model jenuh adalah nol.
The penyimpangan Output dari software (seperti R) secara umum non-nol karena itu benar-benar berarti sesuatu yang lain (perbedaan antara deviances).
Berikut ini adalah derivasi untuk kasus keluarga eksponensial umum dan contoh konkret lainnya. Misalkan data berasal dari keluarga eksponensial (lihat Statistik Terapan Modern dengan S , Bab ):
f ( y i ; θ i , φ ) = exp [ A i ( y i θ i - γ ( θ i ) ) / φ + τ ( y i , φ / A i ) ] .7
f( ysaya; θsaya, φ ) = exp[ Asaya( ysayaθsaya- γ( θsaya) ) / φ + τ( ysaya, φ / Asaya) ] .(1)
di mana
diketahui bobot sebelumnya dan
φ adalah parameter dispersi / skala (untuk banyak kasus seperti binomial dan Poisson, parameter ini diketahui, sedangkan untuk kasus lain seperti normal dan Gamma, parameter ini tidak diketahui). Kemudian log-kemungkinan diberikan oleh:
ℓ ( θ , φ ; Y ) = n Σ i = 1 A i ( y i θ i - γ ( θ i ) ) / φ + n Σ i = 1 τSEBUAHsayaφ
Seperti dalam contoh Poisson, parameter model jenuh dapat diperkirakan dengan menyelesaikanfungsi
skorberikut:
0 = U ( θ i ) = ∂ ℓ ( θ , φ ; Y )ℓ ( θ , φ ; Y) = ∑i = 1nSEBUAHsaya( ysayaθsaya- γ( θsaya) ) / φ + ¢i = 1nτ( ysaya, φ / Asaya) .
0 = U( θsaya) = ∂ℓ ( θ , φ ; Y)∂θsaya= Asaya( ysaya- γ′( θsaya) )φ
θ^saya
ℓ ( θ^, φ ;Y) = ∑i = 1nSEBUAHsaya( ysayaθ^saya-γ( θ^saya) ) / φ + ¢i = 1nτ( ysaya, φ / Asaya) .( ∗ ∗ )
( ∗ ∗ )Γ ( α , β)
f( y; α , β) = βαΓ ( α )e- βyyα - 1,y> 0 , α > 0 , β> 0 ,
f( 1 )φ = 1α,θ = - βα,
ff( y; θ , φ ) = exp[ θ y- ( - log( - θ ) )φ+ τ( y, φ ) ] ,
τ( y, φ ) = - logφφ+ ( 1φ- 1 ) logy- logΓ ( φ- 1) .
θ^saya= - 1ysaya∑i = 1n1φ[ θ^sayaysaya- ( - log( - θ^saya) ) ] = Âi = 1n1φ[ - 1 - log( ysaya) ] ≠ 0 ,
ysaya
Jawaban Zhanxiong sudah bagus (+1), tapi ini adalah demonstrasi cepat bahwa kemungkinan log dari model jenuh adalah0 untuk regresi logistik. Saya pikir saya akan memposting karena saya belum melihat TeX ini di situs ini, dan karena saya baru saja menulis ini untuk kuliah.
Kemungkinannya adalahL ( y ; X , β ) = ∏i = 1nf( ysaya; xsaya, β ) = ∏i = 1nπysayasaya( 1 - πsaya)1 - ysaya= ∏i = 1n( πsaya1 - πsaya)ysaya( 1 - πsaya)(1)
dimana πsaya= invlogit ( x⊺sayaβ ) .
Kemungkinan log adalahcatatanL ( y ; X , β )= ∑i = 1nysayacatatan( πsaya1 - πsaya) +log( 1 - πsaya)= ∑i = 1nysayalogit ( πsaya) + log( 1 - πsaya)= ∑i = 1nysayax⊺sayaβ + log( 1 - invlogit ( x⊺sayaβ ) )= ∑i = 1nysayax⊺sayaβ + log( invlogit ( - x⊺sayaβ ) )= ∑i = 1nysayax⊺sayaβ - log( 1 + exp[ x⊺sayaβ ] ) )
Jika Anda mengambil turunannya sehubungan dengan semua koefisien yang Anda dapatkan∇ ℓ ( β ) = ∑i = 1nysayaxsaya- exp[ x⊺sayaβ ]( 1 + exp[ x⊺sayaβ ] )xsaya.(2)
Menyetel persamaan ini sama dengan0 dan pemecahan untuk β akan memberikan jawaban Anda. Biasanya ini tidak dapat dilakukan secara analitis, yang menjelaskan popularitas / keharusan menggunakan algoritma iteratif agar sesuai dengan model ini, tetapi dalam kasus model jenuh, itu mungkin.
Untuk menemukan model jenuh, kami memberikan masing-masing baris koefisien itu sendiri. Begituβ ∈ Rn dan matriks desain dikalikan dengan koefisien vektor
X β= ⎡⎣⎢⎢⎢⎢⎢10⋮001⋮0⋯⋯⋱⋯00⋮1⎤⎦⎥⎥⎥⎥⎥⎡⎣⎢⎢⎢⎢β1β2⋮βn⎤⎦⎥⎥⎥⎥.
Perhatikan bahwa secara khusus,x⊺sayaβ = βsaya .
Jadi mengambilj baris ke-persamaan (2) memberi kita
∑i = 1nysayaxsaya , j= ∑i = 1nexp[ x⊺sayaβ ]( 1 + exp[ x⊺sayaβ ] )xsaya , j
yang hanya bisa benar jika untuk setiap pengamatansaya :
sumber
glm( cbind(k, n-k) ~ x + ...
) maka model jenuh tidak memiliki kemungkinan loglikel nol.@ Alex: ya, itu benar. setidaknya untuk distribusi diskrit. untuk distribusi kontinu, itu akan turun untuk membiarkan kepadatannya sama dengan 1, yang belum tentu bermakna dan karena itu bukan hal yang masuk akal untuk dicoba dan dicapai. sedikit lebih umum, kemungkinan log model jenuh memberi Anda batas atas untuk kinerja model apa pun yang mengikuti asumsi Anda tentang keluarga distribusi yang mendasarinya. Dengan kata lain, kemungkinan log dari model binomial jenuh adalah "sebaik yang didapat" untuk set data yang diberikan (X, Y) dengan asumsi Y adalah binomial. Masuk akal untuk membandingkan model glm Anda dengan batas atas ini yang bertentangan dengan, katakanlah, 100% (atau serupa), karena model Anda secara inheren dibatasi oleh asumsi Anda pada distribusi respons.
sumber