Dalam GLM, apakah kemungkinan log dari model jenuh selalu nol?

14

Sebagai bagian dari output dari model linier umum, penyimpangan nol dan residual digunakan untuk mengevaluasi model. Saya sering melihat rumus untuk jumlah ini yang dinyatakan dalam kemungkinan log dari model jenuh, misalnya: /stats//a/113022/22199 , Regresi Logistik: Cara mendapatkan model jenuh

Model jenuh, sejauh yang saya mengerti, adalah model yang sangat cocok dengan respons yang diamati. Jadi, di sebagian besar tempat yang saya lihat, log-kemungkinan model jenuh selalu diberikan sebagai nol.

Namun, cara rumus penyimpangan diberikan menunjukkan bahwa kadang-kadang jumlah ini tidak nol. (Seolah itu nol selalu, mengapa repot-repot memasukkannya?)

Dalam kasus apa itu bukan nol? Jika tidak pernah nol, mengapa memasukkannya dalam formula untuk penyimpangan?

Alex
sumber

Jawaban:

18

Jika Anda benar-benar bermaksud log-likelihood , maka jawabannya adalah: itu tidak selalu nol.

Misalnya, perhatikan data Poisson: ysayaPoisson(μsaya),saya=1,...,n . Log-kemungkinan untuk Y=(y1,...,yn) diberikan oleh:

()(μ;Y)=-saya=1nμsaya+saya=1nysayacatatanμsaya-saya=1ncatatan(ysaya!).

Bedakan (μ;Y) dalam () sehubungan dengan μsaya dan atur ke 0 (ini adalah bagaimana kami mendapatkan MLE untuk model jenuh):

-1+ysayaμsaya=0.
Memecahkan ini untukμsayauntuk mendapatkan μ i=yi, menggantikan μ ikembali ke(*)untukμimemberikan bahwa log-kemungkinan model jenuh adalah: ( μ ;Y)=n i=1yi(logyi-1)-n i=μ^saya=ysayaμ^saya()μsaya
(μ^;Y)=saya=1nysaya(catatanysaya-1)-saya=1ncatatan(ysaya!)0
kecualiysayamengambil nilai yang sangat istimewa.

Di halaman bantuan Rfungsi glm, di bawah item deviance, dokumen menjelaskan masalah ini sebagai berikut:

deviance hingga konstan, dikurangi dua kali log-likelihood yang dimaksimalkan. Dimana masuk akal, konstanta dipilih sehingga model jenuh memiliki penyimpangan nol.

Perhatikan bahwa disebutkan bahwa penyimpangan , bukan log-kemungkinan model jenuh dipilih menjadi nol.

Mungkin, apa yang Anda benar-benar ingin konfirmasi adalah bahwa " penyimpangan model jenuh selalu diberikan sebagai nol", yang benar, sejak penyimpangan, menurut definisi (lihat Bagian 4.5.1 dari Analisis Data Kategorikal (Edisi 2) oleh Alan Agresti) adalah statistik rasio kemungkinan dari GLM yang ditentukan untuk model jenuh. Yang constantdisebutkan dalam dokumentasi R sebenarnya dua kali log-likelihood yang dimaksimalkan dari model jenuh.

Mengenai pernyataan Anda "Namun, cara rumus penyimpangan diberikan menunjukkan bahwa kadang-kadang jumlah ini tidak nol.", Itu mungkin disebabkan oleh penyalahgunaan penggunaan istilah penyimpangan . Misalnya, di R, statistik rasio kemungkinan membandingkan dua sewenang-wenang model (bersarang) dan M 2 juga disebut sebagai penyimpangan, yang akan lebih tepat disebut sebagai yang perbedaan antara penyimpangan dari M 1 dan penyimpangan dari M 2 , jika kita mengikuti dengan seksama definisi yang diberikan dalam buku Agresti.M.1M.2M.1M.2

Kesimpulan

  1. Log-likelihood dari model jenuh pada umumnya bukan nol.

  2. Penyimpangan (dalam definisi aslinya) dari model jenuh adalah nol.

  3. The penyimpangan Output dari software (seperti R) secara umum non-nol karena itu benar-benar berarti sesuatu yang lain (perbedaan antara deviances).


Berikut ini adalah derivasi untuk kasus keluarga eksponensial umum dan contoh konkret lainnya. Misalkan data berasal dari keluarga eksponensial (lihat Statistik Terapan Modern dengan S , Bab ): f ( y i ; θ i , φ ) = exp [ A i ( y i θ i - γ ( θ i ) ) / φ + τ ( y i , φ / A i ) ] .7

(1)f(ysaya;θsaya,φ)=exp[SEBUAHsaya(ysayaθsaya-γ(θsaya))/φ+τ(ysaya,φ/SEBUAHsaya)].
di mana diketahui bobot sebelumnya dan φ adalah parameter dispersi / skala (untuk banyak kasus seperti binomial dan Poisson, parameter ini diketahui, sedangkan untuk kasus lain seperti normal dan Gamma, parameter ini tidak diketahui). Kemudian log-kemungkinan diberikan oleh: ( θ , φ ; Y ) = n Σ i = 1 A i ( y i θ i - γ ( θ i ) ) / φ + n Σ i = 1 τSEBUAHsayaφ Seperti dalam contoh Poisson, parameter model jenuh dapat diperkirakan dengan menyelesaikanfungsiskorberikut: 0 = U ( θ i ) = ( θ , φ ; Y )
(θ,φ;Y)=saya=1nSEBUAHsaya(ysayaθsaya-γ(θsaya))/φ+saya=1nτ(ysaya,φ/SEBUAHsaya).
0=U(θsaya)=(θ,φ;Y)θsaya=SEBUAHsaya(ysaya-γ(θsaya))φ

θ^saya

()(θ^,φ;Y)=saya=1nSEBUAHsaya(ysayaθ^saya-γ(θ^saya))/φ+saya=1nτ(ysaya,φ/SEBUAHsaya).

()Γ(α,β)


f(y;α,β)=βαΓ(α)e-βyyα-1,y>0,α>0,β>0,
f(1)
φ=1α,θ=-βα,
f
f(y;θ,φ)=exp[θy-(-catatan(-θ))φ+τ(y,φ)],
τ(y,φ)=-catatanφφ+(1φ-1)catatany-catatanΓ(φ-1).
θ^saya=-1ysaya
saya=1n1φ[θ^sayaysaya-(-catatan(-θ^saya))]=saya=1n1φ[-1-catatan(ysaya)]0,
ysaya
Zhanxiong
sumber
1
Apakah kemungkinan loglikasinya nol jika dan hanya jika model dapat menetapkan probabilitas 100% untuk setiap hasil yang mungkin?
Alex
Saya tidak begitu mengerti apa yang Anda maksudkan. Tapi dari derivasi saya, Anda mungkin menyimpulkan itu0 jika dan hanya jika τ identik 0dan tidak ada parameter dispersi.
Zhanxiong
Derivasi Anda sangat baik tetapi bukti formal sedikit di atas kepala saya saat ini. Terima kasih atas contoh Anda dengan model Poisson. Apa yang saya ambil dari contoh ini adalah bahwa model Poisson tidak dapat menetapkan probabilitas 100% untuk hasil yang diamati memberikan nilai untuk nilai Poisson, sehingga kemungkinan tidak boleh nol.
Alex
Pernyataan "menetapkan model 100% probabilitas untuk hasil yang diamati "kedengarannya aneh bagi saya. Maksud Anda yang diberikan pengamatan y1,...,yn, dan jika Y adalah variabel acak Poisson, P(Y=y1)+P(Y=y2)++P(Y=yn)<1?
Zhanxiong
1
Yang saya maksudkan adalah bahwa jika Y adalah variabel acak Poisson, kemudian P(Y=ysaya)<1 untuk apa saja sayaatau Poisson mean, sehingga tidak mungkin untuk menemukan parameter model yang memberikan kemungkinan log nol untuk diamati. Mungkin saya benar-benar salah paham konsep model jenuh.
Alex
4

Jawaban Zhanxiong sudah bagus (+1), tapi ini adalah demonstrasi cepat bahwa kemungkinan log dari model jenuh adalah 0untuk regresi logistik. Saya pikir saya akan memposting karena saya belum melihat TeX ini di situs ini, dan karena saya baru saja menulis ini untuk kuliah.

Kemungkinannya adalah

(1)L(y;X,β)=saya=1nf(ysaya;xsaya,β)=saya=1nπsayaysaya(1-πsaya)1-ysaya=saya=1n(πsaya1-πsaya)ysaya(1-πsaya)
dimana πsaya=invlogit(xsayaβ).

Kemungkinan log adalah

catatanL(y;X,β)=saya=1nysayacatatan(πsaya1-πsaya)+catatan(1-πsaya)=saya=1nysayalogit(πsaya)+catatan(1-πsaya)=saya=1nysayaxsayaβ+catatan(1-invlogit(xsayaβ))=saya=1nysayaxsayaβ+catatan(invlogit(-xsayaβ))=saya=1nysayaxsayaβ-catatan(1+exp[xsayaβ]))

Jika Anda mengambil turunannya sehubungan dengan semua koefisien yang Anda dapatkan

(2)(β)=saya=1nysayaxsaya-exp[xsayaβ](1+exp[xsayaβ])xsaya.

Menyetel persamaan ini sama dengan 0 dan pemecahan untuk βakan memberikan jawaban Anda. Biasanya ini tidak dapat dilakukan secara analitis, yang menjelaskan popularitas / keharusan menggunakan algoritma iteratif agar sesuai dengan model ini, tetapi dalam kasus model jenuh, itu mungkin.

Untuk menemukan model jenuh, kami memberikan masing-masing baris koefisien itu sendiri. BegituβRn dan matriks desain dikalikan dengan koefisien vektor

Xβ=[100010001][β1β2βn].

Perhatikan bahwa secara khusus, xsayaβ=βsaya.

Jadi mengambil jbaris ke-persamaan (2) memberi kita

saya=1nysayaxsaya,j=saya=1nexp[xsayaβ](1+exp[xsayaβ])xsaya,j

yang hanya bisa benar jika untuk setiap pengamatan saya:

ysaya=invlogit(βsaya)
atau dengan kata lain masing-masing βsaya plus atau minus tanpa batas (jika ysaya adalah 1 atau 0, masing-masing). Kami dapat menyambungkan parameter ini kembali ke (1) untuk mendapatkan kemungkinan maksimal:
saya=1nπ^sayaysaya(1-π^saya)1-ysaya=1n=1.
Jelas log dari ini 0.

Taylor
sumber
Tetapi ini mengasumsikan data yang tidak dikelompokkan . Jika Anda memiliki grup dengannsaya>1(dan nilai kovariat yang sama) (dalam R, misalnya menggunakan formulir glm( cbind(k, n-k) ~ x + ... ) maka model jenuh tidak memiliki kemungkinan loglikel nol.
kjetil b halvorsen
@kjetilbhalvorsen oh bagus. Saya tidak pernah mencobanya, biar saya periksa
Taylor
1

@ Alex: ya, itu benar. setidaknya untuk distribusi diskrit. untuk distribusi kontinu, itu akan turun untuk membiarkan kepadatannya sama dengan 1, yang belum tentu bermakna dan karena itu bukan hal yang masuk akal untuk dicoba dan dicapai. sedikit lebih umum, kemungkinan log model jenuh memberi Anda batas atas untuk kinerja model apa pun yang mengikuti asumsi Anda tentang keluarga distribusi yang mendasarinya. Dengan kata lain, kemungkinan log dari model binomial jenuh adalah "sebaik yang didapat" untuk set data yang diberikan (X, Y) dengan asumsi Y adalah binomial. Masuk akal untuk membandingkan model glm Anda dengan batas atas ini yang bertentangan dengan, katakanlah, 100% (atau serupa), karena model Anda secara inheren dibatasi oleh asumsi Anda pada distribusi respons.

bettmensch88
sumber