Bagaimana Anda menggunakan algoritma EM untuk menghitung MLE untuk formulasi variabel laten dari model Poisson nol yang meningkat?

Model regresi Poisson nol meningkat didefinisikan untuk sampel oleh dan selanjutnya mengasumsikan bahwa parameter dan memenuhi $(y_1,\ldots,y_n)$

Y_{i} = {\begin{cases} 0 & with probability p_{i} + (1 - p_{i}) e^{- λ_{i}} \\ k & with probability (1 - p_{i}) e^{- λ_{i}} λ_{i}^{k} / k! \end{cases}

$Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}$

λ = (λ_{1}, \dots, λ_{n})

$\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)$

p = (p_{1}, \dots, p_{n})

$\textbf{p} = (p_1, \dots, p_n)$

\begin{aligned} \log (λ) & = B β \\ logit (p) & = \log (p / (1 - p)) = G γ . \end{aligned}

$\eqalign{ \log(\mathbf{\lambda}) &= \textbf{B} \beta \\ \text{logit}(\textbf{p}) &= \log(\textbf{p}/(1-\textbf{p})) = \textbf{G} \mathbf{\gamma}. }$

Log kemungkinan yang sesuai dari model regresi Poisson nol meningkat adalah

\begin{aligned} L (γ, β; y) & = \sum_{y_{i} = 0} \log (e^{G_{i} γ} + \exp (- e^{B_{i} β})) + \sum_{y_{i} > 0} (y_{i} B_{i} β - e^{B_{i} β}) \\ - \sum_{i = 1}^{n} \log (1 + e^{G_{i} γ}) - \sum_{y_{i} > 0} \log (y_{i}!) \end{aligned}

$\eqalign{ L(\gamma,\mathbf{\beta}; \mathbf{y}) &= \sum_{y_i=0} \log(e^{G_i \gamma}+\exp(-e^{\textbf{B}_i \mathbf{\beta}})) +\sum_{y_i >0} (y_i \textbf{B}_i \mathbf{\beta}-e^{\textbf{B}_i \mathbf{\beta}})\\ &\quad -\sum_{i=1}^{n} \log(1+e^{G_{i} \gamma})-\sum_{y_i >0} \log(y_{i}!)}$

Di sini, dan adalah matriks desain. Matriks ini bisa sama, tergantung pada fitur yang ingin digunakan untuk dua proses menghasilkan. Mereka memiliki jumlah baris yang sama. $\mathrm{B}$ $\mathrm{G}$

Dengan asumsi bahwa kita dapat mengamati ketika berasal dari kondisi sempurna, nol dan ketika berasal dari keadaan Poisson, kemungkinan log-nya adalah $Z_i = 1$ $Y_i$ $Z_i = 0$ $Y_i$

L (γ, β; y, z) = \sum_{i = 1}^{n} \log (f (z_{i} | γ)) + \sum_{i = 1}^{n} \log (f (y_{i} | z_{i}, β))

$L(\gamma,\mathbf{\beta}; \mathbf{y}, \mathbf{z}) = \sum_{i=1}^{n} \log(f(z_i|\mathbf{\gamma}))+\sum_{i=1}^{n} \log(f(y_i|z_i, \mathbf{\beta}))$

= \sum_{i = 1}^{n} z_{i} (G_{i} γ - \log (1 + e^{G_{i} γ})) + - \sum_{i = 1}^{n} (1 - z_{i}) \log (1 + e^{G_{i} γ}) + \sum_{i = 1}^{n} (1 - z_{i}) [y_{i} B_{i} β - e^{B_{i} β} - \log (y_{i}!)]

$= \sum_{i=1}^{n} z_{i} (\textbf{G}_i \gamma-\log(1+e^{G_{i} \gamma}))+ -\sum_{i=1}^{n} (1-z_{i})\log(1+e^{G_{i} \gamma})+ \sum_{i=1}^{n} (1-z_i)[y_{i} \textbf{B}_i \beta-e^{\textbf{B}_i \beta} - \log(y_{i}!)]$ Dua istilah pertama adalah hilangnya dalam regresi logistik untuk memisahkan dari

. Istilah kedua adalah regresi ke poin yang dihasilkan oleh proses Poisson.

z_{i} = 0

$z_i=0$

z_{i} = 1

$z_i=1$

Tetapi bukankah variabel laten tidak dapat diamati? Tujuannya adalah untuk memaksimalkan kemungkinan log pertama. Tetapi kita harus memperkenalkan variabel laten dan mendapatkan kemungkinan log yang baru. Kemudian menggunakan algoritma EM, kita bisa memaksimalkan log-likelihood kedua. Tetapi ini mengasumsikan bahwa kita tahu bahwa atau ? $Z_i = 0$ $Z_i = 1$

generalized-linear-model maximum-likelihood poisson-distribution expectation-maximization latent-variable Damien
sumber

Apa itu ? Juga, sebagian besar pertanyaan ini tampaknya sebagian besar dipotong dan disisipkan dari pertanyaan sebelumnya yang berbeda oleh @Robby. Apa itu kamu?

f

$f$

Makro

@ Macro: Makro ya itu saya. Saya tidak yakin apa itu . Koran itu tidak pernah mengatakan.

f

$f$

Damien

Jawaban:

Akar kesulitan yang Anda hadapi terletak pada kalimat:

Kemudian menggunakan algoritma EM, kita bisa memaksimalkan log-likelihood kedua.

Seperti yang telah Anda amati, Anda tidak bisa. Alih-alih, apa yang Anda maksimalkan adalah nilai yang diharapkan dari kemungkinan log kedua (dikenal sebagai "kemungkinan log data lengkap"), di mana nilai yang diharapkan diambil alih . $z_i$

Ini mengarah ke prosedur berulang, di mana pada iterasi Anda menghitung nilai yang diharapkan dari mengingat estimasi parameter dari iterasi ( (ini dikenal sebagai "E-step" ",) lalu gantilah dengan kemungkinan log data lengkap (lihat EDIT di bawah ini untuk alasan mengapa kami dapat melakukan ini dalam kasus ini), dan maksimalkan hal itu sehubungan dengan parameter untuk mendapatkan perkiraan untuk iterasi saat ini (" M-step " .) $k^{th}$ $z_i$ $(k-1)^{th}$

Kemungkinan log data lengkap untuk Poisson nol-digembungkan dalam kasus paling sederhana - dua parameter, katakan dan - memungkinkan untuk penyederhanaan substansial ketika datang ke langkah-M, dan ini sampai batas tertentu ke formulir Anda. Saya akan menunjukkan kepada Anda bagaimana cara kerjanya dalam kasus sederhana melalui beberapa kode R, sehingga Anda dapat melihat esensi dari itu. Saya tidak akan menyederhanakan sebanyak mungkin, karena itu dapat menyebabkan hilangnya kejelasan ketika Anda memikirkan masalah Anda: $\lambda$ $p$

# Generate data
# Lambda = 1,  p(zero) = 0.1
x <- rpois(10000,1)
x[1:1000] <- 0

# Sufficient statistic for the ZIP
sum.x <- sum(x)

# (Poor) starting values for parameter estimates
phat <- 0.5
lhat <- 2.0

zhat <- rep(0,length(x))
for (i in 1:100) {
  # zhat[x>0] <- 0 always, so no need to make the assignment at every iteration
  zhat[x==0] <- phat/(phat +  (1-phat)*exp(-lhat))

  lhat <- sum.x/sum(1-zhat) # in effect, removing E(# zeroes due to z=1)
  phat <- mean(zhat)   

  cat("Iteration: ",i, "  lhat: ",lhat, "  phat: ", phat,"\n")
}

Iteration:  1   lhat:  1.443948   phat:  0.3792712 
Iteration:  2   lhat:  1.300164   phat:  0.3106252 
Iteration:  3   lhat:  1.225007   phat:  0.268331 
...
Iteration:  99   lhat:  0.9883329   phat:  0.09311933 
Iteration:  100   lhat:  0.9883194   phat:  0.09310694

Dalam kasus Anda, pada setiap langkah Anda akan melakukan regresi Poisson tertimbang di mana bobotnya 1-zhatuntuk mendapatkan perkiraan dan karenanya , dan kemudian memaksimalkan: $\beta$ $\lambda_i$

$\sum (\mathbb{E}z_i\log{p_i} + (1-\mathbb{E}z_i)\log{(1-p_i)})$

sehubungan dengan vektor koefisien matriks Anda untuk mendapatkan estimasi . Nilai yang diharapkan , sekali lagi dihitung pada setiap iterasi. $\mathbf{G}$ $p_i$ $\mathbb{E}z_i = p_i/(p_i+(1-p_i)\exp{(-\lambda_i)})$

Jika Anda ingin melakukan ini untuk data nyata, bukan hanya memahami algoritma, paket R sudah ada; inilah contohnya http://www.ats.ucla.edu/stat/r/dae/zipoisson.htm menggunakan psclperpustakaan.

EDIT: Saya harus menekankan bahwa apa yang kita lakukan adalah memaksimalkan nilai yang diharapkan dari kemungkinan log data-lengkap, BUKAN memaksimalkan kemungkinan data log lengkap dengan nilai-nilai yang diharapkan dari data yang hilang / variabel laten terpasang. Seperti yang terjadi, jika log data lengkap kemungkinan linear dalam data yang hilang, seperti di sini, kedua pendekatan itu sama, tetapi sebaliknya, mereka tidak.

Jbowman
sumber

@ Kokas, Anda harus menambahkan informasi ini sebagai jawaban tambahan Anda sendiri, bukan mengubah jawaban yang ada. Hasil edit ini seharusnya tidak disetujui.

gung - Reinstate Monica