Bisakah Anda memberikan penjelasan intuitif sederhana tentang metode IRLS untuk menemukan MLE dari GLM?

Latar Belakang:

Saya mencoba mengikuti review Princeton tentang estimasi MLE untuk GLM .

Saya memahami dasar-dasar estimasi MLE: likelihood, score, diamati dan diharapkan Fisher informationdan Fisher scoringteknik. Dan saya tahu bagaimana membenarkan regresi linier sederhana dengan estimasi MLE .

---

Pertanyaan:

Saya bahkan tidak mengerti baris pertama dari metode ini :(

Apa intuisi di balik variabel kerja $z_i$ didefinisikan sebagai:

$$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$$

Mengapa mereka digunakan sebagai pengganti $y_i$ untuk memperkirakan $\beta$ ?

Dan apa hubungan mereka dengan response/link functionyang merupakan hubungan antara $\eta$ dan $\mu$

Jika ada yang punya penjelasan sederhana atau bisa mengarahkan saya ke teks yang lebih mendasar tentang ini saya akan berterima kasih.

Beberapa tahun yang lalu saya menulis makalah tentang ini untuk murid-murid saya (dalam bahasa Spanyol), jadi saya dapat mencoba menulis ulang penjelasan itu di sini. Saya akan melihat IRLS (iteratively reweighted least square) melalui serangkaian contoh peningkatan kompleksitas. Sebagai contoh pertama kita membutuhkan konsep keluarga skala lokasi. Biarkan menjadi fungsi kerapatan yang berpusat pada nol dalam arti tertentu. Kita dapat membangun keluarga kepadatan dengan mendefinisikan f ( x ) = f ( x ; μ , σ ) = $f_0$ manaσ>0adalah parameter skala danμadalah parameter lokasi. Dalam model kesalahan pengukuran, di mana biasanya istilah kesalahan dimodelkan sebagai distribusi normal, kita dapat menggantikan distribusi normal menggunakan keluarga skala lokasi seperti dibangun di atas. Ketikaf0adalah distribusi normal standar, konstruksi di atas memberikan keluargaN(μ,σ).

$$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$$ $\sigma > 0$$\mu$$f_0$$\text{N}(\mu, \sigma)$

Sekarang kita akan menggunakan IRLS pada beberapa contoh sederhana. Pertama-tama kita akan menemukan estimator ML (kemungkinan maksimum) dalam model dengan kerapatan f ( y ) =

$$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$$ distribusi Cauchy keluarga lokasi μ (jadi ini adalah keluarga lokasi). Tetapi pertama-tama beberapa notasi. Kuadrat terkecil tertimbang estimator dari μ diberikan oleh μ * = Σ n i = 1 w i y $$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$$ $\mu$$\mu$ di manawiadalah beberapa bobot. Kita akan melihat bahwa ML estimator dariμdapat dinyatakan dalam bentuk yang sama, denganwibeberapa fungsi residual εi=yi - μ . Fungsi kemungkinan diberikan oleh L(y;μ)=( $$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$$ $w_i$$\mu$$w_i$ $$\epsilon_i = y_i-\hat{\mu}.$$ dan fungsi loglikelihood diberikan oleh l(y)=-nlog(π)- n Σ i=1log(1+(yi-μ)2). Turunannya sehubungan denganμadalah ∂ l ( y $$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$$ $$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$$ $\mu$ mana ϵi=yi-μ. Tulisf0(ϵ)= $$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$$ $\epsilon_i=y_i-\mu$ danf ′ 0 (ϵ)=$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$ , kita mendapatkan f ′ 0 (ϵ$f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$ Kami menemukan ∂ l ( y $$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$$ mana kami menggunakan definisi wi= f ′ 0 ( ϵ i $$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$$ Mengingat bahwa ϵi=yi-μkita memperoleh persamaan ∑wiyi=μ∑wi, yang merupakan persamaan estimasi IRLS. Catat itu $$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$$ $\epsilon_i=y_i-\mu$ $$\sum w_i y_i = \mu \sum w_i,$$

1. Bobot selalu positif.$w_i$
2. Jika residu besar, kami memberikan bobot lebih sedikit untuk pengamatan yang sesuai.

$\hat{\mu}^{(0)}$

$$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$$ $$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$$ $\hat{\mu}$ $$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$$ $$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$$ $$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$$ $j+1$ $$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$$ $$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$$

$f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$$Y_1,Y_2,\ldots,Y_n$$\epsilon_i=\frac{y_i-\mu}{\sigma}$

$$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$$ $\nu=\sigma^2$ $$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$$ $$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$$ $$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$$ $\sigma^2$ $$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$$ $$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$$

Berikut ini kami memberikan ujian numerik menggunakan R, untuk model eksponensial ganda (dengan skala diketahui) dan dengan data y <- c(-5,-1,0,1,5). Untuk data ini nilai sebenarnya dari penaksir ML adalah 0. Nilai awal akan menjadi mu <- 0.5. Salah satu pass dari algoritma adalah

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

dengan fungsi ini Anda dapat bereksperimen dengan melakukan iterasi "dengan tangan" Kemudian algoritma iteratif dapat dilakukan oleh

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

$t_k$$\sigma$

$$w_i = \frac{k+1}{k+\epsilon_i^2}.$$ $$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$$

Untuk saat ini saya akan meninggalkannya di sini, saya akan melanjutkan posting ini.