Menghitung AIC "dengan tangan" di R

Saya telah mencoba menghitung AIC dari regresi linier dalam R tetapi tanpa menggunakan AICfungsi, seperti ini:

lm_mtcars <- lm(mpg ~ drat, mtcars)

nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2)
[1] 97.98786

Namun, AICmemberikan nilai berbeda:

AIC(lm_mtcars)
[1] 190.7999

Bisakah seseorang memberi tahu saya apa yang saya lakukan salah?

r aic information-theory luciano
sumber

(tanpa memeriksa jawaban Anda): Anda belum tentu melakukan kesalahan, karena kemungkinan sebenarnya hanya didefinisikan hingga konstanta multiplikasi; dua orang dapat menghitung log-likelihood dan mendapatkan angka yang berbeda (tetapi perbedaan log-likelihood adalah sama).

Glen_b -Reinstate Monica

Jawaban Hong Oois terkait dengan pertanyaan ini, saya pikir. Rumus yang AICdigunakan fungsi adalah -2*as.numeric(logLik(lm_mtcars))+2*(length(lm_mtcars$coefficients)+1).

COOLSerdash

luciano: "+1" dalam rumus itu @COOLSerdash menunjuk ke yang muncul dari istilah parameter varians. Perhatikan juga bahwa fungsi logLikmengatakan bahwa untuk lmmodel itu termasuk 'semua konstanta' ... jadi akan ada log(2*pi)di sana di suatu tempat

Glen_b -Reinstate Monica

@ Glen_b: Mengapa mengatakan kemungkinan hanya didefinisikan hingga konstanta multiplikasi? Lagi pula, ketika membandingkan model non-bersarang dari keluarga distribusi yang berbeda (misalnya dengan AIC, atau dengan tes Cox), Anda perlu mengingat konstanta itu.

Scortchi

@ Scortchi, definisi itu bukan milikku! Anda harus mengambilnya dengan RAFisher. Sudah seperti itu sejak awal, saya pikir (1921). Itu masih didefinisikan seperti itu, setidaknya dalam kasus berkelanjutan, lihat di sini , misalnya, pada kalimat yang dimulai 'Lebih tepatnya,'.

Glen_b -Reinstate Monica

Jawaban:

Perhatikan bahwa bantuan pada fungsi logLikdalam R mengatakan bahwa untuk lmmodel itu termasuk 'semua konstanta' ... sehingga akan ada log(2*pi)di sana di suatu tempat, serta istilah konstan lain untuk eksponen dalam kemungkinan. Juga, Anda tidak bisa lupa untuk menghitung fakta bahwa adalah parameter. $\sigma^2$

$\cal L(\hat\mu,\hat\sigma)=(\frac{1}{\sqrt{2\pi s_n^2}})^n\exp({-\frac{1}{2}\sum_i (e_i^2/s_n^2)})$

$-2\log \cal{L} = n\log(2\pi)+n\log{s_n^2}+\sum_i (e_i^2/s_n^2)$

$= n[\log(2\pi)+\log{s_n^2}+1]$

$\text{AIC} = 2p -2\log \cal{L}$

tetapi perhatikan bahwa untuk model dengan 1 variabel independen, p = 3 (koefisien x, konstanta dan ) $\sigma^2$

Yang artinya ini adalah bagaimana Anda mendapatkan jawaban mereka:

nrow(mtcars)*(log(2*pi)+1+log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))
       +((length(lm_mtcars$coefficients)+1)*2)

Glen_b -Reinstate Monica
sumber

Mengapa dalam perhitungan

Anda hanya membagi dengan

dan bukan

s^{2}

$s^2$

n

$n$

n - p

$n-p$

Luke Thorburn

- 2 \log L (\hat{θ}) + 2 p

$-2\log\mathcal{L}(\hat\theta)+2p$

θ

$\theta$

\hat{θ}

$\hat\theta$

n

$n$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

σ^{2}

$\sigma^2$

Glen_b -Reinstate Monica

Apakah ada kesalahan ketik pada persamaan kedua? Haruskah

Ok saya mengerti, Anda menggunakan

- 2 \log L = n \log (2 π) + n \log s_{n} + \sum_{i} (e_{i}^{2} / s_{n}^{2})

$-2\log \cal{L} = n\log(2\pi)+n\log{s_n}+\sum_i (e_i^2/s_n^2)$

\sqrt{2 π s_{n}^{2}}

$\sqrt{2\pi s^2_n}$

Rhody

AIC $2k -2 \log L$ $L$ $k$ $n \log \frac{S_{\mathrm{r}}}{n} + 2(k-1)$ $S_{\mathrm{r}}$ $n$

Scortchi - Reinstate Monica
sumber