Apa itu Deviance? (khusus dalam CART / rpart)

Apa itu "Penyimpangan," bagaimana cara menghitungnya, dan apa kegunaannya dalam berbagai bidang dalam statistik?

Secara khusus, saya pribadi tertarik dengan penggunaannya di CART (dan implementasinya dalam rpart in R).

Saya menanyakan hal ini karena artikel wiki sepertinya kurang dan wawasan Anda akan sangat disambut.

Penyimpangan dan GLM

Secara formal, seseorang dapat melihat penyimpangan sebagai semacam jarak antara dua model probabilistik; dalam konteks GLM, itu berjumlah dua kali rasio log dari kemungkinan antara dua model bersarang $\ell_1/\ell_0$ mana $\ell_0$ adalah model "lebih kecil"; yaitu, pembatasan linear pada parameter model (lih. Neyman-Pearson lemma ), seperti yang dikatakan @suncoolsu. Dengan demikian, dapat digunakan untuk melakukan perbandingan model . Ini juga dapat dilihat sebagai generalisasi dari RSS yang digunakan dalam estimasi OLS (ANOVA, regresi), karena ia memberikan ukuran good-of-fit dari model yang dievaluasi bila dibandingkan dengan model nol (intersep saja). Ini bekerja dengan LM juga:

> x <- rnorm(100)
> y <- 0.8*x+rnorm(100)
> lm.res <- lm(y ~ x)

$\hat\varepsilon^t\hat\varepsilon$

> t(residuals(lm.res))%*%residuals(lm.res)
         [,1]
[1,] 98.66754

$R^2$

> summary(lm.res)

Call:
lm(formula = y ~ x)

(...)

Residual standard error: 1.003 on 98 degrees of freedom
Multiple R-squared: 0.4234, Adjusted R-squared: 0.4175 
F-statistic: 71.97 on 1 and 98 DF,  p-value: 2.334e-13 

$R^2=1-\text{RSS}/\text{TSS}$$\text{TSS}$

> summary.aov(lm.res)
            Df Sum Sq Mean Sq F value    Pr(>F)    
x            1 72.459  72.459  71.969 2.334e-13 ***
Residuals   98 98.668   1.007                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Sekarang, lihat penyimpangannya:

> deviance(lm.res)
[1] 98.66754

Bahkan, untuk model linier, penyimpangan sama dengan RSS (Anda mungkin ingat bahwa perkiraan OLS dan ML bertepatan dalam kasus seperti itu).

Penyimpangan dan CART

$n$$i$$p_{ik}$$n_{ik}$$p_{ik}$$D$

$D+\alpha \#(T)$$\#(T)$$T$$D$$1-\sum_kp_{ik}^2$

$j$

$\mathcal{N}(\mu_i,\sigma^2)$$D$$D_i$rpartresiduals()fungsi untuk rpartobjek, di mana "residu penyimpangan" dihitung sebagai akar kuadrat dari minus dua kali logaritma model pas.

Pengantar partisi rekursif menggunakan rutinitas rpart , oleh Atkinson dan Therneau, juga merupakan awal yang baik. Untuk ulasan yang lebih umum (termasuk mengantongi), saya akan merekomendasikan

• Moissen, GG (2008). Pohon Klasifikasi dan Regresi . Informatika Ekologi , hlm. 582-588.
• Sutton, CD (2005). Klasifikasi dan Regresi Pohon, Mengantongi, dan Meningkatkan , dalam Buku Pegangan Statistik, Vol. 24 , hlm. 303-329, Elsevier.

Mungkin sedikit lebih jelas jika kita berpikir tentang model yang sempurna dengan parameter sebanyak pengamatan sehingga menjelaskan semua varian dalam respon. Ini adalah model jenuh. Penyimpangan hanya mengukur perbedaan "kecocokan" model kandidat dan model jenuh.

Dalam pohon regresi, model jenuh akan menjadi salah satu yang memiliki banyak terminal (daun) sebagai pengamatan sehingga akan cocok dengan respon. Penyimpangan dari model yang lebih sederhana dapat dihitung sebagai jumlah residu node kuadrat, dijumlahkan pada semua node Dengan kata lain, jumlah perbedaan kuadrat antara nilai yang diprediksi dan yang diamati. Ini adalah jenis kesalahan yang sama (atau penyimpangan) yang digunakan dalam regresi kuadrat terkecil.

Untuk pohon klasifikasi, jumlah kuadrat residu bukan ukuran yang paling tepat dari ketidakcocokan. Sebaliknya, ada ukuran alternatif penyimpangan, ditambah pohon dapat dibangun meminimalkan ukuran entropi atau indeks Gini. Yang terakhir adalah default di rpart. Indeks Gini dihitung sebagai:

$p_{ik}$$k$$i$$i$

$N$

$Deviance = -2[L(\hat{\mathbf{\mu}} | \mathbf{y})-L(\mathbf{y}|\mathbf{y})]$

$M_1$$M_2$$p_1$$p_2$$M_1$$M_2$

Dalam hal ini, perbedaan penyimpangan diambil:

$\Delta Deviance = -2[L(\hat{\mathbf{\mu}_1} | \mathbf{y})-L(\hat{\mathbf{\mu}_2}|\mathbf{y})]$

$\Delta Deviance$$p_2-p_1$glmR

Jika Anda ingin membaca secara lebih rinci: cf: Analisis Data Kategori oleh Alan Agresti, hlm. 118.