Validasi silang (CV) dan statistik validasi silang umum (GCV)

Saya telah menemukan kemungkinan definisi yang bertentangan untuk statistik validasi silang (CV) dan untuk statistik validasi silang umum (GCV) yang terkait dengan model linier $Y = X\boldsymbol\beta + \boldsymbol\varepsilon$ (dengan vektor kesalahan homoseksual yang normal $\boldsymbol\varepsilon$ ).

Di satu sisi, Golub, Heath & Wahba mendefinisikan estimasi GCV $\hat{\lambda}$ sebagai (hlm. 216)

minimizer dari $V\left(\lambda\right)$ diberikan oleh
$V (λ) = \frac{\frac{1}{n} {‖ (I - A (λ)) y ‖}^{2}}{{(\frac{1}{n} t r (I - A (λ)))}^{2}}$ $V\left(\lambda\right) = \frac{\frac{1}{n} \left\|\left(I - A\left(\lambda\right)\right)y\right\|^2}{\left(\frac{1}{n} \mathrm{tr}\left(I - A\left(\lambda\right)\right)\right)^2}$ mana $A\left(\lambda\right) = X\left(X^T X + n\lambda I\right)^{-1} X^T$

Di sisi lain, Efron mendefinisikan konsep yang sama dengan $V\left(0\right)$ (hal. 24), namun ia menghubungkan pengenalan konsep ini dengan Craven & Wahba, di mana definisinya (hal. 377) pada dasarnya sama. seperti definisi Golub, Heath & Wahba yang disebutkan di atas.

Apakah ini berarti $0$ meminimalkan $V\left(\lambda\right)$ ?

Demikian pula, Golub, Heath & Wahba mendefinisikan estimasi CV $\lambda$ (p. 217) sebagai minimizer dari

P (λ) = \frac{1}{n} \sum_{k = 1}^{n} {({[X β^{(k)} (λ)]}_{k} - y_{k})}^{2}

$P\left(\lambda\right) = \frac{1}{n}\sum_{k=1}^n \left(\left[X \beta^{(k)}\left(\lambda\right)\right]_k - y_k\right)^2$

di mana $\beta^{\left(k\right)}\left(\lambda\right)$ adalah taksiran

\hat{β} (λ) = {(X^{T} X + n λ I)}^{- 1} X^{T} y

$\hat{\beta}\left(\lambda\right) = \left(X^T X + n \lambda I\right)^{-1} X^T y$

dari $\beta$ dengan titik data dihilangkan. $k$ $y_i$

Penulis menghubungkan pengenalan estimasi CV (juga disebut estimasi PRESS) ke Allen ("PRESS Allen", ibid.) Namun dalam makalah Allen, estimasi PRESS didefinisikan (hlm. 126) sebagai $n P\left(0\right)$ (dalam artikel Efron didefinisikan sebagai $P\left(0\right)$ (hlm. 24)).

Sekali lagi, apakah ini berarti $0$ meminimalkan $P\left(\lambda\right)$ ?

Allen, David M. Hubungan Antara Seleksi Variabel dan Agumentasi Data dan Metode untuk Prediksi. Technometrics, Vol. 16, No. 1 (Februari, 1974), hlm. 125-127
Craven, Peter dan Wahba, Grace. Menghaluskan Data Bising dengan Fungsi Spline. Numerische Mathematik 31, (1979), hlm. 377-403
Efron, Bradley. Seberapa Bias Apakah Tingkat Kesalahan yang Jelas dari Regresi Logistik? Laporan teknis no. 232. Departemen Statistik, Universitas Stanford (April 1985)
Golub, Gene H., Heath dan Grace Wahba. Validasi Lintas Umum sebagai Metode untuk Memilih Parameter Ridge yang Baik. Technometrics, Vol. 21, No. 2 (Mei, 1979), hlm. 215-223

cross-validation Evan Aad
sumber

Apakah Anda lupa menyebutkan bahwa ini akan dilengkapi dengan regresi ridge dan kuadrat terkecil? Saya benar-benar bingung tentang apa itu sampai saya melihat judul kertas di bagian bawah

λ

$\lambda$

shadowtalker

Hapus Validasi Salib Umum dalam judul dan tambahkan Regresi Ridge pada judul. Berikut adalah default dari GridSearchCV () untuk RidgeCV ():

HoofarLotusX

Jawaban:

Saya percaya komentar menunjuk pada jawaban, tetapi tidak menyatakannya dengan terus terang. Jadi saya akan berterus terang.

Rumus V yang dikutip di sini khusus untuk regresi linear ridge. Mereka tidak mengatakan itu sama dengan PRESS, mereka mengatakan itu adalah versi PRESS rotasi-invarian. Bagian "rotasi-invarian" adalah apa yang membuat ini digeneralisasikan.

Makalah Efron adalah tentang regresi logistik, disesuaikan dengan konteks itu. Jika Anda ingin melihat terjemahan matematika antara dua konteks, buku yang tepat untuk dibaca adalah Elemen Pembelajaran Statistik, 2ed, oleh Hastie, Tibshirani, dan Freedman. Mereka menawarkan buku itu gratis, online: https://web.stanford.edu/~hastie/Papers/ESLII.pdf . Bacaan bermanfaat lainnya tentang GCV adalah Generalized Additive Models oleh Simon Wood. Perawatannya mengintegrasikan GCV secara umum dengan aplikasi dalam regresi dan regresi logistik.

Jika Anda melihat buku ESL, hal 244, pada dasarnya Anda melihat simbologi yang sama. Mereka merujuk pada produk matriks besar yang Anda miliki sebagai matriks Smoother (saya akan mengatakan itu adalah matriks Hat, atau sepupu dekat). Mereka menggambarkan Smoother sebagai pemetaan dari ke $S$ $y$ $\hat{y}$

\hat{y} = S y

$\hat{y}=S y$

$S$ dapat digunakan untuk menghitung meninggalkan satu nilai CV, satu untuk setiap baris dalam data. Untuk model linier , matriks berperan sebagai matriks Hat dalam diagnostik regresi. Namun, mereka mengatakan mungkin secara komputasi menantang atau tidak perlu untuk menyelesaikannya, dan pendekatan GCV adalah versi yang sedikit lebih umum dari ide yang sama. $S$

Mereka menawarkan formula untuk perkiraan GCV:

G C V (\hat{f}) = \frac{1}{N} \sum_{i = 1}^{N} {[\frac{y_{i} - \hat{f} (x_{i})}{1 - t r a c e (S) / N}]}^{2}

$GCV(\hat{f})=\frac{1}{N}\sum_{i=1}^{N}\left[\frac{y_i - \hat{f}(x_i)}{1-trace(S)/N}\right]^2$

Ini sangat mirip dalam perilaku dengan AIC di banyak model. The adalah jumlah efektif parameter. $trace{S}$

The sepotong Anda mengutip lebih umum jejak . Sejauh yang saya mengerti, dalam GCV abstrak adalah versi perkiraan meninggalkan satu crossvalidation, tetapi dalam beberapa kasus, (saya percaya regresi ridge), itu tepat. Itu poin utama dalam makalah Golub. $n\lambda$ $S$

Selamat mencoba, tulis kembali jika Anda tahu lebih banyak.

pauljohn32
sumber

Terima kasih. Saya telah memposting pertanyaan saya lebih dari 5 tahun yang lalu, dan sejak itu saya telah melupakan sebagian besar materi ini, jadi saya tidak dapat menilai jawaban Anda untuk mengetahui apakah itu baik (yang tampaknya) atau buruk, dan, karena alasan ini Saya juga tidak bisa menerimanya. Terima kasih sudah memposting. Semoga bermanfaat bagi orang lain yang mungkin menemukan halaman ini.

Evan Aad