AIC regresi ridge: derajat kebebasan vs jumlah parameter

Saya ingin menghitung AICc dari model regresi ridge. Masalahnya adalah jumlah parameter. Untuk regresi linier, kebanyakan orang menyarankan bahwa jumlah parameter sama dengan jumlah koefisien estimasi ditambah sigma (varian kesalahan).

Ketika datang ke regresi ridge saya membaca bahwa jejak matriks topi - derajat kebebasan (df) - hanya digunakan sebagai jumlah parameter istilah dalam rumus AIC (misalnya di sini atau di sini ).

Apakah ini benar? Bisakah saya juga menggunakan df untuk menghitung AICc? Bisakah saya menambahkan +1 ke df ke akun untuk varians kesalahan?

regression aic ridge-regression degrees-of-freedom Julian
sumber

Saya suka pertanyaan ini karena input umum untuk AICc adalah RSS, k, dan n - tetapi cenderung tidak memilih model yang kuat daripada model kesalahan paling sedikit untuk jumlah parameter yang sama. Jika Anda menggunakan pendekatan kecocokan yang sama untuk model kandidat, dan Anda cocok pada data yang sama, maka pemilihan model adalah pemilihan model. Saya suka pertanyaan tentang bagaimana Anda mengukur informasi-teori paling cocok dengan model dan data yang sama, tetapi menggunakan berbagai jenis kecocokan seperti kesalahan kuadrat terkecil dan kehilangan Huber.

EngrStudent

@ EngrStudent, hanya sebuah catatan kecil: RSS adalah kasus khusus dari kemungkinan normal. Ketika distribusi (nonnormal) yang berbeda diasumsikan, AIC tidak akan mengandung RSS tetapi kemungkinan log-model. Juga, jenis yang sesuai : apakah maksud Anda fungsi kerugian dengan mana model dievaluasi atau fungsi kerugian digunakan untuk menyesuaikan model, atau yang lainnya?

Richard Hardy

Lihat: web.mit.edu/lrosasco/www/publications/model_focm.pdf

kjetil b halvorsen

@ RichardHardy - Anda benar tentang kemungkinan normal! Dalam praktiknya, teorema limit pusat menjadi terlalu digunakan. Dalam hal ini artinya sama ketika saya mengatakan "fit function" dan Anda mengatakan "loss function". Saya memikirkan kuadrat terkecil dalam hal pseudo-invers pertama dan metrik kesalahan kedua. Ini adalah artefak "urutan pembelajaran" dalam proses pemikiran dan komunikasi saya.

EngrStudent

@ EngrStudent, terima kasih. Juga perhatikan bahwa saya menawarkan dua kegunaan untuk fungsi kerugian: fitting (fungsi tujuan empiris dari mana estimator diturunkan) dan evaluasi (fungsi tujuan teoritis yang ingin kami optimalkan).

Richard Hardy

Jawaban:

AIC dan regresi ridge dapat dibuat kompatibel ketika asumsi tertentu dibuat. Namun, tidak ada metode tunggal untuk memilih penyusutan untuk regresi ridge sehingga tidak ada metode umum untuk menerapkan AIC. Regresi Ridge adalah bagian dari regularisasi Tikhonov . Ada banyak kriteria yang dapat diterapkan untuk memilih faktor perataan untuk regularisasi Tikhonov, misalnya, lihat ini . Untuk menggunakan AIC dalam konteks itu, ada makalah yang membuat asumsi yang agak spesifik tentang bagaimana melakukan regularisasi itu, pemilihan parameter regularisasi berbasis kompleksitas informasi untuk solusi dari masalah inversi yang terkondisi dengan buruk . Secara khusus, ini mengasumsikan

$\sigma ^2$ $p(x) =$

$b$ $\left [ \dfrac{\text{SD}(b)}{b}\right ]$

GD (t; a, b) = \frac{1}{t} \frac{e^{- b t} (b t)^{a}}{Γ (a)}; t \geq 0,

$\text{GD}(t; a,b) = \,\dfrac{1}{t}\;\dfrac{e^{-b \, t}(b \, t)^{\,a} }{\Gamma (a)} \;\; \;;\hspace{2em}t\geq 0 \;\; \;\;,\\ %\tabularnewline$

$[0,\infty)$ $[t_1,t_n]$ sampel waktu. Untuk lebih jelasnya, itu dilakukan karena AUC adalah integral yang tidak tepat, dan, jika tidak, misalnya, menggunakan ML, distribusi gamma yang cocok akan kurang kokoh. Jadi, untuk aplikasi khusus itu, kemungkinan maksimum, dengan demikian AIC, sebenarnya tidak relevan. (Dikatakan bahwa AIC digunakan untuk prediksi dan BIC untuk good-of-fit. Namun, prediksi dan good-of-fit keduanya hanya agak tidak langsung terkait dengan ukuran AUC yang kuat.)

$df$ $\lambda$ $df = p$ $\lambda = 0$ $df = 0$ $\lambda=\infty$ $df$ $df$ $\infty$ $df$

$df_{ridge}= \sum(\lambda_i / (\lambda_i + \lambda$ $\lambda_i$ $X^{\text{T}} X$ $df$

Carl
sumber