Pertimbangkan model standar untuk regresi berganda mana , jadi normalitas, homoscedasticity, dan tidak berkorelasi kesalahan tetap ada.ε ∼ N ( 0 , σ 2 I n )
Misalkan kita melakukan regresi ridge, dengan menambahkan jumlah kecil yang sama untuk semua elemen diagonal :
Ada beberapa nilai yang koefisien ridge memiliki kurang berarti kesalahan squared dari yang diperoleh oleh OLS, meskipun β r i d g e adalah estimator bias β . Dalam praktiknya, k diperoleh dengan validasi silang.
Inilah pertanyaan saya: apa asumsi yang mendasari model punggungan? Agar lebih konkret,
Apakah semua asumsi ordinary least square (OLS) valid dengan regresi ridge?
Jika ya untuk pertanyaan 1, bagaimana kita menguji homoseksualitas dan kurangnya autokorelasi dengan penaksir bias dari ?
Apakah ada pekerjaan untuk menguji asumsi OLS lainnya (homoscedasticity dan kurangnya autocorrelation) di bawah regresi ridge?
Jawaban:
Apa yang dimaksud dengan asumsi prosedur statistik?
Saya bukan ahli statistik dan jadi ini mungkin salah, tapi saya pikir kata "asumsi" sering digunakan secara tidak resmi dan dapat merujuk ke berbagai hal. Bagi saya, "asumsi" pada dasarnya adalah sesuatu yang hanya dapat dihasilkan oleh hasil teoretis (teorema).
Ketika orang berbicara tentang asumsi regresi linier ( lihat di sini untuk diskusi mendalam), mereka biasanya merujuk pada teorema Gauss-Markov yang mengatakan bahwa berdasarkan asumsi kesalahan tidak berkorelasi, sama-varians, nol-rata-rata, rata-rata nol, estimasi OLS adalah BIRU , yaitu tidak bias dan memiliki varian minimum. Di luar konteks teorema Gauss-Markov, tidak jelas bagi saya apa arti "asumsi regresi".
Demikian pula, asumsi uji-t, katakanlah, satu sampel mengacu pada asumsi di mana statistik- didistribusikan- t dan karenanya kesimpulannya valid. Hal ini tidak disebut "teorema", tetapi merupakan hasil matematika yang jelas: jika n sampel terdistribusi normal, maka t -statistic akan mengikuti Student t -Distribusi dengan n - 1 derajat kebebasan.t t n t t n - 1
Asumsi teknik regresi yang dihukum
Pertimbangkan sekarang setiap teknik regresi yang diatur: regresi ridge, laso, jaring elastis, regresi komponen utama, regresi kuadrat terkecil parsial, dll. Inti dari metode ini adalah untuk membuat estimasi parameter regresi yang bias , dan berharap dapat mengurangi yang diharapkan kerugian dengan mengeksploitasi trade-off bias-varians.
Tetapi bagaimana dengan hasil matematika bahwa regresi ridge selalu mengalahkan OLS?
Hasil ini sebenarnya tidak memerlukan asumsi dan selalu benar, tetapi akan aneh untuk mengklaim bahwa regresi ridge tidak memiliki asumsi.
Oke, tapi bagaimana saya tahu apakah saya bisa menerapkan regresi ridge atau tidak?
Saya akan mengatakan bahwa bahkan jika kita tidak dapat berbicara tentang asumsi, kita dapat berbicara tentang aturan praktis . Telah diketahui bahwa regresi ridge cenderung paling berguna dalam kasus regresi berganda dengan prediktor berkorelasi. Sudah diketahui bahwa ia cenderung mengungguli OLS, seringkali dengan margin yang besar. Itu akan cenderung mengungguli bahkan dalam kasus heteroskedastisitas, kesalahan berkorelasi, atau apa pun. Jadi aturan praktis yang sederhana mengatakan bahwa jika Anda memiliki data multikolinier, regresi ridge dan validasi silang adalah ide yang bagus.
Mungkin ada aturan praktis lainnya yang berguna dan trik perdagangan (seperti misalnya apa yang harus dilakukan dengan pencilan kotor). Tapi itu bukan asumsi.
sumber
Saya ingin memberikan masukan dari perspektif statistik. Jika Y ~ N (Xb, sigma2 * In), maka mean square error dari b ^ adalah
Jika XT X kira-kira nol, maka inv (XT X) akan sangat besar. Jadi estimasi parameter b tidak stabil dan dapat memiliki masalah berikut.
Untuk membuat estimasi ordinal least square dari b stabil, kami memperkenalkan regresi ridge dengan memperkirakan
b^(k)=inv(X.T*X+kI)*X.T*Y.
Dan, kita dapat membuktikan bahwa selalu ada ak yang membuat kesalahan kuadrat rata-rata dariDalam pembelajaran mesin, regresi ridge disebut regularisasi L2 dan untuk mengatasi masalah over-fitting yang disebabkan oleh banyak fitur.
sumber