Menafsirkan koefisien regresi logistik dengan istilah regularisasi

Saya memahami koefisien dari persamaan logistik dapat diartikan sebagai rasio ganjil. Jika istilah regularisasi ditambahkan untuk mengontrol over-fitting, bagaimana hal ini mengubah interpretasi koefisien?

Koefisien yang dikembalikan standar dengan kecocokan regresi logistik bukanlah rasio odds. Mereka mewakili perubahan dalam peluang log 'sukses' yang terkait dengan perubahan satu unit dalam variabel masing-masing, ketika semua hal lain dianggap sama. Jika Anda memperkirakan suatu koefisien, maka Anda dapat menginterpretasikan hasilnya sebagai rasio odds (tentu saja, ini tidak benar dari intersep). Lebih lanjut tentang ini dapat ditemukan dalam jawaban saya di sini: Interpretasi prediksi sederhana untuk rasio odds dalam regresi logistik .

Menambahkan penalti pada model fit akan (berpotensi) mengubah nilai kecocokan dari koefisien yang diestimasi, tetapi itu tidak mengubah interpretasi koefisien dalam arti yang dibahas dalam pertanyaan Anda / di atas. *

* (Saya ingin tahu apakah kebingungan tentang pernyataan ini adalah asal dari downvote baru-baru ini.) Untuk lebih jelas: Koefisien yang dipasang pada , mewakili perubahan dalam peluang log keberhasilan yang terkait dengan perubahan 1 unit pada jika tidak ada istilah penalti yang digunakan dalam pemasangan model dan jika istilah penalti digunakan agar sesuai dengan model. Dalam kedua kasus itu bukan rasio odds. Namun, adalah rasio peluang yang terkait dengan perubahan 1 unit di , sekali lagi terlepas dari apakah istilah penalti digunakan untuk cocok dengan model. Model yang dilengkapi dengan hukuman dapat ditafsirkan dalam kerangka Bayesian, tetapi tidak harus seperti itu. Terlebih lagi, bahkan jika itu,$X_1$$\hat\beta_1$$X_1$$\exp(\hat\beta_1)$$X_1$$\hat\beta_1$masih mewakili perubahan dalam peluang keberhasilan log yang terkait dengan perubahan 1 unit pada bukan rasio peluang. $X_1$

Regresi linier yang teratur dan regresi logistik yang teratur dapat ditafsirkan dengan baik dari sudut pandang Bayesian. Parameter regularisasi sesuai dengan pilihan distribusi sebelumnya pada bobot, misalnya, sesuatu seperti distribusi normal yang berpusat pada nol dengan standar deviasi yang diberikan oleh kebalikan dari parameter regularisasi. Kemudian melalui data pelatihan Anda, distribusi ini diperbarui untuk akhirnya memberi Anda distribusi posterior pada bobot.

Jadi, misalnya, parameter regularisasi yang lebih besar berarti bahwa, seperti sebelumnya, kami berpikir bahwa bobotnya harus mendekati nol, maka dengan pengaturan ini kecil kemungkinannya bahwa distribusi posterior akan didukung jauh dari nol - yang sesuai dengan intuisi tentang apa yang seharusnya dilakukan oleh regularisasi ".

Untuk sebagian besar implementasi regresi yang diatur, hasil akhir dari bobot hanyalah nilai yang diharapkan dari distribusi posterior.

Omong-omong, regresi yang tidak diatur pada dasarnya dapat diinterpretasikan dengan cara yang sama: itu adalah batas ketika parameter regularisasi menjadi nol.