Metode penalti untuk data kategorikal: menggabungkan level dalam suatu faktor

10

Model yang dihukum dapat digunakan untuk memperkirakan model yang jumlah parameternya sama atau bahkan lebih besar dari ukuran sampel. Situasi ini dapat muncul dalam model log-linear dari tabel jarang besar dari data kategorikal atau jumlah. Dalam pengaturan ini, sering juga diinginkan atau membantu untuk merobohkan tabel dengan menggabungkan level faktor di mana level tersebut tidak dapat dibedakan dalam hal bagaimana mereka berinteraksi dengan faktor lain. Dua pertanyaan:

  1. Apakah ada cara untuk menggunakan model yang dihukum seperti LASSO atau jaring elastis untuk menguji kolapsibilitas level dalam setiap faktor?
  2. Jika jawaban untuk pertanyaan pertama adalah ya, dapat, dan harus, ini diatur sedemikian rupa sehingga jatuhnya level dan estimasi koefisien model terjadi dalam satu langkah?
andrewH
sumber
1
Makalah ini, doi.org/10.1177/1471082X16642560 , memberikan tinjauan yang bagus tentang apa yang telah dilakukan di bidang ini selama dekade terakhir ini.
Jorne Biccler
1
Catatan: penalti yang saya diskusikan di bawah ini adalah persamaan 3.4 di tautan @JorneBiccler. (Sangat menarik untuk melihat bahwa pertanyaan ini telah dipertimbangkan sebelumnya!)
user795305
Kemungkinan duplikat variabel kategori Preproses dengan banyak nilai
kjetil b halvorsen
Bagaimana kita bisa menyebut ini duplikat untuk pertanyaan yang mendahuluinya?
Michael R. Chernick

Jawaban:

4

Itu mungkin. Kita bisa menggunakan varian laso yang menyatu untuk mencapai ini.

Kita dapat menggunakan estimator

β^=argminβ1ni=1n(yiβTxieβTxi)+factors gλg(jg|βj|+12j,kg|βjβk|).

Perhatikan bahwa adalah fungsi kerugian untuk log-linear model.1ni=1n(yiβTxieβTxi)

Ini mendorong koefisien dalam kelompok untuk menjadi sama. Kesetaraan koefisien ini setara dengan meruntuhkan level dan bersama-sama. Dalam kasus ketika , itu setara dengan mengecilkan level dengan level referensi. Parameter tuning dapat diperlakukan sebagai konstan, tetapi ini jika hanya ada beberapa faktor, bisa lebih baik memperlakukannya sebagai terpisah.jthkthβ^j=0jthλg

Estimator adalah minimizer dari fungsi cembung, sehingga dapat dihitung secara efisien melalui pemecah yang arbitrer. Mungkin saja jika suatu faktor memiliki banyak, banyak level, perbedaan berpasangan ini akan lepas kendali --- dalam hal ini, mengetahui lebih banyak struktur tentang kemungkinan pola keruntuhan akan diperlukan.

Perhatikan bahwa ini semua dicapai dalam satu langkah! Ini adalah bagian dari apa yang membuat penduga tipe laso begitu keren!


Pendekatan lain yang menarik adalah dengan menggunakan estimator OSCAR, yang seperti di atas kecuali hukuman digantikan oleh .[11][βiβj]1[βiβj]

pengguna795305
sumber