Model yang dihukum dapat digunakan untuk memperkirakan model yang jumlah parameternya sama atau bahkan lebih besar dari ukuran sampel. Situasi ini dapat muncul dalam model log-linear dari tabel jarang besar dari data kategorikal atau jumlah. Dalam pengaturan ini, sering juga diinginkan atau membantu untuk merobohkan tabel dengan menggabungkan level faktor di mana level tersebut tidak dapat dibedakan dalam hal bagaimana mereka berinteraksi dengan faktor lain. Dua pertanyaan:
- Apakah ada cara untuk menggunakan model yang dihukum seperti LASSO atau jaring elastis untuk menguji kolapsibilitas level dalam setiap faktor?
- Jika jawaban untuk pertanyaan pertama adalah ya, dapat, dan harus, ini diatur sedemikian rupa sehingga jatuhnya level dan estimasi koefisien model terjadi dalam satu langkah?
Jawaban:
Itu mungkin. Kita bisa menggunakan varian laso yang menyatu untuk mencapai ini.
Kita dapat menggunakan estimator
Perhatikan bahwa adalah fungsi kerugian untuk log-linear model.−1n∑ni=1(yiβTxi−eβTxi)
Ini mendorong koefisien dalam kelompok untuk menjadi sama. Kesetaraan koefisien ini setara dengan meruntuhkan level dan bersama-sama. Dalam kasus ketika , itu setara dengan mengecilkan level dengan level referensi. Parameter tuning dapat diperlakukan sebagai konstan, tetapi ini jika hanya ada beberapa faktor, bisa lebih baik memperlakukannya sebagai terpisah.jth kth β^j=0 jth λg
Estimator adalah minimizer dari fungsi cembung, sehingga dapat dihitung secara efisien melalui pemecah yang arbitrer. Mungkin saja jika suatu faktor memiliki banyak, banyak level, perbedaan berpasangan ini akan lepas kendali --- dalam hal ini, mengetahui lebih banyak struktur tentang kemungkinan pola keruntuhan akan diperlukan.
Perhatikan bahwa ini semua dicapai dalam satu langkah! Ini adalah bagian dari apa yang membuat penduga tipe laso begitu keren!
Pendekatan lain yang menarik adalah dengan menggunakan estimator OSCAR, yang seperti di atas kecuali hukuman digantikan oleh .∥[−11]⋅[βiβj]′∥1 ∥[βiβj]∥∞
sumber