Pemilihan fitur pada model linear umum hirarkis Bayesian

8

Saya ingin memperkirakan GLM hirarkis tetapi dengan pemilihan fitur untuk menentukan kovariat mana yang relevan pada tingkat populasi untuk dimasukkan.

Misalkan saya punya Ggrup dengan pengamatan dan kemungkinan kovariat Yaitu, saya memiliki matriks desain kovariat , hasil . Koefisien pada kovariat ini adalah .NKx(NG)×Ky(NG)×1βK×1

Misalkan ~YBernoulli(p(x,β))

Di bawah ini adalah GLM bayesian hirarki standar dengan model pengambilan sampel logit dan koefisien grup yang didistribusikan secara normal.

L(y|x,β1,...βG)g=1Gt=1N(Pr{j=1|pt,βg})yg,t(1Pr{j=1|pt,βg})1yg,t

β1,...βG|μ,ΣiidNd(μ,Σ)

μ|ΣN(μ0,a1Σ)
ΣIW(v0,V01)

Saya ingin memodifikasi model ini (atau menemukan kertas yang sesuai, atau pekerjaan yang membahasnya) sedemikian rupa sehingga ada beberapa pilihan fitur yang tajam (seperti dalam LASSO) pada dimensi β .

(1) Cara paling langsung yang paling sederhana adalah dengan mengatur ini pada tingkat populasi sehingga kita pada dasarnya membatasi dimensi dan semua memiliki dimensi yang sama.μβ

(2) Model yang lebih bernuansa akan memiliki penyusutan di tingkat kelompok, di mana dimensi tergantung pada unit hirarkis.β

Saya tertarik untuk menyelesaikan 1 dan 2, tetapi yang jauh lebih penting adalah 1.

wolfsatthedoor
sumber

Jawaban:

1

Cara saya menangani (1) akan melibatkan model spike dan slab seperti:

βg,k=zkmg,k

zkBern(hal)

mg,kN(μ,Σ)

μ,ΣNsayaWv0(μ0,V0-1)

Ini:

  • Mempertahankan fleksibilitas pada dari NIW sebelum .βμ,Σ
  • Model pemilihan variabel untuk semua kelompok sekaligus.
  • Mudah diperluas dengan menambahkan sub-indeks untuk grup ke dan memiliki beta umum sebelum untuk setiap lokasi .zg,kk

Tentu saja, saya pikir ini adalah jenis masalah di mana ada sejumlah pendekatan yang valid.

dugaan
sumber
2

Pemilihan fitur bukanlah tujuan yang bagus untuk dianalisis. Kecuali jika semua prediktor tidak berkorelasi satu sama lain dan ukuran sampel Anda sangat besar, data tidak akan dapat dengan andal memberi tahu Anda jawabannya. Spesifikasi model lebih penting daripada pemilihan model. Detail ada di Catatan Kursus RMS saya . Tapi penyusutan, tanpa pemilihan fitur (misalnya, ridge atau perkiraan kemungkinan maksimum yang dihukum) bisa menjadi ide yang bagus. Model Bayesian hierarkis bahkan lebih baik karena mereka memungkinkan untuk inferensi statistik dalam model menyusut sedangkan kita kehilangan sebagian besar alat inferensial di dunia yang sering terjadi setelah menyusut.L2

Frank Harrell
sumber