L2-regularisasi vs penyusutan efek acak

Sifat mendasar dari regresi efek-acak adalah bahwa estimasi intersep acak "menyusut" terhadap rata-rata keseluruhan respons sebagai fungsi dari varian relatif masing-masing estimasi.

{\hat{U}}_{j} = ρ_{j} {\bar{y}}_{j} + (1 - ρ_{j}) \bar{y}

$\hat{U}_j = \rho_j \bar{y}_j + (1-\rho_j)\bar{y}$ mana

ρ_{j} = τ^{2} / (τ^{2} + σ^{2} / n_{j}) .

$\rho_j = \tau^2 / (\tau^2 + \sigma^2/n_j).$

Ini juga kasus dengan model campuran linier umum (GLMMs) seperti regresi logistik.

Bagaimana susut itu lebih baik daripada / berbeda dari regresi logistik efek-tetap dengan satu-panas-pengkodean variabel ID dan penyusutan melalui L2-regularisasi?

Dalam model efek-tetap, saya dapat mengontrol jumlah penyusutan dengan mengubah penalti saya, $\lambda$ , dari regularisasi L2 sedangkan dalam model efek-acak saya tidak memiliki kontrol pada jumlah penyusutan. Apakah benar mengatakan "menggunakan model efek-acak jika tujuannya inferensi tetapi gunakan model efek-tetap jika tujuannya adalah prediksi"?

mixed-model regularization shrinkage Paman Gujral
sumber

Itu agak terlalu disederhanakan. Penyusutan dalam regresi efek campuran ditimbang oleh keseimbangan keseluruhan antara "kelas" / "kelompok" dalam struktur efek-acak, jadi bukan berarti Anda tidak harus memilih, melainkan ukuran dan kekuatan grup Anda. bukti memilih. (Anggap saja seperti rata-rata besar tertimbang). Selain itu, model efek campuran sangat berguna ketika Anda memiliki sejumlah kelompok tetapi hanya sedikit data dalam setiap kelompok: struktur keseluruhan dan pengumpulan sebagian memungkinkan untuk kesimpulan yang lebih baik bahkan di dalam setiap kelompok!

Ada juga varian LASSO (L1-regularized), ridge (L2-regularized), dan elastis elastis (kombinasi dari regularisasi L1 dan L2) dari model campuran. Dengan kata lain, hal-hal ini bersifat ortogonal. Dalam istilah Bayesian, Anda mendapatkan penyusutan efek campuran melalui struktur model hierarkis / multilevel dan regularisasi Anda melalui pilihan Anda sebelumnya pada distribusi koefisien model.

Mungkin kebingungan muncul dari seringnya penggunaan regularisasi dalam "pembelajaran mesin" (di mana prediksi adalah tujuannya) tetapi seringnya penggunaan efek campuran dalam "statistik" (di mana kesimpulan adalah tujuannya), tetapi itu lebih merupakan efek samping dari yang lain aspek dataset umum di bidang tersebut (misalnya ukuran) dan masalah komputasi. Model efek-campuran umumnya lebih sulit untuk dipasang, jadi jika model efek-tetap teratur yang mengabaikan beberapa struktur data cukup baik untuk prediksi yang Anda butuhkan, mungkin tidak ada gunanya untuk mencocokkan model efek-campuran. Tetapi jika Anda perlu membuat kesimpulan pada data Anda, maka mengabaikan strukturnya akan menjadi ide yang buruk.

Livius
sumber

tepat dan to the point jawaban.

Subhash C. Davar

Terima kasih Livius. Apakah penyusutan efek acak mirip dengan melakukan Bayes empiris? Jika ya, apakah masih masuk akal untuk lebih lanjut menyusutkan model efek-acak dengan L2-regularisasi / Bayesian di atas? Tujuan saya adalah untuk memberi peringkat pada kelompok-kelompok berdasarkan BLUP dan menggunakan peringkat tersebut dalam model prediksi tahap selanjutnya.

Paman Gujral

Saya sedang membangun model prediktif pada set data layanan kesehatan tingkat episode yang berisi beberapa episode rumah sakit per ID anggota. Sebagian besar anggota memiliki kurang dari 5 episode. Saya pikir ini adalah kasus di mana baik laso atau regresi ridge diterapkan pada efek tetap, ditambah efek acak untuk bidang ID anggota, akan sesuai.

RobertF

@ Pamaman Anda mungkin ingin melihat "Estimasi Bayes Empiris Parameter Efek Acak dalam Model Efek Logistik Regresi Campuran Campuran" oleh Ten Have dan Localio

AdamO

"Model efek-campuran umumnya lebih sulit masuk." Jika tujuannya adalah untuk menghitung korelasi antara catatan yang berbagi ID yang sama, dan ada ribuan atau jutaan ID unik, menambahkan istilah intersepsi acak sederhana ke rumus regresi menggunakan rumus yang tercantum dalam pertanyaan OP tampak seperti wajar dan cukup sederhana Langkah pertama. Anda hanya memperkirakan dua parameter alih-alih istilah efek tetap untuk setiap ID unik dikurangi satu, yang menghemat lebih banyak derajat kebebasan.

RobertF

L2-regularisasi vs penyusutan efek acak

Jawaban: