Parameter vs variabel laten

13

Saya telah bertanya tentang ini sebelumnya dan benar-benar telah berjuang dengan mengidentifikasi apa yang membuat parameter model dan apa yang membuatnya menjadi variabel laten. Jadi melihat berbagai utas tentang topik ini di situs ini, perbedaan utamanya adalah:

Variabel laten tidak diamati tetapi memiliki distribusi probabilitas terkait dengan mereka karena mereka adalah variabel dan parameter juga tidak diamati dan tidak memiliki distribusi yang terkait dengan mereka yang saya pahami karena ini adalah konstanta dan memiliki nilai tetap tetapi tidak diketahui yang kami coba untuk Temukan. Selain itu, kami dapat menempatkan prior pada parameter untuk mewakili ketidakpastian kami tentang parameter ini meskipun hanya ada satu nilai sebenarnya yang terkait dengannya atau setidaknya itulah yang kami asumsikan. Saya harap saya benar sejauh ini?

Sekarang, saya telah melihat contoh ini untuk regresi linier berbobot Bayesian dari kertas jurnal dan benar-benar berjuang untuk memahami apa yang merupakan parameter dan apa yang merupakan variabel:

yi=βTxi+ϵyi

Di sini dan y diamati tetapi hanya y diperlakukan sebagai variabel yaitu memiliki distribusi yang terkait dengannya.xyy

Sekarang, asumsi pemodelan adalah:

yN(βTxi,σ2/wi)

Jadi, varian dari adalah tertimbang.y

Ada juga distribusi sebelumnya pada dan w , yang merupakan distribusi normal dan gamma. βw

Jadi, kemungkinan log lengkap diberikan oleh:

logp(y,w,β|x)=ΣlogP(yi|w,β,xi)+logP(β)+ΣlogP(wi)

Sekarang, seperti yang saya pahami, dan w adalah parameter model. Namun, dalam makalah mereka tetap menyebutnya sebagai variabel laten. Alasan saya adalah β dan w adalah bagian dari distribusi probabilitas untuk variabel y dan mereka adalah parameter model. Namun, penulis memperlakukan mereka sebagai variabel acak laten. Apakah itu benar? Jika demikian, apa yang akan menjadi parameter model?βwβwy

Makalah ini dapat ditemukan di sini ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

Makalah ini adalah Deteksi Outlier Otomatis: Pendekatan Bayesian oleh Ting et al.

Luca
sumber
2
Mungkin membantu untuk menuliskan kutipan di kertas (& mungkin tautan). Sebagian dari masalahnya adalah bahwa apa yang sebenarnya berbeda dengan perspektif Frequentist & Bayesian. Dari perspektif Bayesian, parameter memang memiliki distribusi - itu bukan hanya sesuatu yang ditambahkan untuk mewakili ketidakpastian.
gung - Reinstate Monica
Saya pikir itu tidak adil karena orang akan berpikir bahwa saya mengharapkan mereka untuk membaca koran tanpa menjelaskan hal-hal tetapi saya telah meletakkannya sekarang.
Luca
Mengapa Anda tidak dapat menempatkan prior pada variabel laten? Saya seorang pemula Bayesian, tetapi sepertinya Anda harus bisa melakukan itu.
robin.datadrivers
Saya pikir orang pasti bisa, tentu saja dan harus di setup Bayesian. Namun, saya tidak yakin mengapa atau β adalah variabel dalam pengaturan ini. Bagi saya mereka terlihat seperti parameter model. Saya mengalami kesulitan mengatakan apa yang membuat say w sebagai variabel daripada parameter dalam pengaturan ini. Saya seorang pemula juga, karena Anda dapat dengan jelas melihat ...wβw
Luca
2
Terima kasih, @Luca. Ini tidak akan baik jika Anda mengharuskan orang untuk membaca koran, tetapi ada di sana untuk konteks itu bagus. Saya pikir Anda sudah melakukan ini dengan benar.
gung - Reinstate Monica

Jawaban:

6

Dalam makalah, dan secara umum, variabel (acak) adalah segala sesuatu yang diambil dari distribusi probabilitas. Variabel laten (acak) adalah variabel yang tidak Anda amati secara langsung ( y diamati, β tidak, tetapi keduanya rv). Dari variabel acak laten Anda bisa mendapatkan distribusi posterior, yang merupakan distribusi probabilitasnya dikondisikan untuk data yang diamati.

Di sisi lain, parameter diperbaiki, bahkan jika Anda tidak tahu nilainya. Estimasi Kemungkinan maksimum, misalnya, memberi Anda nilai yang paling mungkin dari parameter Anda. Tapi itu memberi Anda poin, bukan distribusi penuh, karena hal-hal tetap tidak memiliki distribusi! (Anda dapat menempatkan distribusi pada seberapa yakin Anda tentang nilai ini, atau dalam kisaran berapa nilai Anda ini, tetapi ini tidak sama dengan distribusi nilai itu sendiri, yang hanya ada jika nilai sebenarnya adalah acak variabel)

yβwyβwy

βw

Dalam kalimat ini:

Persamaan pembaruan ini harus dijalankan secara iteratif hingga semua parameter dan kemungkinan log lengkap konvergen ke nilai stabil

dalam teori mereka berbicara tentang dua parameter, bukan yang merupakan variabel acak, karena dalam EM inilah yang Anda lakukan, mengoptimalkan parameter.

Alberto
sumber
Pertanyaannya adalah tentang variabel laten .
Tim
diperbaiki, saya harap ini lebih jelas sekarang.
alberto