Membaca makalah "Forecasting at Scale" (alat peramalan FBProphet, lihat https://peerj.com/preprints/3190.pdf ) Saya menemukan istilah "jarang sebelumnya". Para penulis menjelaskan bahwa mereka menggunakan "jarang sebelumnya" dalam pemodelan vektor penyimpangan tingkat dari beberapa tingkat skalar , yang merupakan parameter model dalam model pertumbuhan logistik.
Ketika mereka menyatakan bahwa , apakah saya mengerti benar bahwa "jarang" mengacu pada elemen pembawa vektor yang mendekati nol, jika parameter kecil? Saya bingung, karena saya pikir semua elemen vektor perlu menjadi parameter regresi, tetapi mendefinisikannya seperti itu hanya menyisakan parameter dan sebagai parameter model bebas, bukan?
Juga, apakah penggunaan distribusi Laplace untuk menghasilkan kesamaan sebelumnya? Saya tidak mengerti mengapa lebih disukai daripada misalnya distribusi normal.
sumber
Jawaban:
Data jarang adalah data dengan banyak nol. Di sini penulis tampaknya menyebut prior sebagai jarang karena favorit nol. Ini cukup jelas jika Anda melihat bentuk distribusi Laplace (alias eksponensial ganda), yang memuncak sekitar nol.
(sumber gambar Tibshirani, 1996)
Efek ini berlaku untuk setiap nilai (distribusi selalu memuncak pada parameter lokasi itu, di sini sama dengan nol), meskipun semakin kecil nilai parameter, semakin besar efek pengaturannya.τ
Untuk alasan ini Laplace prior sering digunakan sebagai prior kuat , memiliki efek regularisasi. Karena itu, Laplace prior adalah pilihan populer, tetapi jika Anda ingin solusi yang sangat jarang mungkin ada pilihan yang lebih baik, seperti yang dijelaskan oleh Van Erp et al (2019).
Van Erp, S., Oberski, DL, & Mulder, J. (2019). Penyusutan Priors untuk Bayesian Penression Regression. Jurnal Psikologi Matematika, 89 , 31-50. doi: 10.1016 / j.jmp.2018.12.004
sumber