Apa yang dimaksud dengan istilah "jarang sebelumnya" (FBProphet Paper)?

11

Membaca makalah "Forecasting at Scale" (alat peramalan FBProphet, lihat https://peerj.com/preprints/3190.pdf ) Saya menemukan istilah "jarang sebelumnya". Para penulis menjelaskan bahwa mereka menggunakan "jarang sebelumnya" dalam pemodelan vektor penyimpangan tingkat dari beberapa tingkat skalar , yang merupakan parameter model dalam model pertumbuhan logistik.δk

Ketika mereka menyatakan bahwa , apakah saya mengerti benar bahwa "jarang" mengacu pada elemen pembawa vektor yang mendekati nol, jika parameter kecil? Saya bingung, karena saya pikir semua elemen vektor perlu menjadi parameter regresi, tetapi mendefinisikannya seperti itu hanya menyisakan parameter dan sebagai parameter model bebas, bukan?δjLaplace(0,τ)τkτ

Juga, apakah penggunaan distribusi Laplace untuk menghasilkan kesamaan sebelumnya? Saya tidak mengerti mengapa lebih disukai daripada misalnya distribusi normal.

NargothX
sumber
1
Saya juga bertanya-tanya tentang pertanyaan ini, ketika saya membaca koran. Apakah Anda menemukan jawaban untuk pertanyaan ini? Juga, apakah Anda mengajukan pertanyaan ini di bagian masalah Nabi github ? Salah satu penulis (@bletham) cukup aktif dalam menjawab pertanyaan, dan penjelasannya biasanya cukup baik.
leaRner

Jawaban:

4

Data jarang adalah data dengan banyak nol. Di sini penulis tampaknya menyebut prior sebagai jarang karena favorit nol. Ini cukup jelas jika Anda melihat bentuk distribusi Laplace (alias eksponensial ganda), yang memuncak sekitar nol.

(sumber gambar Tibshirani, 1996)

Efek ini berlaku untuk setiap nilai (distribusi selalu memuncak pada parameter lokasi itu, di sini sama dengan nol), meskipun semakin kecil nilai parameter, semakin besar efek pengaturannya.τ

Untuk alasan ini Laplace prior sering digunakan sebagai prior kuat , memiliki efek regularisasi. Karena itu, Laplace prior adalah pilihan populer, tetapi jika Anda ingin solusi yang sangat jarang mungkin ada pilihan yang lebih baik, seperti yang dijelaskan oleh Van Erp et al (2019).

Van Erp, S., Oberski, DL, & Mulder, J. (2019). Penyusutan Priors untuk Bayesian Penression Regression. Jurnal Psikologi Matematika, 89 , 31-50. doi: 10.1016 / j.jmp.2018.12.004

Tim
sumber
3
+1 Saya hanya akan menambahkan bahwa ini sering disebut prior "menginduksi sparsity", sebuah istilah yang menurut saya pribadi lebih jelas (yang sebelumnya menginduksi sparsity dalam estimasi koefisien regresi)
Jake Westfall