Regresi Bayesian dengan singular

Komunitas SE, saya berharap mendapatkan wawasan tentang masalah berikut. Diberikan model regresi linier sederhana Di bawah fungsi kemungkinan Gaussian dengan istilah kesalahan homoseksual, distribusi bersyarat dari variabel dependen mengambil bentuk Saya menetapkan konjugat bersyarat (tidak informasi) sebelum untuk dan adalah . Ini adalah hasil standar bahwa distribusi posterior marginal dari adalah multivariat t dengan

$$Y=X\beta+\epsilon\text{ , where } Y\in\mathbb{R}^T,X\in\mathbb{R}^{T \times N}.$$ $$Y|\beta,h \sim N(X\beta,h^{-1}I).$$ $\beta$$h$ $$\beta|h \sim N(0,cI), h\sim G(s^{-2},v)$$ $c\rightarrow\infty, v\rightarrow0$$\beta$ $$\beta|D\sim t_N (\hat{\beta},\hat{\Sigma},T).$$ Apa yang terjadi jika singular? Dalam regresi standar saya akan memilih Moore-Penrose Pseudoinverse daripada menggunakan . Namun, dalam hal ini varian posterior akan singular juga dan saya ragu bahwa distribusi- masih terdefinisi dengan baik. Apakah ini benar?$(X'X)$$(X'X)^+$$(X'X)^{-1}$$\hat{\Sigma}:=c(X'X)^{-1}$$t$

Dan lebih jauh lagi mengganggu saya: Asumsikan saya tidak benar-benar tertarik dengan distribusi posterior dari tetapi hanya kombinasi linear mana , dan . Saya dapat mengambil sampel dari distribusi tersebut meskipun konstruksinya didasarkan pada sesuatu yang tidak benar-benar didefinisikan (distribusi ). Apakah ada cara untuk menangani ini? Atau adakah kesalahan mendasar dalam pertanyaan saya yang membuat seluruh poin saya usang?$\beta$$z:=A\beta$$A\in\mathbb{R}^{N-1 \times N}$$|A\hat{\Sigma}A'|\neq 0$$\beta$

Masalah utama dengan pertanyaan Anda adalah bahwa mengambil batasan tidak secara langsung meluas ke pengukuran dan distribusi probabilitas. Ada banyak jenis konvergensi yang terkait dengan tindakan.

Oleh karena itu, mempertimbangkan konjugat

$$\beta|h \sim \mathcal{N}(0,cI), h\sim \mathcal{G}(s^{-2},\nu)$$ dan membiarkan $\nu$ dan $c$ pergi ke $0$ dan $\infty$, masing-masing, tidak memiliki makna matematika yang tepat atau unik.

Sekarang, jika Anda mempertimbangkan yang tidak patut sebelumnya

$$\pi(\beta,h)\propto\frac{1}{h}$$ tidak ada distribusi posterior yang terkait dengan kemungkinan $$L(\beta,h|X,y)=\exp\{-h(y-X\beta)^\text{T}(y-X\beta)/2\}h^{T/2}$$ karena potensi posterior tidak berintegrasi $\beta$ tergantung pada $h$. Tidak ada $$\hat{\Sigma}=(X^\text{T}X)^{-1}$$ baik karena kebalikannya tidak ada dan tidak ada distribusi yang didefinisikan dengan baik $A\beta$.