Saya bingung bagaimana cara mengevaluasi distribusi prediksi posterior untuk regresi linier Bayesian, melewati kasus dasar yang dijelaskan di sini pada halaman 3, dan disalin di bawah ini.
Kasus dasar adalah model regresi linier ini:
Jika kita menggunakan seragam sebelum , dengan skala-Inv sebelum , ATAU gamma normal-terbalik sebelumnya (lihat di sini ) distribusi prediktif posterior analitik dan adalah siswa t. χ 2 σ 2
Bagaimana dengan model ini?
Ketika , tetapi diketahui, distribusi prediktif posterior adalah Gaussian multivarian. Biasanya, Anda tidak tahu , tetapi harus memperkirakannya. Mungkin Anda mengatakan diagonal dan menjadikan diagonal fungsi kovariat. Ini dibahas dalam bab regresi linier Analisis Data Bayesian Gelman .Σ Σ
Apakah ada bentuk analitik untuk distribusi prediksi posterior dalam kasus ini? Bisakah saya tancapkan perkiraan saya ke dalam t multivariate student? Jika Anda memperkirakan lebih dari satu varian, apakah distribusinya masih multivarian t?
Saya bertanya karena katakanlah saya memiliki beberapa sudah di tangan. Saya ingin tahu apakah itu lebih mungkin telah diprediksi oleh misalnya regresi linier A, regresi linier B
Jawaban:
Jika Anda menganggap seragam sebelum , maka posterior untuk adalah dengan Untuk menemukan distribusi prediktif, kami memerlukan informasi lebih lanjut. Jika dan tidak tergantung pada diberikan , maka Tetapi biasanya untuk jenis model ini, dan tidak independen secara kondisional, sebaliknya, biasanya kita miliki β β | y ~ N ( β , V β ) . Β = [ X ' Σ - 1 X ] X ' yβ β
sumber
Di bawah prior-Wishart non-informatif atau multivariat, Anda memiliki bentuk analitis sebagai distribusi Siswa multivariat, untuk mutlivariat klasik, regresi berganda. Saya kira perkembangan ini dokumen yang terkait dengan pertanyaan Anda (Anda mungkin seperti Lampiran A :-)). Saya biasanya membandingkan hasilnya dengan distribusi prediksi posterior yang diperoleh dengan menggunakan WinBUGS dan bentuk analitis: mereka persis sama. Masalahnya hanya menjadi sulit ketika Anda memiliki efek acak tambahan dalam model efek campuran, terutama dalam desain yang tidak seimbang.
Secara umum, dengan regresi klasik, y dan ỹ bersyarat independen (residual iid)! Tentu saja jika bukan itu masalahnya, maka solusi yang diusulkan di sini tidak benar.
Di R, (di sini, solusi untuk prior uniform), dengan asumsi Anda membuat model lm (bernama "model") dari salah satu respons dalam model Anda, dan menyebutnya "model", berikut adalah cara mendapatkan distribusi prediksi multivarian
Sekarang, kuantil dari ysim adalah interval toleransi beta-ekspektasi dari distribusi prediktif, Anda tentu saja dapat langsung menggunakan distribusi sampel untuk melakukan apa pun yang Anda inginkan.
sumber