Pemilihan model ABC

11

Telah ditunjukkan bahwa pilihan model ABC menggunakan faktor Bayes tidak direkomendasikan karena adanya kesalahan yang berasal dari penggunaan statistik ringkasan. Kesimpulan dalam makalah ini bergantung pada studi tentang perilaku metode populer untuk mendekati faktor Bayes (Algoritma 2).

Diketahui bahwa faktor Bayes bukan satu-satunya cara untuk melakukan pemilihan model. Ada fitur lain, seperti kinerja prediktif model, yang mungkin menarik (misalnya aturan penilaian ).

Pertanyaan saya adalah : apakah ada metode, analog dengan Algoritma 2, untuk mendekati beberapa aturan penilaian atau jumlah lain yang dapat digunakan untuk melakukan pemilihan model dalam hal kinerja prediktif dalam konteks dengan kemungkinan yang rumit?

bayesian model-selection prediction abc
sumber

Jawaban:

7

Pertanyaan bagus membangun pekerjaan kami ! Apakah Anda mengetahui makalah tindak lanjut di mana kami memperoleh kondisi pada statistik ringkasan untuk mencapai konsistensi dalam faktor Bayes? Ini mungkin terdengar terlalu teoretis tetapi konsekuensi dari hasil asimptotik cukup mudah:

Diberikan ringkasan statistik ,T

  1. jalankan algoritma ABC berdasarkan pada untuk setiap model yang sedang dievaluasi ( ) dan perkirakan parameter dari model-model tersebut dengan estimasi ABC ;i = 1 , . . , Saya θ i θ i ( T )Ti=1,..,Iθiθ^i(T)
  2. mensimulasikan distribusi statistik untuk setiap model dan setiap parameter yang diestimasi, dengan percobaan Monte Carlo;T
  3. periksa apakah sarana semuanya berbeda dengan menggunakan langkah 2 dengan jumlah iterasi yang cukup besar dan, misalnya, uji-t.Eθ^i(T)[T(X)]

Prosedur ini bukan versi pertama dari makalah ini tetapi akan segera muncul dalam versi revisi

Xi'an
sumber
Terima kasih atas jawaban anda. Saya tidak mengetahui makalah kedua. Ini hasil yang menarik. Sebuah pertanyaan yang muncul di benak saya adalah asumsi normalitas pada uji-t (saya tahu itu kuat, tetapi mungkin gagal juga) bersama dengan tingkat signifikansi yang diperlukan untuk perkiraan yang baik. Apakah Anda mengetahui teknik perbandingan model lain dengan ABC? Saya ingat makalah tentang DIC di arxiv. (Saya akan menetapkan karunia dalam beberapa hari untuk melihat apakah orang lain menunjukkan minat pada pertanyaan, saya tidak jahat :))
1
Mengingat ini tentang makalah / penelitian saya sendiri, saya tidak benar-benar layak mendapat hadiah, bukan ?!
Xi'an
Itu jawaban yang bagus. Saya hanya merasa bahwa Anda melewatkan dua kali pertanyaan tentang keberadaan teknik lain untuk mengukur kinerja prediksi model menggunakan ABC. Bahkan 'ya, ada di sana' atau 'tidak, setahu saya' akan melakukan pekerjaan itu.
1
Tentang metode lain, saya sarankan melihat oleh Ratmann et al. (2009) , yang hanya mempertimbangkan kinerja masing-masing model dalam model ini, membandingkan kesalahan yang diamati dengan distribusi kesalahan yang disimulasikan. Tidak sepenuhnya sempurna , namun tetap sangat menarik. ABCμ
Xi'an