Plot kalibrasi pooling setelah beberapa imputasi

15

Saya ingin saran tentang menyatukan plot / statistik kalibrasi setelah beberapa kali imputasi. Dalam pengaturan pengembangan model statistik untuk memprediksi kejadian di masa depan (misalnya menggunakan data dari catatan rumah sakit untuk memprediksi kelangsungan hidup atau kejadian pasca pemulangan), orang dapat membayangkan ada beberapa informasi yang hilang. Beberapa imputasi adalah cara menangani situasi seperti itu, tetapi menghasilkan kebutuhan untuk mengumpulkan statistik pengujian dari setiap dataset imputasi dengan mempertimbangkan variabilitas tambahan karena ketidakpastian imputasi yang melekat.

Saya mengerti ada beberapa statistik kalibrasi (hosmer-lemeshow, Harrell's Emax, perkiraan indeks kalibrasi, dll.), Di mana aturan Rubin 'reguler' untuk pengumpulan mungkin berlaku.

Namun, statistik ini sering kali merupakan ukuran keseluruhan kalibrasi yang tidak menunjukkan wilayah model yang salah dikalibrasi. Untuk alasan ini, saya lebih suka melihat plot kalibrasi. Sayangnya, saya tidak tahu bagaimana 'mengumpulkan' plot atau data di belakangnya (probabilitas yang diprediksi per individu dan hasil yang diamati per individu), dan tidak dapat menemukan banyak dalam literatur biomedis (bidang yang saya kenal), atau di sini, di CrossValidated. Tentu saja, melihat plot kalibrasi masing-masing data imputasi bisa menjadi jawaban, tetapi bisa menjadi sangat menyusahkan (untuk menyajikan) ketika banyak set imputasi dibuat.

Karena itu saya ingin bertanya apakah ada teknik yang akan menghasilkan plot kalibrasi, dikumpulkan setelah beberapa imputasi (?)

IWS
sumber
Apakah mungkin untuk langsung mengumpulkan sampel yang di-bootstrap dan mengevaluasi kalibrasi sampel tersebut?
AdamO
@ AdamO apa sebenarnya yang Anda maksud dengan langsung menggabungkan? Dan sampel bootstrap mana yang Anda rujuk?
IWS
2
Maaf, izinkan saya kembali, (saya menganggap MI sebagai bootstrap). Saya katakan, jika n Anda adalah 1.000 dan Anda memiliki 5 set data MI, mengapa tidak membuat plot kalibrasi tunggal dari 5000 dan membandingkan diamati / diharapkan dengan cara apa pun yang diinginkan dalam 5.000 itu?
AdamO
@AdamO Kedengarannya menarik, itu akan membutuhkan penyesuaian fungsi yang juga memberikan interval kepercayaan. Adakah referensi atau teori yang mendukung gagasan ini?
IWS
2
Tanpa referensi, kami menerbitkan makalah baru-baru ini di mana kami menyatakan tanpa bukti bahwa kami memperoleh kesimpulan untuk kesalahan standar bootstrap dan beberapa imputasi dengan menggabungkan mereka bersama-sama dengan cara ini. Saya pikir Anda dapat menyatakan bahwa tujuan analisis adalah menguji pada tingkat 0,05 bahwa rasio harapan / pengamatan atau perbedaan berada dalam rentang distribusi normal dan bahwa estimasi kuantitatif tidak berubah terhadap ukuran sampel, jadi pengujian berdasarkan pada CI 95% tidak terpengaruh oleh pooling.
AdamO

Jawaban:

1

[...] jika n Anda adalah 1.000 dan Anda memiliki 5 set data MI, mengapa tidak membuat plot kalibrasi tunggal dari 5000 dan membandingkan yang diamati / diharapkan dengan cara apa pun yang diinginkan pada 5.000 itu?

Mengenai referensi:

Tanpa referensi, kami menerbitkan makalah baru-baru ini di mana kami menyatakan tanpa bukti bahwa kami memperoleh kesimpulan untuk kesalahan standar bootstrap dan beberapa imputasi dengan menggabungkan mereka bersama-sama dengan cara ini. Saya pikir Anda dapat menyatakan bahwa tujuan analisis adalah menguji pada tingkat 0,05 bahwa rasio harapan / pengamatan atau perbedaan berada dalam rentang distribusi normal dan bahwa estimasi kuantitatif tidak berubah terhadap ukuran sampel, jadi pengujian berdasarkan pada CI 95% tidak terpengaruh oleh pooling.

mkt - Pasang kembali Monica
sumber
1
Saya telah menyalin komentar ini oleh @AdamO sebagai jawaban wiki komunitas karena komentarnya adalah, lebih atau kurang, jawaban untuk pertanyaan ini. Kami memiliki kesenjangan dramatis antara jawaban dan pertanyaan. Paling tidak sebagian dari masalahnya adalah bahwa beberapa pertanyaan dijawab dalam komentar: jika komentar yang menjawab pertanyaan adalah jawaban, kita akan memiliki lebih sedikit pertanyaan yang belum terjawab.
mkt - Reinstate Monica