Independensi residu dalam eksperimen / simulasi berbasis komputer?

17

Saya melakukan penilaian berbasis komputer dari berbagai metode pemasangan jenis model tertentu yang digunakan dalam ilmu palaeo. Saya memiliki satu set pelatihan ish besar dan jadi saya secara acak (stratified random sampling) menyisihkan satu set tes. Saya memasang m berbagai metode pada sampel set pelatihan dan menggunakan model dihasilkan, saya memperkirakan respons untuk sampel set uji dan menghitung RMSEP atas sampel dalam set uji. Ini adalah sekali jalan .m

Saya kemudian mengulangi proses ini berkali-kali, setiap kali saya memilih pelatihan yang berbeda dengan secara acak mengambil sampel tes baru.

Setelah melakukan ini saya ingin menyelidiki apakah ada metode yang memiliki kinerja RMSEP lebih baik atau lebih buruk. Saya juga ingin melakukan beberapa perbandingan metode pasangan-bijaksana.m

Pendekatan saya adalah menyesuaikan model efek campuran linier (LME), dengan efek acak tunggal untuk Run . Saya menggunakan lmer()dari lme4 paket sesuai model dan fungsi saya dari multcomp paket untuk melakukan beberapa perbandingan. Model saya pada dasarnya

lmer(RMSEP ~ method + (1 | Run), data = FOO)

di mana methodada faktor yang menunjukkan metode mana yang digunakan untuk menghasilkan prediksi model untuk set tes dan Runmerupakan indikator untuk setiap Jalankan tertentu dari "percobaan" saya.

Pertanyaan saya berkaitan dengan residu LME. Mengingat efek acak tunggal untuk Run, saya mengasumsikan bahwa nilai RMSEP untuk menjalankan itu berkorelasi pada tingkat tertentu tetapi tidak berkorelasi antara proses, berdasarkan korelasi yang diinduksi efek acak yang diberikan.

Apakah asumsi independensi antar proses ini valid? Jika tidak, apakah ada cara untuk menjelaskan ini dalam model LME atau haruskah saya mencari untuk menggunakan jenis analisis statis lain untuk menjawab pertanyaan saya?

r mixed-model multiple-comparisons simulation independence Pasang kembali Monica - G. Simpson
sumber
Apakah residual bersyarat pada efek acak yang diprediksi atau tanpa syarat dan dalam simulasi adalah efek acak yang diprediksi konstan atau bervariasi. Ingatlah untuk mencoba memahami metode simulasi default di LME4 dan tidak bisa (tetapi proyek dibatalkan sebelum saya bereskan).
phaneron
Tidak yakin saya mengikuti sepenuhnya, tetapi berbagai rangkaian pelatihan menggambar -> model fit -> menghitung RMSEP semuanya dilakukan sebelum LME. Efek acak untuk dijalankan karena setiap putaran akan memiliki intersep yang berbeda (RMSEP) karena kombinasi yang berbeda dari sampel kumpulan uji dipilih, tetapi ini konstan dalam jangka Adapun bit kondisional / tanpa syarat, saya tidak yakin / jelas apa yang Anda maksud. Terima kasih atas komentar Anda.
Pasang kembali Monica - G. Simpson

Jawaban:

4

Anda pada dasarnya melakukan beberapa bentuk cross-validasi di sini untuk masing-masing metode m Anda dan kemudian ingin melihat metode mana yang lebih baik. Hasil antara berjalan pasti akan tergantung, karena mereka didasarkan pada data yang sama dan Anda memiliki tumpang tindih antara set kereta / tes Anda. Pertanyaannya adalah apakah ini penting ketika Anda datang untuk membandingkan metode.

Katakanlah Anda hanya akan menjalankan satu kali saja, dan akan menemukan bahwa satu metode lebih baik daripada yang lainnya. Anda kemudian akan bertanya pada diri sendiri - apakah ini hanya karena pilihan set tes yang spesifik? Inilah sebabnya mengapa Anda mengulangi tes Anda untuk banyak set kereta / tes yang berbeda. Jadi, untuk menentukan bahwa suatu metode lebih baik daripada metode lain, Anda menjalankan berkali-kali dan dalam setiap menjalankan membandingkannya dengan metode lain (Anda memiliki opsi berbeda dalam melihat kesalahan / peringkat / dll). Sekarang, jika Anda menemukan bahwa suatu metode melakukan lebih baik pada sebagian besar berjalan, hasilnya adalah apa adanya. Saya tidak yakin akan membantu jika memberikan nilai p untuk ini. Atau, jika Anda ingin memberikan nilai-p, tanyakan pada diri Anda apa model latar belakang di sini?

Bitwise
sumber
Terima kasih atas pemikiran anda Saya pikir kalimat terakhir Anda meringkas di mana saya berada sekarang. Untuk mengantisipasi hal ini, saya memiliki tindak lanjut di mana saya bertanya tentang cara yang tepat untuk menganalisis jenis data ini. Saya juga menyukai poin Anda tentang "ini apa adanya"; yang telah berputar-putar di tepi proses pemikiran saya baru-baru ini juga.
Reinstate Monica - G. Simpson
Satu masalah yang saya miliki dengan bagian "hasil adalah apa adanya" adalah bahwa RMSEP sangat bervariasi dari menjalankan ke menjalankan. Jadi rata-rata satu atau dua metode lebih baik, tetapi apakah mereka benar-benar lebih baik mengingat variabilitas dalam RMSEP? Maka saya mencoba LME dengan efek acak untuk Run. Untuk memodifikasi pendekatan itu, saya perlu tahu siapa yang menghubungkan setiap set data. Tampaknya tes statistik apa pun yang saya lakukan perlu dimodifikasi. Karena itu saya masih berjuang dengan cara menafsirkan sarana dari 50 Runs untuk setiap metode & apakah saya dapat menarik kesimpulan ...?
Pasang kembali Monica - G. Simpson
1
Cara saya melihatnya, mengevaluasi metode Anda atas semua partisi set kereta / tes yang mungkin dari data Anda akan menjadi evaluasi yang paling komprehensif. Karena ini tidak mungkin, Anda memperkirakan ini dengan menjalankan acak. Katakanlah Anda dapat mengevaluasi semua partisi kereta / uji - Anda masih akan dibiarkan dengan pertanyaan tentang bagaimana memutuskan metode mana yang lebih baik. Jadi ini lebih merupakan masalah bagaimana Anda mendefinisikan apa yang "baik" itu. Apakah ini berarti skor rata-rata yang tinggi? Atau apakah itu berarti bahwa dalam banyak menjalankan satu metode mendapatkan skor yang lebih tinggi daripada yang lain (secara pribadi saya pikir ini akan menjadi versi yang lebih baik)?
Bitwise
1

Mungkin tidak terlalu mengerti apa yang telah Anda lakukan tetapi

untuk Run Saya mengasumsikan bahwa nilai-nilai RMSEP untuk menjalankan itu berkorelasi pada tingkat tertentu

Ya, itu mencerminkan betapa sulitnya set tes dalam menjalankannya

tetapi tidak berkorelasi antara berjalan

Tidak, mengingat cara Anda mengambil sampel set tes, beberapa akan lebih tumpang tindih daripada yang lain (pasti bukan replikasi independen)

Anda entah bagaimana harus memodelkan ketergantungan berdasarkan pada tumpang tindih atau merancang penilaian sehingga jalannya independen. Saya akan membaca literatur statistik tentang validasi silang ;-)

phaneron
sumber
+1 Terima kasih atas jawabannya. Hmm, aku mengerti maksudmu. Semakin mirip set tes, semakin mirip nilai RMSEP mereka. OK, dengan cara itu sama seperti jika data berkorelasi spasial atau sementara. Cara saya menghasilkan set pelatihan / set tes harus berarti bahwa rata-rata mereka semua berbeda satu sama lain. Saya tidak yakin CV apa yang akan membawa saya ke sini - dan dalam arti tertentu saya tetap melakukannya hanya melalui pendekatan resampling. Mungkin akan bertanya Q lain kemudian tentang bagaimana menyelesaikan masalah sebenarnya.
Reinstate Monica - G. Simpson
Saya akan membiarkan ini terbuka sampai akhir periode karunia untuk melihat apakah ada orang lain yang menggigit, tapi saya menghargai pemikiran Anda di sini dan akan menerima dan memberikan hadiah jika tidak ada jawaban lain yang akan datang.
Pasang kembali Monica - G. Simpson