Apakah ada model yang sesuai statistik (seperti AIC atau BIC) yang dapat digunakan untuk absolut, bukan hanya perbandingan relatif?

Saya tidak begitu terbiasa dengan literatur ini, jadi tolong maafkan saya jika ini adalah pertanyaan yang jelas.

Karena AIC dan BIC bergantung pada memaksimalkan kemungkinan, tampaknya mereka hanya dapat digunakan untuk membuat perbandingan relatif antara satu set model yang mencoba menyesuaikan dengan set data yang diberikan. Menurut pemahaman saya, tidak masuk akal untuk menghitung AIC untuk Model A pada data-set 1, menghitung AIC untuk Model B pada data-set 2, dan kemudian membandingkan dua nilai AIC dan menilai bahwa (misalnya) Model A cocok dengan data-set 1 lebih baik daripada Model B cocok dengan data-set 2. Atau mungkin saya salah dan itu adalah hal yang wajar untuk dilakukan. Tolong beritahu saya.

Pertanyaan saya adalah ini: apakah ada model yang sesuai dengan statistik yang dapat digunakan untuk perbandingan absolut dan bukan hanya relatif? Untuk model linier, sesuatu seperti akan bekerja; ia memiliki rentang yang jelas dan mendisiplinkan gagasan spesifik tentang apa yang merupakan nilai "baik". Saya mencari sesuatu yang lebih umum dan berpikir saya bisa mulai dengan melakukan ping ke ahlinya. Saya yakin seseorang pernah memikirkan hal semacam ini sebelumnya, tetapi saya tidak tahu istilah yang tepat untuk melakukan pencarian produktif di Google Cendekia. $R^2$

Bantuan apa pun akan dihargai.

model-selection aic bic Nathan VanHoudnos
sumber

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

Satu-satunya hal yang dapat saya bayangkan di bidang yang Anda bicarakan adalah ukuran akurasi prediksi. Kualitas dua model pada dua set data yang berbeda berpotensi dapat dibandingkan dengan yang diprediksi terbaik, meskipun ini juga tidak sempurna.

Makro

Jawaban:

Sejalan dengan apa yang disarankan Macro, saya pikir istilah yang Anda cari adalah ukuran kinerja. Meskipun ini bukan cara yang aman untuk menilai daya prediksi, ini adalah cara yang sangat berguna untuk membandingkan kualitas pemasangan berbagai model.

Contoh pengukuran adalah Kesalahan Persentase Rata-rata, tetapi lebih dari itu dapat dengan mudah ditemukan.

Misalkan Anda menggunakan SetA dengan modelA untuk menggambarkan jumlah lubang di jalan, dan Anda menggunakan SetB dan modelB untuk menggambarkan jumlah orang di suatu negara, maka tentu saja Anda tidak bisa mengatakan bahwa satu model lebih baik daripada yang lain, tetapi Anda bisa setidaknya lihat model mana yang memberikan deskripsi yang lebih akurat.

Dennis Jaheruddin
sumber

Ada beberapa makalah baru yang mengeksplorasi apa yang Anda cari, saya pikir; Nakagawa dan Schielzeth (2013) menyajikan statistik R² untuk model efek campuran yang disebut "R2 GLMM" untuk menentukan jumlah varians yang tidak dapat dijelaskan dalam suatu model.

R²GLMM bersyarat ditafsirkan sebagai varians yang dijelaskan oleh faktor tetap dan acak;

Marginal R²GLMM mewakili varian yang dijelaskan oleh faktor-faktor tetap.

Pada 2014, Johnson memperbarui persamaan untuk memperhitungkan model lereng acak.

Untungnya, Anda dapat dengan mudah menghitung R²GLMM marginal dan kondisional menggunakan paket "MuMIn" di R ( Barton, 2015 ).

Nova
sumber