Salah satu pos tertaut di atas mengacu pada penggunaan uji rasio kemungkinan, meskipun model Anda harus bersarang satu sama lain agar ini berfungsi (yaitu semua parameter dalam salah satu model harus ada dalam model yang Anda uji terhadapnya) .
RMSE jelas merupakan ukuran seberapa baik model tersebut cocok dengan data. Namun demikian, rasio kemungkinan. Kemungkinan bagi seseorang, kata Ny. Chen, adalah kemungkinan seseorang dengan semua parameternya memiliki hasil yang dia miliki. Kemungkinan gabungan dari dataset adalah kemungkinan Mrs. Chen * kemungkinan Mrs. Gundersen * kemungkinan Mrs. Johnson * ... dll.
Menambahkan kovariat, atau sejumlah kovariat, tidak dapat benar-benar membuat rasio kemungkinan semakin buruk, saya tidak berpikir. Tetapi hal itu dapat meningkatkan rasio kemungkinan dengan jumlah yang tidak signifikan. Model yang lebih cocok akan memiliki kemungkinan lebih tinggi. Anda dapat menguji secara formal apakah model A lebih cocok dengan model B. Anda harus memiliki semacam fungsi tes LR yang tersedia di perangkat lunak apa pun yang Anda gunakan, tetapi pada dasarnya, statistik uji LR adalah -2 * perbedaan log dari kemungkinan, dan didistribusikan chi-square dengan df = perbedaan dalam jumlah parameter.
Juga, membandingkan AIC atau BIC dari kedua model dan menemukan yang terendah juga dapat diterima. AIC dan BIC pada dasarnya adalah kemungkinan log yang dihukum untuk sejumlah parameter.
Saya tidak yakin tentang menggunakan uji-t untuk RMSEs, dan saya benar-benar akan menentangnya kecuali Anda dapat menemukan beberapa pekerjaan teoritis yang telah dilakukan di daerah tersebut. Pada dasarnya, apakah Anda tahu bagaimana nilai-nilai RMSE terdistribusi secara asimptotik? Saya tidak yakin. Beberapa diskusi lebih lanjut di sini:
http://www.stata.com/statalist/archive/2012-11/index.html#01017