Menghitung kemungkinan dari RMSE

13

Saya memiliki model untuk memprediksi lintasan (x sebagai fungsi waktu) dengan beberapa parameter. Saat ini, saya menghitung root mean square error (RMSE) antara lintasan yang diprediksi dan lintasan yang direkam secara eksperimental. Saat ini, saya meminimalkan perbedaan ini (RMSE) menggunakan simplex (fminsearch in matlab). Meskipun metode ini berfungsi untuk memberikan kecocokan yang baik, saya ingin membandingkan beberapa model yang berbeda, jadi saya pikir saya perlu menghitung kemungkinan sehingga saya dapat menggunakan estimasi kemungkinan maksimum daripada meminimalkan RMSE (dan kemudian membandingkan model menggunakan AIC atau BIC ). Apakah ada cara standar untuk melakukan ini?

Jason
sumber

Jawaban:

20

Akar kesalahan kuadrat rata-rata dan kemungkinan sebenarnya terkait erat. Katakanlah Anda memiliki dataset pasangan dan Anda ingin memodelkan hubungan mereka menggunakan model f . Anda memutuskan untuk meminimalkan kesalahan kuadratik{xsaya,zsaya}f

saya(f(xsaya)-zsaya)2

Bukankah pilihan ini sepenuhnya sewenang-wenang? Tentu, Anda ingin menghukum perkiraan yang benar-benar salah lebih dari yang benar. Tetapi ada alasan yang sangat bagus untuk menggunakan kesalahan kuadrat.

Ingat kepadatan Gaussian: manaZadalah konstanta normalisasi yang tidak kita pedulikan untuk saat ini, Mari kita asumsikan bahwa data target Andazdidistribusikan menurut Gaussian. Jadi kita bisa menuliskan kemungkinan data.1Zexp-(x-μ)22σ2Zz

L=saya1Zexp-(f(xsaya)-zsaya)22σ2

Sekarang jika Anda mengambil logaritma ini ...

catatanL=saya-(f(xsaya)-zsaya)22σ2-catatanZ

... ternyata itu sangat terkait erat dengan rms: satu-satunya perbedaan adalah beberapa istilah yang konstan, akar kuadrat dan perkalian.

Singkat cerita: Meminimalkan akar kuadrat galat setara dengan memaksimalkan kemungkinan log data.

bayerj
sumber
Terima kasih atas penjelasan yang jelas. Jadi, jika saya ingin membandingkan dua model (non-embedded) menggunakan BIC, saya hanya bisa drop sigma ^ 2 dan istilah Z (secara efektif mengasumsikan mereka sama di seluruh model) ketika menghitung kemungkinan?
Jason
σσ
1
catatanL=saya(f(xsaya)-zsaya)22σ2-catatanZ
2
Apakah ada tanda negatif yang hilang dalam distribusi Gaussian?
Manoj
1
σ