Regresi dan pembelajaran mesin digunakan dalam ilmu alam untuk menguji hipotesis, memperkirakan parameter, dan membuat prediksi dengan mencocokkan model dengan data. Namun, ketika saya memiliki model apriori , saya tidak ingin melakukan fitting --- misalnya, model sistem fisik deterministik yang dihitung dari prinsip pertama. Saya hanya ingin tahu seberapa baik model saya cocok dengan data, dan kemudian memahami bagian mana dari model yang memberikan kontribusi signifikan untuk pertandingan. Bisakah seseorang mengarahkan saya ke arah cara yang ketat secara statistik dalam melakukan ini?
Dalam istilah yang lebih spesifik, anggaplah saya memiliki sistem fisik di mana saya mengukur variabel dependen ( berkisar dari 1 hingga , ukuran sampel) dalam berbagai kondisi yang dijelaskan oleh tiga variabel independen , , dan . Meskipun sistem nyata yang menghasilkan data rumit, saya membuat beberapa asumsi penyederhanaan untuk mendapatkan model teoritis untuk sistem, sedemikian rupa
,
dimana adalah fungsi non-linear (dan tidak linierisasi) dari variabel independen dan adalah perbedaan antara model yang diprediksi dan nilai yang diukur. sepenuhnya ditentukan sebelumnya; tidak ada pemasangan yang dilakukan dan tidak ada parameter yang diperkirakan. Tujuan pertama saya adalah menentukan apakah adalah model yang masuk akal untuk proses yang menghasilkan nilai yang diukur .
Saya juga mengembangkan model yang disederhanakan dan , yang bersarang di (jika itu penting dalam kasus ini). Tujuan kedua saya adalah menentukan apakah cocok dengan data secara signifikan lebih baik daripada atau , menunjukkan bahwa fitur yang membedakan model dari model dan memainkan peran penting dalam proses yang menghasilkan .
Ide sejauh ini
Mungkin jika ada beberapa cara untuk menentukan jumlah parameter atau jumlah derajat kebebasan untuk model matematika saya, akan mungkin untuk menggunakan prosedur yang ada seperti tes rasio kemungkinan atau perbandingan AIC. Namun, mengingat bentuk nonlinear dari dan tidak adanya parameter yang jelas, saya tidak yakin apakah itu wajar untuk menetapkan parameter atau untuk mengasumsikan apa yang merupakan derajat kebebasan.
Saya pernah membaca bahwa ukuran good-of-fit, seperti koefisien determinasi (), dapat digunakan untuk membandingkan kinerja model. Namun, tidak jelas bagi saya apa ambang batas untuk perbedaan yang berarti antaranilai mungkin. Lebih lanjut, karena saya tidak mencocokkan model dengan data, rata-rata residu tidak nol dan mungkin berbeda untuk masing-masing model. Dengan demikian, model yang cocok yang cenderung underpredict data mungkin menghasilkan nilai yang buruk sebagai model yang tidak bias tetapi tidak cocok dengan data.
Saya juga sudah membaca sedikit tentang tes good-of-fit (misalnya, Anderson-Darling), tetapi karena statistik bukan bidang saya, saya tidak yakin seberapa baik jenis tes ini sesuai dengan tujuan saya. Bimbingan apa pun akan dihargai.
sumber
f()
yang perlu ditentukan dari kecocokan dengan data, atau apakah fungsif()
sepenuhnya ditentukan sebelumnya?f
sepenuhnya ditentukan sebelumnya. Ini seperti kotak hitam yang menghasilkan responsy
dari variabel input, dan saya ingin tahu seberapa baik kinerjanya dibandingkan dengan kotak hitam yang bersaing. Situasi analagous mungkin mencoba untuk mengevaluasi kecocokan antara output dari simulasi numerik dan pengukuran yang dibuat dalam sistem fisik nyata.Jawaban:
Dalam situasi ini Anda pada dasarnya membandingkan distribusiϵsaya di antara 3 model. Jadi, Anda perlu memeriksa masalah seperti:
Rincian cara terbaik untuk mendekati pertanyaan-pertanyaan ini akan tergantung pada sifat data Anda. Misalnya, jika nilaiysaya selalu positif dan memiliki kesalahan pengukuran khas sebanding dengan nilai-nilainya (seperti yang sering terjadi dalam praktiknya), mungkin masuk akal untuk melakukan analisis ini pada perbedaan antara log-transformed ysaya dan prediksi log-transformasi dari masing-masing model Anda.
Analisis visual dari distribusiϵsaya di antara 3 model, misalnya dengan plot kerapatan, akan menjadi langkah pertama yang penting.
Tergantung pada sifat data, uji statistik parametrik standar atau non-parametrik untuk perbedaan nilai rata-rata, diterapkan padaϵsaya untuk 3 model, akan membahas Masalah 1.
Masalah 2 pada dasarnya adalah apa yang dilakukan untuk memeriksa kualitas model yang dipasang; dalam kasus Anda, analisis ini mungkin memperlihatkan domain variabel independen di mana satu atau lebih dari model yang ditentukan sebelumnya tidak berfungsi dengan baik. Plotϵsaya versus nilai prediksi dan nilai variabel independen, dengan kurva loess untuk menyoroti tren, untuk setiap model Anda akan berguna.
Jika tidak ada bias dalam model apa pun dan analisis Edisi 2 tidak menunjukkan masalah, maka Isu 3 lainnya adalah apakah ada model yang lebih unggul dalam hal presisi / varians. Dalam kasus ideal dengan terdistribusi normalϵsaya dalam setiap model, uji-F dapat menguji kesetaraan varian.
sumber
Perbandingan probabilistik dari model, misalnya melibatkan beberapa kemungkinan dihitung dariϵ dengan beberapa data (dan berasal dari tes AIC atau rasio ini), tidak masuk akal.
Hal ini karena
Paling sering orang menggambarkan model dalam hal persentase kesalahan untuk prediksi.
Contoh:
Prediksi penurunan tekanan aliran pipa lumpur menggunakan faktor gesekan hukum-kekuatan gabungan-korelasi bilangan Reynolds berdasarkan bilangan Reynolds non-Newtonian yang berbeda
Memprediksi viskositas efektif nanofluida berdasarkan reologi suspensi partikel padat
Penerapan kecerdasan buatan untuk pemodelan aspal - viskositas karet
Metode kontribusi obligasi untuk memperkirakan konstanta hukum henry
Pada dasarnya Anda dapat google model apa pun yang merupakan penyederhanaan realitas dan Anda akan menemukan orang-orang menggambarkan perbedaan mereka dengan kenyataan dalam hal koefisien korelasi, atau persen variasi.
Untuk perbandingan seperti itu, Anda dapat mempertimbangkan kinerja yang diukur sebagai sampel, sampel yang diambil dari populasi kinerja yang lebih besar (hipotetis).
Jadi, Anda ingin menggambarkan parameter distribusi populasi kesalahanϵ dan bandingkan itu. Ini mungkin Anda anggap probabilistik. Misalnya, Anda dapat menyebutnya sebagai 'kesalahan rata-rata model y± x ' . Hipotesis Anda adalah tentang parameter-parameter yang menggambarkan distribusi kesalahan.
Namun pandangan ini agak bermasalah, karena seringkali "sampel" yang digunakan untuk mengukur kinerja, sebenarnya bukan pilihan acak (misalnya pengukuran sepanjang rentang yang telah ditentukan atau di antara set item praktis yang dipilih). Maka setiap kuantifikasi kesalahan dalam estimasi kinerja umum tidak boleh didasarkan pada model untuk pemilihan acak (misalnya menggunakan varians dalam sampel untuk menggambarkan kesalahan estimasi). Jadi masih masuk akal untuk menggunakan model probabilistik untuk menggambarkan perbandingan. Mungkin cukup untuk hanya menyatakan data deskriptif, dan membuat "perkiraan" Anda tentang generalisasi berdasarkan argumen logis.
sumber
x_3,i
berkontribusi secara terukur terhadap produksiy
. Modelf
memasukkan fenomena A sementarag
danh
tidak, jadi jika hipotesis saya benar, saya akan memprediksi bahwa modelf
berperforma lebih baik daripada salah satug
atauh
.