Tentang George Box, Galit Shmueli dan metode ilmiahnya?

16

(Pertanyaan ini mungkin sepertinya lebih cocok untuk Philosophy SE. Saya berharap bahwa ahli statistik dapat mengklarifikasi kesalahpahaman saya tentang pernyataan Box dan Shmueli, maka saya mempostingnya di sini).

George Box (dari ARIMA fame) berkata:

"Semua model salah, tetapi beberapa berguna."

Galit Shmueli dalam makalahnya yang terkenal "To Explain or Predict" , berpendapat (dan mengutip orang lain yang setuju dengannya) bahwa:

Menjelaskan dan memprediksi tidak sama, dan bahwa beberapa model melakukan pekerjaan menjelaskan dengan baik, meskipun mereka melakukan pekerjaan yang buruk dalam memprediksi.

Saya merasa bahwa prinsip-prinsip ini entah bagaimana bertentangan.

Jika model tidak memprediksi dengan baik, apakah itu berguna?

Lebih penting lagi, jika suatu model menjelaskan dengan baik (tetapi tidak selalu memprediksi dengan baik), maka itu harus benar (yaitu tidak salah) dalam beberapa hal. Jadi bagaimana kaitannya dengan Box "semua model salah"?

Akhirnya, jika model menjelaskan dengan baik, tetapi tidak dapat memprediksi dengan baik, bagaimana ini bahkan ilmiah? Kebanyakan kriteria demarkasi ilmiah (verifikasi, falsificstionism, dll ...) menyiratkan bahwa pernyataan ilmiah harus memiliki kekuatan prediksi, atau bahasa sehari-hari: Sebuah teori atau model hanya benar jika dapat diuji secara empiris (atau dipalsukan), yang berarti bahwa harus memprediksi hasil di masa depan.

Pertanyaan saya:

  • Apakah pernyataan Box dan ide-ide Shmueli memang bertentangan, atau apakah saya kehilangan sesuatu, misalnya model tidak memiliki kekuatan prediktif namun masih berguna?
  • Jika pernyataan Box dan Shmueli tidak bertentangan, lalu apa artinya bagi model untuk menjadi salah dan tidak memprediksi dengan baik, namun masih memiliki kekuatan penjelas? Dengan kata lain: Jika seseorang menghilangkan kebenaran dan kemampuan prediksi, apa yang tersisa dari model?

Apa validasi empiris yang mungkin ketika model memiliki kekuatan penjelas, tetapi bukan daya prediksi? Shmueli menyebutkan hal-hal seperti: gunakan AIC untuk penjelasan dan BIC untuk prediksi, dll, ... tapi saya tidak melihat bagaimana itu menyelesaikan masalah. Dengan model prediktif, Anda dapat menggunakan regularisasi AIC, atau BIC, atau , atau , dll ... tetapi pada akhirnya dari pengujian sampel dan kinerja dalam produksi adalah apa yang menentukan kualitas model. Tetapi untuk model yang menjelaskan dengan baik, saya tidak melihat bagaimana fungsi kerugian dapat benar-benar mengevaluasi suatu model. Dalam filsafat sains, ada konsep underdeterminationR2L.1yang tampaknya relevan di sini: Untuk setiap set data yang diberikan, kita selalu dapat dengan bijaksana memilih beberapa distribusi (atau campuran distribusi) dan fungsi kerugian sedemikian rupa sehingga sesuai dengan data (dan karenanya dapat diklaim untuk menjelaskannya). Selain itu, ambang batas yang harus di bawah untuk seseorang untuk mengklaim bahwa model tersebut cukup menjelaskan data adalah arbitrer (jenis seperti nilai-p, mengapa dan bukan atau ?).L.L.hal<0,05hal<0,1hal<0,01

  • Berdasarkan hal di atas, bagaimana seseorang dapat secara valid memvalidasi model yang menjelaskan dengan baik, tetapi tidak memprediksi dengan baik, karena dari pengujian sampel tidak mungkin?
Skander H. - Pasang kembali Monica
sumber
3
Sejauh yang bisa saya ingat Shmueli, baginya untuk menjelaskan dengan baik berarti untuk mendapatkan bentuk fungsional dengan benar (tetapi mungkin memiliki estimasi estimasi yang sangat besar ketika datang ke parameter bentuk fungsional), sedangkan untuk memprediksi dengan baik berarti untuk mendapatkan tradeoff bias-varians right (kompromi pada bentuk fungsional untuk meningkatkan ketepatan estimasi). Juga, tag filosofis dapat bermanfaat di sini.
Richard Hardy
1
Saya tidak berpikir "atau" perlu eksklusif. Kesederhanaan dan penyatuan adalah kriteria seleksi non-kontroversial untuk teori-teori dengan nilai prediksi yang sama, dan jika demikian, mengorbankan presisi untuk mereka mungkin dapat dibenarkan dalam banyak konteks. Moto Box mencerminkan pandangan yang berbeda tentang sains, contohnya maju dalam Gambar Ilmiah van Fraassen (dan kembali ke Kant): itu adalah membangun deskripsi yang memadai / berguna dari yang diamati, bukan untuk menceritakan kisah nyata secara harfiah tentang "kenyataan" yang tidak dapat diobservasi. Kecukupan kasar mungkin cukup untuk banyak tugas, dan "satu-satunya model yang tepat" mungkin merupakan isapan jempol yang naif.
Conifold
2
@Conifold Memang, analisis loop Richard Levins tentang sistem sebab-akibat yang kompleks (bukan metode statistik, meskipun ada aplikasi yang berhubungan langsung dengan prediksi statistik) mengorbankan hampir semua presisi demi realisme model (variabel & hubungan di antara mereka) dan generalisasi (penerapan hasil analitik pada model untuk semua variabel berbagi struktur kausal yang sama). Lihat Levins, R. (1966). Strategi Membangun Model Dalam Biologi Populasi . American Scientist , 54 (4), 421-431.
Alexis
(+1. Saya masih berharap menemukan waktu untuk mengirim jawaban di sini ...)
amoeba berkata Reinstate Monica

Jawaban:

9

Mari saya mulai dengan kutipan bernada tinggi oleh George Box, bahwa "semua model salah, tetapi beberapa berguna". Pernyataan ini adalah enkapsulasi dari pendekatan metodologis "positivisme", yang merupakan pendekatan filosofis yang sangat berpengaruh dalam ilmu. Pendekatan ini dijelaskan secara rinci (dalam konteks teori ekonomi) dalam esai metodologis klasik Friedman (1966) . Dalam esai itu, Friedman berpendapat bahwa teori ilmiah apa pun yang berguna harus merupakan penyederhanaan realitas, dan dengan demikian asumsi-asumsinya harus selalu bertolak dari kenyataan sampai taraf tertentu, dan bahkan dapat menyimpang secara substansial dari kenyataan.dalam mengurangi kompleksitas dunia menjadi seperangkat prinsip yang dapat dikelola, dan keakuratannya dalam membuat prediksi tentang realitas, dan menghasilkan hipotesis baru yang dapat diuji tentang realitas. Jadi, Friedman berpendapat bahwa "semua model salah" sejauh mereka semua mengandung asumsi yang menyederhanakan (dan karena itu menyimpang dari) kenyataan, tetapi bahwa "beberapa berguna" sejauh mereka memberikan kerangka kerja sederhana untuk membuat prediksi yang berguna tentang realitas.

Sekarang, jika Anda membaca Box (1976) (makalah di mana ia pertama kali menyatakan bahwa "semua model salah"), Anda akan melihat bahwa ia tidak mengutip Friedman, juga tidak menyebutkan positivisme metodologis. Namun demikian, penjelasannya tentang metode ilmiah dan karakteristiknya sangat dekat dengan yang dikembangkan oleh Friedman. Secara khusus, kedua penulis menekankan bahwa teori ilmiah akan membuat prediksi tentang kenyataan yang dapat diuji terhadap fakta yang diamati, dan kesalahan dalam prediksi kemudian dapat digunakan sebagai dasar untuk revisi teori.

Sekarang, menuju dikotomi yang dibahas oleh Galit Shmueli dalam Shmueli (2001) . Dalam tulisan ini, Shmueli membandingkan penjelasan kausal dan prediksi hasil yang diamati dan berpendapat bahwa ini adalah kegiatan yang berbeda. Secara khusus, ia berpendapat bahwa hubungan sebab akibat didasarkan pada konstruk yang mendasarinya yang tidak bermanifestasi langsung dalam hasil yang terukur, sehingga "data yang terukur bukanlah representasi akurat dari konstruk yang mendasarinya" (hal. 293). Karena itu ia berpendapat bahwa ada aspek analisis statistik yang melibatkan membuat kesimpulan tentang hubungan kausal yang mendasari yang tidak dapat diamati yang tidak dimanifestasikan dalam perbedaan kontrafaktual yang dapat diukur dalam hasil.

Kecuali jika saya salah paham akan sesuatu, saya pikir itu adil untuk mengatakan bahwa gagasan ini bertentangan dengan pandangan positivis Box dan Friedman, sebagaimana diwakili dalam kutipan oleh Box. Sudut pandang positivis pada dasarnya mengatakan bahwa tidak ada "konstruksi" metafisik yang dapat diterima di luar hal-hal yang terwujud dalam hasil yang terukur. Positivisme membatasi diri pada pertimbangan data yang dapat diamati, dan konsep yang dibangun di atas data ini; itu tidak termasuk pertimbangan apriorikonsep metafisik. Dengan demikian, seorang positivis akan berpendapat bahwa konsep kausalitas hanya dapat valid sejauh ia didefinisikan dalam hal hasil yang terukur dalam kenyataan --- sejauh ia didefinisikan sebagai sesuatu yang berbeda dari ini (seperti Shmueli memperlakukannya), ini akan dianggap sebagai spekulasi metafisik, dan akan diperlakukan sebagai tidak dapat diterima dalam wacana ilmiah.

Jadi saya pikir Anda benar --- kedua pendekatan ini pada dasarnya bertentangan. Pendekatan positivis yang digunakan oleh Box menegaskan bahwa konsep ilmiah yang valid didasarkan sepenuhnya pada manifestasi mereka dalam kenyataan, sedangkan pendekatan alternatif yang digunakan oleh Shmueli mengatakan bahwa ada beberapa "konstruksi" yang merupakan konsep ilmiah penting (yang ingin kami jelaskan) tetapi tidak dapat diwakili dengan sempurna ketika mereka "dioperasionalkan" dengan menghubungkannya dengan hasil yang terukur dalam kenyataan.

Pasang kembali Monica
sumber
Persis!!! Shmueli tampaknya bertentangan dengan kebanyakan definisi positivis (dan pemalsuan) tentang apa pernyataan ilmiah itu, dan saya bertanya-tanya apakah niatnya memang untuk membuat pernyataan filosofis yang begitu berani? atau apakah dia, sebagai ahli statistik, tidak menyadari seberapa berani pernyataannya sebenarnya?
Skander H.
Saya memposting pertanyaan terkait pada filosofi SE , mau mempertimbangkannya?
Skander H.
1
Meskipun positivisme dan pragmatisme berbagi sifat anti-realis, pendekatan Box adalah yang terakhir, dan positivisme tidak berpengaruh dalam ilmu pengetahuan setidaknya sejak akhir 1960-an. Inilah sebabnya Box tidak menyebut Friedman, atau positivis lainnya. Pragmatisme tidak terbatas pada data yang dapat diobservasi, dan tidak memiliki masalah dengan konsep apriori atau konstruksi metafisik. Itu hanya tidak melihat mereka mendekati "kenyataan", dan karenanya bertujuan pada fitur unik "benar", mereka bisa jamak, tergantung pada tugas, dan dapat diperbaiki. Hubungan kausal adalah konstruksi semacam itu, sehingga tidak ada konflik antara Box dan Shmueli.
Conifold
Terlepas dari apakah Box adalah seorang pragmatis, kutipan khusus yang dia berikan di sini, menurut saya, lebih kondusif bagi positivisme daripada pragmatisme. Filosofi yang terakhir mengambil pandangan pluralistik dari metafisika, yang menyatakan bahwa ada beberapa cara koheren untuk mengonseptualisasikan realitas, dan bahwa semua ini adalah "benar" dalam arti menjadi konseptualisasi berguna dari realitas. Dengan demikian, positivisme akan mengatakan, "semua model salah, tetapi beberapa berguna", sedangkan pepatah pragmatisme akan lebih dekat dengan "banyak model benar, karena mereka berguna".
Pasang kembali Monica
Identifikasi yang benar dengan yang berguna hanyalah kesalahpahaman rakyat tentang pragmatisme. Semua model salah karena "benar" menunjukkan bahwa mereka memiliki sesuatu untuk dikaitkan, yang disangkal oleh para pragmatis. Dan prinsip toleransi, "model benar selama mereka melayani tujuan", adalah karena Carnap, bapak positivisme logis.
Conifold
4

Sebuah model, ketika digunakan untuk menjelaskan sesuatu, adalah penyederhanaan realitas. Penyederhanaan hanyalah kata lain untuk "salah dalam beberapa cara yang bermanfaat". Sebagai contoh, jika kita membulatkan angka 3,1415926535898 menjadi 3,14 kita membuat kesalahan, tetapi kesalahan ini memungkinkan kita manusia untuk fokus pada bagian terpenting dari angka itu. Ini adalah bagaimana model digunakan dalam menjelaskan, ia memberikan wawasan tentang beberapa masalah, tetapi karena keharusan harus abstrak jauh dari banyak hal lain: Kita manusia tidak begitu baik dalam melihat ribuan hal secara bersamaan. Jika kita benar-benar peduli untuk memprediksi kita ingin memasukkan ribuan hal itu kapan saja memungkinkan, tetapi dengan menjelaskan trade-off berbeda.

Maarten Buis
sumber
1
π
1
@ SkanderH. Sejauh "grafik elegan dan intuitif" memfasilitasi aplikasi teknik, atau pengembangan teori baru, nilainya tidak murni subyektif, atau non-ilmiah, tetapi pragmatis. Penyatuan, kekuatan penjelas, kesederhanaan dan koherensi secara luas diakui sebagai nilai-nilai epistemik , bukan estetika . Pilihan antara teori eter Lorentz dan relativitas khusus dibuat berdasarkan pada pertimbangan-pertimbangan seperti itu, mereka secara prediksi setara.
Conifold
3

Contoh model yang sangat baik dalam prediksi tetapi tidak menjelaskan apa pun diberikan dalam artikel Wikipedia " Semua model salah ". Contohnya adalah model gravitasi Newton. Model Newton hampir selalu memberikan prediksi yang tidak dapat dibedakan dari pengamatan empiris. Namun model ini sangat tidak masuk akal: karena mendalilkan kekuatan yang dapat bertindak secara instan pada jarak yang besar secara sewenang-wenang.

Model Newton telah digantikan oleh model yang diberikan dalam teori relativitas umum Einstein. Dengan relativitas umum, gaya gravitasi bergerak melalui ruang dengan kecepatan terbatas (kecepatan cahaya).

Model Newton bukanlah penyederhanaan model general-relativistik. Untuk mengilustrasikannya, perhatikan sebuah apel jatuh dari pohon. Menurut relativitas umum, apel jatuh tanpa Bumi mengerahkan kekuatan apa pun pada apel. (Alasan utama apel jatuh adalah karena Bumi melengkungkan waktu, sehingga jam di dekat pangkal pohon berjalan lebih lambat daripada jam di atas pohon.) Jadi, seperti yang ditulis dalam artikel Wikipedia, model Newton sepenuhnya salah dari penjelasan. perspektif.

Makalah oleh Shmueli [2010] mengandaikan bahwa ada dua tujuan untuk model: prediksi dan penjelasan. Bahkan, beberapa penulis telah menyatakan bahwa ada tiga tujuan (lihat misalnya Konishi & Kitagawa [ Kriteria Informasi dan Pemodelan Statistik , 2008: §1.1] dan Friendly & Meyer [ Analisis Data Diskrit , 2016: §11.6]). Tiga tujuan sesuai dengan tiga jenis penalaran logis:

  • prediksi (sesuai dengan deduksi);
  • estimasi parameter (sesuai dengan induksi);
  • deskripsi struktur (sesuai dengan penculikan).
SolidPhase
sumber
Mengatakan bahwa model gravitasi Newton "tidak menjelaskan apa-apa" adalah, terus terang, menggelikan. -1.
Amuba mengatakan Reinstate Monica
amoeba, model Newton tidak menjelaskan apa pun tentang cara gravitasi bekerja, dengan asumsi bahwa relativitas umum akurat. Jika sebuah apel jatuh, model Newton mendalilkan bahwa Bumi mengerahkan kekuatan pada apel dan postulat itu sepenuhnya salah. Saya meminta Anda untuk mempertimbangkan jawaban saya lebih lanjut. Jika Anda masih tidak mengerti, silakan beri tahu saya apa yang tidak jelas.
SolidPhase
Apa yang Anda katakan cukup jelas tetapi saya sangat tidak setuju dengan itu.
Amoeba berkata Reinstate Monica
amoeba, saya meminta Anda menjelaskan mengapa Anda tidak setuju: apakah Anda punya alasan? (Perhatikan bahwa saya telah menambahkan kalimat tambahan pada jawabannya.)
SolidPhase
Terima kasih. Saya akan mencari referensi yang Anda sebutkan. Saya mengerti bagaimana model dapat memprediksi bahkan jika itu tidak menjelaskan. Apa yang tidak saya dapatkan adalah arah yang berlawanan: Bagaimana model dapat menjelaskan tanpa memprediksi. Anda, contoh-contoh Newton vs. Einstein justru semakin memperkeruh segalanya: Seluruh alasan teori Einstein menggantikan teori Newton adalah karena ia diprediksi lebih baik. Lihatlah dengan cara lain: Jika kita memiliki model penjelas yang bersaing, bagaimana kita bisa mengevaluasinya kecuali kita menguji mana yang memiliki kekuatan paling prediktif?
Skander H.
1

Saya seorang sarjana dalam Statistik, jadi saya tidak akan menyebut diri saya seorang ahli, tetapi ini adalah dua sen saya.

Model tidak menjelaskan diri mereka sendiri; manusia menafsirkannya. Model linear lebih mudah dipahami daripada jaringan saraf dan hutan acak karena lebih dekat dengan cara kita mengambil keputusan. Memang, JST meniru otak manusia, tetapi Anda tidak memutuskan restoran mana yang akan pergi besok dengan melakukan serangkaian perkalian matriks. Sebaliknya, Anda menimbang beberapa faktor dalam pikiran Anda dengan kepentingannya, yang pada dasarnya adalah kombinasi linear.

"Kekuatan penjelasan" mengukur seberapa baik suatu model cocok dengan intuisi manusia, sedangkan "kekuatan prediktif" mengukur seberapa baik model tersebut sejalan dengan mekanisme yang mendasari proses yang menjadi perhatian. Kontradiksi di antara mereka pada dasarnya adalah kesenjangan antara apa dunia ini dan bagaimana kita bisa merasakan / memahaminya. Saya harap ini menjelaskan mengapa "beberapa model melakukan pekerjaan dengan baik dalam menjelaskan, meskipun mereka melakukan pekerjaan yang buruk dalam memprediksi".

Ian Stewart pernah berkata, "Jika otak kita cukup sederhana untuk kita memahaminya, kita akan sangat sederhana sehingga kita tidak bisa." Sayangnya, otak manusia kecil kita sebenarnya sangat sederhana dibandingkan dengan alam semesta, atau bahkan pasar saham (yang melibatkan banyak otak :). Hingga kini, semua model adalah produk otak manusia, sehingga pasti lebih atau kurang akurat, yang mengarah ke Box "Semua model salah". Di sisi lain, model tidak harus benar secara teknis untuk berguna. Sebagai contoh, hukum gerak Newton telah dibantah oleh Einstein, tetapi tetap bermanfaat ketika sebuah objek tidak terlalu besar atau cepat.

Untuk menjawab pertanyaan Anda, saya jujur ​​tidak bisa melihat ketidakcocokan antara poin Box dan Shmueli. Tampaknya Anda menganggap "kekuatan penjelas" dan "kekuatan prediktif" sebagai sifat binomial, tapi saya pikir mereka duduk di dua ujung spektrum.

nalzok
sumber