Apakah pembelajaran mesin kurang bermanfaat untuk memahami hubungan sebab akibat, sehingga kurang menarik untuk ilmu sosial?

Pemahaman saya tentang perbedaan antara pembelajaran mesin / teknik prediksi statistik lainnya vs jenis statistik yang digunakan ilmuwan sosial (misalnya, ekonom) adalah bahwa ekonom tampaknya sangat tertarik untuk memahami efek dari satu atau beberapa variabel - baik dalam hal besarnya dan mendeteksi apakah hubungan itu kausal. Untuk ini, Anda berakhir dengan diri Anda sendiri dengan metode eksperimental dan quasi-eksperimental, dll.

Pembelajaran mesin atau pemodelan statistik yang bersifat prediktif seringkali sepenuhnya mengabaikan aspek ini dan dalam banyak kasus tidak memberi Anda tingkat tertentu di mana satu variabel memengaruhi hasil (logit dan probit tampaknya melakukan keduanya).

Pertanyaan terkait adalah sejauh mana model ekonomi atau perilaku yang diilhami secara teoritis memiliki keunggulan dibandingkan model atheoretical ketika memprediksi domain baru? Apa yang dikatakan oleh seorang ahli pembelajaran mesin atau ahli prediksi berorientasi pada kritik bahwa tanpa model ekonomi, Anda tidak akan dapat memprediksi sampel baru dengan benar di mana kovariat sangat berbeda.

Saya akan sangat senang mendengar orang mengambil ini dari semua perspektif.

Tidak ada perbedaan formal yang membedakan pembelajaran mesin dan statistik pada tingkat fundamental model pemasangan data. Mungkin ada perbedaan budaya dalam pemilihan model, tujuan menyesuaikan model dengan data, dan untuk beberapa memperluas interpretasi.

Dalam contoh-contoh tipikal yang dapat saya pikirkan tentang kita selalu miliki

• koleksi model untuk untuk beberapa set indeks ,$M_i$$i \in I$$I$
• dan untuk setiap suatu yang tidak diketahui komponen (parameter, mungkin tak terbatas dimensi) dari model .$i$$\theta_i$$M_i$

Menyesuaikan ke data hampir selalu merupakan masalah optimisasi matematis yang terdiri dari menemukan pilihan optimal dari komponen yang tidak diketahui untuk membuat sesuai dengan data yang diukur oleh beberapa fungsi favorit.$M_i$$\theta_i$$M_i$

Pemilihan di antara model kurang standar, dan ada berbagai teknik yang tersedia. Jika tujuan pemasangan model adalah murni prediksi, pemilihan model dilakukan dengan upaya untuk mendapatkan kinerja prediksi yang baik, sedangkan jika tujuan utama adalah untuk menginterpretasikan model yang dihasilkan, model yang lebih mudah diinterpretasikan dapat dipilih daripada model lain bahkan jika mereka kekuatan prediksi diperkirakan akan lebih buruk.$M_i$

Apa yang bisa disebut pemilihan model statistik sekolah tua didasarkan pada tes statistik yang mungkin dikombinasikan dengan strategi pemilihan langkah-bijaksana, sedangkan pemilihan model pembelajaran mesin biasanya berfokus pada kesalahan generalisasi yang diharapkan, yang sering diperkirakan menggunakan cross-validation. Namun perkembangan saat ini dan pemahaman tentang pemilihan model tampaknya menyatu ke arah landasan yang lebih umum, lihat, misalnya, Pemilihan Model dan Model Averaging .

Menyimpulkan kausalitas dari model

Inti masalahnya adalah bagaimana kita bisa menafsirkan model? Jika data yang diperoleh berasal dari eksperimen yang dirancang dengan hati-hati dan modelnya memadai, maka masuk akal bahwa kita dapat menginterpretasikan pengaruh perubahan variabel dalam model sebagai efek kausal, dan jika kita mengulangi eksperimen dan mengintervensi variabel tertentu ini. kita bisa berharap untuk mengamati efek yang diperkirakan. Namun, jika data bersifat observasional, kita tidak bisa berharap bahwa efek yang diperkirakan dalam model sesuai dengan efek intervensi yang dapat diamati. Ini akan memerlukan asumsi tambahan terlepas dari apakah model tersebut adalah "model pembelajaran mesin" atau "model statistik klasik".

Mungkin orang yang terlatih dalam menggunakan model statistik klasik dengan fokus pada estimasi parameter univariat dan interpretasi ukuran efek adalah kesan bahwa interpretasi kausal lebih valid dalam kerangka ini daripada dalam kerangka pembelajaran mesin. Saya akan mengatakan tidak.

Area inferensi kausal dalam statistik tidak benar-benar menghilangkan masalah, tetapi ia membuat asumsi yang menjadi kesimpulan kesimpulan kausal secara eksplisit. Mereka disebut sebagai asumsi yang tidak dapat diuji . Makalah inferensi kausal dalam statistik: Tinjauan oleh Judea Pearl adalah makalah yang baik untuk dibaca. Kontribusi utama dari inferensi kausal adalah pengumpulan metode untuk estimasi efek kausal berdasarkan asumsi di mana sebenarnya ada perancu yang tidak teramati, yang sebaliknya menjadi perhatian utama. Lihat Bagian 3.3 dalam kertas Pearl di atas. Contoh yang lebih maju dapat ditemukan dalam makalah Model Struktural Marginal dan Inferensial Kausal dalam Epidemiologi .

Ini adalah pertanyaan pokok apakah asumsi yang tidak dapat diuji itu berlaku. Mereka justru tidak dapat diuji karena kita tidak dapat mengujinya menggunakan data. Untuk membenarkan asumsi, diperlukan argumen lain.

Sebagai contoh di mana pembelajaran mesin dan inferensial kausal bertemu, ide-ide estimasi kemungkinan maksimum yang ditargetkan seperti yang disajikan dalam Targeted Maximum Likelihood Learning oleh Mark van der Laan dan Daniel Rubin biasanya mengeksploitasi teknik pembelajaran mesin untuk estimasi non-parametrik diikuti oleh "penargetan "menuju parameter yang menarik. Yang terakhir bisa menjadi parameter dengan interpretasi kausal. Idenya di Super Learneradalah sangat bergantung pada teknik pembelajaran mesin untuk estimasi parameter yang menarik. Ini adalah poin penting oleh Mark van der Laan (komunikasi pribadi) bahwa model statistik klasik, sederhana dan "dapat ditafsirkan" sering salah, yang mengarah pada penaksir yang bias dan penilaian yang terlalu optimis terhadap ketidakpastian estimasi.

Ada seperangkat alat statistik (yang cukup terbatas) untuk apa yang disebut "inferensi kausal". Ini dirancang untuk benar-benar menilai hubungan sebab akibat dan terbukti melakukan ini dengan benar. Luar biasa, tetapi tidak untuk yang lemah lembut (atau otak, dalam hal ini).

Terlepas dari itu, dalam banyak kasus, kemampuan untuk menyiratkan hubungan sebab akibat lebih merupakan konsekuensi dari desain Anda daripada teknik yang ada: jika Anda memiliki kendali atas 'semua' variabel dalam percobaan Anda, dan Anda melihat sesuatu terjadi setiap kali Anda ( hanya) ubah satu variabel, masuk akal untuk menyebut hal yang terjadi sebagai 'konsekuensi' dari hal yang Anda ubah (sayangnya, dalam penelitian nyata, kasus ekstrem ini jarang benar-benar terjadi). Alasan lain yang intuitif tetapi masuk akal adalah berdasarkan waktu: jika Anda secara acak (tetapi dengan cara yang terkontrol) mengubah variabel dan perubahan lainnya pada hari berikutnya, kausalitas juga ada di sekitar sudut.

Semua paragraf kedua saya pada dasarnya bekerja terlepas dari metode mana yang Anda gunakan untuk menemukan variabel mana yang berubah dalam kondisi apa, jadi setidaknya secara teori tidak ada alasan mengapa Pembelajaran Mesin (ML) akan lebih buruk daripada metode berbasis Statistik.

Penafian : Mengikuti paragraf yang sangat subyektif

Namun, dalam pengalaman saya, terlalu sering teknik ML hanya dilonggarkan pada gumpalan data tanpa mempertimbangkan dari mana data itu berasal atau bagaimana itu dikumpulkan (yaitu mengabaikan desain). Dalam kasus-kasus itu, sering kali hasilnya meledak, tetapi akan sangat sulit untuk mengatakan sesuatu yang berguna tentang hubungan sebab akibat. Ini akanpersis sama ketika beberapa metode yang secara statistik dijalankan pada data yang sama. Namun, orang-orang dengan latar belakang statistik yang kuat dilatih untuk bersikap kritis terhadap masalah ini, dan jika semuanya berjalan dengan baik, akan menghindari jebakan-jebakan ini. Mungkin itu hanya pola pikir para pengadopsi awal (tetapi ceroboh) teknik ML (biasanya bukan pengembang teknik baru tetapi mereka yang ingin 'membuktikan' beberapa hasil dengan mereka di bidang minat mereka) yang telah memberikan ML reputasi buruknya dalam hal ini. rekening. (perhatikan bahwa saya tidak mengatakan statistik lebih baik daripada ML, atau bahwa semua orang yang melakukan ML ceroboh dan mereka yang melakukan statistik tidak)

Pandangan saya adalah bahwa model yang digunakan dalam ekonomi dan ilmu sosial lainnya hanya berguna sejauh mereka memiliki kekuatan prediktif di dunia nyata - model yang tidak memprediksi dunia nyata hanyalah beberapa matematika yang cerdas. Pepatah favorit saya untuk kolega adalah bahwa "data adalah raja".

Tampak bagi saya bahwa pertanyaan Anda menimbulkan dua kritik terhadap pendekatan prediktif. Pertama, Anda menunjukkan bahwa model yang dihasilkan oleh teknik pembelajaran mesin mungkin tidak dapat ditafsirkan . Kedua, Anda menyarankan bahwa metode yang digunakan oleh mereka dalam ilmu sosial lebih berguna untuk mengungkap hubungan sebab akibat dari pembelajaran mesin.

Untuk membahas poin pertama, saya akan menawarkan argumen balasan berikut. Mode yang ada dalam pembelajaran mesin menyukai metode (seperti SVM dan NN) yang sama sekali tidak mudah dipahami oleh orang awam. Ini tidak berarti bahwa semua teknik pembelajaran mesin memiliki sifat ini. Sebagai contoh, pohon keputusan C4.5 yang terhormat masih banyak digunakan 20 tahun setelah mencapai tahap akhir pengembangannya, dan menghasilkan sebagai keluaran sejumlah aturan klasifikasi. Saya berpendapat bahwa aturan seperti itu lebih cocok untuk interpretasi daripada konsep seperti rasio odds log, tapi itu klaim subjektif. Bagaimanapun, model-model seperti itu dapat ditafsirkan.

Dalam membahas poin kedua, saya akan mengakui bahwa jika Anda melatih model pembelajaran mesin di satu lingkungan, dan mengujinya di lingkungan lain, kemungkinan akan gagal, namun, tidak ada alasan untuk menganggap apriori bahwa ini tidak juga berlaku untuk model yang lebih konvensional: jika Anda membangun model Anda di bawah satu set asumsi, dan kemudian mengevaluasinya di bawah yang lain, Anda akan mendapatkan hasil yang buruk. Untuk mengkooptasi frasa dari pemrograman komputer: "sampah masuk, buang keluar" berlaku sama baiknya untuk pembelajaran mesin dan model yang dirancang.

Tidak kausal inferensi merupakan bidang penelitian aktif dalam pembelajaran mesin, misalnya melihat proses dari ini lokakarya dan yang satu ini . Namun saya akan menunjukkan bahwa meskipun inferensial kausal atau interpretasi model adalah minat utama Anda, masih merupakan ide yang baik untuk mencoba pendekatan prediktif murni secara paralel, sehingga Anda akan tahu apakah ada penalti kinerja signifikan yang terlibat dalam bersikeras model yang dapat ditafsirkan.

Saya tidak akan mengulangi poin yang sangat baik yang sudah dibuat dalam jawaban lain, tetapi ingin menambahkan perspektif yang agak berbeda. Apa yang saya katakan di sini agak filosofis, tidak harus diambil dari pengalaman profesional, tetapi dari latar belakang campuran dalam ilmu fisika, teori sistem yang kompleks dan pembelajaran mesin (dan, harus saya akui, sebagian besar statistik sarjana).

Satu perbedaan substansial antara pembelajaran mesin dan pendekatan statistik klasik (yang saya ketahui) adalah dalam set asumsi yang dibuat. Dalam statistik klasik, banyak asumsi tentang proses dan distribusi yang mendasarinya adalah tetap dan cenderung diterima begitu saja. Namun, dalam pembelajaran mesin, asumsi-asumsi ini dipilih secara eksplisit untuk masing-masing model, menghasilkan serangkaian kemungkinan yang lebih luas dan mungkin kesadaran yang lebih besar tentang asumsi yang dibuat.

Kita melihat semakin banyak bahwa sistem di dunia di sekitar kita berperilaku dalam cara-cara yang kompleks dan non-linear, dan bahwa banyak proses tidak mematuhi asumsi normalitas dll. Biasanya hadir dalam statistik klasik. Saya berpendapat bahwa, karena fleksibilitas dan variasi asumsi model, pendekatan pembelajaran mesin akan sering mengarah pada model yang lebih kuat dalam kasus seperti itu.

Ada asumsi model yang kuat yang dibangun ke dalam frasa seperti "besarnya efek", "hubungan sebab akibat", dan "sejauh mana satu variabel mempengaruhi hasil". Dalam sistem yang kompleks (seperti ekonomi), asumsi-asumsi ini hanya akan valid dalam jendela tertentu dari kemungkinan status sistem. Dengan beberapa yang dapat diamati dan proses, jendela ini mungkin besar, mengarah ke model yang relatif kuat. Dengan yang lain mungkin kecil atau bahkan kosong. Mungkin bahaya terbesar adalah jalan tengah: sebuah model mungkin terlihat berfungsi, tetapi ketika sistem bergeser, gagal secara tiba-tiba dan mengejutkan.

Pembelajaran mesin bukanlah obat mujarab. Sebaliknya, saya melihatnya sebagai pencarian cara baru untuk mendapatkan makna dari pengamatan kami, mencari paradigma baru yang diperlukan jika kita ingin berurusan secara efektif dengan kompleksitas yang mulai kita rasakan di dunia di sekitar kita.