Bagaimana kita menjelaskan perbedaan antara regresi logistik dan jaringan saraf untuk audiens yang tidak memiliki latar belakang statistik?
logistic
neural-networks
pengguna16789
sumber
sumber
Jawaban:
Saya berasumsi Anda sedang memikirkan apa yang dulu, dan mungkin masih disebut sebagai 'multilayer perceptrons' dalam pertanyaan Anda tentang jaringan saraf. Jika demikian maka saya akan menjelaskan semuanya dalam hal fleksibilitas tentang bentuk batas keputusan sebagai fungsi dari variabel penjelas. Khususnya, untuk audiens ini, saya tidak akan menyebutkan fungsi tautan / peluang log dll. Tetap dengan gagasan bahwa probabilitas suatu peristiwa sedang diprediksi berdasarkan beberapa pengamatan.
Berikut urutan yang mungkin:
Keuntungan dari pendekatan ini adalah Anda tidak harus benar-benar masuk ke detail matematika untuk memberikan ide yang benar. Bahkan mereka tidak harus memahami regresi logistik atau jaringan saraf yang sudah memahami persamaan dan perbedaan.
Kelemahan dari pendekatan ini adalah Anda harus membuat banyak gambar, dan sangat menahan godaan untuk turun ke dalam aljabar untuk menjelaskan sesuatu.
sumber
Untuk ringkasan yang lebih sederhana:
Regresi logistik: Bentuk paling sederhana dari Jaringan Saraf Tiruan, yang menghasilkan batas keputusan yang merupakan garis lurus
Neural Networks: Superset yang mencakup regresi logistik dan juga pengklasifikasi lain yang dapat menghasilkan batas keputusan yang lebih kompleks.
(catatan: Saya mengacu pada regresi logistik "biasa", tanpa bantuan kernel integral)
(referensi: kursus deeplearning.ai oleh Andrew Ng, "Regresi logistik sebagai jaringan saraf" dan "Klasifikasi data Planar dengan satu lapisan tersembunyi")
sumber
Saya akan menjawab pertanyaan itu secara literal: Seseorang tanpa latar belakang statistik. Dan saya tidak akan mencoba memberi orang itu latar belakang dalam statistik. Misalnya, Anda harus menjelaskan perbedaannya kepada CEO suatu perusahaan atau sesuatu seperti itu.
Jadi: Regresi logistik adalah alat untuk memodelkan variabel kategori dalam hal variabel lain. Ini memberi Anda cara untuk mengetahui bagaimana perubahan dalam masing-masing variabel "lain" memengaruhi peluang hasil yang berbeda di variabel pertama. Outputnya cukup mudah diinterpretasikan.
Jaringan saraf adalah seperangkat metode untuk membiarkan komputer mencoba belajar dari contoh dengan cara yang secara samar menyerupai cara manusia belajar tentang berbagai hal. Mungkin menghasilkan model yang merupakan prediktor yang baik, tetapi mereka biasanya jauh lebih buram daripada yang dari regresi logistik.
sumber
Saya diajari bahwa Anda dapat menganggap jaringan saraf (dengan fungsi aktivasi logistik) sebagai rata-rata tertimbang dari fungsi logit, dengan bobot yang diperkirakan sendiri. Dengan memilih sejumlah besar log, Anda dapat memuat semua bentuk fungsional. Ada beberapa intuisi grafis di posting blog Econometric Sense .
sumber
Jawaban lainnya bagus. Saya hanya akan menambahkan beberapa gambar yang menunjukkan bahwa Anda dapat memikirkan regresi logistik dan regresi logistik multi-kelas (alias maksimal, regresi logistik multinomial, regresi softmax, maksimum entropy classifier) sebagai arsitektur khusus jaringan saraf.
Dari Sebastian Raschka, Universitas Negeri Michigan, di KDnuggets :
Beberapa ilustrasi untuk regresi logistik multi-kelas:
Ilustrasi serupa diambil dari http://www.deeplearningbook.org/ bab 1:
Dan satu lagi dari tutorial TensorFlow :
Misalnya dalam Caffe , Anda akan menerapkan regresi logistik sebagai berikut :
sumber
Saya akan menggunakan contoh masalah rumit tapi konkret yang dipahami penonton. Gunakan simpul tersembunyi yang interpretasinya tidak terlatih, tetapi memiliki makna tertentu.
Regresi linier menentukan seberapa bagus memiliki ksatria putih pada h4. Mungkin tidak jelas bahwa itu baik sama sekali, tetapi jika pada h4 itu tidak ditangkap, yang mungkin melebihi pertimbangan lainnya. Regresi linier mungkin memulihkan nilai kasar kepingan, dan lebih baik meletakkan kepingan Anda di tengah papan, dan di sisi lawan papan. Regresi linier tidak dapat menilai kombinasi, seperti bahwa ratu Anda pada b2 tiba-tiba lebih berharga jika raja lawan berada pada a1.
Sebuah jaringan saraf dapat memiliki simpul tersembunyi untuk konsep, seperti "keuntungan material," "keselamatan raja hitam," "kontrol pusat," "keduanya rooks pada file-d," "ratu pion rook terisolasi," atau "uskup mobilitas." Beberapa di antaranya dapat diperkirakan hanya dari input papan, sementara yang lain mungkin harus berada di lapisan tersembunyi kedua atau lambat. Jaringan saraf dapat menggunakan ini sebagai input untuk evaluasi posisi akhir. Konsep-konsep ini membantu seorang ahli untuk menilai suatu posisi, sehingga jaringan saraf harus mampu melakukan penilaian yang lebih akurat daripada regresi linier. Namun, dibutuhkan lebih banyak pekerjaan untuk membuat jaringan saraf karena Anda harus memilih strukturnya dan memiliki lebih banyak parameter untuk dilatih.
sumber