Tampaknya mungkin untuk mendapatkan hasil yang mirip dengan jaringan saraf dengan regresi linier multivariat dalam beberapa kasus, dan regresi linier multivariat super cepat dan mudah.
Dalam keadaan apa jaringan saraf dapat memberikan hasil yang lebih baik daripada regresi linier multivariat?
sumber
Anda menyebutkan regresi linier. Ini terkait dengan regresi logistik , yang memiliki algoritma optimasi cepat serupa. Jika Anda memiliki batasan pada nilai target, seperti dengan masalah klasifikasi, Anda dapat melihat regresi logistik sebagai generalisasi dari regresi linier.
Jaringan saraf secara ketat lebih umum daripada regresi logistik pada input asli, karena itu sesuai dengan jaringan skip-layer (dengan koneksi yang langsung menghubungkan input dengan output) dengan node tersembunyi.0
Saat Anda menambahkan fitur seperti , ini mirip dengan memilih bobot ke beberapa simpul tersembunyi dalam satu lapisan tersembunyi. Tidak ada korespondensi , karena untuk memodelkan fungsi seperti dengan sigmoids mungkin memerlukan lebih dari satu neuron tersembunyi. Ketika Anda melatih jaringan saraf, Anda membiarkannya menemukan bobot input-ke-tersembunyi sendiri, yang berpotensi menjadi lebih baik. Mungkin juga membutuhkan lebih banyak waktu dan mungkin tidak konsisten. Anda dapat mulai dengan perkiraan regresi logistik dengan fitur tambahan, dan latih bobot input-ke-tersembunyi secara perlahan, dan ini seharusnya lebih baik daripada regresi logistik dengan fitur tambahan pada akhirnya. Tergantung pada masalahnya, waktu pelatihan dapat diabaikan atau dihambat.x3 1−1 x3
Salah satu strategi menengah adalah memilih sejumlah besar node acak, mirip dengan apa yang terjadi ketika Anda menginisialisasi jaringan saraf, dan memperbaiki bobot input-ke-tersembunyi. Optimalisasi atas bobot * -untuk-output tetap linier. Ini disebut mesin pembelajaran ekstrem . Ini berfungsi setidaknya serta regresi logistik asli.
sumber
Regresi Linier bertujuan untuk memisahkan data yang dapat dipisahkan secara linier, ya Anda dapat menggunakan polinomial tingkat> tiga tambahan tetapi dengan cara itu Anda mengindikasikan lagi beberapa asumsi tentang data yang Anda miliki sejak Anda menentukan struktur fungsi tujuan. Dalam Neural Net. umumnya Anda memiliki lapisan input yang membuat pemisah linier untuk data yang Anda miliki dan lapisan tersembunyi DAN wilayah yang membatasi beberapa kelas dan lapisan terakhir ATAU semua wilayah ini. Dengan cara itu semua data yang Anda miliki dapat diklasifikasikan dengan cara non linier, juga semua proses ini berjalan dengan bobot yang dipelajari secara internal dan fungsi yang ditentukan. Selain itu meningkatkan nomor fitur untuk Regresi Linier menentang "Kutukan dimensi". Selain itu beberapa aplikasi membutuhkan hasil yang lebih probabilistik daripada angka konstan sebagai output.
sumber