Perbedaan antara regresi logistik dan perceptrons

Seperti yang saya pahami, jaringan saraf tiruan perceptron / single-layer dengan fungsi aktivasi sigmoid logistik adalah model yang sama dengan regresi logistik. Kedua model diberikan oleh persamaan:

$F(x) = \frac{1}{1-e^{-\beta X}}$

Algoritma pembelajaran perceptron bersifat online dan digerakkan oleh kesalahan, sedangkan parameter untuk regresi logistik dapat dipelajari dengan menggunakan berbagai algoritma batch, termasuk penurunan gradien dan BFGS memori terbatas, atau algoritma online, seperti penurunan gradien stokastik. Apakah ada perbedaan lain antara regresi logistik dan perceptron sigmoid? Haruskah hasil dari regresi logistik dilatih dengan gradien keturunan stochastic diharapkan mirip dengan perceptron?

Anda sudah menyebutkan perbedaan penting. Jadi hasilnya tidak jauh berbeda.

Saya percaya satu perbedaan yang Anda lewatkan adalah fakta bahwa regresi logistik mengembalikan probabilitas klasifikasi berprinsip sedangkan perceptrons mengklasifikasikan dengan batas keras.

Ini disebutkan dalam artikel Wiki tentang regresi logistik Multinomial .

Sebenarnya ada perbedaan substansial yang besar, yang terkait dengan perbedaan teknis yang Anda sebutkan. Regresi logistik memodelkan fungsi dari rata-rata distribusi Bernoulli sebagai persamaan linear (rata-rata sama dengan probabilitas p dari peristiwa Bernoulli). Dengan menggunakan tautan logit sebagai fungsi mean ( p ), logaritma peluang (log-odds) dapat diturunkan secara analitis dan digunakan sebagai respons dari apa yang disebut model linear umum. Estimasi parameter pada GLM ini kemudian merupakan proses statistik yang menghasilkan nilai-p dan interval kepercayaan untuk parameter model. Di atas prediksi, ini memungkinkan Anda untuk menafsirkan model dalam inferensial kausal. Ini adalah sesuatu yang tidak dapat Anda capai dengan Perceptron linier.

Perceptron adalah proses rekayasa terbalik dari regresi logistik: Alih-alih mengambil logit dari y, dibutuhkan fungsi logit terbalik (logistik) dari wx , dan tidak menggunakan asumsi probabilistik baik untuk model maupun estimasi parameternya. Pelatihan online akan memberi Anda perkiraan yang sama persis untuk bobot / parameter model, tetapi Anda tidak akan dapat menafsirkannya dalam inferensial kausal karena kurangnya nilai-p, interval kepercayaan, dan juga, model probabilitas yang mendasarinya.

Singkatnya, regresi logistik adalah GLM yang dapat melakukan prediksi dan inferensi, sedangkan Perceptron linier hanya dapat mencapai prediksi (dalam hal ini akan melakukan hal yang sama dengan regresi logistik). Perbedaan antara keduanya juga merupakan perbedaan mendasar antara pemodelan statistik dan pembelajaran mesin.