Apa perbedaan antara regresi logistik dan perceptron?

Saya akan membaca catatan kuliah Andrew Ng tentang Pembelajaran Mesin.

Catatan tersebut memperkenalkan kita pada regresi logistik dan kemudian ke perceptron. Saat menggambarkan Perceptron, catatan mengatakan bahwa kami hanya mengubah definisi fungsi ambang yang digunakan untuk regresi logistik. Setelah melakukan itu, kita dapat menggunakan model Perceptron untuk klasifikasi.

Jadi pertanyaan saya adalah - jika ini perlu ditentukan dan kami menganggap Perceptron sebagai teknik klasifikasi, lalu apa sebenarnya regresi logistik? Apakah hanya digunakan untuk mendapatkan probabilitas suatu titik data milik salah satu kelas?

Singkatnya, regresi logistik memiliki konotasi probabilistik yang melampaui penggunaan classifier dalam ML. Saya punya beberapa catatan tentang regresi logistik di sini .

Hipotesis dalam regresi logistik memberikan ukuran ketidakpastian dalam terjadinya hasil biner berdasarkan model linier. Outputnya dibatasi secara asimptotik antara dan , dan tergantung pada model linier, sehingga ketika garis regresi yang mendasari memiliki nilai , persamaan logistik adalah , memberikan titik batas alami untuk tujuan klasifikasi. Namun, itu adalah biaya membuang informasi probabilitas dalam hasil aktual dari , yang seringkali menarik (mis. Probabilitas kredit macet diberikan penghasilan, skor kredit, usia, dll.).$0$$1$$0$$0.5 = \frac{e^0}{1+e^0}$$h(\Theta^T\bf x) =\frac{e^{\Theta^T \bf x}}{1 +e^{\Theta^T\bf x}}$

Algoritma klasifikasi perceptron adalah prosedur yang lebih mendasar, berdasarkan pada produk titik antara contoh dan bobot . Setiap kali contoh kesalahan klasifikasi tanda produk titik bertentangan dengan nilai klasifikasi ( dan ) dalam set pelatihan. Untuk memperbaikinya, vektor contoh akan ditambahkan berulang atau dikurangi dari vektor bobot atau koefisien, yang secara progresif memperbarui elemen-elemennya:$-1$$1$

Secara vectorially, fitur atau atribut dari contoh adalah , dan idenya adalah untuk "meneruskan" contoh jika:$d$$\bf x$

$\displaystyle \sum_{1}^d \theta_i x_i > \text{theshold}$ atau ...

$h(x) = \text{sign}\big(\displaystyle \sum_{1}^d \theta_i x_i - \text{theshold}\big)$ . Fungsi tanda menghasilkan atau , berlawanan dengan dan dalam regresi logistik.$1$$-1$$0$$1$

Ambang akan diserap ke dalam koefisien bias , . Rumusnya sekarang:$+ \theta_0$

$h(x) = \text{sign}\big(\displaystyle \sum_0^d \theta_i x_i\big)$ , atau di-vektor: .$h(x) = \text{sign}(\theta^T\bf x)$

Poin yang salah klasifikasi akan memiliki , artinya titik produk dan akan positif (vektor dalam arah yang sama), ketika negatif, atau produk titik akan negatif (vektor dalam arah yang berlawanan), sedangkan positif.$\text{sign}(\theta^T\bf x) \neq y_n$$\Theta$$\bf x_n$$y_n$$y_n$

---

Saya telah mengerjakan perbedaan antara dua metode ini dalam dataset dari program yang sama , di mana hasil tes dalam dua ujian terpisah terkait dengan penerimaan akhir ke perguruan tinggi:

Batas keputusan dapat dengan mudah ditemukan dengan regresi logistik, tetapi menarik untuk melihat bahwa meskipun koefisien yang diperoleh dengan perceptron sangat berbeda dari dalam regresi logistik, aplikasi sederhana fungsi ke hasil yang dihasilkan sama baiknya algoritma klasifikasi. Bahkan akurasi maksimum (batas yang ditetapkan oleh ketidakterpisahan linear dari beberapa contoh) dicapai oleh iterasi kedua. Berikut adalah urutan garis-garis pembagian batas ketika iterasi mendekati bobot, mulai dari vektor koefisien acak:$\text{sign}(\cdot)$$10$

Keakuratan dalam klasifikasi sebagai fungsi dari jumlah iterasi meningkat dengan cepat dan dataran tinggi pada , konsisten dengan seberapa cepat batas keputusan mendekati optimal dicapai dalam klip video di atas. Berikut adalah alur kurva pembelajaran:$90\%$

---

Kode yang digunakan ada di sini .

Ada beberapa kebingungan yang mungkin timbul di sini. Awalnya perceptron hanya mengacu pada jaringan saraf dengan fungsi langkah sebagai fungsi transfer. Dalam kasus itu tentu saja perbedaannya adalah bahwa regresi logistik menggunakan fungsi logistik dan perceptron menggunakan fungsi langkah. Secara umum kedua algoritma harus menghasilkan batas keputusan yang sama (setidaknya untuk satu neuron perceptron). Namun:

1. Vektor parameter untuk perceptron dapat diskalakan sewenang-wenang dibandingkan dengan yang diperoleh dengan regresi logistik. Setiap penskalaan dari vektor parameter akan menentukan batas yang sama, tetapi probabilitas yang dihitung dengan regresi logistik bergantung pada penskalaan yang tepat.
2. Output dari fungsi langkah tentu saja tidak dapat diartikan sebagai segala jenis probabilitas.
3. Karena fungsi langkah tidak dapat dibedakan, tidak mungkin untuk melatih perceptron menggunakan algoritma yang sama yang digunakan untuk regresi logistik.

Dalam beberapa kasus, istilah perceptron juga digunakan untuk merujuk pada jaringan saraf yang menggunakan fungsi logistik sebagai fungsi transfer (namun, ini tidak sesuai dengan terminologi asli). Dalam hal itu, regresi logistik dan "perceptron" persis sama. Tentu saja, dengan perceptron dimungkinkan untuk menggunakan banyak neuron yang semuanya menggunakan fungsi transfer logistik, yang menjadi agak terkait dengan penumpukan regresi logistik (tidak sama, tetapi serupa).

Anda dapat menggunakan regresi logistik untuk membangun perceptron. Regresi logistik menggunakan fungsi logistik untuk membangun output dari input yang diberikan. Fungsi logistik menghasilkan output yang halus antara 0 dan 1, jadi Anda perlu satu hal lagi untuk menjadikannya sebuah classifier, yang merupakan ambang batas. Perceptrons dapat dibangun dengan bentuk-bentuk fungsional lainnya, tentu saja, tidak hanya logistik .

Regresi logistik menghasilkan Anda model yang terlihat seperti ini: Bagian regresi adalah bagaimana memperkirakan koefisien , bagian logistik adalah bentuk fungsi

$$y(x_1,x_2|b)=\frac{e^{b_0+b_1x_1+b_2x_2}}{1+e^{b_0+b_1x_1+b_2x_2}}$$ $b_1,b_2,b_3$$\frac{e^x}{1+e^x}$

Setelah Anda menghitung diberi input dan parameter , Anda harus memutuskan apakah ini 0 atau 1 karena output adalah angka antara 0 dan 1. Jadi, Anda memerlukan ambang , sehingga Anda untuk , dan untuk .$y(x|b)$$x$$b$$y$$Y$$\tilde y=0$$y(x|b)<Y$$\tilde y=1$$y(x|b)\ge Y$

Keduanya menerapkan regresi dengan memperkirakan parameter dari model transformasi-logistik yang sama. Menurut properti fungsi cembung, nilai parameter akan sama dengan cara apa pun yang Anda pilih untuk memperkirakannya. Mengutip diri saya dari jawaban sebelumnya:

Regresi logistik memodelkan fungsi dari rata-rata distribusi Bernoulli sebagai persamaan linear (rata-rata sama dengan probabilitas p dari peristiwa Bernoulli). Dengan menggunakan tautan logit sebagai fungsi mean (p), logaritma peluang (log-odds) dapat diturunkan secara analitis dan digunakan sebagai respons dari apa yang disebut model linear umum. Di atas prediksi, ini memungkinkan Anda untuk menafsirkan model dalam inferensial kausal. Ini adalah sesuatu yang tidak dapat Anda capai dengan Perceptron linier.

Perceptron, mengambil fungsi invit logit (logistik) dari wx, dan tidak menggunakan asumsi probabilistik baik untuk model maupun parameternya. Pelatihan online akan memberi Anda perkiraan yang sama persis untuk bobot / parameter model, tetapi Anda tidak akan dapat menafsirkannya dalam inferensial kausal karena kurangnya nilai-p, interval kepercayaan, dan juga, model probabilitas yang mendasarinya.

Misalkan pengamatan pelatihan kami adalah vektor fitur , dan label yang sesuai adalah . Untuk kesederhanaan notasi, mari tambahkan ke akhir setiap vektor . Algoritma perceptron dapat diartikan sebagai menggunakan keturunan subgradien stokastik untuk menyelesaikan masalah optimisasi Variabel optimisasi adalah . Dari perspektif ini,$x_1,\ldots, x_N \in \mathbb R^n$$y_1,\ldots,y_N \in \{-1, 1 \}$$1$$x_i$

$$\begin{align} \tag{1}\text{minimize} & \quad \frac{1}{N}\sum_{i=1}^N \max(-y_i\beta^T x_i,0). \end{align}$$ $\beta \in \mathbb R^{n+1}$perbedaan antara algoritma perceptron dan regresi logistik adalah bahwa algoritma perceptron meminimalkan fungsi tujuan yang berbeda . (Derivasi regresi logistik melalui estimasi kemungkinan maksimum diketahui dengan baik; dalam posting ini saya fokus pada interpretasi algoritma perceptron.)

Fungsi objektif dalam masalah (1) dapat ditulis sebagai , di mana dari di adalah vektor Setiap zaman penurunan subgradien stokastik (dengan ukuran langkah ) menyapu melalui pengamatan pelatihan dan, untuk pengamatan th, melakukan pembaruan $\frac{1}{N}\sum_i \ell_i(\beta)$

$$\ell_i(\beta) = \max(-y_i \beta^T x_i,0).$$ $\ell_i$$\beta$ $$g = \begin{cases} 0 & \quad \text{if } -y_i \beta^T x_i \leq 0 \qquad \text{(so $y_i$ and $\beta^T x_i$ have the same sign)}\\ - y_i x_i & \quad \text{otherwise.} \end{cases}$$ $t > 0)$$i$ $$\beta \leftarrow \beta - t g = \begin{cases} \beta & \quad \text{if $y_i$ and $\beta^T x_i$ have the same sign} \\ \beta + t y_i x_i & \quad \text{otherwise.} \end{cases}$$ Kami menyadari bahwa ini adalah iterasi untuk algoritma perceptron (dengan tingkat pembelajaran ).$t$

Andrew Ng menggunakan istilah "regresi logistik" sebagai model untuk memecahkan masalah klasifikasi biner.

Seperti yang Anda lihat di koran dia sebenarnya tidak pernah menggambar model itu sendiri.

Biarkan saya menambahkan beberapa detail ke ember sehingga Anda dapat menemukan alasan tentang bagaimana saya pikir dia membangun kuliah.

Model yang digunakan untuk "regresi logistik" adalah persepsi tingkat tunggal dengan jumlah input khusus dan satu output mulai dari 0 hingga 1.

Kembali ke tahun 90-an, fungsi aktivasi yang paling dihargai adalah fungsi aktivasi sigmoidal, dan ada teori matematika yang bagus sebagai cadangan.

Ini persis model yang digunakan Andrew Ng karena fungsi berkisar dari 0 hingga 1.

Juga turunannya s'(x) = s(x)(1−s(x)), di mana s(x)adalah fungsi aktivasi sigmoidal.

Untuk fungsi kesalahan ia menggunakan L2, meskipun dalam beberapa makalah ia dapat menggunakan beberapa fungsi lain untuk itu.

Jadi untuk rekap, ketika mempertimbangkan "regresi logistik" hanya mempertimbangkan persepsi tingkat tunggal dengan fungsi aktivasi sigmoidal, jumlah kustom input dan output tunggal.

---

Hanya beberapa catatan: Tidak ada yang salah dengan fungsi aktivasi sigmoidal, meskipun untuk aritmatika titik mengambang, ReLU mendominasi lapisan tersembunyi saat ini, tetapi dalam posisi waktu dekat (atau unit aritmatika lainnya) dapat mengembalikan fungsi aktivasi sigmoid ke meja. .

Personalty, saya akan menggunakan model yang lebih sederhana dengan fungsi ReLU untuk menjelaskan SLP (single level perceptron) karena lebih banyak digunakan saat ini.