Mengapa regresi logistik adalah classifier linier?

Karena kita menggunakan fungsi logistik untuk mengubah kombinasi linear dari input menjadi output non-linear, bagaimana regresi logistik dapat dianggap sebagai classifier linier?

Regresi linier sama seperti jaringan saraf tanpa lapisan tersembunyi, jadi mengapa jaringan saraf dianggap sebagai pengklasifikasi non-linear dan regresi logistik linear?

logistic classification neural-networks Jack Twain
sumber

Transformasi "kombinasi linear dari input menjadi output non-linear" adalah bagian dasar dari definisi dari Classifier Linear . Itu mengurangi pertanyaan ini menjadi bagian kedua, yang berarti mendemonstrasikan bahwa Neural Networks secara umum tidak dapat dinyatakan sebagai pengklasifikasi linier.

Whuber

@whuber: Bagaimana Anda menjelaskan fakta bahwa model regresi logistik dapat mengambil variabel prediktor polinomial (misalnya ) untuk menghasilkan batas keputusan non-linear? Apakah itu masih merupakan classifier linier?

w_{1} \cdot x_{1}^{2} + w_{2} \cdot x_{2}^{3}

$w_1 \cdot x_1^2 + w_2 \cdot x_2^3$

stackoverflowuser2010

@ Stack Konsep "linear classifier" tampaknya berasal dengan konsep model linear. "Linearity" dalam model dapat mengambil beberapa bentuk, seperti yang dijelaskan di stats.stackexchange.com/a/148713 . Jika kami menerima karakterisasi Wikipedia dari pengklasifikasi linier , maka contoh polinomial Anda akan dipandang sebagai nonlinier dalam hal "fitur" yang diberikan dan tetapi akan linier dalam hal fitur dan . Perbedaan ini memberikan cara yang bermanfaat untuk mengeksploitasi sifat linearitas.

x_{1}

$x_1$

x_{2}

$x_2$

x_{1}^{2}

$x_1^2$

x_{2}^{3}

$x_2^3$

whuber

Saya masih agak bingung tentang pertanyaannya, apakah batas keputusan dari linear classifier logistik? Saya telah mengikuti kursus pembelajaran mesin Andrew Ng di Coursera dan dia menyebutkan yang berikut ini :! [Masukkan deskripsi gambar di sini ] ( i.stack.imgur.com/gHxfr.png ) Jadi sebenarnya menurut saya tidak ada yang menjawabnya tergantung pada linearitas atau non-linearitas dari batas keputusan, itu tergantung pada fungsi Hipotesis yang didefinisikan sebagai Htheta (X) di mana X adalah input dan Theta adalah variabel dari masalah kita. Apakah itu masuk akal untuk Anda?

brokensword

Jawaban:

Regresi logistik linier dalam arti bahwa prediksi dapat ditulis sebagai Dengan demikian, prediksi dapat ditulis dalam bentuk , yang merupakan fungsi linier dari . (Lebih tepatnya, odds log yang diprediksi adalah fungsi linier dari .)

\hat{p} = \frac{1}{1 + e^{- \hat{μ}}}, where \hat{μ} = \hat{θ} \cdot x .

$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$

\hat{μ}

$\hat{\mu}$

x

$x$

x

$x$

Sebaliknya, tidak ada cara untuk meringkas output dari jaringan saraf dalam hal fungsi linear , dan itulah sebabnya jaringan saraf disebut non-linear. $x$

Juga, untuk regresi logistik, batas keputusan adalah linier: itu adalah solusi untuk . Batas keputusan jaringan saraf pada umumnya tidak linier. $\{x:\hat{p} = 0.5\}$ $\hat{\theta} \cdot x = 0$

Stefan Taruhan
sumber

Jawaban Anda adalah yang paling jelas dan tidak rumit bagi saya sejauh ini. Tapi saya agak bingung. Beberapa orang mengatakan bahwa peluang log yang diprediksikan adalah fungsi linier dan yang lain mengatakan itu adalah fungsi linier . Begitu?!

x

$x$

θ

$\theta$

Jack Twain

kemudian juga dengan penjelasan Anda. Bisakah kita mengatakan bahwa predikasi jaringan saraf adalah fungsi linier dari aktivasi lapisan tersembunyi terakhir?

Jack Twain

Prediksi log-odds linier dalam dan . Tetapi biasanya kita paling tertarik pada fakta bahwa peluang-log adalah linear dalam , karena ini menyiratkan bahwa batas keputusan linear dalam ruang .

\hat{θ} \cdot x

$\hat{\theta} \cdot x$

\hat{θ}

$\hat{\theta}$

x

$x$

x

$x$

x

$x$

Stefan Taruhan

Saya telah menggunakan definisi bahwa classifier adalah linier jika batas keputusannya adalah linier dalam ruang . Ini tidak sama dengan probabilitas yang diprediksi linear dalam (yang tidak mungkin terlepas dari kasus-kasus sepele, karena probabilitas harus berada di antara 0 dan 1).

x

$x$

x

$x$

Stefan Taruhan

@ Patah Saya tahu ini sudah tua, tetapi: Regresi logistik memiliki batas keputusan linier. Ouptut itu sendiri tentu saja tidak linier, tetapi logistiknya. Bergantung pada sisi mana garis jatuh, total output akan mendekati (tetapi tidak pernah mencapai) masing-masing 0 atau 1. Dan untuk menambahkan jawaban Stefan Wagners: Kalimat terakhir tidak sepenuhnya benar, jaringan saraf adalah non-linear ketika berisi aktivasi non-linear atau fungsi ouput. Tapi itu bisa linear juga (kalau-kalau tidak ada non-linearitas ditambahkan).

Chris

Seperti dicatat oleh Stefan Wagner, batas keputusan untuk pengklasifikasi logistik adalah linear. (Pengklasifikasi membutuhkan input agar dapat dipisahkan secara linear.) Saya ingin memperluas pada matematika untuk ini jika itu tidak jelas.

Batas keputusan adalah himpunan x sehingga

\frac{1}{1 + e^{- θ \cdot x}} = 0.5

${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$

Sedikit aljabar menunjukkan bahwa ini setara dengan

1 = e^{- θ \cdot x}

${1 = e^{-{\theta \cdot x}}}$

dan, mengambil log alami dari kedua belah pihak,

0 = - θ \cdot x = - \sum_{i = 0}^{n} θ_{i} x_{i}

$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$

jadi batas keputusannya linear.

Alasan batas keputusan untuk jaringan syaraf tidak linier adalah karena ada dua lapisan fungsi sigmoid dalam jaringan syaraf: satu di setiap node output ditambah fungsi sigmoid tambahan untuk menggabungkan dan ambang batas hasil setiap node output.

Phil Bogle
sumber

Sebenarnya, Anda bisa mendapatkan batas keputusan non-linear dengan hanya satu lapisan yang memiliki aktivasi. Lihat contoh standar XOR dengan jaringan umpan-maju 2-lapisan.

James Hirschorn

Jika kita memiliki dua kelas, dan , maka kita dapat menyatakan probabilitas bersyarat sebagai, menerapkan teorema Bayes, penyebutnya dinyatakan sebagai . $C_{0}$ $C_{1}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x)}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x | C_{0}) P (C_{0}) + P (x | C_{1}) P (C_{1})} = \frac{1}{1 + \exp (- \log \frac{P (x | C_{0})}{P (x | C_{1})} - \log \frac{P (C_{0})}{P (C_{1})})}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$

1 + e^{ω x}

$1+e^{\omega x}$

Di bawah kondisi apa yang mengurangi ekspresi pertama menjadi istilah linier ?. Jika Anda mempertimbangkan keluarga eksponensial (bentuk kanonik untuk distribusi eksponensial seperti Gauß atau Poisson), maka Anda akhirnya memiliki bentuk linier,

P (x | C_{i}) = \exp (\frac{θ_{i} x - b (θ_{i})}{a (ϕ)} + c (x, ϕ))

$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$

\log \frac{P (x | C_{0})}{P (x | C_{1})} = [(θ_{0} - θ_{1}) x - b (θ_{0}) + b (θ_{1})] / a (ϕ)

$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$

Perhatikan bahwa kami berasumsi bahwa kedua distribusi milik keluarga yang sama dan memiliki parameter dispersi yang sama. Tetapi, dengan asumsi itu, regresi logistik dapat memodelkan probabilitas untuk seluruh keluarga distribusi eksponensial.

jpmuc
sumber