Analisis Diskriminan Linier untuk

Saya sedang belajar 'Pengantar Pembelajaran Statistik' oleh James, Witten, Hastie, Tibshirani.

Di halaman 139, dari buku mereka, mereka mulai dengan memperkenalkan Teorema Bayes $p_k(X)=P(Y=k|X=x) = \dfrac{\pi_kf_k(x)}{\sum_{l=1}^k \pi_l f_l(x)}$ . $\pi$ bukan konstanta matematika, tetapi menunjukkan probabilitas sebelumnya. Tidak ada yang aneh dalam persamaan ini.

Buku itu mengklaim bahwa ia ingin mendapatkan taksiran $f_k(x)$ bahwa itu bisa dihubungkan ke persamaan yang diberikan di atas. Untuk memperkirakan $f_k(x)$ , Diasumsikan itu normal. Dalam pengaturan satu dimensi, $f_k(x)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp(-\dfrac{1}{2\sigma^2}(x-\mu_k)^2)$ dimana $\mu_k$ dan $\sigma^2_k$ adalah mean dan varians untuk $k$ kelas th. Ini diasumsikan bahwa $\sigma^2_1 = \sigma^2_2 = \cdots = \sigma^2_K$ . (Saya mulai bingung dari pernyataan terakhir.)

Mencolokkan $f_k$ ke $p_x$ , Anda memiliki persamaan yang cukup berantakan ini (1):

p_{x} (k) = \frac{π_{k} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} (x - μ_{k})^{2})}{\sum_{l = 1}^{K} π_{l} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} (x - μ_{l})^{2})} .

$p_x(k)=\dfrac{\pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_k)^2)}{\sum_{l=1}^K \pi_l \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_l)^2)}.$

Sekali lagi, tidak ada kejutan di sini karena itu hanya penggantian.

The Bayes 'Classifier melibatkan menugaskan pengamatan ke kelas yang persamaan (1) terbesar. Mengambil log Persamaan (1) dan mengatur ulang istilah, tidak sulit untuk menunjukkan bahwa ini setara dengan menugaskan pengamatan ke kelas di mana yang berikut ini adalah yang terbesar:

δ_{k} (x) = x \cdot \frac{μ_{k}}{σ^{2}} - \frac{μ_{k}^{2}}{2 σ^{2}} + \log (π_{k})

$\delta_k(x)=x \cdot \dfrac{\mu_k}{\sigma^2} - \dfrac{\mu_k^2}{2\sigma^2} + \log(\pi_k)$

Pertanyaan: Saya tidak mengerti dari mana ini berasal, dan apa artinya. Saya mencoba melakukan log persamaan dan tidak menjadi seperti ini. Apakah kita mengambil turunannya di suatu tempat di sini, karena ini adalah pengamatan terbesar?

self-study classification cgo
sumber

Jawaban:

Anda dapat menyatakan persamaan (1) hingga konstanta proporsionalitas,

p_{x} (k) \propto π_{k} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} {(x - μ_{k})}^{2})

$p_x(k)\propto \pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp \left(-\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2 \right)$

jadi jika Anda kemudian mengambil log

\log p_{x} (k) \propto \log π_{k} - \log (\sqrt{2 π} σ) - \frac{1}{2 σ^{2}} {(x - μ_{k})}^{2}

$\log p_x(k) \propto \log \pi_k - \log (\sqrt{2\pi} \sigma) -\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2$

dimana $- \log (\sqrt{2\pi} \sigma)$ lagi masuk ke konstanta proporsionalitas karena tidak bergantung pada $k$ . Kemudian perluas istilah kuadrat dan Anda ada di sana (perhatikan bahwa memperluas braket akan memberikan istilah lain yang akan hilang $\propto$ ).

Andy
sumber

Saya tertawa ketika saya membaca jawaban Anda. Apakah sesederhana itu ?! Cemerlang! Boleh saya tahu berapa jumlahnya

δ_{k} (x)

$\delta_k(x)$ berarti (dalam istilah awam)? Latar belakang saya dalam statistik buruk, tetapi saya bisa mengikuti matematika.

cgo

Ya, hanya itu yang ada untuk itu.

δ_{k} (x)

$\delta_k (x)$ disebut fungsi diskriminan linier. Hanya saja cara yang berbeda dalam menulis probabilitas posterior bahwa observasi milik kelas

k

$k$ diberikan karakteristiknya

x

$x$ . Jadi memilih kelas dengan probabilitas posterior tertinggi dari aturan Bayes sama dengan memilih kelas dengan nilai tertinggi untuk LDA. Anda bisa mengatur

δ_{k} (x) = δ_{l} (x)

$\delta_k(x) = \delta_l(x)$ untuk menghitung batas keputusan Bayesian (yang memberikan ambang kapan pengamatan harus diklasifikasikan sebagai

k

$k$ atau

l

$l$ ).

Andy