Analisis diskriminan linier dan aturan Bayes: klasifikasi

Apa hubungan antara analisis diskriminan Linear dan aturan Bayes? Saya mengerti bahwa LDA digunakan dalam klasifikasi dengan mencoba meminimalkan rasio dalam varians grup dan antara varians grup, tapi saya tidak tahu bagaimana aturan Bayes digunakan di dalamnya.

Klasifikasi dalam LDA berjalan sebagai berikut (pendekatan aturan Bayes). [Tentang ekstraksi diskriminan orang mungkin melihat di sini .]

Menurut teorema Bayes, probabilitas dicari yang kita hadapi dengan kelas sambil mengamati saat ini titik x adalah P ( k | x ) = P ( k ) ∗ P ( x | k ) / P ( x ) , di mana$k$$x$$P(k|x) = P(k)*P(x|k) / P(x)$

- probabilitas (latar belakang) tanpa syarat dari kelas k ; P ( x ) - probabilitas (latar belakang) tanpa syarat dari titik x ; P ( x | k ) - probabilitas keberadaan titik x di kelas k , jika kelas yang ditangani adalah k .$P(k)$$k$$P(x)$$x$$P(x|k)$$x$$k$$k$

"Mengamati titik saat ini " sebagai kondisi dasar, P ( x ) = 1 , dan penyebutnya dapat dihilangkan. Jadi, P ( k | x ) = P ( k ) ∗ P ( x | k ) .$x$$P(x)=1$$P(k|x) = P(k)*P(x|k)$

adalah probabilitas sebelum (pra-analitis) bahwa kelas asli untuk x adalah k ; P ( k ) ditentukan oleh pengguna. Biasanya secara default semua kelas menerima P ( k ) = 1 / number_of_classes yang sama. Untuk menghitung P ( k | x ) , yaitu probabilitas posterior (pasca-analitis) bahwa kelas asli untuk x adalah k , kita harus mengetahui P ( x | k ) .$P(k)$$x$$k$$P(k)$$P(k)$$P(k|x)$$x$$k$$P(x|k)$

- probabilitasper se- tidak dapat ditemukan, untuk diskriminan, masalah utama LDA, adalah variabel kontinu, bukan diskrit. Kuantitas mengekspresikan P ( x | k ) dalam hal ini dan sebanding dengan itu adalahkepadatan probabilitas(fungsi PDF). Dengan ini kita perlu menghitung PDF untuk titik x di kelas k , P D F ( x | k ) , dalamdistribusi normal p- dimensional yang dibentuk oleh nilai-nilai$P(x|k)$$P(x|k)$$x$$k$$PDF(x|k)$$p$$p$diskriminan. [Lihat distribusi normal Wikipedia Multivarian]

di mana - kuadrat jarak Mahalanobis [Lihat jarak Mahalanobis Wikipedia] di ruang diskriminan dari titik x ke kelas centroid; Matriks S - kovarians antara diskriminan , diamati dalam kelas tersebut.$d$$x$$\bf S$

Hitung dengan cara ini untuk masing-masing kelas. P ( k ) ∗ P D F ( x | k ) untuk titik x dan kelas k menyatakan dicari untuk P ( k ) ∗ P ( x | k ) untuk kita. Tetapi dengan cadangan di atas bahwa PDF bukan probabilitas per se, hanya sebanding dengan itu, kita harus menormalkan P ( k ) ∗ P $PDF(x|k)$$P(k)*PDF(x|k)$$x$$k$$P(k)*P(x|k)$ , membaginya dengan jumlah P ( k ) ∗ P D F ( x | k ) untuk semua kelas. Misalnya, jika ada 3 kelas di semua, k , l , m , maka$P(k)*PDF(x|k)$$P(k)*PDF(x|k)$$k$$l$$m$

$P(k|x) = P(k)*PDF(x|k) / [P(k)*PDF(x|k)+P(l)*PDF(x|l)+P(m)*PDF(x|m)]$

Titik ditugaskan oleh LDA ke kelas yang P ( k | x ) adalah yang tertinggi.$x$$P(k|x)$

Catatan. Ini adalah pendekatan umum. Banyak program LDA secara default menggunakan gabungan matriks kelas- untuk semua kelas dalam rumus untuk PDF di atas. Jika demikian, rumus ini sangat disederhanakan karena S dalam LDA adalah matriks identitas (lihat catatan kaki bawah di sini ), dan karenanya | S | = 1 dan d berubah menjadi kuadrat jarak euclidean (pengingat: kumpulan dalam kelas S yang sedang kita bicarakan adalah kovarian antara pembeda, - bukan antara variabel input, yang biasanya disebut matriks S sebagai w ).$\bf S$$\bf S$$\bf |S|=1$$d$$\bf S$$\bf S_w$

Selain itu . Sebelum pendekatan aturan Bayes di atas untuk klasifikasi diperkenalkan ke LDA, Fisher, pelopor LDA, mengusulkan komputasi yang sekarang disebut fungsi klasifikasi linear Fisher untuk mengklasifikasikan poin dalam LDA. Untuk titik skor fungsi milik kelas k adalah kombinasi linear b k v 1 V 1 x + b k v 2 V 2 x + . . . + C o n s t k , di mana V 1 $x$$k$$b_{kv1}V1_x+b_{kv2}V2_x+...+Const_k$ adalah variabel prediktor dalam analisis.$V1, V2,...V_p$

Koefisien , g menjadi jumlah kelas dan s v w menjadi unsur yang dikumpulkan dalam kelas pencar matriks p V -variables.$b_{kv}=(n-g)\sum_w^p{s_{vw}\bar{V}_{kw}}$$g$$s_{vw}$$p$ $V$

.$Const_k=\log(P(k))-(\sum_v^p{b_{kv}\bar{V}_{kv}})/2$

Poin ditugaskan ke kelas yang nilainya tertinggi. Hasil klasifikasi yang diperoleh dengan metode Fisher ini (yang memotong ekstraksi diskriminan yang terlibat dalam komposisi eigendekompleks) identik dengan yang diperoleh dengan metode Bayes hanya jika matriks kovarians yang digabungkan dalam kelas digunakan dengan metode Bayes berdasarkan metode diskriminan (lihat "Catatan" di atas) dan semua diskriminan digunakan dalam klasifikasi. Metode Bayes lebih umum karena memungkinkan menggunakan matriks dalam kelas yang terpisah juga.$x$

$x$$f_1(x)$$f_2(x)$$x$$f_1(x) \geq f_2(x)$$f_1$$f_2$