Menghitung kesalahan pengklasifikasi Bayes secara analitis

9

Jika dua kelas dan memiliki distribusi normal dengan parameter yang diketahui ( , sebagai sarana dan , adalah kovarian mereka) bagaimana kita dapat menghitung kesalahan dari classifier Bayes untuk mereka secara teori? $w_1$ $w_2$ $M_1$ $M_2$ $\Sigma_1$ $\Sigma_2$

Anggap pula variabel-variabel berada dalam ruang dimensi-N.

Catatan: Salinan pertanyaan ini juga tersedia di https://math.stackexchange.com/q/11891/4051 yang masih belum terjawab. Jika salah satu dari pertanyaan ini dijawab, yang lain akan dihapus.

probability self-study normality-assumption naive-bayes bayes-optimal-classifier Ishak
sumber

1

Apakah pertanyaan ini sama dengan stats.stackexchange.com/q/4942/919 ?

whuber

@whuber Jawaban Anda menunjukkan memang demikian.

chl

@whuber: Ya. Saya tidak tahu pertanyaan ini cocok untuk yang mana. Saya menunggu jawaban dari satu untuk menghapus yang lain. Apakah itu melanggar aturan?

Isaac

Mungkin lebih mudah, dan tentu saja akan lebih bersih, untuk mengedit pertanyaan aslinya. Namun, kadang-kadang sebuah pertanyaan dimulai kembali sebagai yang baru ketika versi sebelumnya mengumpulkan terlalu banyak komentar yang dibuat tidak relevan dengan hasil pengeditan, jadi ini merupakan penilaian panggilan. Dalam situasi apa pun, sangat membantu untuk menempatkan referensi silang di antara pertanyaan yang berkaitan erat untuk membantu orang menghubungkannya dengan mudah.

whuber

25

Tidak ada formulir tertutup, tetapi Anda bisa melakukannya secara numerik.

Sebagai contoh konkret, pertimbangkan dua Gaussians dengan parameter berikut

μ_{1} = (\begin{matrix} - 1 \\ - 1 \end{matrix}), μ_{2} = (\begin{matrix} 1 \\ 1 \end{matrix})

$\mu_1=\left(\begin{matrix} -1\\\\ -1 \end{matrix}\right), \mu_2=\left(\begin{matrix} 1\\\\ 1 \end{matrix}\right)$

Σ_{1} = (\begin{matrix} 2 & 1 / 2 \\ 1 / 2 & 2 \end{matrix}), Σ_{2} = (\begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix})

$\Sigma_1=\left(\begin{matrix} 2&1/2\\\\ 1/2&2 \end{matrix}\right),\ \Sigma_2=\left(\begin{matrix} 1&0\\\\ 0&1 \end{matrix}\right)$

Batas penggolong optimal Bayes akan sesuai dengan titik di mana dua kerapatan sama

Karena classifier Anda akan memilih kelas yang paling mungkin di setiap titik, Anda perlu mengintegrasikan lebih dari kepadatan yang bukan yang tertinggi untuk setiap titik. Untuk masalah di atas, itu sesuai dengan volume wilayah berikut

Anda dapat mengintegrasikan dua bagian secara terpisah menggunakan beberapa paket integrasi numerik. Untuk masalah di atas saya 0.253579menggunakan kode Mathematica berikut

dens1[x_, y_] = PDF[MultinormalDistribution[{-1, -1}, {{2, 1/2}, {1/2, 2}}], {x, y}];
dens2[x_, y_] = PDF[MultinormalDistribution[{1, 1}, {{1, 0}, {0, 1}}], {x, y}];
piece1 = NIntegrate[dens2[x, y] Boole[dens1[x, y] > dens2[x, y]], {x, -Infinity, Infinity}, {y, -Infinity, Infinity}];
piece2 = NIntegrate[dens1[x, y] Boole[dens2[x, y] > dens1[x, y]], {x, -Infinity, Infinity}, {y, -Infinity, Infinity}];
piece1 + piece2

Yaroslav Bulatov
sumber

4

Jawaban bagus. Bisakah Anda memberikan perintah untuk mereproduksi sosok cantik Anda?

Andrej

3

(+1) Grafik ini indah.

COOLSerdash

1

Tampaknya Anda dapat melakukan ini dengan dua cara, tergantung pada asumsi model apa yang Anda buat dengan senang hati.

Pendekatan Generatif

Dengan asumsi model generatif untuk data, Anda juga perlu mengetahui probabilitas sebelumnya dari setiap kelas untuk pernyataan analitik kesalahan klasifikasi. Carilah Analisis Diskriminan untuk mendapatkan batas keputusan optimal dalam bentuk tertutup, lalu hitung area di sisi yang salah untuk setiap kelas untuk mendapatkan tingkat kesalahan.

Saya menganggap ini adalah pendekatan yang dimaksudkan oleh doa Anda yang classifier Bayes, yang didefinisikan hanya ketika segala sesuatu tentang proses menghasilkan data yang ditentukan. Karena ini jarang mungkin selalu layak untuk dipertimbangkan

Pendekatan Diskriminasi

Jika Anda tidak ingin atau tidak dapat menentukan probabilitas kelas sebelumnya, Anda dapat mengambil keuntungan dari kenyataan bahwa fungsi diskriminan dapat dalam banyak keadaan (kira-kira, distribusi bersyarat kelas keluarga eksponensial) dimodelkan langsung oleh model regresi logistik. Perhitungan tingkat kesalahan kemudian menjadi satu untuk model regresi logistik yang relevan.

Untuk perbandingan pendekatan dan diskusi tentang tingkat kesalahan, Jordan 1995 dan Jordan 2001 dan referensi mungkin menarik.

conjugateprior
sumber

0

Di sini Anda mungkin menemukan beberapa petunjuk untuk pertanyaan Anda, mungkin tidak ada tanggapan penuh tetapi tentu saja bagian yang sangat berharga darinya. http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2766788/

mariana lebih lembut
sumber

0

Dalam klasifikasi dengan kelas seimbang, tingkat kesalahan Bayes (BER) persis sama dengan $(1 - TV) / 2$ dimana $TV$ adalah total variasi jarak antara distribusi bersyarat + ve dan -ve dari fitur. Lihat Teorema 1 dari makalah ini .

Untuk menyelesaikannya, tidak sulit untuk menemukan referensi yang bagus menghitung TV antara distribusi Gaussian multivariat.

dohmatob
sumber

Menghitung kesalahan pengklasifikasi Bayes secara analitis

Jawaban: