Saya telah melihat utas lainnya di sini, tetapi saya pikir jawabannya tidak memuaskan pertanyaan yang sebenarnya. Apa yang terus saya baca adalah bahwa Naif Bayes adalah pengklasifikasi linier (mis: sini ) (sedemikian rupa sehingga menarik batas keputusan linier) menggunakan demonstrasi peluang log.
Namun, saya mensimulasikan dua awan Gaussian dan memasang batas keputusan dan mendapatkan hasilnya seperti itu (perpustakaan e1071 di r, menggunakan naiveBayes ())
Seperti yang dapat kita lihat, batas keputusan adalah non-linear. Apakah ini mencoba untuk mengatakan bahwa parameter (probabilitas kondisional) adalah kombinasi linear dalam ruang log daripada mengatakan classifier itu sendiri memisahkan data secara linear?
classification
naive-bayes
Kevin Pei
sumber
sumber
Jawaban:
Secara umum classifier naif Bayes tidak linier, tetapi jika faktor kemungkinan berasal dari keluarga eksponensial , classifier naif Bayes sesuai dengan classifier linier dalam ruang fitur tertentu. Inilah cara melihatnya.p(xi∣c)
Anda dapat menulis pengelompokan Bayes naif sebagai *
di mana adalah fungsi logistik . Jika berasal dari keluarga eksponensial, kita dapat menuliskannya sebagaip ( x i ∣ c )σ p(xi∣c)
dan karenanya
dimana
Perhatikan bahwa ini mirip dengan regresi logistik - classifier linier - dalam ruang fitur yang ditentukan oleh . Untuk lebih dari dua kelas, kami secara analog mendapatkan regresi logistik multinomial (atau softmax) .ϕi
Jika adalah Gaussian, maka dan kita harus memilikip(xi∣c) ϕi(xi)=(xi,x2i)
dengan asumsi .p(c=1)=p(c=0)=12
* Berikut adalah cara menurunkan hasil ini:
sumber
Ini linear hanya jika matriks varian bersyarat kelas adalah sama untuk kedua kelas. Untuk melihat ini tuliskan ransum dari pos logaror dan Anda hanya akan mendapatkan fungsi linier darinya jika varians yang sesuai adalah sama. Kalau tidak, itu kuadratik.
sumber
Saya ingin menambahkan satu poin tambahan: alasan untuk beberapa kebingungan bertumpu pada apa artinya melakukan "klasifikasi Naif Bayes".
Di bawah topik luas "Analisis Diskriminan Gaussian (GDA)" ada beberapa teknik: QDA, LDA, GNB, dan DLDA (kuadratik DA, linear DA, baye naif gaussian, LDA diagonal). [DIPERBARUI] LDA dan DLDA harus linier di ruang prediksi yang diberikan. (Lihat, misalnya, Murphy , 4.2, hal. 101 untuk DA dan hal. 82 untuk NB. Catatan: GNB belum tentu linier. NB diskrit (yang menggunakan distribusi multinomial di bawah tenda) adalah linier. Anda juga dapat memeriksa Duda , Hart & Bangau bagian 2.6). QDA adalah kuadrat seperti yang ditunjukkan oleh jawaban lain (dan yang menurut saya adalah apa yang terjadi dalam grafik Anda - lihat di bawah).
Teknik-teknik ini membentuk sebuah kisi dengan seperangkat batasan bagus pada "matriks kovarians kelas-bijaksana" :Σc
Sementara dokumen untuk e1071 mengklaim bahwa ia mengasumsikan independensi kelas-kondisional (yaitu, GNB), saya curiga bahwa itu sebenarnya melakukan QDA. Beberapa orang mengacaukan "Bayes naif" (membuat asumsi independensi) dengan "aturan klasifikasi Bayesian sederhana". Semua metode GDA berasal dari nanti; tetapi hanya GNB dan DLDA yang menggunakan yang pertama.
Peringatan besar, saya belum membaca kode sumber e1071 untuk mengkonfirmasi apa yang dilakukannya.
sumber