Mengkalibrasi multi-class boost classifier

19

Saya telah membaca karya Alexandru Niculescu-Mizil dan Rich Caruana " Memperoleh Kemungkinan yang Dikalibrasi dari Peningkatan " dan diskusi di utas ini . Namun, saya masih mengalami kesulitan memahami dan menerapkan skala logistik atau Platt untuk mengkalibrasi output multi-class saya meningkatkan classifier (dorongan lembut dengan tunggul keputusan).

Saya agak akrab dengan model linier umum, dan saya pikir saya mengerti bagaimana metode kalibrasi logistik dan Platt bekerja dalam kasus biner, tetapi saya tidak yakin saya tahu bagaimana memperluas metode yang dijelaskan dalam makalah ke kasus multi-kelas.

Pengklasifikasi yang saya gunakan menghasilkan sebagai berikut:

  • = Jumlah suara yang diberikan penggolong untuk kelas j untuk sampel i yang sedang diklasifikasikanfijji
  • = Perkiraan kelasysaya

Pada titik ini saya memiliki pertanyaan berikut:

T1: Apakah saya perlu menggunakan multinomial logit untuk memperkirakan probabilitas? atau bisakah saya masih melakukan ini dengan regresi logistik (misalnya dalam mode 1-vs-semua )?

T2: Bagaimana saya harus mendefinisikan variabel target menengah (misalnya dalam penskalaan Platt) untuk kasus multi-kelas?

T3: Saya mengerti ini mungkin banyak untuk ditanyakan, tetapi apakah ada yang mau membuat sketsa kode semu untuk masalah ini? (pada tingkat yang lebih praktis, saya tertarik pada solusi di Matlab).

Amelio Vazquez-Reina
sumber
1
pertanyaan bagus Saya juga bertanya-tanya tentang cara membuat kalibrasi walaupun Anda menggunakan 1 versus skema jenis lainnya. Jika Anda membuat model k menggunakan 1 versus yang lainnya (dan ada kelas k) apakah Anda harus / haruskah Anda menormalkannya entah bagaimana sehingga jumlahnya menjadi 1 (misalnya, bagilah setiap probabilitas yang dikalibrasi dengan jumlah semua k)?
B_Miner

Jawaban:

9

Ini adalah topik yang menarik bagi saya juga, jadi saya melakukan sedikit riset. Berikut adalah dua makalah oleh seorang penulis yang sering terdaftar sebagai referensi dalam hal ini.

  1. Mengubah skor classifier menjadi estimasi probabilitas multiclass yang akurat
  2. Mengurangi multiclass ke biner dengan menggabungkan estimasi probabilitas

Inti dari teknik yang dianjurkan di sini adalah untuk mengurangi masalah multikelas menjadi satu biner (misalnya satu versus yang lain, AKA satu versus semua), menggunakan teknik seperti Platt (lebih disukai menggunakan set tes) untuk mengklasifikasikan nilai / probabilitas biner dan kemudian gabungkan ini menggunakan teknik seperti yang dibahas dalam makalah (salah satunya adalah perluasan dari proses "penggandengan" Hastie et al). Pada tautan pertama, hasil terbaik ditemukan dengan hanya menormalisasi probabilitas biner menjadi 1.

Saya akan senang mendengar saran lain dan jika salah satu dari tecnhiqes ini telah diterapkan dalam R.

B_Miner
sumber
Tautan yang disebutkan dalam jawaban sudah usang. Tautan terbaru adalah: citeseerx.ist.psu.edu/viewdoc/… citeseerx.ist.psu.edu/viewdoc/…
Chandra
Referensi silang ke sini stats.stackexchange.com/questions/362460/…
TMrtSmith
Mengulangi jawaban ini. Ini membuat saya bingung untuk beberapa waktu tetapi kertas oleh Zadrozny dan Elkan terbukti bermanfaat.
songololo