Bagaimana kita bisa menggambar kurva ROC untuk pohon keputusan?
13
Biasanya kita tidak bisa menggambar kurva ROC untuk pengklasifikasi diskrit seperti pohon keputusan. Apakah saya benar? Apakah ada cara untuk menggambar kurva ROC untuk Dtrees?
[Evaluasi model pohon keputusan untuk "set pelatihan" vs "set pengujian" dalam R] [1] [1]: stats.stackexchange.com/questions/49416/… Anda dapat menemukan jawaban Anda di sini.
Sangram
@rapaio Maaf, tautan Anda menampilkan kurva ROC untuk menemukan ambang batas dalam pengklasifikasi yang menghasilkan output antara 1 dan 0 (nilai kontinu).
DataMiner
@Sangram Ini adalah solusi dalam R tetapi saya ingin hanya mengerti cara kerjanya.
DataMiner
Jawaban:
15
Jika classifier Anda hanya menghasilkan hasil faktor (hanya label), tanpa skor, Anda masih bisa menggambar kurva ROC. Namun kurva ROC ini hanya satu titik. Mempertimbangkan ruang ROC, poin ini adalah , di mana FPR - tingkat positif palsu dan TPR - tingkat positif sejati.(x,y)=(FPR,TPR)FPRTPR
Lihat lebih lanjut tentang bagaimana ini dihitung pada halaman Wikipedia .
Untuk Decision Tree, kelas masih diprediksi dengan tingkat kepastian tertentu. Jawabannya sudah diberikan oleh @rapaio, tapi saya akan sedikit mengembangkannya.
Bayangkan pohon keputusan berikut (itu versi sedikit modifikasi dari ini satu )
Pada setiap node tidak hanya label kelas mayoritas, tetapi juga orang lain apa yang berakhir di daun itu, sehingga kita dapat menetapkan tingkat kepastian untuk daun di mana kita memprediksi label.
Sebagai contoh, perhatikan data berikut
Kami menjalankannya, dan menetapkan skor ke output, bukan label yang sebenarnya. Dengan ini, kita bisa menggambar kurva ROC, seperti yang disarankan di sini
Namun, tidak masuk akal untuk menggunakannya untuk menyetel ambang Anda (karena, tentu saja, tidak ada yang namanya ambang di Pohon Keputusan), tetapi masih dapat digunakan untuk menghitung AUC, yang, dalam hal ini, adalah 0,92
Jawaban:
Jika classifier Anda hanya menghasilkan hasil faktor (hanya label), tanpa skor, Anda masih bisa menggambar kurva ROC. Namun kurva ROC ini hanya satu titik. Mempertimbangkan ruang ROC, poin ini adalah , di mana FPR - tingkat positif palsu dan TPR - tingkat positif sejati.(x,y)=(FPR,TPR) FPR TPR
Lihat lebih lanjut tentang bagaimana ini dihitung pada halaman Wikipedia .
sumber
Untuk Decision Tree, kelas masih diprediksi dengan tingkat kepastian tertentu. Jawabannya sudah diberikan oleh @rapaio, tapi saya akan sedikit mengembangkannya.
Bayangkan pohon keputusan berikut (itu versi sedikit modifikasi dari ini satu )
Pada setiap node tidak hanya label kelas mayoritas, tetapi juga orang lain apa yang berakhir di daun itu, sehingga kita dapat menetapkan tingkat kepastian untuk daun di mana kita memprediksi label.
Sebagai contoh, perhatikan data berikut
Kami menjalankannya, dan menetapkan skor ke output, bukan label yang sebenarnya. Dengan ini, kita bisa menggambar kurva ROC, seperti yang disarankan di sini
Namun, tidak masuk akal untuk menggunakannya untuk menyetel ambang Anda (karena, tentu saja, tidak ada yang namanya ambang di Pohon Keputusan), tetapi masih dapat digunakan untuk menghitung AUC, yang, dalam hal ini, adalah 0,92
Kode R yang digunakan di sini:
sumber