Misalkan saya memiliki model prediktif yang menghasilkan, untuk setiap contoh, probabilitas untuk setiap kelas. Sekarang saya menyadari bahwa ada banyak cara untuk mengevaluasi model seperti itu jika saya ingin menggunakan probabilitas tersebut untuk klasifikasi (presisi, penarikan, dll.). Saya...
Untuk mengkalibrasi tingkat kepercayaan ke probabilitas dalam pembelajaran yang diawasi (katakanlah untuk memetakan kepercayaan dari SVM atau pohon keputusan menggunakan data yang terlalu banyak) salah satu metode adalah dengan menggunakan Penskalaan Platt (misalnya, Memperoleh Kemungkinan yang...
Saya ingin saran tentang menyatukan plot / statistik kalibrasi setelah beberapa kali imputasi. Dalam pengaturan pengembangan model statistik untuk memprediksi kejadian di masa depan (misalnya menggunakan data dari catatan rumah sakit untuk memprediksi kelangsungan hidup atau kejadian pasca...
Scikit memiliki CalibratedClassifierCV , yang memungkinkan kita untuk mengkalibrasi model kita pada pasangan X, y tertentu. Ini juga menyatakan dengan jelas itudata for fitting the classifier and for calibrating it must be disjoint. Jika mereka harus dipisahkan, apakah sah untuk melatih...
Latar belakang: Ada beberapa pertanyaan / jawaban yang bagus di sini tentang cara mengkalibrasi model yang memprediksi probabilitas hasil yang terjadi. Sebagai contoh Skor Brier , dan penguraiannya menjadi resolusi, ketidakpastian dan keandalan . Plot kalibrasi dan regresi isotonik...
Saya memprogram dan melakukan pengembangan berbasis tes. Setelah saya membuat perubahan dalam kode saya, saya menjalankan tes saya. Terkadang mereka berhasil dan terkadang mereka gagal. Sebelum saya menjalankan tes saya menuliskan angka 0,01-0,99 untuk kepercayaan saya bahwa tes akan...
Pertanyaan : Saya telah memasang model probabilistik (jaringan bayesian) untuk memodelkan variabel hasil biner. Saya ingin membuat plot kalibrasi resolusi tinggi (misalnya spline) dikoreksi karena overfitting dengan bootstrap. Apakah ada prosedur standar untuk menghitung kurva seperti...
Dalam scikit mempelajari dokumen tentang probabilitas kalibrasi mereka membandingkan regresi logistik dengan metode lain dan menyatakan bahwa hutan acak kurang dikalibrasi dengan baik daripada regresi logistik. Mengapa regresi logistik dikalibrasi dengan baik? Bagaimana seseorang dapat merusak...