Bagaimana memilih lebar bin optimal saat mengkalibrasi model probabilitas?

12

Latar belakang: Ada beberapa pertanyaan / jawaban yang bagus di sini tentang cara mengkalibrasi model yang memprediksi probabilitas hasil yang terjadi. Sebagai contoh

  1. Skor Brier , dan penguraiannya menjadi resolusi, ketidakpastian dan keandalan .
  2. Plot kalibrasi dan regresi isotonik .

Metode-metode ini sering memerlukan penggunaan metode binning pada probabilitas yang diprediksi, sehingga perilaku hasil (0, 1) dihaluskan di atas nampan dengan mengambil hasil rata-rata.

Masalah: Namun, saya tidak dapat menemukan apa pun yang menginstruksikan saya tentang cara memilih lebar bin.

Pertanyaan: Bagaimana cara memilih lebar nampan optimal?

Mencoba: Dua lebar nampan yang biasa digunakan tampaknya adalah:

  1. Binning dengan lebar yang sama, misalnya 10 nampan yang masing-masing mencakup 10% dari interval [0, 1].
  2. Metode binning Tukey dibahas di sini .

Tetapi apakah pilihan-pilihan nampan ini paling optimal jika seseorang tertarik untuk menemukan interval dalam probabilitas yang diprediksi yang paling salah perhitungan?

probability predictive-models binary-data calibration scoring-rules Alex
sumber
1
Jika hasil "1" jarang terjadi, perlu dipertimbangkan untuk membagi ke nampan dengan jumlah "1" yang sama, bukan jumlah sampel yang sama. Ini dapat membantu mempertahankan diskriminasi (AUC) model setelah kalibrasi
ihadanny

Jawaban:

4

Setiap metode statistik yang menggunakan binning pada akhirnya dianggap usang. Estimasi kurva kalibrasi berkelanjutan sudah biasa sejak pertengahan 1990-an. Metode yang umum digunakan adalah loess (dengan deteksi outlier dimatikan), kalibrasi logistik linier, dan kalibrasi logistik spline. Saya membahas hal ini secara terperinci dalam buku strategi dan catatan kursus Regresi Modeling . Lihat http://www.fharrell.com/p/blog-page.html . rmsPaket R membuat kurva kalibrasi nonparametrik yang halus mudah didapat, baik menggunakan sampel eksternal independen atau menggunakan bootstrap pada sampel pengembangan model asli.

Frank Harrell
sumber
0

Dalam pengalaman saya, binning baik untuk memvisualisasikan distribusi probabilitas, tetapi biasanya ide yang buruk, jika seseorang ingin menggunakan jika untuk uji statistik dan / atau inferensi parameter. Terutama karena satu segera membatasi ketepatan dengan lebar bin. Masalah umum lainnya adalah ketika variabel tidak terikat, yaitu kita harus memperkenalkan cutoff rendah dan tinggi.

Bekerja dengan distribusi kumulatif dalam semangat Kolmogorov-Smirnov menghindari banyak masalah ini. Ada juga banyak metode statistik baik yang tersedia dalam kasus ini. (lihat, misalnya, https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test )

Vadim
sumber