Halo sesama pengolah angka
Saya ingin menghasilkan n skor acak (bersama-sama dengan label kelas) seolah-olah mereka telah diproduksi oleh model klasifikasi biner. Secara rinci, diperlukan properti berikut:
- setiap skor adalah antara 0 dan 1
- setiap skor dikaitkan dengan label biner dengan nilai "0" atau "1" (yang terakhir adalah kelas positif)
- ketelitian keseluruhan skor harus misalnya 0,1 (<- parameter generator)
- rasio skor dengan label "1" harus lebih tinggi daripada presisi keseluruhan di bagian atas dan lebih rendah di bagian bawah (<- "kualitas model" juga harus menjadi parameter generator)
- skor harus sedemikian rupa, sehingga kurva roc yang dihasilkan halus (dan bukan misalnya bahwa sekelompok skor dengan label "1" berada di bagian atas dan sisa skor dengan label "1" berada di bagian bawah Daftar).
Adakah yang punya ide bagaimana mendekati ini? Mungkin melalui pembuatan kurva-roc dan kemudian menghasilkan poin dari penyembuhan itu? Terima kasih sebelumnya!
Jawaban:
Beberapa waktu telah berlalu dan saya pikir saya mungkin punya solusi. Saya akan menjelaskan pendekatan saya secara singkat untuk memberi Anda ide umum. Kode harus cukup untuk mengetahui detailnya. Saya suka melampirkan kode di sini, tetapi banyak dan stackexchange membuatnya tidak mudah untuk melakukannya. Saya tentu saja senang menjawab komentar apa pun, juga saya menghargai kritik apa pun.
Kode dapat ditemukan di bawah.
Strategi:
Berikut ini adalah contoh ROC-Curve untuk AUC = 0,6 dan presisi keseluruhan = 0,1 (juga dalam kode di bawah ini)
Catatan:
kode:
sumber