Apakah valid untuk menganalisis data deteksi sinyal tanpa menggunakan metrik yang berasal dari teori deteksi sinyal?

Eksperimen deteksi sinyal biasanya menghadirkan pengamat (atau sistem diagnostik) dengan sinyal atau non-sinyal, dan pengamat diminta untuk melaporkan apakah menurut mereka item yang disajikan adalah sinyal atau non-sinyal. Eksperimen tersebut menghasilkan data yang mengisi matriks 2x2:

Teori pendeteksian sinyal mewakili data seperti mewakili skenario di mana keputusan "sinyal / non-sinyal" didasarkan pada kontinum sinyal yang di mana uji sinyal umumnya memiliki nilai lebih tinggi daripada uji coba non-sinyal, dan pengamat hanya memilih nilai kriteria di mana mereka akan melaporkan "sinyal":

Dalam diagram di atas, distribusi hijau dan merah mewakili distribusi "sinyal" dan "non-sinyal", dan garis abu-abu mewakili kriteria yang dipilih pengamat yang diberikan. Di sebelah kanan garis abu-abu, area di bawah kurva hijau mewakili hit dan area di bawah kurva merah mewakili alarm palsu; di sebelah kiri garis abu-abu, area di bawah kurva hijau mewakili kesalahan dan area di bawah kurva merah menunjukkan penolakan yang benar.

Seperti yang dapat dibayangkan, menurut model ini, proporsi respons yang termasuk dalam setiap sel tabel 2x2 di atas ditentukan oleh:

1. Proporsi relatif uji coba sampel dari distribusi hijau dan merah (tingkat dasar)
2. Kriteria yang dipilih oleh pengamat
3. Pemisahan antara distribusi
4. Varian dari setiap distribusi
5. Segala penyimpangan dari persamaan varian di antara distribusi (persamaan perbedaan dijelaskan di atas)
6. Bentuk setiap distribusi (keduanya adalah Gaussian di atas)

Seringkali pengaruh # 5 dan # 6 hanya dapat dinilai dengan membuat pengamat membuat keputusan di sejumlah level kriteria yang berbeda, jadi kita akan mengabaikannya untuk saat ini. Selain itu, # 3 dan # 4 hanya masuk akal relatif terhadap satu sama lain (mis. Seberapa besar pemisahan relatif terhadap variabilitas distribusi?), Dirangkum dengan ukuran "diskriminasi" (juga dikenal sebagai d '). Dengan demikian, teori deteksi sinyal menetapkan estimasi dua properti dari data deteksi sinyal: kriteria & diskriminasi.

Namun, saya sering memperhatikan bahwa laporan penelitian (terutama dari bidang medis) gagal menerapkan kerangka deteksi sinyal dan bukannya mencoba menganalisis jumlah seperti "Nilai prediksi positif", "Nilai prediksi negatif", "Sensitivitas", dan "Spesifisitas". ", yang semuanya mewakili nilai marginal yang berbeda dari tabel 2x2 di atas ( lihat di sini untuk elaborasi ).

Utilitas apa yang disediakan properti marginal ini? Kecenderungan saya adalah mengabaikan mereka sepenuhnya karena mereka mengacaukan pengaruh kriteria dan diskriminasi yang secara teoretis independen, tetapi mungkin saya hanya kurang memiliki imajinasi untuk mempertimbangkan manfaatnya.

The Positive Predictive Influence (PPV) bukan ukuran yang baik, tidak hanya karena mengacaukan kedua mekanisme (diskriminasi dan bias respon), tetapi juga karena tingkat dasar barang. Lebih baik menggunakan probabilitas posterior, seperti P (sinyal | "ya"), yang mana yang memperhitungkan tarif dasar barang:

$P(signal|yes) = \frac{P(signal)P(Hit)}{P(signal)P(Hit)+P(noise)P(False Alarm)}$

tapi ... apa gunanya ?? baik, berguna untuk menyesuaikan kriteria respons untuk memaksimalkan / meminimalkan probabilitas hasil tertentu. Jadi, itu melengkapi tindakan sensitivitas dan respons dalam arti membantu untuk merangkum hasil dari perubahan dalam respon bias.

Sebuah saran: jika Anda bertahan dengan matriks hasil 2x2 yang pada dasarnya hanya memungkinkan Anda untuk mendapatkan ukuran sensitivitas seperti d ', jangan repot-repot dengan SDT dan hanya menggunakan Hits-False Alarms. Kedua ukuran (d 'dan (HF)) memiliki korelasi 0,96 (tidak peduli apa teori deteksi BS mungkin muncul dengan)

semoga ini membantu sorakan

Anda membandingkan "Berapa probabilitas bahwa hasil tes positif benar mengingat prevalensi dan kriteria tes yang diketahui?" dengan "Apa sensitivitas dan bias sistem yang tidak diketahui terhadap berbagai sinyal jenis ini?"

Tampak bagi saya bahwa keduanya menggunakan beberapa teori yang sama tetapi mereka benar-benar memiliki tujuan yang sangat berbeda. Dengan kriteria tes medis tidak relevan. Ini dapat diatur ke nilai yang diketahui dalam banyak kasus. Jadi, menentukan kriteria tes tidak ada gunanya sesudahnya. Teori deteksi sinyal adalah yang terbaik untuk sistem di mana kriteria tidak diketahui. Selanjutnya, prevalensi, atau sinyal, cenderung menjadi nilai tetap (dan seringkali sangat kecil). Dengan SDT, Anda sering menghitung rata-rata sinyal yang memodelkan situasi yang sangat kompleks sebagai beberapa deskriptor sederhana. Ketika kriteria dan sinyal ditetapkan jumlahnya diketahui, bisakah SDT memberi tahu Anda sesuatu yang menarik? Sepertinya banyak kecanggihan matematika untuk menangani masalah yang pada dasarnya lebih sederhana.

Ini mungkin penyederhanaan berlebihan, tetapi spesifisitas dan sensitivitas adalah ukuran kinerja, dan digunakan ketika tidak ada pengetahuan objektif tentang sifat sinyal. Maksud saya kepadatan Anda vs plot signalness mengasumsikan satu variabel yang mengukur signalness. Untuk data berdimensi sangat tinggi, atau berdimensi tak terbatas, dan tanpa teori yang kuat dan dapat dibuktikan tentang mekanisme generasi sinyal, pemilihan variabel bersifat non-sepele. Pertanyaan kemudian muncul, mengapa, setelah memilih variabel seperti itu, sifat statistiknya, seperti rata-rata dan varians untuk sinyal dan non-sinyal tidak dikuantifikasi. Dalam banyak kasus, variabel mungkin tidak hanya normal, Poisson, atau terdistribusi secara eksponensial. Bahkan mungkin non-parametrik, dalam hal ini mengukur pemisahan sebagai perbedaan rata-rata atas varians dll., tidak masuk akal. Juga, banyak literatur dalam bidang biomedis difokuskan pada aplikasi, dan ROC, spesifisitas-sensitivitas dll., Dapat digunakan sebagai kriteria obyektif untuk membandingkan pendekatan dalam hal sifat terbatas dari masalah, dan pada dasarnya itu saja yang Dibutuhkan. Kadang-kadang orang mungkin tidak tertarik untuk menggambarkan, katakanlah distribusi log-gamma versi diskrit yang sebenarnya dari rasio gen1 vs gen2 kelimpahan transkrip pada subyek yang berpenyakit vs kontrol, tetapi satu-satunya hal yang penting adalah apakah ini meningkat dan berapa banyak varian dari fenotip atau probabilitas penyakit yang dijelaskannya. dapat digunakan sebagai kriteria objektif untuk membandingkan pendekatan dalam hal sifat terbatas dari masalah, dan pada dasarnya hanya itu yang diperlukan. Kadang-kadang orang mungkin tidak tertarik untuk menggambarkan, katakanlah distribusi log-gamma versi diskrit yang sebenarnya dari rasio gen1 vs gen2 kelimpahan transkrip pada subyek yang berpenyakit vs kontrol, tetapi satu-satunya hal yang penting adalah apakah ini meningkat dan berapa banyak varian dari fenotip atau probabilitas penyakit yang dijelaskannya. dapat digunakan sebagai kriteria objektif untuk membandingkan pendekatan dalam hal sifat terbatas dari masalah, dan pada dasarnya hanya itu yang diperlukan. Kadang-kadang orang mungkin tidak tertarik untuk menggambarkan, katakanlah distribusi log-gamma versi diskrit yang sebenarnya dari rasio gen1 vs gen2 kelimpahan transkrip pada subyek yang berpenyakit vs kontrol, tetapi satu-satunya hal yang penting adalah apakah ini meningkat dan berapa banyak varian dari fenotip atau probabilitas penyakit yang dijelaskannya.