FPR (false positive rate) vs FDR (false discovery rate)

Kutipan berikut berasal dari makalah penelitian terkenal Statistik signifikansi untuk studi luas genom oleh Storey & Tibshirani (2003):

Sebagai contoh, tingkat positif palsu 5% berarti bahwa rata-rata 5% dari fitur yang benar-benar nol dalam penelitian akan disebut signifikan. FDR (False Discovery rate) 5% berarti bahwa di antara semua fitur yang disebut signifikan, 5% di antaranya benar-benar nol rata-rata.

Adakah yang bisa menjelaskan apa artinya menggunakan contoh angka atau visual yang sederhana? Saya kesulitan memahami apa artinya. Saya telah menemukan berbagai posting di FDR atau FPR saja, tetapi belum menemukan tempat di mana perbandingan khusus dibuat.

Akan sangat baik jika seseorang yang ahli dalam bidang ini dapat menggambarkan situasi di mana yang satu lebih baik dari yang lain, atau keduanya baik atau buruk.

Saya akan menjelaskan ini dengan beberapa cara berbeda karena ini membantu saya memahaminya.

Mari kita ambil contoh spesifik. Anda sedang melakukan tes untuk penyakit pada sekelompok orang. Sekarang mari kita mendefinisikan beberapa istilah. Untuk masing-masing dari berikut ini, saya merujuk pada seseorang yang telah diuji:

True positive (TP) : Memiliki penyakit, diidentifikasi memiliki penyakit

False positive (FP) : Tidak memiliki penyakit, diidentifikasi memiliki penyakit

Benar negatif (TN) : Tidak memiliki penyakit, diidentifikasi sebagai tidak memiliki penyakit

False negative (FN) : Memiliki penyakit, diidentifikasi tidak memiliki penyakit

Secara visual, ini biasanya ditunjukkan menggunakan matriks kebingungan :

Angka false positive (FPR) adalah jumlah orang yang tidak memiliki penyakit tetapi diidentifikasi memiliki penyakit (semua FP), dibagi dengan jumlah total orang yang tidak memiliki penyakit (termasuk semua FP dan TN) .

$$FPR = \frac{FP}{FP + TN}$$

Angka penemuan palsu (FDR) adalah jumlah orang yang tidak memiliki penyakit tetapi diidentifikasi memiliki penyakit (semua FP), dibagi dengan jumlah total orang yang diidentifikasi memiliki penyakit (termasuk semua FP dan TP) ).

$$FDR = \frac{FP}{FP + TP}$$

---

Jadi, perbedaannya ada pada penyebutnya yaitu apa yang Anda bandingkan dengan jumlah positif palsu?

The FPR memberitahu Anda proporsi semua orang yang tidak memiliki penyakit yang akan diidentifikasi memiliki penyakit.

The FDR kepada Anda proporsi dari semua orang yang diidentifikasi sebagai memiliki penyakit yang tidak memiliki penyakit.

Karena itu keduanya berguna, ukuran kegagalan yang berbeda. Bergantung pada situasi dan proporsi TP, FP, TN dan FN, Anda mungkin lebih peduli tentang yang satu dan yang lain.

---

Mari sekarang kita taruh beberapa angka untuk ini. Anda telah mengukur 100 orang untuk penyakit ini dan Anda mendapatkan yang berikut:

True Positive (TPs) : 12

Positif palsu (FP) : 4

Negatif sejati (TN) : 76

False negative (FNs) : 8

Untuk menunjukkan ini menggunakan matriks kebingungan:

Kemudian,

$$FPR = \frac{FP}{FP + TN} = \frac{4}{4 + 76} = \frac{4}{80} = 0.05 = 5\%$$

$$FDR = \frac{FP}{FP + TP} = \frac{4}{4 + 12} = \frac{4}{16} = 0.25 = 25\%$$

Dengan kata lain,

FPR memberi tahu Anda bahwa 5% dari orang-orang yang tidak memiliki penyakit diidentifikasi memiliki penyakit tersebut. FDR memberi tahu Anda bahwa 25% orang yang diidentifikasi menderita penyakit sebenarnya tidak menderita penyakit itu.

---

EDIT berdasarkan pada komentar @ amoeba (juga angka dalam contoh di atas):

Mengapa perbedaan itu begitu penting? Dalam makalah yang Anda tautkan, Storey & Tibhshirani menunjukkan bahwa ada fokus kuat pada FPR (atau tingkat kesalahan tipe I) dalam studi genomewide, dan bahwa ini mengarahkan orang untuk membuat kesimpulan yang cacat. Ini karena sekali Anda menemukan hasil yang signifikan dengan memperbaiki FPR, Anda benar-benar perlu mempertimbangkan berapa banyak hasil signifikan Anda yang salah. Dalam contoh di atas, 25% dari 'hasil signifikan' akan salah!$n$

[Catatan tambahan: Wikipedia menunjukkan bahwa meskipun FPR secara matematis setara dengan tingkat kesalahan tipe I, itu dianggap berbeda secara konseptual karena satu biasanya menetapkan apriori sedangkan yang lain biasanya digunakan untuk mengukur kinerja tes setelahnya. Ini penting tapi saya tidak akan membahasnya di sini].

---

Dan untuk sedikit lebih lengkap:

Jelas, FPR dan FDR bukan satu-satunya metrik yang relevan yang dapat Anda hitung dengan empat kuantitas dalam matriks kebingungan. Dari sekian banyak metrik yang mungkin berguna dalam konteks yang berbeda , dua yang relatif umum yang mungkin Anda temui adalah:

True Positive Rate (TPR) , juga dikenal sebagai sensitivitas , adalah proporsi orang yang memiliki penyakit yang diidentifikasi memiliki penyakit.

$$TPR = \frac{TP}{TP + FN}$$

True Negative Rate (TNR) , juga dikenal sebagai spesifisitas , adalah proporsi orang yang tidak memiliki penyakit yang diidentifikasi tidak memiliki penyakit.

$$TNR = \frac{TN}{TN + FP}$$

Anda harus memeriksa tabel di https://en.wikipedia.org/wiki/Confusion_matrix . Harap dicatat FPR ditempatkan secara vertikal saat FDR horisontal.

• FP terjadi jika hipotesis nol Anda benar tetapi Anda menolaknya
• FD terjadi jika Anda memprediksi sesuatu yang signifikan tetapi Anda tidak seharusnya