Analogi sensitivitas dan spesifisitas untuk hasil yang berkelanjutan

Bagaimana saya bisa menghitung sensitivitas dan spesifisitas (atau tindakan analog) dari tes diagnostik berkelanjutan dalam memprediksi hasil yang berkelanjutan (misalnya, tekanan darah) tanpa mendikotomisasi hasilnya? Ada ide?

Tampaknya para peneliti telah melakukan ini menggunakan pemodelan efek campuran (lihat tautan di bawah), tetapi saya tidak terbiasa dengan penggunaan teknik ini: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3026390/

By the way, saya paling akrab dengan R, jadi itu akan ideal untuk implementasi yang Anda sarankan disertai dengan fungsi R (tapi tidak apa-apa jika tidak).

Terima kasih sebelumnya atas sarannya!

classification mixed-model predictive-models roc continuous-data itpetersen
sumber

Jawaban:

Karena pertanyaannya masih belum dijawab, inilah 2ct saya:
Saya pikir di sini ada dua topik berbeda yang tercampur dalam pertanyaan ini:

Bagaimana saya bisa menghitung sensitivitas dan spesifisitas (atau tindakan analog) dari tes diagnostik berkelanjutan dalam memprediksi hasil yang berkelanjutan (misalnya, tekanan darah) tanpa mendikotomisasi hasilnya?

Saya menganggap Anda ingin mengukur kinerja model. Model memprediksi hasil kontinu (metrik) dari beberapa jenis input (kebetulan juga metrik dalam contoh Anda, tetapi itu tidak terlalu penting di sini). Ini adalah skenario regresi, bukan klasifikasi. Jadi Anda lebih baik mencari ukuran kinerja untuk model regresi, sensitivitas dan spesifisitas bukan apa yang Anda cari *.
Beberapa masalah regresi memiliki "alami" pengelompokan menjadi ada dan tidak adanya sesuatu, yang memberikan tautan ke klasifikasi. Untuk itu Anda mungkin memiliki distribusi bimodal: banyak kasus tanpa kehadiran, dan distribusi nilai metrik untuk kasus kehadiran. Misalnya, pikirkan zat yang mencemari suatu produk. Banyak sampel produk tidak akan mengandung kontaminan, tetapi bagi mereka yang melakukannya, berbagai konsentrasi diamati.

Namun, ini bukan kasus untuk contoh tekanan darah Anda (tidak adanya tekanan darah bukanlah konsep yang masuk akal di sini). Saya bahkan akan menebak bahwa tekanan darah datang dalam distribusi unimodal. Semua itu menunjuk ke masalah regresi tanpa kaitan erat dengan klasifikasi.

* Dengan peringatan bahwa kedua kata tersebut digunakan dalam kimia analitik untuk regresi (kalibrasi), tetapi dengan makna yang berbeda: di sana, sensitivitas adalah kemiringan fungsi kalibrasi / regresi, dan spesifik kadang-kadang berarti bahwa metode ini sepenuhnya selektif , bahwa apakah tidak sensitif terhadap zat lain selain analit, dan tidak ada sensitivitas silang yang terjadi.
AD McNaught und A. Wilkinson, eds .: Kompendium Terminologi Kimia ("Buku Emas"). Blackwell Scientific, 1997. ISBN: 0-9678550-9-8. DOI: doi: 10.1351 / goldbook. URL: http://goldbook.iupac.org/ .

Analogi sensitivitas dan spesifisitas untuk hasil yang berkelanjutan

Di sisi lain, jika sifat dasar masalahnya adalah klasifikasi, Anda mungkin dapat menggambarkannya dengan lebih baik melalui regresi:

regresi menggambarkan tingkat kepemilikan kelas (seperti pada set fuzzy).
model regresi (posterior) probabilitas beloning ke kelas (seperti dalam regresi logistik )
kasing Anda dapat digambarkan sebagai campuran dari kelas murni (sangat dekat dengan regresi "normal", contoh kontaminasi di atas)

Untuk kasus-kasus ini, masuk akal untuk memperluas konsep di balik sensitivitas dan spesifisitas menjadi "pengklasifikasi hasil berkelanjutan". Ide dasarnya adalah untuk menimbang setiap kasus sesuai dengan tingkat kepemilikannya pada kelas yang bersangkutan. Untuk sensitivitas dan spesifisitas yang merujuk pada label referensi, untuk nilai prediktif ke keanggotaan kelas yang diprediksi. Ternyata ini mengarah ke hubungan yang sangat dekat dengan ukuran kinerja tipe regresi.

Kami baru-baru ini menggambarkan ini dalam C. Beleites, R. Salzer dan V. Sergo:
Validasi Model Klasifikasi Lunak menggunakan Keanggotaan Kelas Parsial: Konsep Diperpanjang Sensitivitas & Co diterapkan untuk Grading Jaringan Astrocytoma
Chemom. Intell. Laboratorium. Syst., 122 (2013), 12 - 22.
Tautan tersebut menunjuk ke halaman utama paket R yang menerapkan langkah-langkah kinerja yang diusulkan.

Sekali lagi, contoh tekanan darah IMHO tidak cukup dijelaskan sebagai masalah klasifikasi. Namun, Anda mungkin masih ingin membaca koran - saya pikir perumusan nilai referensi di sana akan memperjelas bahwa tekanan darah tidak dijelaskan secara masuk akal dengan cara yang sesuai untuk klasifikasi.

(Jika Anda merumuskan tingkat "tekanan darah tinggi" terus menerus yang akan menjadi model, dan berbeda dari masalah yang Anda jelaskan.)

Saya hanya melihat sekilas pada makalah yang Anda tautkan, tetapi jika saya mengerti dengan benar, penulis menggunakan ambang (dikotomi) untuk kedua strategi pemodelan: untuk prediksi terus-menerus diproses lebih lanjut: interval prediksi dihitung dan dibandingkan dengan beberapa ambang batas. Pada akhirnya, mereka memiliki prediksi dikotomis, dan menghasilkan ROC dengan memvariasikan spesifikasi untuk interval.
Ketika Anda menentukan bahwa Anda ingin menghindari ini, makalah ini tampaknya tidak terlalu relevan.

cbeleites tidak senang dengan SX
sumber

Kedengarannya seperti metode dalam makalah itu sangat bermasalah. Pertanyaan awal tidak dijawab karena pertanyaan tersebut menyiratkan penggunaan metodologi yang dipertanyakan.

Frank Harrell

@ Frankharrell: ya, setidaknya penamaan metode di koran menyesatkan karena prediksi akhir tidak kontinu. Tetapi saya memahami penyebutan makalah tersebut sebagai menunjukkan bahwa OP memang melihat ke dalam literatur, dan berpikir bahwa makalah itu dapat membantu - yang tidak.

cbeleites tidak senang dengan SX

Mencoba melakukan ini dengan variabel kontinu akan mengekspos masalah parah dengan langkah-langkah urutan waktu mundur bahkan dalam kasus biner (yaitu, memprediksi X dari Y secara umum).

Frank Harrell
sumber

Tidak harus dengan langkah-langkah urutan waktu mundur. Saya hanya mencari analog sensitivitas dan spesifisitas dalam kasus di mana hasil atau variabel dependen kontinu.

itpetersen

Analog harus mundur, yaitu, melibatkan distribusi

X

$X$ diberikan

Y

$Y$ . Kalau tidak, itu tidak analog.

Frank Harrell

Kamu benar; Anda telah menyatakan sasaran yang sangat masuk akal dengan urutan waktu yang benar. Sensitivitas analog akan memprediksi paparan testosteron prenatal dari tingkat agresi masa depan. Untuk menjawab pertanyaan Anda, saya akan menggunakan generalisasi

R^{2}

$R^2$ mengukur, area ROC umum (yaitu Somers '

D_{x y}

$D_{xy}$ peringkat korelasi antara diprediksi dan diamati), dan histogram tingkat agresi yang diprediksi - semakin besar variasi semakin banyak diskriminasi prediksi.

Frank Harrell

Itulah alasan untuk digeneralisasi dalam apa yang saya tulis.

D_{x y}

$D_{xy}$ sebanding dengan area ROC umum yang mengurangi ke area ROC biasa jika

Y

$Y$ adalah biner. Ini adalah kecelakaan alam yang disayangkan bahwa probabilitas konkordansi dapat diturunkan dari sensitivitas dan spesifisitas. Pikirkan probabilitas konkordansi yang lebih umum (dan non-terbelakang)

X

$X$ dan

Y

$Y$ (

c

$c$ -indeks; sama dengan area ROC dalam biner

Y

$Y$ kasus). Probabilitas konkordansi (mudah digambarkan untuk kontinu

Y

$Y$ ) atau area ROC dapat digunakan tanpa membuat kurva ROC sama sekali. Tidak perlu memprediksi masa lalu dari masa depan.

Frank Harrell

Paket saya R Hmiscdan rmsmenangani ini. Di Hmisclihat rcorr.censfungsinya.

Frank Harrell

Diambil secara longgar, sensitivitas berarti kemampuan untuk merespons sesuatu jika ada, dan spesifisitas berarti kemampuan untuk menekan merespons ketika tidak ada. Untuk variabel kontinu, sensitivitas terkait dengan kemiringan regresi dari ukuran yang diperoleh pada nilai sebenarnya dari variabel yang diukur, dan spesifisitas sesuai dengan kesalahan standar pengukuran (yaitu, standar deviasi dari ukuran yang diperoleh ketika kuantitas diukur tidak berbeda).

EDIT, menanggapi komentar oleh Frank Harrell dan cbeleites. Saya mencoba memberikan analog konseptual sensitivitas dan spesifisitas. Untuk variabel kontinu, ide dasar sensitivitas adalah bahwa jika dua objek (atau objek yang sama pada waktu yang berbeda atau dalam kondisi berbeda, dll) berbeda pada variabel yang kita coba ukur, maka ukuran yang kita peroleh juga harus berbeda, dengan ukuran yang lebih besar. perbedaan yang mengarah ke perbedaan terukur yang lebih besar.

Regresi variabel apa pun, katakanlah $Y$ , pada yang lain, katakanlah $X$ , hanyalah nilai yang diharapkan bersyarat, $\mathrm{E}\,Y|X$ , diperlakukan sebagai fungsi dari $X$ . Sensitivitas $Y$ untuk $X$ adalah kemiringan fungsi itu - yaitu, turunannya sehubungan dengan $X$ - Dievaluasi pada nilai apa pun $X$ menarik, dan mungkin dirata-rata dengan bobot yang mencerminkan kepentingan relatif atau frekuensi terjadinya berbeda $X$ -nilai.

Ide dasar spesifisitas adalah kebalikan dari sensitivitas: jika $Y$ memiliki kekhususan yang tinggi dan tidak ada perbedaan nyata pada $X$ maka semua kita ukur $Y$ -nilai harus sama, terlepas dari perbedaan apa pun yang mungkin ada di antara objek pada variabel selain $X$ ; $Y$ seharusnya tidak menanggapi perbedaan-perbedaan itu. Kapan $X$ konstan, variabilitas lebih tinggi di antara $Y$ -nilai menyiratkan spesifisitas yang lebih rendah. Deviasi standar bersyarat - yaitu, sd dari $Y|X$ , lagi diperlakukan sebagai fungsi dari $X$ - adalah ukuran kebalikan dari spesifisitas. Rasio kemiringan kondisional terhadap sd bersyarat adalah rasio sinyal terhadap noise, dan kuadratnya disebut dalam psikometrik sebagai fungsi informasi.

Ray Koopman
sumber

Kedengarannya tidak benar. Kekhususan tidak melibatkan varian dan indera. dan spek. hanya berlaku untuk jumlah biner.

Frank Harrell

@ Ray: arti / definisi dari kedua istilah untuk regresi (kalibrasi kimia) sangat berbeda dari arti mereka dalam klasifikasi sehingga hal ini seharusnya lebih ditekankan oleh IMHO. Namun, saya belum pernah mendengar tentang definisi kekhususan Anda. Bisakah Anda memberikan referensi?

cbeleites tidak senang dengan SX