Menghitung reliabilitas antar penilai dalam R dengan jumlah peringkat variabel?

9

Wikipedia menyarankan bahwa salah satu cara untuk melihat reliabilitas antar penilai adalah dengan menggunakan model efek acak untuk menghitung korelasi intraclass . Contoh pembicaraan korelasi intraclass tentang melihat

σα2σα2+σϵ2

dari model

Yij=μ+αi+ϵij

"Di mana Y ij adalah pengamatan ke- j dalam kelompok ke- i , μ adalah rata-rata keseluruhan yang tidak teramati, α i adalah efek acak yang tidak teramati yang dibagi oleh semua nilai dalam kelompok i, dan ε ij adalah istilah kebisingan yang tidak teramati."

Ini adalah model yang menarik terutama karena dalam data saya tidak ada penilai yang menilai semua hal (meskipun sebagian besar memiliki nilai 20+), dan hal-hal dinilai dengan jumlah variabel beberapa kali (biasanya 3-4).

Pertanyaan # 0: Apakah "grup i" dalam contoh itu ("grup i") adalah pengelompokan hal-hal yang dinilai?

Pertanyaan # 1: Jika saya mencari reliabilitas antar-penilai, bukankah saya memerlukan model efek acak dengan dua istilah, satu untuk penilai, dan satu untuk nilai barang? Bagaimanapun, keduanya memiliki variasi yang mungkin.

Pertanyaan # 2: Bagaimana saya mengekspresikan model ini dalam R?

Sepertinya pertanyaan ini memiliki proposal yang tampak bagus:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

Saya melihat beberapa pertanyaan , dan sintaks parameter "acak" untuk lme tidak jelas bagi saya. Saya membaca halaman bantuan untuk lme , tetapi deskripsi untuk "acak" tidak dapat dipahami oleh saya tanpa contoh.

Pertanyaan ini agak mirip dengan panjang daftar dari pertanyaan , dengan ini yang paling dekat. Namun, sebagian besar tidak membahas R secara detail.

makan siang
sumber
Model efek campuran dan efek acak dikodekan dengan cara yang sama dalam R. Lihat ncbi.nlm.nih.gov/pmc/articles/PMC3402032 untuk informasi lebih lanjut!
noé

Jawaban:

6

Model yang Anda rujuk dalam pertanyaan Anda disebut "model satu arah." Ini mengasumsikan bahwa efek baris acak adalah satu-satunya sumber varians sistematis. Dalam hal reliabilitas antar penilai, baris berhubungan dengan objek pengukuran (misalnya, subjek).

xij=μ+ri+wij
μriwij

Namun, ada juga "model dua arah." Ini mengasumsikan bahwa ada varians yang terkait dengan efek baris acak serta efek kolom acak atau tetap. Dalam hal reliabilitas antar penilai, kolom sesuai dengan sumber pengukuran (misalnya, penilai).

xij=μ+ri+cj+rcij+eij
xij=μ+ri+cj+eij
μricjrcijeij

xijx¯i

Berikut adalah definisi jika Anda menganggap efek kolom acak:

ICC(C,1)=σr2σr2+(σrc2+σe2) or σr2σr2+σe2
ICC(C,k)=σr2σr2+(σrc2+σe2)/k or σr2σr2+σe2/k
ICC(A,1)=σr2σr2+(σc2+σrc2+σe2) or σr2σr2+(σc2+σe2)
ICC(A,k)=σr2σr2+(σc2+σrc2+σe2)/k or σr2σr2+(σc2+σe2)/k

Anda juga dapat memperkirakan nilai-nilai ini menggunakan kuadrat rata-rata dari ANOVA:

ICC(C,1)=MSRMSEMSR+(k1)MSE
ICC(C,k)=MSRMSEMSR
ICC(A,1)=MSRMSEMSR+(k1)MSE+k/n(MSCMSE)
ICC(A,k)=MSRMSEMSR+(MSCMSE)/n

Anda dapat menghitung koefisien ini dalam R menggunakan paket irr :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Referensi

McGraw, KO, & Wong, SP (1996). Membentuk kesimpulan tentang beberapa koefisien korelasi intraclass. Metode Psikologis, 1 (1), 30-46.

Shrout, PE, & Fleiss, JL (1979). Korelasi intraclass: Penggunaan dalam menilai keandalan penilai. Buletin Psikologis, 86 (2), 420–428.

Jeffrey Girard
sumber
Terima kasih atas jawaban Anda! Dalam model dua arah dalam icc di R, bagaimana kami mewakili pemilihan acak penilai per baris? Maksudku, bayangkan kita memiliki kumpulan 100 penilai, dan setiap subjek dinilai oleh sekitar 5-10 dari mereka. Bisakah skenario seperti ini ditangani oleh paket icc?
michal
Setiap penilai harus memiliki kolomnya sendiri dalam matriks yang Anda berikan ke fungsi icc. Jika tidak, perhitungannya sama untuk model efek acak dan campuran - perbedaan utamanya adalah interpretasi (seberapa digeneralisasikan hasilnya dapat dipertimbangkan).
Jeffrey Girard
Terima kasih atas jawabannya! Saya mencoba melakukan itu, memiliki sebagian besar NA dalam sel (dan hanya beberapa nilai dengan angka aktual per kolom, di mana penilai tertentu menilai subjek yang sesuai dengan baris). Namun, dalam output saya mendapatkan teks yang mengatakan tidak ada subjek yang direkam (misalnya Subjek = 0 Penilai = 9). Mungkin itu berarti bahwa di mana setidaknya satu NA ditemukan seluruh baris disaring? Tapi bagaimana saya bisa menunjukkan peringkat yang hilang dari penilai?
michal
Hmm yang mungkin menjadi batasan fungsi icc khusus ini. Saya memiliki skrip MATLAB yang dapat menangani situasi ini. Apakah Anda memiliki akses ke MATLAB?
Jeffrey Girard
1
Ya, lihat situs web saya: mr reliable.jmgirard.com
Jeffrey Girard