Mengapa sulit untuk memasukkan ketidakpastian dalam efek acak ketika membuat prediksi dari model campuran?

Ada beberapa utas tentang R-sig-ME tentang mendapatkan interval kepercayaan untuk prediksi menggunakan lme4dan nlmedalam R. Misalnya di sini dan di sini pada tahun 2010, termasuk beberapa komentar oleh Dougals Bates, salah satu penulis kedua paket. Saya ragu untuk mengutipnya kata demi kata, karena takut mereka dikeluarkan dari konteks, tetapi bagaimanapun, satu komentar yang dia buat adalah

"Anda menggabungkan parameter dan variabel acak dalam prediksi Anda dan saya tidak yakin apa artinya untuk menilai variabilitas prediksi tersebut. Seorang Bayesian mungkin dapat memahaminya, tetapi saya tidak bisa memahaminya. " https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Saya tahu bahwa paket Bayesian glmm MCMCglmmdapat menghasilkan interval yang kredibel untuk prediksi.

Akhir-akhir ini, versi pengembangan lme4pada github telah diberikan predictmetode, tetapi disertai dengan komentar berikut:

"@note Tidak ada pilihan untuk menghitung kesalahan prediksi standar karena sulit untuk mendefinisikan metode yang efisien yang menggabungkan ketidakpastian dalam parameter varians; kami merekomendasikan \ code {\ link {bootMer}} untuk tugas ini." https://github.com/lme4/lme4/blob/master/R/predict.R

Jadi, mengapa sulit untuk memasukkan ketidakpastian dalam efek acak ketika membuat prediksi dari model campuran dalam pengaturan yang sering terjadi?

mixed-model P Sellaz
sumber

Jawaban:

Saya tidak yakin tentang komentar metode prediksi tetapi masalah utama terkait dengan menghasilkan langkah-langkah varians mudah ditafsirkan, bukan langkah-langkah varians per se. Bates tidak berkomentar dalam kutipan pertama tentang apakah Anda bisa melakukannya, hanya apa artinya.

Ambil model multi-level sederhana dari desain pengukuran berulang dua tingkat. Katakanlah Anda memiliki data berikut ini di mana setiap baris adalah subjek:

masukkan deskripsi gambar di sini

Dalam lmermodel tersebut dapat dinyatakan sebagai:

y ~ x + (1|subject)

Anda memperkirakan nilai y dari x sebagai efek tetap (perbedaan antara A dan B); dan mencegat efek acak **. Perhatikan dengan seksama pada grafik dan catat bahwa walaupun ada variabilitas dalam efek x untuk setiap subjek (kemiringan setiap garis) relatif kecil dibandingkan dengan variabilitas antar subjek (ketinggian setiap baris).

Model mem-parsing dua set variabilitas ini dan masing-masing bermakna. Anda dapat menggunakan efek acak untuk memprediksi ketinggian garis dan Anda dapat menggunakan efek tetap x untuk memprediksi kemiringan. Anda bahkan dapat menggunakan keduanya dikombinasikan untuk mengerjakan nilai-y individual kita. Tapi yang tidak bisa Anda lakukan adalah benar-benar mengatakan sesuatu yang berarti sehubungan dengan model Anda saat Anda menggabungkan variabilitas lereng dan ketinggian garis secara bersamaan. Anda perlu berbicara tentang variabilitas lereng dan ketinggian garis secara terpisah. Itu fitur dari model, bukan kewajiban.

Anda akan memiliki variabilitas efek x yang relatif mudah diperkirakan. Anda bisa mengatakan sesuatu tentang interval kepercayaan di sekitar itu. Tetapi perhatikan bahwa, interval kepercayaan ini akan memiliki hubungan kecil dengan prediksi nilai y tertentu karena nilai y dipengaruhi oleh kombinasi efek dan varians subjek yang berbeda dari variabilitas efek saja.

Ketika Bates menulis hal-hal seperti yang Anda kutip, saya membayangkan dia sering memikirkan desain multi-level yang jauh lebih kompleks yang bahkan tidak mendekati. Tetapi bahkan jika Anda hanya mempertimbangkan contoh sederhana ini Anda turun ke bertanya-tanya apa arti sebenarnya yang dapat diekstraksi dari menggabungkan semua langkah-langkah varians bersama.

** Saya mengabaikan efek tetap intersep untuk kesederhanaan dan hanya memperlakukannya sebagai efek acak. Anda dapat mengekstraksi kesimpulan serupa dari model yang bahkan lebih sederhana dengan intersepsi acak dan tetap saja tetapi saya pikir itu akan lebih sulit untuk disampaikan. Dalam hal itu, sekali lagi, efek tetap dan efek acak diuraikan karena suatu alasan dan berarti hal-hal yang berbeda dan menempatkan variabilitas mereka kembali bersama untuk nilai-nilai yang diprediksi menyebabkan variabilitas itu menjadi sedikit masuk akal sehubungan dengan model.

John
sumber

Jadi, apa yang saya dengar Anda katakan adalah bahwa ini berasal dari gergaji tua yang sama tentang tidak yakin apakah kita ingin memperlakukan varians subjek sebagai kesalahan atau memartisi secara terpisah dan berpura-pura itu tidak ada? Apakah itu benar?

russellpierce

Saya belum pernah mendengar gergaji tua itu. Saya tidak pernah mendengar bahwa Anda harus berpura-pura perbedaan subjek tidak ada. Tapi saya kira itu terkait dengan contoh khusus ini. Model mem-parsing varians. Fitur dari proses pemodelan ini adalah bagaimana Anda dapat memahami model. Jika Anda menggabungkan kembali varians Anda mengalahkan tujuan model di tempat pertama. Saya tidak mengatakan mengabaikan varians subjek, hanya saja efek acak subjek terpisah. Anda mungkin ingin membaca Blouin & Riopelle (2005) dan melihat bagaimana makna SE berubah ketika Anda menggabungkan varians.

John

Mungkin saya kehilangan sesuatu, tetapi ini sangat mirip dengan bolak-balik yang orang miliki tentang ukuran efek apa yang terbaik untuk digunakan dalam Subjek / Ukuran Berulang ANOVA dan bagaimana interval kepercayaan itu diplot dengan baik ... tapi saya kira setelah saya baca hal yang telah Anda tunjukkan kepada saya. Saya tidak akan kehilangan apa pun yang hilang dari saya. :) Terima kasih.

russellpierce

Seperti yang saya katakan, mereka terkait. Saya tidak tahu ada bolak-balik, akan senang melihat referensi. Faktanya adalah, dua CI dan efek yang Anda bicarakan memiliki arti yang berbeda. Jadi, Anda menggunakan yang menyampaikan maksud Anda. Dan Anda harus membuatnya tampak masuk akal. [Sulit untuk dibantah (walaupun beberapa orang) bahwa menempatkan CI yang memasukkan varians subjek di sekitar rata-rata dalam desain tindakan berulang dan menggunakannya untuk mengatakan sesuatu tentang efek tindakan berulang itu masuk akal.]

John

Saya belum melihat apa pun dalam literatur, hanya banyak tangan yang meremas-remas dan upaya untuk menebak apa yang akan dipikirkan oleh reviewer du jour.

russellpierce

Untuk waktu yang lama saya bertanya-tanya tentang kepercayaan yang tampaknya umum bahwa ada beberapa perbedaan mendasar dalam efek tetap dan acak untuk model efek campuran (umumnya nonlinier). Kepercayaan ini misalnya dinyatakan oleh Bates dalam tanggapan berikut

https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Bates dengan jelas menyatakan bahwa ia percaya ada perbedaan mendasar antara efek tetap dan acak sehingga tidak dapat digabungkan. Saya pikir dia salah dan saya berharap dapat meyakinkan beberapa pembaca tentang sudut pandang alternatif. Saya mengambil pendekatan yang sering jadi apa yang ingin saya lakukan adalah mendefinisikan gagasan tentang kemungkinan profil untuk fungsi efek tetap dan acak. Untuk memotivasi diskusi misalkan kita memiliki model dua parameter dengan parameter x dan u (sejauh ini tidak ada efek acak). Biarkan menjadi fungsi kemungkinan di mana kita menekan referensi apa pun ke data. Biarkan menjadi fungsi (dan bagus) dari x dan u. Kemungkinan profil untuk fungsi diberikan oleh $L(x,u)$ $g(x,u)$ $P_g(t)$ $g$

P_{g} (t) = max_{x, u} {L (x, u) | g (x, u) = t} \eqno (1)

$P_g(t)=\max_{x,u} \{L(x,u)\ |\ g(x,u)=t \} \eqno(1)$

Saya percaya bahwa tidak ada yang akan berdebat dengan ini. Sekarang anggaplah kita memiliki distribusi probabilitas untuk u. Maka saya akan mengklaim bahwa kemungkinan profil untuk masih masuk akal, tetapi kita harus memodifikasi (1) dengan memasukkan yang sebelumnya. $p(u)$ $g$

P_{g} (t) = max_{x, u} {L (x, u) p (u) | g (x, u) = t} \eqno (2)

$P_g(t)=\max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=t \} \eqno(2)$ Perhatikan bahwa karena adalah parameter dengan a sebelum itu persis sama dengan apa yang disebut sebagai efek acak. Jadi mengapa banyak orang berpikir bahwa parameter efek acak agak berbeda. Perbedaannya saya pikir berasal dari praktik biasa estimasi parameter untuk mereka. Apa yang membuat efek acak `` berbeda '' adalah bahwa ada banyak dari mereka dalam banyak model. Sebagai hasil untuk mendapatkan perkiraan yang berguna untuk efek tetap (atau parameter lainnya), perlu untuk memperlakukan efek acak dengan cara yang berbeda. Apa yang kami lakukan adalah mengintegrasikan mereka dari model. Dalam model di atas kita akan membentuk kemungkinan di mana Sekarang

u

$u$

F (x)

$F(x)$

F (x) = \int L (x, u) p (u) d u

$F(x) = \int L(x,u)p(u)du$

u

$u$ hilang. Jadi, jika yang kita miliki adalah tampaknya tidak masuk akal untuk berbicara tentang kemungkinan profil untuk beberapa fungsi .

F (x)

$F(x)$

g (x, u)

$g(x,u)$

Jadi untuk mendapatkan informasi tentang fungsi kita tidak boleh berintegrasi dengan parameter . Tetapi apa yang terjadi dalam kasus di mana ada banyak parameter efek acak. Lalu saya mengklaim bahwa kita harus berintegrasi di atas `` sebagian besar '' tetapi tidak semua dari mereka dalam arti saya akan membuat tepat. Untuk memotivasi konstruksi, biarkan ada efek acak . Pertimbangkan kasus khusus di mana fungsi hanya bergantung pada , dan sebenarnya adalah fungsi yang paling sederhana yang bisa dibayangkan, . Integrasikan atas efek acak untuk mendapatkan $g(x,u)$ $u$ $n$ $u=(u_1,u_2,...,u_{n-1},u_n)$ $g(x,u)$ $u_n$ $g(x,u)=u_n$ $u_1,u_2,...,u_{n-1}$

F (x, u_{n}) = \int L (x, u_{1}, . . ., u_{n}) p (u_{1}, . . ., u_{n})) d u_{1} d u_{2} . . . d u_{n - 1} \eqno (4)

$F(x,u_n) = \int L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_{n-1}\eqno(4)$ jadi seperti sebelumnya kita dapat membentuk kemungkinan profil Cara menggeneralisasi sehingga masuk akal untuk fungsi sewenang-wenang . Perhatikan bahwa definisi pada sama dengan Untuk melihat catatan ini bahwa untuk kasus sederhana , sama dengan

P_{g} (t) = max_{x, u_{n}} {F (x, u_{n}) | u_{n} = t} \eqno (3)

$P_g(t)=\max_{x,u_n} \{F(x,u_n) | u_n=t \} \eqno(3)$

(3)

$(3)$

g (x, u)

$g(x,u)$

F (x, u_{n})

$F(x,u_n)$

(4)

$(4)$

F (x, s) = lim_{ϵ \to 0} \frac{1}{ϵ} \int_{{(x, u_{n}) | s - ϵ / 2 < g (x, u_{n}) < s + ϵ / 2}} L (x, u_{1}, . . ., u_{n}) p (u_{1}, . . ., u_{n})) d u_{1} d u_{2} . . . d u_{n} \eqno (5)

$F(x,s) = \lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<g(x,u_n)<s+\epsilon/2\}} L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_n\eqno(5)$

g (x, u) = u_{n}

$g(x,u)=u_n$

(5)

$(5)$

F (x, s) = lim_{ϵ \to 0} \frac{1}{ϵ} \int_{{(x, u_{n}) | s - ϵ / 2 < u_{n} < s + ϵ / 2}} F (x, u_{n}) d u_{n} \eqno (6)

$F(x,s)=\lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<u_n<s+\epsilon/2\}} F(x,u_n)du_n\eqno(6)$

Untuk fungsi umum kita membentuk fungsi didefinisikan oleh dan menghitung kemungkinan profil $g(x,u)$ $F(x,s)$ $(5)$

P_{g} (s) = max_{x, u} {F (x, s) | g (x, u) = s} \eqno (3)

$P_g(s)=\max_{x,u} \{F(x,s) | g(x,u)=s \} \eqno(3)$

Kemungkinan profil ini adalah konsep yang didefinisikan dengan baik dan berdiri sendiri. Namun untuk menjadi berguna dalam praktiknya seseorang harus dapat menghitung nilainya, setidaknya sekitar. Saya percaya bahwa untuk banyak model fungsi dapat didekati dengan cukup baik menggunakan varian dari pendekatan Laplace. Tentukan oleh Misalkan H adalah hessian dari log fungsi sehubungan dengan parameter dan . $F(x,s)$ $\hat x(s),\hat u(s)$

\hat{x} (s), \hat{u} (s) = max_{x, u} {L (x, u) p (u) | g (x, u) = s}

$\hat x(s),\hat u(s)= \max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=s\}$

- L (x, u) p (u)

$-L(x,u)p(u)$

x

$x$

u

$u$

Set level adalah submanifold dimensi dari ruang dimensi mana terdapat efek tetap dan efek acak. Kita perlu mengintegrasikan form ke manifold ini di mana semua dilinearisasi pada Ini melibatkan sedikit geometri diferensial dasar. Asumsikan Dengan reparameterisasi kita dapat mengasumsikan bahwa dan . Kemudian pertimbangkan petanya $g$ $m+n-1$ $n+m$ $m$ $n$ $n$ $du_1\wedge du_2\wedge\ldots\wedge du_n$ $\hat x(s),\hat u(s)$ $g_{x_n}(\hat x(s),\hat u(s))\ne 0$ $\hat x(s)=0$ $\hat u(s)=0$

(x_{1}, x_{2}, \dots, x_{m - 1}, u_{1}, u_{2}, \dots, u_{n}) \to (x_{1}, x_{2}, \dots, x_{m - 1}, \frac{- \sum_{i = 1}^{m - 1} g_{x_{i}} x_{i} - \sum_{i = 1}^{n} g_{u_{i}} u_{i}}{g_{x_{m}}}, u_{1}, u_{2}, \dots, u_{n})

$(x_1,x_2,\ldots,x_{m-1},u_1,u_2,\ldots,u_n) \rightarrow (x_1,x_2,\ldots,x_{m-1}, {-\sum_{i=1}^{m-1}g_{x_i}x_i-\sum_{i=1}^ng_{u_i}u_i\over g_{x_m}}, u_1,u_2,\ldots,u_n)$ mana digunakan untuk menunjukkan turunan parsial dari sehubungan dengan dievaluasi pada titik maksimum. Ini adalah peta linear dari ruang dimensi ke ruang singgung set level . Kita dapat menggunakannya untuk menghitung integral yang diinginkan. Pertama, kemunduran dari 1 bentuk hanyalah diri mereka sendiri.

g_{x_{i}}

$g_{x_i}$

g

$g$

x_{i}

$x_i$

m + n - 1

$m+n-1$

g

$g$

d u_{i}

$du_i$

Kemunduran Hessian adalah bentuk kuadratik

T_{i, j} = H_{i + m, j + m} + \frac{g_{u_{i}} g_{u_{j}}}{{g_{x_{m}}}^{2}} H_{m, m} \rm for 1 <= i, j <= n

$T_{i,j} =H_{i+m,j+m}+{g_{u_i}g_{u_j}\over {g_{x_m}}^2}H_{m,m}\quad \hbox{\rm for} \ 1<=i,j<=n$

Jadi integral dapat dihitung (atau diperkirakan) melalui pendekatan Laplace yang merupakan rumus umum yang melibatkan logaritma penentu , yang dihitung melalui dekomposisi Cholesky. Nilai perkiraan Laplace dari integral adalah manaadalah penentu. kita masih harus berurusan dengan lebar dari set level sebagai Untuk pesanan pertama ini memiliki nilai di mana adalah vektor turunan parsial dari $T$

L (\hat{x} (s), \hat{u} (s)) | - T |^{\frac{1}{2}}

$L(\hat x(s),\hat u(s))|-T|^{1\over2}$

| \cdot |

$|\cdot|$

g

$g$

ϵ \to 0

$\epsilon\rightarrow 0$

ϵ / ‖ \nabla g (\hat{x} (s), \hat{u} (s)) ‖

$\epsilon/\|\nabla g(\hat x(s),\hat u(s))\|$

\nabla g (\hat{x} (s), \hat{u} (s)))

$\nabla g(\hat x(s),\hat u(s)))$

g

$g$

(g_{x_{1}}, g_{x_{2}}, \dots, g_{x_{m}}, g_{u_{1}}, g_{u_{2}}, \dots, g_{u_{n}})

$( g_{x_1}, g_{x_2}, \ldots, g_{x_m}, g_{u_1}, g_{u_2}, \ldots, g_{u_n})$ sehingga nilai kemungkinan pada set level diberikan oleh Ini adalah perkiraan yang tepat untuk digunakan untuk menghitung kemungkinan profil.

g

$g$

\frac{L (\hat{x} (s), \hat{u} (s)) | - T |^{\frac{1}{2}}}{‖ \nabla g (\hat{x} (s), \hat{u} (s)) ‖}

${L(\hat x(s),\hat u(s))|-T|^{1\over2}\over \|\nabla g(\hat x(s),\hat u(s))\|}$

dave fournier
sumber