Bagaimana cara mendapatkan matriks kovarians untuk fit regresi terbatas?

Apakah ada cara mudah untuk mendapatkan kovarians parameter dari fit regresi terbatas?

Saya menggunakan fungsi PCLS dalam paket MGCV di R agar sesuai dengan regresi terbatas, namun saya terbuka untuk pendekatan lain. Kendala yang saya memaksakan adalah bahwa koefisien harus positif.

regression covariance Lembah kecil
sumber

Berapa besar sampel Anda?

jbowman

Apakah Anda tidak khawatir bahwa matriks kovarians tidak mungkin menjadi deskripsi yang berguna tentang ketidakpastian parameter untuk setiap perkiraan pada atau mendekati kendala?

whuber

Sampelnya sekitar 500. @whuber Ya itu yang memprihatinkan. Dan karena saya tahu beberapa perkiraan akan mendekati kendala, bahkan mungkin tidak masuk akal untuk memikirkan matriks kovarian. Namun karena fungsi PCLS melakukan semacam prosedur optimasi, Anda akan berpikir Anda bisa mendapatkan matriks Hessian, yang akan memberikan beberapa info.

Glen

@whuber Di bawah kendala nonnegativitas saya akan menghitung matriks kovarian ini pada koefisien estimasi bootstrap yang bukan nol saja ... Ie use betahat = bootout $ t; betahat [betahat == 0] = NA # abaikan angka nol karena mereka berada di batas kendala; vcov = cov (betahat, gunakan = "pairwise.complete.obs"); UK = sqrt (diag (vcov)) - ini akan menjadi deskripsi yang lebih baik dari estimasi parameter dalam batasan nonnegativitas. Jika Anda akan mensimulasikan dari matriks vcov ini, Anda hanya perlu menetapkan nilai negatif ke nol.

Tom Wenseleers

@ Tom, terima kasih. Kekhawatiran saya dilatarbelakangi oleh pemikiran bahwa matriks kovarians mungkin merupakan deskripsi yang buruk dari distribusi pengambilan sampel sama sekali, karena batasan batas. Mungkin, kemudian, penggunaan bootstrap atau prosedur resampling lainnya yang lebih baik bukanlah untuk memperkirakan matriks kovarian tetapi untuk mempelajari distribusi estimasi parameter secara langsung.

whuber

Jawaban:

Pada awalnya saya akan pergi dengan bootstrap yang sangat sederhana.

Pada dasarnya sesuatu sebagai berikut:

Buat kumpulan data baru dengan resampling pasangan $(x,y)$ .
Jalankan regresi Anda pada kumpulan data baru ini dan Anda akan mendapatkan beberapa parameter $\hat \beta$ .
Ulangi 1 dan 2 sebanyak mungkin. Sekarang Anda akan memiliki set besar $\hat \beta$
Sekarang ambil saja sampel kovarians Anda $\hat \beta$ .
Selesai

CarrKnight
sumber

Inilah yang saya pikirkan. Bisakah Anda menguraikan sedikit langkah 1? Sampel ulang dengan penggantian? Atau...?

Makro

Iya. Boot van vanilla adalah sampel dengan penggantian. jadi misalnya jika data Anda

(x, y) = {(1, 1); (1, 2); (1, 3)}

$(x,y) = \{(1,1);(1,2);(1,3)\}$ satu set data baru akan

(1, 3); (1, 3); (1, 1)

$(1,3);(1,3);(1,1)$ . Ini bukan satu-satunya jenis resampling mungkin saja. Satu lagi adalah menggunakan kembali semua

X

$X$ dan mengejutkan semua

Y

$Y$ oleh suara Tetapi resampling pasangan adalah yang paling sederhana dan paling agnostik

CarrKnight

Saya banyak membaca tentang bootstrap tetapi saya tidak pernah mendengar istilah vanilla bootstrap. Mungkin itu setara dengan apa yang disebut bootstrap biasa atau naif. Sejauh pasangan bootstrap vs residu bootstrap, pasangan bootstrap lebih sederhana tetapi apa yang Anda maksud dengan agnostik (tidak terlalu bergantung pada model?)?

Michael R. Chernick

@MichaelChernick: Vanilla adalah istilah sehari-hari untuk versi "biasa", "biasa", atau "sederhana".

kardinal

@MichaelChernick: Saya tidak yakin berapa banyak bahasa sehari - hari regional yang menggunakan vanilla mungkin. (Saya pikir Anda mungkin sudah mendengarnya.) Bagaimanapun, apa yang saya maksud (tetapi tidak mengatakan dengan sangat jelas) adalah bahwa saya hampir yakin CarrKnight tidak menggunakan istilah itu dengan cara bootstrap tertentu . :)

kardinal