cakupan interval kepercayaan dengan estimasi yang diregulasi

Misalkan saya mencoba untuk memperkirakan sejumlah besar parameter dari beberapa data dimensi tinggi, menggunakan beberapa jenis perkiraan yang diatur. Pembuat peraturan memperkenalkan beberapa bias ke dalam estimasi, tetapi masih bisa menjadi trade-off yang baik karena pengurangan varians harus lebih dari sekadar menebusnya.

Masalahnya muncul ketika saya ingin memperkirakan interval kepercayaan (mis. Menggunakan perkiraan Laplace atau bootstrap). Secara khusus, bias dalam estimasi saya menyebabkan cakupan yang buruk dalam interval kepercayaan saya, yang membuatnya sulit untuk menentukan properti frequentist dari estimator saya.

Saya telah menemukan beberapa makalah yang membahas masalah ini (misalnya, "Interval kepercayaan asimptotik dalam regresi ridge berdasarkan ekspansi Edgeworth" ), tetapi matematika sebagian besar di atas kepala saya. Dalam makalah yang ditautkan, Persamaan 92-93 tampaknya memberikan faktor koreksi untuk perkiraan yang diatur oleh regresi ridge, tetapi saya bertanya-tanya apakah ada prosedur yang baik yang akan bekerja dengan berbagai regulator berbeda.

Bahkan koreksi orde pertama akan sangat membantu.

confidence-interval bias regularization ridge-regression coverage-probability David J. Harris
sumber

+1 pertanyaan tepat waktu dan penting - meskipun saya tidak yakin siapa pun saat ini dapat menjawab ini dengan tegas (saya kira kita tidak tahu bagaimana melakukannya dengan benar dan jika saya tahu, saya akan memiliki beberapa Annals of statistik kertas berbaris). Pertanyaan terkait: stats.stackexchange.com/questions/91462/… Kita tahu bahwa bootstrap bekerja murni dalam situasi seperti itu tetapi itu tidak akan membantu.

Momo

Terima kasih untuk link. Bisakah Anda menjelaskan apa yang dimaksud tentang bootstrap?

David J. Harris

Juga, saya masih mengulurkan harapan bahwa seseorang dapat memiliki metode yang bekerja dengan baik untuk regulator non-sparse. Saya membayangkan bahwa hukuman L1 membuat segalanya menjadi sangat sulit karena semua perkiraan menumpuk di nol. Terima kasih lagi.

David J. Harris

Dave, apakah interval seleksi yang disebut Tibshirani dan rekan penulisnya cocok? Mereka telah mengusahakannya setidaknya untuk Lasso, LARS, & regresi bertahap melalui sesuatu yang disebut bentuk polihedral . Dari bahwa Anda pada dasarnya dapat membentuk interval kepercayaan dengan cara yang biasa tetapi menggunakan terpotong normal dengan batas & informasi dari data. Detail dangkal ditambah tautan ke makalah yang sebenarnya (sebagian besar ada di ArXiv) ada di Taylor & Tibshirani (2015, PNAS) .

c

$c$

d

$d$

Pasang kembali Monica - G. Simpson

Kertas oleh Ruben Dezeure, Peter Buhlmann, Lukas Meier dan Nicolai Meinshausen adalah untuk yang terbaik dari pengetahuan saya akun terbaru dan komprehensif tentang inferensi dalam pengaturan dimensi tinggi.

NRH

Jawaban:

Ada baru-baru ini kertas yang menangani tepatnya pertanyaan Anda (jika Anda ingin melakukan regresi pada data Anda, seperti yang saya mengerti) dan, untungnya, memberikan ekspresi yang mudah untuk menghitung (Interval Keyakinan dan Pengujian Hipotesis untuk High-Dimensional Regresi).

Juga, Anda mungkin tertarik pada karya terbaru oleh Peter Bühlmann tentang topik itu. Tapi saya percaya bahwa makalah pertama memberi Anda apa yang Anda cari, dan isinya lebih mudah dicerna (saya juga bukan ahli statistik).

jpmuc
sumber

+1 kertas menarik. Jadi, tampaknya ada setidaknya tiga ide yang saling bersaing tentang cara mendekati masalah-masalah ini dan dari apa yang saya lihat mereka tidak terkait erat. Lalu ada juga ketidakmungkinan teorema dari journals.cambridge.org/action/... Akan menarik untuk melihat bagaimana ini bermain keluar dan apa yang muncul sebagai kanonik.

Momo

Terima kasih. Ini mungkin bukan sesuatu yang benar-benar dapat saya implementasikan, tetapi sepertinya matematika bekerja untuk berbagai perkiraan yang diatur.

David J. Harris

http://cran.r-project.org/web/packages/hdi/index.html

Apakah ini yang Anda cari?

Description
Computes confidence intervals for the l1-norm of groups of regression parameters in a hierarchical
clustering tree.

Tagar
sumber

Saya berharap untuk sesuatu yang akan bekerja untuk berbagai regulator (kebanyakan non-jarang). Terimakasih Meskipun.

David J. Harris