Apa yang dimaksud dengan properti oracle dari estimator?

Apa yang dimaksud dengan properti oracle dari estimator?
Apa tujuan pemodelan yang relevan dengan properti oracle (prediktif, jelas, ...)?

Baik penjelasan teoritis yang ketat dan (terutama) intuitif dipersilakan.

feature-selection model-selection estimators oracle Richard Hardy
sumber

Akan menyenangkan untuk memiliki jawaban satu atap yang solid untuk pertanyaan itu. Beberapa materi terkait: Zou "The Adaptive LASSO dan properti oraclenya" , hal. 1 (hal. 1418).

Richard Hardy

Jawaban:

Seorang oracle tahu yang sebenarnya: ia tahu bagian yang sebenarnya dan bersedia untuk menindaklanjutinya. Properti oracle adalah bahwa distribusi asimtotik penduga sama dengan distribusi asimptotik MLE hanya pada dukungan yang sebenarnya. Artinya, estimator beradaptasi untuk mengetahui dukungan yang sebenarnya tanpa membayar harga (dalam hal distribusi asimptotik.)

Dengan sifat-sifat optimalitas asimptotik dari MLE yang dibahas, misalnya, statistik teoritis Keener dalam teorema 9.14, kita tahu, di bawah beberapa kondisi teknis yang berlaku ketika, misalnya, kesalahannya adalah Gaussian, yang mana kita mengasumsikan bahwa adalah koefisien sebenarnya pada yang benar dukungan . Perhatikan bahwa varian distribusi asimptotik adalah kebalikan dari informasi Fisher, menunjukkan bahwa efisien asimptotik. Karena MLE mengetahui dukungan yang sebenarnya mencapai ini, itu juga diperlukan sebagai bagian dari properti oracle.

\sqrt{n} ({\hat{β}}_{S} - β_{S}^{*}) \to N (0, {saya}^{- 1} (β_{S}^{*})),

$\sqrt{n} \left( \hat\beta_S - \beta^*_S \right) \to \mathcal{N} (0, I^{-1}(\beta^*_S)),$

β_{S}^{*}

$\beta^*_S$

S

$S$

{\hat{β}}_{S}

$\hat\beta_S$

Namun, kami membayar harga non-simtotik yang curam: lihat, misalnya,

Hannes Leeb, Benedikt M. Pötscher, penaksir Jarang dan properti oracle, atau kembalinya penaksir Hodges, Jurnal Ekonometrika, Volume 142, Edisi 1, 2008, Halaman 201-211,

yang menunjukkan bahwa risiko "penduga oracle" (dalam pengertian Fan dan Li, 2001) memiliki supremum yang menyimpang hingga tak terbatas.

pengguna795305
sumber

-jadi properti oracle untuk laso menyatakan followng: properti oracle adalah bahwa distribusi asimtotik penduga adalah sama dengan distribusi asimtotik dari regresi logistik LASSO hanya pada dukungan sejati

Annalise Azzopardi

Definisi properti Oracle sangat terkait dengan konteksnya. Jawaban yang sangat singkat namun tepat dalam regresi linier (tepatnya dimensi tinggi) adalah ini:

estimator oracle harus konsisten dalam estimasi parameter dan pemilihan variabel.

Perhatikan bahwa estimator yang konsisten dalam pemilihan variabel tidak selalu konsisten dalam estimasi parameter. Lihat kertas laso adaptif untuk definisi matematika atau cukup lihat slide ini .

TPArrow
sumber

Dalam makalah adaLASSO (ditautkan dalam komentar saya) mereka mengatakan tingkat konvergensi juga harus optimal (tambahan untuk estimasi konsisten). Itu adalah konsep yang penting dan agak sulit. Bisakah Anda menguraikan itu?

Richard Hardy

\sqrt{n}

$\sqrt{n}$

n

$n$

Jadi, apakah Anda menyarankan untuk menghapus persyaratan tingkat yang optimal dalam definisi properti oracle?

Richard Hardy

Dalam definisi umum, saya tidak melihat kewajiban untuk menyebutkan kecepatan. Namun secara teori, kita perlu mengetahui / menentukan kecepatan optimal, jelas.

TPArrow

Terima kasih. Saya memilih ini karena kita berbicara tentang definisi di sini, jadi saya berusaha lebih tepat.

Richard Hardy