Apakah OLS Efisien Asimptotik Di Bawah Heteroskedastisitas

Saya tahu bahwa OLS tidak bias tetapi tidak efisien di bawah heteroskedastisitas dalam pengaturan regresi linier.

Di Wikipedia

http://en.wikipedia.org/wiki/Minimum_mean_square_error

Estimator MMSE tidak bias asimtotik dan konvergen dalam distribusi ke distribusi normal: , di mana saya (x) adalah informasi Fisher dari x. Dengan demikian, estimator MMSE efisien asimptotik. $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

MMSE diklaim efisien asimptotik. Saya agak bingung di sini.

Apakah ini berarti OLS tidak efisien dalam sampel terbatas, tetapi efisien tanpa gejala di bawah heteroskedastisitas?

Kritik dari jawaban saat ini: Sejauh ini jawaban yang diajukan tidak membahas distribusi terbatas.

Terima kasih sebelumnya

least-squares heteroscedasticity efficiency Cagdas Ozgenc
sumber

Itu artikel wikipedia yang cukup panjang. Karena, di samping itu, ini dapat berubah, maukah Anda mengutip bagian yang menyebabkan kebingungan?

hejseb

Informasi Fisher berasal dari fungsi kemungkinan. Jadi secara implisit menyiratkan bahwa kemungkinan ditentukan dengan benar. yaitu pernyataan yang Anda rujuk berasumsi, jika ada heteroskedastisitas, regresi ditimbang sedemikian rupa sehingga heteroskedastisitas ditentukan dengan benar. Lihat en.wikipedia.org/wiki/Least_squares#Weighted_least_squares . Dalam praktiknya, kita sering tidak tahu bentuk heteroskedastisitas, jadi kita kadang-kadang menerima inefisiensi daripada mengambil kesempatan untuk membiasakan regresi dengan tidak menentukan skema pembobotan.

Zachary Blumenfeld

@ZacharyBlumenfeld Tidak ada asumsi tentang distribusi x dalam artikel. Bagaimana kita bisa mendapatkan informasi Fisher?

Cagdas Ozgenc

Lihat en.wikipedia.org/wiki/Fisher_information . Artikel ini menyiratkan distribusi pada

dan

ketika dibutuhkan ekspektasi di bagian definisi. Perhatikan bahwa homoseksualitas tidak pernah diasumsikan di sana. Dalam konteks OLS, homoscedacticity diasumsikan

matriks identitas. Heteroscedacticity memungkinkan untuk

, setiap

diagonal positif semi-pasti. Menggunakan

akan menghasilkan informasi Fisher yang berbeda dari yang digunakan

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

Zachary Blumenfeld

di mana saya dapat melihat bukti dari fakta ini bahwa "MMSE menyatu dalam distribusi ke distribusi normal?"

Hajir

Jawaban:

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ I

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

I

$I$

n \times n

$n\times n$

σ

$\sigma$

E {(\hat{x} - x) (\hat{x} - x)^{T}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

$D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

\log [L] = \log [ϕ (\hat{x} - x, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

I (x) = E [(\frac{\partial}{\partial x} \log [L])^{2} | x]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

\sqrt{n} (\hat{x} - x) \to^{d} N (0, I^{- 1} (x))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

$y$ $x$

E {y | x} = x^{'} β

$E\{y|x\}=x'\beta$

\log [L] = \log [ϕ (y - x^{'} β, σ I)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

\log [L] = \sum_{i = 1}^{n} \log [φ (y - x^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

I (β) = [σ (x x^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

$\beta$

\log [L] = \log [ϕ (y - x^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

Zachary Blumenfeld
sumber

Terima kasih untuk semua waktu yang Anda habiskan. Namun saya berpikir bahwa entri wiki adalah omong kosong total. MMSE tidak akan memberikan efisiensi, dan tidak ditentukan di mana sampel ditimbang dengan tepat. Selain itu bahkan jika kita mengasumsikan bahwa sampel tertimbang, itu masih bukan penaksir yang efisien kecuali distribusinya adalah Gaussian, yang juga tidak ditentukan.

Cagdas Ozgenc

@CagdasOzgenc Saya dengan hormat tidak setuju. Artikel ini diutarakan dengan cara Bayesian umum yang mungkin termasuk regresi, tetapi juga banyak model lainnya (tampaknya lebih ditujukan ke arah filter Kalman). Kemungkinan adalah penduga yang paling efisien ketika diketahui, ini adalah sifat dasar kemungkinan. Apa yang Anda katakan berlaku hanya untuk subset model regresi (meskipun di antara model yang paling banyak diterapkan) di mana normalitas diasumsikan ketika memperoleh kondisi urutan pertama.

Zachary Blumenfeld

Anda mengatakannya sendiri. Sayangnya artikel ini bukan tentang penduga kemungkinan. Ini adalah Minimum Mean Square Estimator, yang efisien ketika kondisi tertentu dipenuhi.

Cagdas Ozgenc

Baiklah saya setuju untuk tidak setuju :) Mungkin ada konflik dengan definisi MMSE antara bagaimana itu digunakan dalam regresi paling sering dan bagaimana itu diterapkan di sini dalam pengaturan yang lebih Bayesian. Mungkin mereka harus menciptakan nama baru untuk itu. Namun demikian kemungkinan (atau mungkin estimasi non-parametrik lainnya) tersirat ketika mengambil ekspektasi independen atas setiap residu kuadrat tunggal. terutama dalam pengaturan Bayesian (jika tidak, bagaimana kami memperkirakannya?). Setelah Googling saya menemukan banyak hasil yang mirip dengan yang ada di Wikipedia. Pokoknya saya setuju bahwa terminologi disalahgunakan.

Zachary Blumenfeld

Tidak, OLS tidak efisien dalam heteroskedastisitas. Efisiensi penduga diperoleh jika penduga memiliki varians paling kecil di antara penduga lain yang mungkin. Pernyataan tentang efisiensi dalam OLS dibuat terlepas dari membatasi distribusi estimator.

random_guy
sumber