Contoh penduga yang konsisten dan bias?

13

Benar-benar bingung tentang yang satu ini. Saya benar-benar ingin contoh atau situasi di mana penduga B akan konsisten dan bias.

mathematical-statistics estimation econometrics Jimmy Menggoyangkan
sumber

3

Ini untuk kelas?

Glen_b -Reinstate Monica

5

Saya pikir spesifikasi terlambat yang Anda cari contoh deret waktu mengubah ini menjadi pertanyaan yang berbeda, karena akan membatalkan jawaban yang sangat baik yang sudah disediakan. Tapi ini baik-baik saja - Anda dapat mengajukan pertanyaan baru.

Sycorax berkata Reinstate Monica

6

Saya melihat Anda telah mengubah pertanyaan Anda. Mengingat beberapa jawaban sudah berurusan dengan pertanyaan Anda sebelumnya, saya menyarankan Anda untuk mengubahnya kembali dan memposting pertanyaan baru khusus untuk model deret waktu.

JohnK

3

Mengejutkan bahwa meskipun Anda meminta penduga terkait deret waktu, tidak ada yang menyebutkan OLS untuk AR (1). Estimator itu bias, tetapi konsisten, dan cukup mudah ditampilkan (dan googling akan memberi Anda banyak materi tentang ini). Sunting: ini muncul karena permintaan deret waktu merupakan tambahan terlambat, yang akan menjelaskan kurangnya jawaban semacam itu ...

hejseb

2

Berikut ini contoh yang cukup sepele:

{\bar{X}}_{n} + ϵ / n

$\bar{X}_n + \epsilon / n$ ,

ϵ \neq 0

$\epsilon \neq 0$ .

dsaxton

23

Contoh paling sederhana yang dapat saya pikirkan adalah varians sampel yang muncul secara intuitif bagi kebanyakan dari kita, yaitu jumlah deviasi kuadrat dibagi dengan $n$ bukannya $n-1$ :

S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S_n^2 = \frac{1}{n} \sum_{i=1}^n \left(X_i-\bar{X} \right)^2$

Mudah untuk menunjukkan bahwa $E\left(S_n^2 \right)=\frac{n-1}{n} \sigma^2$ dan estimatornya bias. Tetapi dengan asumsi varian hingga $\sigma^2$ , amati bahwa bias menjadi nol sebagai $n \to \infty$ karena

E (S_{n}^{2}) - σ^{2} = - \frac{1}{n} σ^{2}

$E\left(S_n^2 \right)-\sigma^2 = -\frac{1}{n}\sigma^2$

Dapat juga ditunjukkan bahwa varians dari estimator cenderung nol dan sehingga estimator bertemu dalam mean-square . Oleh karena itu, probabilitasnya juga konvergen .

JohnK
sumber

1

Ini adalah contoh yang berguna, meskipun mungkin menerapkan interpretasi yang agak lemah "bias" di sini (yang digunakan agak ambigu dalam pertanyaan itu sendiri). Orang juga bisa meminta sesuatu yang lebih kuat, misalnya urutan penduga yang konsisten, tetapi dengan bias yang tidak hilang bahkan tanpa gejala.

kardinal

@ cardinal Bias harus menghilang secara asimtotik agar estimator konsisten, bukan?

JohnK

3

Nggak. (Lihat aliran komentar untuk lebih jelasnya.)

kardinal

Saya akan berpikir itu akan menjadi panggilan membantu estimator Anda

daripada

, seperti

yang paling biasanya mengacu pada estimator berisi, sedangkan

sering mengacu pada MLE.

{\hat{σ}}^{2}

$\hat \sigma^2$

S^{2}

$S^2$

S^{2}

$S^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

Cliff AB

@CliffAB Ya, ini yang ditunjukkan oleh indeks

, jumlah deviasi kuadrat dibagi dengan

, dan bukan

konvensional .

n

$n$

n

$n$

n - 1

$n-1$

JohnK

9

Contoh sederhana akan memperkirakan parameter diberikan observasi iid $\theta > 0$ $n$ . $y_i \sim \text{Uniform}\left[0, \,\theta\right]$

$\hat{\theta}_n = \max\left\{y_1, \ldots, y_n\right\}$ $n$ $\mathbb{E}\left[\theta_n\right] < \theta$ $\theta$

Adrian
sumber

6

Pertimbangkan penaksir yang bias dan konsisten dan urutan konvergen ke 1 ( tidak perlu acak) dan bentuk . Itu bias, tetapi konsisten karena konvergen ke 1. $T_n$ $\alpha_n$ $\alpha_n$ $\alpha_nT_n$ $\alpha_n$

Dari wikipedia:

Secara longgar, estimator dari parameter dikatakan konsisten, jika konvergen dalam probabilitas dengan nilai sebenarnya dari parameter: $T_n$ $\theta$

\underset{n \to \infty}{plim} T_{n} = θ .

$\underset{n\to\infty}{\operatorname{plim}}\;T_n = \theta.$

Sekarang ingat bahwa bias estimator didefinisikan sebagai:

{Bias}_{θ} [\hat{θ}] = E_{θ} [\hat{θ}] - θ

$\operatorname{Bias}_\theta[\,\hat\theta\,] = \operatorname{E}_\theta[\,\hat{\theta}\,]-\theta$

Biasnya memang bukan nol, dan konvergensi dalam probabilitas tetap benar.

RUser4512
sumber

Saya menghargai tanggapan dan penjelasannya. Saya memiliki pemahaman yang lebih baik sekarang. Terima kasih

Jimmy Wiggles

Jawaban ini membutuhkan perbaikan kecil di awal untuk menjelaskan bahwa tidak ada yang tidak akan dilakukan. Urutan penduga asli itu sendiri harus konsisten.

T_{n}

$T_n$

kardinal

2

Dalam pengaturan deret waktu dengan variabel dependen tertinggal yang dimasukkan sebagai regressor, penaksir OLS akan konsisten tetapi bias. Alasan untuk ini adalah bahwa untuk menunjukkan ketidakberpihakan pada penaksir OLS, kita perlu eksogenitas yang ketat, , yaitu istilah kesalahan, , pada periode tidak berkorelasi dengan semua regressor di semua periode waktu. Namun, untuk menunjukkan konsistensi estimator OLS, kita hanya perlu eksogenitas kontemporer, , yaitu istilah kesalahan, , pada periode tidak berkorelasi dengan regressor, $E\left[\varepsilon_{t}\left|x_{1},\, x_{2,},\,\ldots,\, x_{T}\right.\right]$ $\varepsilon_{t}$ $t$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$ $\varepsilon_{t}$ $t$ $x_{t}$ pada periode . Pertimbangkan model AR (1): dengan mulai sekarang. $t$ $y_{t}=\rho y_{t-1}+\varepsilon_{t},\;\varepsilon_{t}\sim N\left(0,\:\sigma_{\varepsilon}^{2}\right)$ $x_{t}=y_{t-1}$

Pertama saya menunjukkan bahwa eksogenitas ketat tidak berlaku dalam model dengan variabel dependen tertinggal termasuk sebagai regressor. Mari kita lihat korelasi antara dan $\varepsilon_{t}$ $x_{t+1}=y_{t}$

E [ε_{t} x_{t + 1}] = E [ε_{t} y_{t}] = E [ε_{t} (ρ y_{t - 1} + ε_{t})]

$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]=E\left[\varepsilon_{t}\left(\rho y_{t-1}+\varepsilon_{t}\right)\right]$

= ρ E (ε_{t} y_{t - 1}) + E (ε_{t}^{2})

$=\rho E\left(\varepsilon_{t}y_{t-1}\right)+E\left(\varepsilon_{t}^{2}\right)$

= E (ε_{t}^{2}) = σ_{ε}^{2} > 0 (E q . (1)) .

$=E\left(\varepsilon_{t}^{2}\right)=\sigma_{\varepsilon}^{2}>0 \ (Eq. (1)).$

Jika kita mengasumsikan eksogenitas berurutan, , yaitu bahwa istilah kesalahan, , dalam periode tidak berkorelasi dengan semua regressor pada periode waktu sebelumnya dan arus kemudian istilah pertama di atas, , akan menghilang. Yang jelas dari atas adalah bahwa kecuali kita memiliki eksogenitas yang ketat, harapan . Namun, harus jelas bahwa eksogenitas kontemporer, , memang berlaku. $E\left[\varepsilon_{t}\mid y_{1},\: y_{2},\:\ldots\ldots,y_{t-1}\right]=0$ $\varepsilon_{t}$ $t$ $\rho E\left(\varepsilon_{t}y_{t-1}\right)$ $E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]\neq0$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$

Sekarang mari kita lihat bias estimator OLS ketika memperkirakan model AR (1) yang ditentukan di atas. Estimator OLS dari , diberikan sebagai: $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} (E q . (2))

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}} \ (Eq. (2))$

Kemudian mengambil ekspektasi bersyarat pada semua nilai sebelumnya, kontemporer dan masa depan, , dari : $E\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]$ $Eq. (2)$

E [\hat{ρ} | y_{1}, y_{2,}, \dots, y_{T - 1}] = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} [ε_{t} | y_{1}, y_{2,}, \dots, y_{T - 1}] y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Namun, kita tahu dari bahwa sedemikian rupa sehingga artinya dan karenanya tetapi bias: $Eq. (1)$ $E\left[\varepsilon_{t}y_{t}\right]=E\left(\varepsilon_{t}^{2}\right)$ $\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq0$ $\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}\neq0$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq\rho$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}E\left(\varepsilon_{t}^{2}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=$ $\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\sigma_{\varepsilon}^{2}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$ .

Semua yang saya asumsikan menunjukkan konsistensi estimator OLS dalam model AR (1) adalah eksogeneitas kontemporer, yang mengarah ke kondisi saat, dengan . Seperti sebelumnya, kita memiliki bahwa estimator OLS dari , diberikan sebagai: $E\left[\varepsilon_{t}\left|x_{t}\right.\right]=E\left[\varepsilon_{t}\left|y_{t-1}\right.\right]=0$ $E\left[\varepsilon_{t}x_{t}\right]=0$ $x_{t}=y_{t-1}$ $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Sekarang asumsikan bahwa dan positif dan terbatas, . $plim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}=\sigma_{y}^{2}$ $\sigma_{y}^{2}$ $0<\sigma_{y}^{2}<\infty$

Kemudian, ketika dan selama hukum bilangan besar (LLN) berlaku, kami memiliki . Dengan menggunakan hasil ini kita memiliki: $T\rightarrow\infty$ $p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}=E\left[\varepsilon_{t}y_{t-1}\right]=0$

\underset{T \to \infty}{p lim \hat{ρ}} = ρ + \frac{p lim \frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{p lim \frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{0}{σ_{y}^{2}} = ρ

$\underset{T\rightarrow\infty}{p\lim\hat{\rho}}=\rho+\frac{p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{p\lim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{0}{\sigma_{y}^{2}}=\rho$

Dengan demikian telah ditunjukkan bahwa penaksir OLS dari , dalam model AR (1) bias tetapi konsisten. Perhatikan bahwa hasil ini berlaku untuk semua regresi di mana variabel dependen lagged dimasukkan sebagai regressor. $p$ $\hat{\rho}$

Plissken
sumber

Contoh penduga yang konsisten dan bias?

Jawaban: