Pengukur tidak bias lainnya selain BLUE (solusi OLS) untuk model linier

Untuk model linier, solusi OLS memberikan penaksir tidak bias linier terbaik untuk parameter.

Tentu saja kita dapat memperdagangkan bias untuk varian yang lebih rendah, misalnya regresi ridge. Tetapi pertanyaan saya adalah tentang tidak memiliki bias. Apakah ada estimator lain yang agak umum digunakan, yang tidak bias tetapi dengan varians yang lebih tinggi daripada parameter perkiraan OLS?

Jika saya akan memiliki kumpulan data yang sangat besar tentu saja saya dapat mengambil sampel dan memperkirakan parameter dengan data yang lebih sedikit, dan meningkatkan varians. Saya menganggap ini bisa berguna secara hipotesis.

Ini lebih merupakan pertanyaan retoris, karena ketika saya telah membaca tentang estimator BLUE, alternatif yang lebih buruk tidak disediakan. Saya kira memberikan alternatif yang lebih buruk juga dapat membantu orang memahami kekuatan estimator BLUE dengan lebih baik.

Salah satu contoh yang terlintas dalam pikiran adalah beberapa penduga GLS yang menimbang pengamatan secara berbeda walaupun itu tidak diperlukan ketika asumsi Gauss-Markov terpenuhi (yang ahli statistik mungkin tidak tahu kasusnya dan karenanya berlaku masih menerapkan GLS).

Pertimbangkan kasus regresi $y_i$ , $i=1,\ldots,n$ pada konstanta untuk ilustrasi (siap digeneralisasikan ke penduga GLS umum). Di sini, $\{y_i\}$ diasumsikan sampel acak dari populasi dengan mean $\mu$ dan variansi $\sigma^2$ .

Kemudian, kita tahu bahwa OLS hanya β = ˉ y , sampel berarti. Untuk menekankan titik bahwa setiap pengamatan tertimbang dengan berat 1 / n , menulis ini sebagai β = n Σ i = 1 1$\hat\beta=\bar y$$1/n$

$$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$$ Hal ini juga diketahui bahwa$Var(\hat\beta)=\sigma^2/n$.

Sekarang, pertimbangkan estimator lain yang dapat ditulis sebagai

$$\tilde\beta=\sum_{i=1}^nw_iy_i,$$ di mana bobot yang sedemikian rupa sehingga $\sum_iw_i=1$ . Hal ini memastikan bahwa estimator yang berisi, seperti $$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$$ $w_i=1/n$$i$

$$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$$ $w_i$$2\sigma^2w_i-\lambda=0$$i$$\partial L/\partial\lambda=0$$\sum_iw_i-1=0$$\lambda$$w_i=w_j$, which implies $w_i=1/n$ minimizes the variance, by the requirement that the weights sum to one.

Berikut ini adalah ilustrasi grafis dari sedikit simulasi, dibuat dengan kode di bawah ini:

EDIT: Sebagai tanggapan atas saran @ kjetilbhalvorsen dan @ RichardHardy, saya juga menyertakan median $y_i$, MLE dari parameter lokasi pf pada (4) distribusi (saya mendapat peringatan In log(s) : NaNs producedbahwa saya tidak memeriksa lebih lanjut) dan penduga Huber dalam plot.

Kami mengamati bahwa semua penduga tampaknya tidak bias. Namun, estimator yang menggunakan bobot$w_i=(1\pm\epsilon)/n$karena bobot untuk separuh sampel lebih bervariasi, seperti median, MLE distribusi-t dan penduga Huber (yang terakhir hanya sedikit, lihat juga di sini ).

Bahwa tiga yang terakhir dikalahkan oleh solusi OLS tidak segera tersirat oleh properti BIRU (setidaknya tidak bagi saya), karena tidak jelas apakah mereka adalah penduga linier (juga saya tidak tahu apakah MLE dan Huber tidak bias).

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)