Mengapa rata-rata aritmatika lebih kecil dari rata-rata distribusi dalam distribusi log-normal?

Jadi, saya memiliki proses menghasilkan random log-terdistribusi normal variabel acak $X$ . Berikut adalah fungsi kepadatan probabilitas yang sesuai:

Saya ingin memperkirakan distribusi beberapa saat dari distribusi asli itu, katakanlah momen pertama: rata-rata aritmatika. Untuk melakukannya, saya menggambar 100 variabel acak 10.000 kali sehingga saya bisa menghitung 10.000 perkiraan rata-rata aritmatika.

Ada dua cara berbeda untuk memperkirakan itu artinya (setidaknya, itulah yang saya mengerti: saya bisa salah):

1. dengan secara sederhana menghitung aritmatika berarti cara yang biasa: $$\bar{X} = \sum_{i=1}^N \frac{X_i}{N}.$$
2. atau dengan estimasi pertama dan μ dari distribusi normal yang mendasari: μ = N Σ i = 1 log ( X i$\sigma$$\mu$ dan kemudian mean sebagai ˉ X =exp(μ+ $$\mu = \sum_{i=1}^N \frac{\log (X_i)}{N} \quad \sigma^2 = \sum_{i=1}^N \frac{\left(\log (X_i) - \mu\right)^2}{N}$$ $$\bar{X} = \exp(\mu + \frac{1}{2}\sigma^2).$$

Masalahnya adalah distribusi yang sesuai dengan masing-masing perkiraan ini secara sistematis berbeda:

Rata-rata "polos" (direpresentasikan sebagai garis putus-putus merah) umumnya memberikan nilai yang lebih rendah daripada yang diperoleh dari bentuk eksponensial (garis dataran hijau). Meskipun kedua cara dihitung pada dataset yang sama persis. Harap dicatat bahwa perbedaan ini sistematis.

Mengapa distribusi ini tidak sama?

Dua penduga yang Anda bandingkan adalah metode penduga momen (1.) dan MLE (2.), lihat di sini . Keduanya konsisten (jadi untuk besar , mereka dalam arti tertentu mungkin dekat dengan nilai sebenarnya exp [ μ + 1 /$N$ ).$\exp[\mu+1/2\sigma^2]$

Untuk estimator MM, ini adalah konsekuensi langsung dari Hukum bilangan besar, yang mengatakan bahwa . Untuk MLE, para pemetaan terus menerus teorema menyiratkan bahwa exp [ μ + 1 / 2 σ 2 ] → p exp [ μ + 1 / 2 σ 2 ] , sebagai μ → p μ dan σ 2 $\bar X\to_pE(X_i)$

Namun, MLE tidak bias.

Bahkan, ketimpangan Jensen mengatakan kepada kita bahwa, untuk kecil, MLE diharapkan menjadi bias ke atas (lihat juga simulasi di bawah ini): μ dan σ 2 adalah (dalam kasus terakhir, hampir, tapi dengan diabaikan Bias untuk N = 100 , karena estimator yang tidak bias membagi dengan N - 1 ) dikenal sebagai estimator yang tidak bias dari parameter distribusi normal μ dan σ 2 (saya menggunakan topi untuk menunjukkan estimator).$N$$\hat\mu$$\hat\sigma^2$$N=100$$N-1$$\mu$$\sigma^2$

Oleh karena itu, . Karena eksponensial adalah fungsi cembung, ini menyiratkan bahwa E [ exp ( μ + 1 / 2 σ 2 ) ] > exp [ E ( μ + 1 / 2 σ 2 ) ] ≈ exp $E(\hat\mu+1/2\hat\sigma^2)\approx\mu+1/2\sigma^2$

Coba tambah $N=100$

$N=1000$

Dibuat dengan:

N <- 1000
reps <- 10000

mu <- 3
sigma <- 1.5
mm <- mle <- rep(NA,reps)

for (i in 1:reps){
  X <- rlnorm(N, meanlog = mu, sdlog = sigma)
  mm[i] <- mean(X)

  normmean <- mean(log(X))
  normvar <- (N-1)/N*var(log(X))
  mle[i] <- exp(normmean+normvar/2)
}
plot(density(mm),col="green",lwd=2)
truemean <- exp(mu+1/2*sigma^2)
abline(v=truemean,lty=2)
lines(density(mle),col="red",lwd=2,lty=2)

> truemean
[1] 61.86781

> mean(mm)
[1] 61.97504

> mean(mle)
[1] 61.98256

$\exp(\mu+\sigma^2/2)$

Untuk melihat bahwa MLE memang bias untuk kecil $N$, Saya ulangi simulasi untuk N <- c(50,100,200,500,1000,2000,3000,5000)dan 50.000 replikasi dan mendapatkan bias simulasi sebagai berikut:

Kami melihat bahwa MLE memang berat sebelah untuk yang kecil $N$. Saya sedikit terkejut tentang perilaku yang agak tidak menentu dari bias estimator MM sebagai fungsi$N$. Bias simulasi untuk kecil$N=50$untuk MM kemungkinan disebabkan oleh pencilan yang mempengaruhi penduga MM yang tidak dicatat lebih besar dari MLE. Dalam satu menjalankan simulasi, perkiraan terbesar ternyata

> tail(sort(mm))
[1] 336.7619 356.6176 369.3869 385.8879 413.1249 784.6867
> tail(sort(mle))
[1] 187.7215 205.1379 216.0167 222.8078 229.6142 259.8727