Bagaimana melakukan estimasi, ketika hanya statistik ringkasan yang tersedia?

Ini sebagian dimotivasi oleh pertanyaan berikut dan diskusi mengikutinya.

Misalkan sampel iid diamati, $X_i\sim F(x,\theta)$ . Tujuannya adalah untuk memperkirakan $\theta$ . Tetapi sampel asli tidak tersedia. Apa yang kita miliki bukan adalah beberapa statistik dari sampel $T_1,...,T_k$ . Misalkan $k$ sudah diperbaiki. Bagaimana cara kami memperkirakan $\theta$ ? Apa yang akan menjadi penaksir kemungkinan maksimum dalam kasus ini?

Dalam hal ini, Anda dapat mempertimbangkan perkiraan ABC dari kemungkinan (dan akibatnya dari MLE ) di bawah asumsi / batasan berikut:

Anggapan. Ukuran sampel asli diketahui.$n$

Ini bukan asumsi liar mengingat bahwa kualitas, dalam hal konvergensi, penduga sering tergantung pada ukuran sampel, oleh karena itu seseorang tidak dapat memperoleh penduga yang baik secara sewenang-wenang tanpa mengetahui ukuran sampel asli.

Idenya adalah untuk menghasilkan sampel dari distribusi posterior dan, untuk menghasilkan perkiraan MLE , Anda dapat menggunakan teknik sampel penting seperti pada [1] atau untuk mempertimbangkan seragam sebelumnya θ dengan dukungan pada yang sesuai. atur seperti pada [2] .$\theta$$\theta$

Saya akan menjelaskan metode ini di [2]. Pertama-tama, izinkan saya menggambarkan sampler ABC.

ABC Sampler

Misalkan menjadi model yang menghasilkan sampel di mana θ ∈ Θ adalah parameter (diperkirakan), T menjadi statistik (fungsi sampel) dan T 0 menjadi statistik yang diamati, dalam jargon ABC ini disebut statistik ringkasan , ρ menjadi metrik, π ( θ ) distribusi sebelumnya pada θ dan ϵ > 0 a toleransi. Kemudian, sampler penolakan-ABC dapat diimplementasikan sebagai berikut.$f(\cdot\vert\theta)$$\theta \in \Theta$$T$$T_0$$\rho$$\pi(\theta)$$\theta$$\epsilon>0$

1. Sampel dari π ( ⋅ ) .$\theta^*$$\pi(\cdot)$
2. Hasilkan sampel ukuran n dari model f ( ⋅ $\bf{x}$$n$ .$f(\cdot\vert\theta^*)$
3. Hitung .$T^*=T({\bf x})$
4. Jika , terima θ ∗ sebagai simulasi dari posterior θ .$\rho(T^*,T_0)<\epsilon$$\theta^*$$\theta$

Algoritma ini menghasilkan sampel perkiraan dari distribusi posterior diberikan T ( x ) = T 0 . Oleh karena itu, skenario terbaik adalah ketika statistik T mencukupi tetapi statistik lain dapat digunakan. Untuk penjelasan lebih rinci tentang ini, lihat makalah ini .$\theta$$T({\bf x})=T_0$$T$

Sekarang, dalam kerangka umum, jika seseorang menggunakan seragam sebelumnya yang berisi MLE dalam dukungannya, maka Maximum a posteriori (MAP) bertepatan dengan Maximum Likelihood Estimator (MLE). Karena itu, jika Anda mempertimbangkan seragam yang sesuai sebelum di ABC Sampler, maka Anda dapat membuat sampel perkiraan distribusi posterior yang MAPnya bertepatan dengan MLE. Langkah yang tersisa terdiri dari memperkirakan mode ini. Masalah ini telah dibahas dalam CV, misalnya dalam "Estimasi efisien multivarian mode secara komputasi" .

Contoh mainan

Mari menjadi sampel dari N ( μ , 1 ) dan anggaplah bahwa satu-satunya informasi yang tersedia dari sampel ini ˉ x = $(x_1,...,x_n)$$N(\mu,1)$. Biarkanρmenjadi metrik Euclidean dalamRdanϵ=0,001. Kode R berikut menunjukkan cara mendapatkan perkiraan MLE menggunakan metode yang dijelaskan di atas menggunakan sampel simulasi dengann=100danμ=0, sampel distribusi posterior ukuran1000, seragam sebelumμpada(-0,3,0,3), dan estimator densitas kernel untuk estimasi mode sampel posterior (MAP = MLE).$\bar{x}=\dfrac{1}{n}\sum_{j=1}^n x_j$$\rho$${\mathbb R}$$\epsilon=0.001$$n=100$$\mu=0$$1000$$\mu$$(-0.3,0.3)$

rm(list=ls())

# Simulated data
set.seed(1)
x = rnorm(100)

# Observed statistic
T0=mean(x)

# ABC Sampler using a uniform prior 

N=1000
eps = 0.001
ABCsamp = rep(0,N)
i=1

while(i<N+1){
u = runif(1,-0.3,0.3)
t.samp = rnorm(100,u,1)
Ts = mean(t.samp)
if(abs(Ts-T0)<eps){
ABCsamp[i]=u
i=i+1
print(i)
}
}

# Approximation of the MLE
kd = density(ABCsamp)
kd$x[which(kd$y==max(kd$y))]

Seperti yang dapat Anda lihat, dengan menggunakan toleransi kecil, kami mendapatkan perkiraan MLE yang sangat baik (yang dalam contoh sepele ini dapat dihitung dari statistik karena cukup). Penting untuk diperhatikan bahwa pilihan statistik ringkasan sangat penting. Kuantil biasanya merupakan pilihan yang baik untuk statistik ringkasan, tetapi tidak semua pilihan menghasilkan perkiraan yang baik. Bisa jadi statistik ringkasannya tidak terlalu informatif dan kualitas perkiraannya mungkin buruk, yang terkenal di komunitas ABC.

Pembaruan: Pendekatan serupa baru-baru ini diterbitkan di Fan et al. (2012) . Lihat entri ini untuk diskusi di atas kertas.

$T_i$

If the above joint distribution with density $g$ is not available, the solution proposed by Procrastinator is quite appropriate.

The (frequentist) maximum likelihood estimator is as follows:

For $F$ in the exponential family, and if your statistics are sufficient your likelihood to be maximised can always be written in the form:

The way you actually maximize the likelihood depends mostly on the possiblity to write the likelihood analytically in a tractable way. If this is possible you will be able to consider general optimisation algorithms (newton-raphson, simplex...). If you do not have a tractable likelihood, you may find it easier to compute a conditional expection as in the EM algorithm, which will also yield maximum likelihood estimates under rather affordable hypotheses.

Best