Apakah sampel berarti estimasi "terbaik" dari distribusi dalam arti tertentu?

10

Dengan hukum (lemah / kuat) dalam jumlah besar, diberikan beberapa titik sampel iid distribusi, rata-rata sampel mereka menyatu dengan mean distribusi baik dalam probabilitas maupun sebagai, sebagai ukuran sampel pergi hingga tak terbatas.{xiRn,i=1,,N}f({xi,i=1,,N}):=1Ni=1NxiN

Ketika ukuran sampel diperbaiki, saya ingin tahu apakah estimator LLN adalah estimator terbaik dalam beberapa hal? Sebagai contoh,Nf

  1. harapannya adalah rata-rata distribusi, sehingga merupakan penduga yang tidak bias. Variansnya adalah mana adalah varian distribusi. Tapi apakah itu UMVU?σ2Nσ2
  2. apakah ada beberapa fungsi sehingga menyelesaikan masalah minimisasi:l0:Rn×Rn[0,)f({xi,i=1,,N})

    f({xi,i=1,,N})=argminuRni=1Nl0(xi,u)?

    Dengan kata lain, adalah wrt terbaik beberapa fungsi kontras dalam kerangka kerja kontras minimum (lihat Bagian 2.1 "Heuristik Dasar Estimasi" dalam " Statistik Matematika: ide dasar dan topik yang dipilih, Volume 1 " oleh Bickle dan Doksum).l 0fl0

    Misalnya, jika distribusi diketahui / dibatasi berasal dari keluarga distribusi Gaussian, maka rata-rata sampel akan menjadi penaksir MLE dari rata-rata distribusi, dan MLE termasuk dalam kerangka kerja kontras minimum, dan fungsi kontrasnya dikurangi dengan kemungkinan log fungsi.l0

  3. apakah ada beberapa fungsi sehingga menyelesaikan masalah minimisasi: untuk distribusi dari dalam beberapa keluarga distribusi?f f = argmin fl:Rn×F[0,)fP x i F

    f=argminfEiid {xi,i=1,,N} each with distribution Pl(f({xi,i=1,,N}),P)?
    PxiF

    Dengan kata lain, adalah yang terbaik untuk beberapa fungsi yang hilang dan beberapa keluarga dari distribusi dalam kerangka teori keputusan (lih. Bagian 1.3 "Kerangka Teori Keputusan" dalam " Statistik Matematika: ide dasar dan topik yang dipilih, Volume 1 " oleh Bickle dan Doksum). l FflF

Perhatikan bahwa di atas ada tiga interpretasi yang berbeda untuk estimasi "terbaik" yang saya ketahui sejauh ini. Jika Anda tahu tentang interpretasi lain yang mungkin berlaku untuk estimator LLN, jangan ragu untuk menyebutkannya juga.

Tim
sumber
Cara lain untuk menggambarkan penaksir: Baca tentang Penaksir Konsisten di sini . Sampel Mean konsisten karena LLN.
Rohit Banga
1
Sampel rata-rata memiliki banyak sifat bagus dan menarik tetapi kadang-kadang itu bukan yang terbaik yang dapat dimiliki seseorang dalam situasi tertentu. Salah satu contoh adalah kasus di mana dukungan distribusi tergantung pada nilai parameter. PertimbangkanX1,X2,,XnU(0,θ) , lalu adalah penaksir yang tidak bias dari rerata distribusiθtetapi bukan UMVUE, misalnya, estimasi tidak bias berdasarkan pada statistik urutan terbesarn+11ni=1nXiθakan memiliki varians yang lebih kecil dari mean sampel. n+1nX(n)
VitalStatistix
Terima kasih! Tetapi bagaimana variansnya dihitung?
Tim
Y=X(n)
f(y)=nyn1θn;y(0,θ)
nn+1YVar(nn+1Y)=1n(n+2)θ21n21n
[0,θ]θ/2θ

Jawaban:

4

l0(xu)2(xu)(xu)

Penaksir kontras minimum, dalam kondisi teknis tertentu, konsisten dan normal asimptotik. Untuk mean sampel, ini sudah mengikuti dari LLN dan teorema batas pusat. Saya tidak tahu bahwa penaksir kontras minimum "optimal" dengan cara apa pun. Apa yang baik tentang penduga kontras minimum adalah bahwa banyak penduga kuat (misalnya median, penduga Huber, sampel kuantil) termasuk dalam keluarga ini, dan kita dapat menyimpulkan bahwa mereka konsisten dan asimtotik normal hanya dengan menerapkan teorema umum untuk penduga kontras minimum, jadi selama kami memeriksa beberapa kondisi teknis (meskipun seringkali ini jauh lebih sulit daripada kedengarannya).

Salah satu gagasan optimalitas yang tidak Anda sebutkan dalam pertanyaan Anda adalah efisiensi yang, secara kasar, adalah tentang seberapa besar sampel yang Anda butuhkan untuk mendapatkan perkiraan kualitas tertentu. Lihat http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiency untuk perbandingan efisiensi rata-rata dan median (rata-rata lebih efisien, tetapi median lebih kuat untuk outlier).

xi

fPf P F P PmaxPFPFPP

DavidR
sumber
Terima kasih! Apakah ada beberapa referensi yang baik tentang sifat-sifat estimator kontras minimum, seperti konsisten dan normal asimptotik, serta contoh-contoh seperti median, estimator Huber, sampel kuantil?
Tim
Bagian 5.2.2 dari buku Bickel & Doksum yang Anda kutip memiliki teorema tentang konsistensi penduga kontras minimum. Bagian 5.4.2 membahas normalitas asimptotik. Sumber lain yang saya rekomendasikan, dan yang membahas penduga lain yang saya sebutkan, adalah buku Statistik Asymptotic van der Vaart . Bab 5 ada di M-estimators, yang merupakan namanya untuk estimator kontras minimum.
DavidR
Terima kasih! Apakah norma dalam paragraf pertama Anda adalah arbitrary pada atau norma ? l 2Rnl2
Tim
Maksud saya norma Euclidean standar - Saya telah mengubahnya menjadi notasi vektor untuk memperjelas.
DavidR
DavidR, terima kasih! (1) Mengenai bagian 3 dalam posting saya, saya ingin tahu apakah mean sampel, yaitu estimator LLN, dapat dimasukkan ke dalam kerangka kerja teoretik keputusan untuk beberapa fungsi kerugian ? (2) Saya memiliki kesan bahwa semua penaksir, seperti MLE dan Least Square Estimator, masuk ke dalam kerangka kontras minimum, tetapi bukan kerangka kerja teoretik keputusan. Jadi, apakah kerangka kerja teoritik keputusan tidak digunakan untuk membangun estimator, tetapi hanya untuk mengevaluasinya? l
Tim