Contoh di mana metode momen dapat mengalahkan kemungkinan maksimum dalam sampel kecil?

57

Penaksir kemungkinan maksimum (MLE) efisien secara asimptotik; kami melihat hasil praktis dalam hal mereka sering melakukan lebih baik daripada estimasi metode saat (MoM) (ketika mereka berbeda), bahkan pada ukuran sampel kecil

Di sini 'lebih baik daripada' berarti dalam arti biasanya memiliki varians yang lebih kecil ketika keduanya tidak bias, dan biasanya lebih kecil mean square error (MSE) lebih umum.

Namun, timbul pertanyaan:

Apakah ada kasus di mana Kemenkeu dapat mengalahkan MLE - pada MSE , katakanlah - dalam sampel kecil?

(di mana ini bukan situasi yang aneh / merosot - yaitu mengingat bahwa kondisi untuk ML ada / menjadi pegangan yang efisien asimptotik)

Pertanyaan selanjutnya adalah 'seberapa besar kecil?' - yaitu, jika ada contoh, apakah ada beberapa yang masih memiliki ukuran sampel yang relatif besar, bahkan mungkin semua ukuran sampel terbatas?

[Saya bisa menemukan contoh estimator yang bias yang bisa mengalahkan ML dalam sampel hingga, tetapi itu bukan MoM.]

Catatan ditambahkan secara retrospektif: fokus saya di sini terutama pada kasus univariat (yang sebenarnya merupakan asal rasa ingin tahu saya yang mendasari). Saya tidak ingin mengesampingkan kasus multivariat, tetapi saya juga tidak terlalu ingin menyimpang ke diskusi panjang estimasi James-Stein.

estimation maximum-likelihood mse method-of-moments efficiency Glen_b
sumber

Tidak masalah; itu terjadi pada kita semua, dan bagi saya lebih sering daripada Anda. Saya mungkin seharusnya mengatakannya dengan benar pada judul, tapi itu sudah cukup lama.

Glen_b

@ cardinal Saya sudah membuat kriteria lebih jelas sekarang.

Glen_b

3

Ada cara lain di mana metode momen dapat "mengalahkan" kemungkinan maksimum. Sebagai contoh, dalam masalah estimasi campuran Normal MLE terkenal sulit untuk dihitung sedangkan MoM tidak.

vqv

@vqv Tentu saja itu adalah perasaan di mana MoM dapat lebih disukai.

Glen_b

2

Karena saya cenderung bersimpati dengan kaum plebeian, saya informasikan bahwa dalam sampel Seragam iid , estimator MoM untuk memiliki MSE yang sama dengan patrician (MLE) jika ukuran sampel adalah , atau ... Tapi sayangnya, untuk ukuran sampel yang lebih besar, ningrat menegaskan kembali kedaulatannya ...

U (0, θ)

$U(0,\theta)$

θ

$\theta$

1

$1$

2

$2$

Alecos Papadopoulos

36

Ini mungkin dianggap ... curang, tetapi estimator OLS adalah estimator MoM. Pertimbangkan spesifikasi regresi linier standar (dengan regresi stokastik , sehingga besarnya tergantung pada matriks regresi), dan sampel ukuran . Nyatakan penaksir OLS dari varians dari istilah kesalahan. Itu tidak bias begitu $K$ $n$ $s^2$ $\sigma^2$

M S E (s^{2}) = Var (s^{2}) = \frac{2 σ^{4}}{n - K}

$MSE(s^2) = \operatorname {Var}(s^2) = \frac {2\sigma^4}{n-K}$

Pertimbangkan sekarang MLE dari . ini $\sigma^2$

{\hat{σ}}_{M L}^{2} = \frac{n - K}{n} s^{2}

$\hat \sigma^2_{ML} = \frac {n-K}{n}s^2$ Apakah itu bias. MSE-nya adalah

M S E ({\hat{σ}}_{M L}^{2}) = Var ({\hat{σ}}_{M L}^{2}) + [E ({\hat{σ}}_{M L}^{2}) - σ^{2}]^{2}

$MSE (\hat \sigma^2_{ML}) = \operatorname {Var}(\hat \sigma^2_{ML}) + \Big[E(\hat \sigma^2_{ML})-\sigma^2\Big]^2$ Mengekspresikan MLE dalam hal OLS dan menggunakan ekspresi untuk varians estimator OLS yang kami dapatkan

M S E ({\hat{σ}}_{M L}^{2}) = {(\frac{n - K}{n})}^{2} \frac{2 σ^{4}}{n - K} + {(\frac{K}{n})}^{2} σ^{4}

$MSE (\hat \sigma^2_{ML}) = \left(\frac {n-K}{n}\right)^2\frac {2\sigma^4}{n-K} + \left(\frac {K}{n}\right)^2\sigma^4$

\Rightarrow M S E ({\hat{σ}}_{M L}^{2}) = \frac{2 (n - K) + K^{2}}{n^{2}} σ^{4}

$\Rightarrow MSE (\hat \sigma^2_{ML}) = \frac {2(n-K)+K^2}{n^2}\sigma^4$

Kami menginginkan kondisi (jika ada) di mana

M S E ({\hat{σ}}_{M L}^{2}) > M S E (s^{2}) \Rightarrow \frac{2 (n - K) + K^{2}}{n^{2}} > \frac{2}{n - K}

$MSE (\hat \sigma^2_{ML}) > MSE (s^2) \Rightarrow \frac {2(n-K)+K^2}{n^2} > \frac {2}{n-K}$

\Rightarrow 2 (n - K)^{2} + K^{2} (n - K) > 2 n^{2}

$\Rightarrow 2(n-K)^2+K^2(n-K)> 2n^2$

2 n^{2} - 4 n K + 2 K^{2} + n K^{2} - K^{3} > 2 n^{2}

$2n^2 -4nK + 2K^2 +nK^2 - K^3 > 2n^2$ Menyederhanakan kita memperoleh Apakah layak untuk kuadratik ini dalam untuk mendapatkan nilai negatif? Kita perlu diskriminan untuk menjadi positif. Kami memiliki yang merupakan kuadratik lain, dalam saat ini. Diskriminan ini jadi untuk memperhitungkan fakta bahwa adalah bilangan bulat. Jika

- 4 n + 2 K + n K - K^{2} > 0 \Rightarrow K^{2} - (n + 2) K + 4 n < 0

$-4n + 2K +nK - K^2 > 0 \Rightarrow K^2 - (n+2)K + 4n < 0$

K

$K$

Δ_{K} = (n + 2)^{2} - 16 n = n^{2} + 4 n + 4 - 16 n = n^{2} - 12 n + 4

$\Delta_K = (n+2)^2 -16n = n^2 + 4n + 4 - 16n = n^2 -12n + 4$

n

$n$

Δ_{n} = 12^{2} - 4^{2} = 8 \cdot 16

$\Delta_n = 12^2 - 4^2 = 8\cdot 16$

n_{1}, n_{2} = \frac{12 \pm \sqrt{8 \cdot 16}}{2} = 6 \pm 4 \sqrt{2} \Rightarrow n_{1}, n_{2} = {1, 12}

$n_1,n_2 = \frac {12\pm \sqrt{8\cdot 16}}{2} = 6 \pm 4\sqrt2 \Rightarrow n_1,n_2 = \{1, 12\}$

n

$n$

n

$n$ ada di dalam interval ini kita memiliki dan kuadratik di selalu mengambil nilai positif, jadi kita tidak bisa mendapatkan ketidaksetaraan yang diperlukan. Jadi: kita perlu ukuran sampel yang lebih besar dari 12.

Δ_{K} < 0

$\Delta_K <0$

K

$K$

Mengingat ini, akar untuk quadratic adalah $K$

K_{1}, K_{2} = \frac{(n + 2) \pm \sqrt{n^{2} - 12 n + 4}}{2} = \frac{n}{2} + 1 \pm \sqrt{{(\frac{n}{2})}^{2} + 1 - 3 n}

$K_1, K_2 = \frac {(n+2)\pm \sqrt{n^2 -12n + 4}}{2} = \frac n2 +1 \pm \sqrt{\left(\frac n2\right)^2 +1 -3n}$

Secara keseluruhan: untuk ukuran sampel dan jumlah regresi sehingga kami memiliki Untuk Sebagai contoh, jika maka seseorang menemukan bahwa jumlah regressor harus untuk ketidaksamaan yang ada. Sangat menarik bahwa untuk sejumlah kecil regresi, MLE lebih baik dalam arti MSE. $n>12$ $K$ $\lceil K_1\rceil <K<\lfloor K_2\rfloor$

M S E ({\hat{σ}}_{M L}^{2}) > M S E (s^{2})

$MSE (\hat \sigma^2_{ML}) > MSE (s^2)$

n = 50

$n=50$

5 < K < 47

$5<K<47$

ADDENDUM
Persamaan untuk akar quadratic dapat ditulis $K$

K_{1}, K_{2} = (\frac{n}{2} + 1) \pm \sqrt{{(\frac{n}{2} + 1)}^{2} - 4 n}

$K_1, K_2 = \left(\frac n2 +1\right) \pm \sqrt{\left(\frac n2 +1\right)^2 -4n}$ yang dengan cepat saya pikir menyiratkan bahwa root yang lebih rendah akan selalu menjadi (dengan mempertimbangkan batasan "integer-value") -jadi MLE akan efisien-MSE ketika regressor hingga untuk setiap ukuran sampel (terbatas).

5

$5$

5

$5$

Alecos Papadopoulos
sumber

1

Nah, kondisi momen teoretis yang datang dengan spesifikasi adalah . Untuk tingkat yang kita gunakan sampel analog sebagai estimator untuk , saya akan mengatakan itu.

E (u^{'} u ∣ X) = σ^{2}

$E(u'u\mid X) = \sigma^2$

E (u^{'} u ∣ X)

$E(u'u \mid X)$

σ^{2}

$\sigma^2$

Alecos Papadopoulos

1

@AlecosPapadopoulos "Sampel analog", saya berpendapat, akan mengambil untuk penyebut, yaitu akan sama dengan MLE. Jika Anda mengganti ekspektasi teoretis dengan ekspektasi empiris, bagaimana Anda bisa berakhir dengan dalam penyebut? Kondisi momen alami harus dan dan mengganti dengan harapan empiris akan memberi Anda dalam penyebut.

n

$n$

n - K

$n - K$

E [X_{k} (Y - X β)] = 0

$E[X_k(Y - X \beta)] = 0$

E [(Y - X β)^{2}] = σ^{2}

$E[(Y - X\beta)^2] = \sigma^2$

n

$n$

lelaki

2

@ guy Itu komentar yang valid. Koreksi derajat kebebasan selalu, bagi saya, merupakan masalah konseptual dengan Metode Momen. Setelah semua "sampel analog" bukan konsep yang ketat, dan itu terkait dengan konsep "sarana sampel" melalui korespondensi asimptotik yang terakhir dengan nilai yang diharapkan -tapi dalam kerangka asimtotik, membaginya dengan alih-alih tidak tidak ada bedanya. Bagi saya itu tetap merupakan masalah yang belum terselesaikan. Di sisi lain, penaksir kemungkinan maksimum secara konkret ditentukan oleh persamaan kemungkinan, dan itu mungkin atau mungkin tidak sesuai dengan MoM. (CONTD)

n - K

$n-K$

n

$n$

Alecos Papadopoulos

1

@guy (CONTD). Jadi apa yang Anda katakan adalah bahwa penaksir MoM dari varians kesalahan dalam kasus ini adalah penaksir kemungkinan maksimum, dan hasil yang saya peroleh membandingkan bukan MoM dengan ML, tetapi ML dengan OLS (yang terakhir menjadi kategori sendiri). .. ya, dapat dikatakan bahwa ini adalah (juga) kasusnya.

Alecos Papadopoulos

1

Apakah ada yang namanya penduga MoM? Ini adalah "penduga MoM, kan? Jika Anda mengambil sisa OLS yang dipilih secara acak, , maka . Itu adalah kondisi momen yang sangat baik, bukan? Dan itu memberikan MoM yang sangat baik untuk , bukan? Yaitu, penaksir OLS yang biasa, .

e

$e$

E (e^{2}) = \frac{n - k}{n} σ^{2}

$E(e^2)=\frac{n-k}{n}\sigma^2$

σ^{2}

$\sigma^2$

s^{2}

$s^2$

Bill

17

"Dalam artikel ini, kami mempertimbangkan parametriisasi baru dari distribusi Inverse Gaussian dua parameter. Kami menemukan estimator untuk parameter distribusi Inverse Gaussian dengan metode momen dan metode kemungkinan maksimum. Lalu, kami membandingkan efisiensi dari penduga untuk dua metode berdasarkan bias dan mean square error (MSE) .Untuk ini kita memperbaiki nilai parameter, menjalankan simulasi, dan melaporkan MSE dan bias untuk estimasi yang diperoleh oleh kedua metode .Kesimpulannya adalah ketika ukuran sampel adalah 10, metode momen cenderung lebih efisien daripada metode kemungkinan maksimum untuk estimasi kedua parameter (lambda dan theta) .... " baca lebih lanjut

Saat ini orang tidak dapat (atau tidak seharusnya) mempercayai semua yang dipublikasikan, tetapi halaman terakhir makalah ini tampak menjanjikan. Saya harap ini membahas catatan Anda ditambahkan secara retrospektif.

Hibernasi
sumber

1

Jika saya memahami tabel dalam artikel itu dengan benar maka saya percaya Anda benar - pada beberapa ukuran sampel, metode saat (MME di koran) tampaknya mengalahkan MLE, setidaknya pada estimasi . (Namun, beberapa hasil simulasi tampak lebih dari sedikit aneh - misalnya perkembangan kolom paling kanan pada hal. 49) - ini adalah hasil yang sangat menarik bagi saya karena Inverse Gaussian relatif banyak digunakan.

θ

$\theta$

Glen_b

Bagus temukan! Sekalipun hasilnya tidak aktif, senang melihat klaim yang dinyatakan secara eksplisit di suatu tempat.

Ben Ogorek

Makalah yang saya tautkan dalam jawaban saya berasal dari tesis MSc, yang tersedia secara keseluruhan di sini: digi.library.tu.ac.th/thesis/st/0415 Lihat misalnya bagian 5.2 untuk pernyataan yang relevan. Enam orang, termasuk seorang profesor penuh, menandatangani hasil ini.

Hibernasi

14

Menurut simulasi yang dijalankan oleh Hosking dan Wallis (1987) dalam "Estimasi Parameter dan Kuantil untuk Distribusi Pareto Umum", parameter distribusi Pareto umum dua-parameter yang diberikan oleh cdf

$G(y)= \begin{cases} 1-\left(1+ \frac{\xi y}{\beta} \right)^{-\frac{1}{\xi}} & \xi \neq 0 \\ 1-\exp\left(-\frac{y}{\beta}\right) & \xi=0 \end{cases}$

atau kepadatannya

$g(y)= \begin{cases} \frac{1}{\beta} \left( 1+\frac{\xi y}{\beta} \right)^{-1-\frac{1}{\xi}} & \xi \neq 0 \\ \frac{1}{\beta} \exp\left(-\frac{y}{\beta} \right) & \xi=0 \end{cases}$

lebih dapat diandalkan jika mereka diperkirakan dengan MOM dibandingkan dengan ML. Ini berlaku untuk sampel hingga ukuran 500. Perkiraan MOM diberikan oleh

$\widehat\beta = \frac{\overline y \overline{y^2}}{2(\overline{y^2} - (\overline y)^2)}$

dan

$\widehat\xi = \frac{1}{2} - \frac{(\overline y)^2}{2(\overline{y^2} - (\overline y)^2)}$

dengan

$\overline{y^2} = \frac{1}{n} \sum_{i=1}^n y_i^2$

Makalah ini berisi beberapa kesalahan ketik (setidaknya versi saya lakukan). Hasil untuk penduga MOM yang diberikan di atas disediakan oleh "heropup" di utas ini .

Joz
sumber

Terima kasih untuk ini. Ini adalah salah satu contoh paling sederhana dari apa yang saya cari sejauh ini.

Glen_b

13

Saya menemukan satu:

Untuk distribusi daya eksponensial asimetris

f (x) = \frac{α}{σ Γ (\frac{1}{α})} \frac{κ}{1 + κ^{2}} \exp (- \frac{κ^{α}}{σ^{α}} [(x - θ)^{+}]^{α} - \frac{1}{κ^{α} σ^{α}} [(x - θ)^{-}]^{α}), α, σ, κ > 0, and x, θ \in R

$f(x) = \frac{\alpha}{\sigma\Gamma(\frac{1}{\alpha})} \frac{\kappa}{1+\kappa^2}\exp\left(-\frac{\kappa^\alpha}{\sigma^\alpha}[(x-\theta)^+]^\alpha -\frac{1}{\kappa^\alpha \sigma^\alpha}[(x-\theta)^-]^\alpha\right)\,,\quad \alpha,\sigma,\kappa>0, \text{ and } x,\theta\in \mathbb R$

hasil simulasi Delicado dan Goria (2008) menunjukkan bahwa untuk beberapa parameter pada ukuran sampel yang lebih kecil, metode momen dapat mengungguli MLE; misalnya dalam dikenal- kasus pada ukuran sampel 10, ketika memperkirakan , MSE dari MoM lebih kecil dari untuk ML. $\theta$ $\sigma$

Delicado dan Goria (2008),
Sebuah sampel kecil perbandingan kemungkinan maksimum, momen dan metode L-momen untuk distribusi daya eksponensial asimetris,
Jurnal Statistik Komputasi & Analisis Data
Volume 52 Edisi 3, Januari, hal 1661-1673

(juga lihat http://www-eio.upc.es/~delicado/my-public-files/LmomAEP.pdf )

Glen_b
sumber

13

Metode saat (MM) dapat mengalahkan pendekatan kemungkinan maksimum (ML) ketika dimungkinkan untuk menentukan hanya beberapa saat populasi. Jika distribusi tidak jelas, estimator ML tidak akan konsisten.

Dengan asumsi momen terbatas dan pengamatan awal, MM dapat memberikan penaksir yang baik dengan sifat asimptotik yang bagus.

Contoh: Misalkan menjadi contoh pertama dari , di mana adalah fungsi kepadatan probabilitas yang tidak diketahui. Tentukan yang saat th dan menganggap bahwa bunga adalah untuk memperkirakan sebagainya saat . $X_1, \ldots, X_n$ $X \sim f$ $f: \mathbb{R} \to \mathbb{R}_+$ $\nu_k = \int_{\mathbb{R}} x^k f(x)dx$ $k$ $\nu_4$

Biarkan , lalu dengan mengasumsikan bahwa , teorema batas pusat menjamin bahwa mana " " berarti "konvergen dalam distribusi ke" . Apalagi dengan teorema Slutsky, $\bar{X_k} = \frac{1}{n}\sum_{i=1}^n X_i^k$ $\nu_8 < \infty$

\sqrt{n} (\bar{X_{4}} - ν_{4}) \overset{d}{\to} N (0, ν_{8} - ν_{4}^{2}),

$\sqrt{n}(\bar{X_4} - \nu_4) \stackrel{d}{\to} N(0, \nu_8 - \nu_4^2),$

\overset{d}{\to}

$\stackrel{d}{\to}$

\frac{\sqrt{n} (\bar{X_{4}} - ν_{4})}{\sqrt{\bar{X_{8}} - {\bar{X_{4}}}^{2}}} \overset{d}{\to} N (0, 1)

$\frac{\sqrt{n}(\bar{X_4} - \nu_4)}{\sqrt{\bar{X_8} - \bar{X_4}^2}} \stackrel{d}{\to} N(0, 1)$ sejak (konvergensi dalam probabilitas).

\bar{X_{8}} - {\bar{X_{4}}}^{2} \overset{P}{\to} ν_{8} - ν_{4}^{2}

$\bar{X_8} - \bar{X_4}^2 \stackrel{P}{\to} \nu_8 - \nu_4^2$

Artinya, kita dapat menarik (perkiraan) inferensi untuk dengan menggunakan pendekatan momen (untuk sampel besar), kita hanya perlu membuat beberapa asumsi pada momen populasi yang menarik. Di sini, penaksir kemungkinan maksimum tidak dapat didefinisikan tanpa mengetahui bentuk . $\nu_4$ $f$

Studi Simulasi:

Patriota et al. (2009) melakukan beberapa studi simulasi untuk memverifikasi tingkat penolakan pengujian hipotesis dalam model kesalahan-dalam-variabel. Hasilnya menunjukkan bahwa pendekatan MM menghasilkan tingkat kesalahan di bawah hipotesis nol lebih dekat ke tingkat nominal daripada ML untuk sampel kecil.

Catatan sejarah:

Metode momen diusulkan oleh K. Pearson pada tahun 1894 "Kontribusi Teori Matematika Evolusi". Metode kemungkinan maksimum diusulkan oleh RA Fisher pada tahun 1922 "Pada Yayasan Matematika Statistik Teoritis". Kedua makalah tempat diterbitkan dalam Transaksi Filsafat Royal Society of London, Seri A.

Referensi:

Fisher, RA (1922). Tentang Yayasan Matematika Statistik Teoritis, Transaksi Filsafat Royal Society of London, Seri A, 222, 309-368.

Patriota, AG, Bolfarine, H, de Castro, M (2009). Model kesalahan struktural variabel heteroskedastik dengan kesalahan persamaan, Metodologi Statistik 6 (4), 408-423 ( pdf )

Pearson, K (1894). Kontribusi untuk Teori Matematika Evolusi, Transaksi Filsafat Royal Society of London, Seri A, 185, 71-110.

Alexandre Patriota
sumber

1

Jawaban Anda sepertinya berpotensi menarik. Apakah Anda dapat mengembangkannya sedikit? Saya tidak yakin saya cukup melihat.

Glen_b

@Glen_b tolong, verifikasi apakah tambahan terakhir saya membantu Anda.

Alexandre Patriota

Terima kasih untuk itu; Saya yakin saya mengerti apa yang Anda maksud.

Glen_b

OK, itu adalah komentar umum tetapi saya pikir itu menjawab pertanyaan Anda. Jika Anda memberikan informasi total tentang perilaku data, wajar jika pendekatan ML mengungguli pendekatan MM. Dalam makalah [1] kami melakukan beberapa studi simulasi untuk memverifikasi tingkat penolakan pengujian hipotesis dalam model kesalahan-dalam-variabel. Hasilnya menunjukkan bahwa pendekatan MM menghasilkan tingkat kesalahan di bawah hipotesis nol lebih dekat ke tingkat nominal daripada ML untuk sampel kecil. [1] ime.usp.br/~patriota/STAMET-D-08-00113-revised-v2.pdf

Alexandre Patriota

Ini adalah contoh metode momen (MoM) yang tidak lazim. MoM biasanya digunakan dalam masalah estimasi parametrik, di mana ada keluarga distribusi parametrik yang terdefinisi dengan baik. Di sisi lain, Anda dapat menentukan estimasi kemungkinan maksimum nonparametrik di sini. Fungsi distribusi empiris, katakanlah F-hat, adalah estimasi kemungkinan maksimum nonparametrik dari fungsi distribusi yang tidak diketahui F. Mengingat momen ke-4 sebagai fungsional F, MLE nonparametrik momen ke-4 adalah momen ke-4 dari F-hat . Ini sama dengan sampel saat ke-4.

vqv

5

Sumber tambahan yang mendukung IBU:

Hong, HP, dan W. Ye. 2014. Analisis beban salju tanah ekstrim untuk Kanada menggunakan catatan kedalaman salju . Bahaya Alam 73 (2): 355-371.

Penggunaan MML dapat memberikan prediksi yang tidak realistis jika ukuran sampel kecil (Hosking et al. 1985; Martin dan Stedinger 2000).

Martins, ES, dan JR Stedinger. 2000. Penaksir kuantil maksimum-kemungkinan umum yang digeneralisasi untuk data hidrologi . Penelitian Sumberdaya Air 36 (3): 737-744.

Abstrak:

Distribusi tiga nilai generalized extreme-value (GEV) telah menemukan aplikasi luas untuk menggambarkan banjir tahunan, curah hujan, kecepatan angin, ketinggian gelombang, kedalaman salju, dan maksimum lainnya. Studi sebelumnya menunjukkan bahwa penduga maksimum-sampel kemungkinan kecil (MLE) parameter tidak stabil dan merekomendasikan penduga momen L. Penelitian yang lebih baru menunjukkan bahwa metode saat memiliki penduga kuantil untuk −0,25 <κ <0,30 lebih kecil kesalahan rata-rata-kuadrat dari L saat dan MLE. Pemeriksaan perilaku MLEs dalam sampel kecil menunjukkan bahwa nilai absurd dari parameter bentuk GEV κ dapat dihasilkan. Penggunaan distribusi Bayesian sebelumnya untuk membatasi nilai κ pada kisaran yang wajar secara statistik / fisik dalam analisis kemungkinan maksimum umum (GML) menghilangkan masalah ini.

Di bagian Pengantar dan Tinjauan Pustaka mereka mengutip makalah tambahan yang menyimpulkan bahwa MOM dalam beberapa kasus mengungguli MLE (lagi-lagi pemodelan nilai ekstrim), misalnya

Hosking et al. [1985a] menunjukkan bahwa penduga parameter MLE sampel kecil sangat tidak stabil dan merekomendasikan penduga probabilitas-tertimbang momen (PWM) yang setara dengan penduga momen L [Hosking, 1990]. [...]

Hosking et al. [1985a] menunjukkan bahwa estimator momen tertimbang probabilitas (PM) atau momen L setara (LM) untuk distribusi GEV lebih baik daripada estimator kemungkinan-maksimum (MLE) dalam hal bias dan varians untuk ukuran sampel yang bervariasi dari 15 hingga 100. Baru-baru ini, Madsen et al. [1997a] menunjukkan bahwa metode estimator kuantil saat (MOM) memiliki RMSE (ror root-mean-squareer) yang lebih kecil untuk -0,25 <K <0,30 daripada LM dan MLE ketika memperkirakan peristiwa 100 tahun untuk ukuran sampel 10-50 . MLE lebih disukai hanya bila K> 0,3 dan ukuran sampelnya sedang (n> = 50).

K (kappa) adalah parameter bentuk GEV.

makalah yang muncul dalam tanda kutip:

Hosking J, Wallis J, Wood E (1985) Estimasi distribusi nilai ekstrim umum dengan metode probabilitas tertimbang momen . Technometrics 27: 251-261.

Madsen, H., PF Rasmussen dan D. Rosbjerg (1997) Perbandingan seri maksimum tahunan dan metode seri durasi parsial untuk pemodelan peristiwa hidrologi ekstrem , 1, pemodelan di tempat, Water Resour. Res., 33 (4), 747-758.

Hosking, JRM, L-saat: Analisis dan estimasi distribusi menggunakan kombinasi linear dari statistik pesanan , JR Stat. Soc., Ser. B, 52, 105-124, 1990.

Selain itu, saya memiliki pengalaman yang sama seperti yang disimpulkan dalam makalah di atas, dalam hal memodelkan peristiwa ekstrem dengan ukuran sampel kecil dan sedang (<50-100 yang khas) MLE dapat memberikan hasil yang tidak realistis, simulasi menunjukkan bahwa MOM lebih kuat dan memiliki RMSE yang lebih kecil.

Arpi
sumber

3

Dalam proses menjawab ini: Memperkirakan parameter untuk binomial saya tersandung makalah ini:

Ingram Olkin, A John Petkau, James V Zidek: Perbandingan N estimator untuk Distribusi Binomial. Jasa 1981.

yang memberikan contoh di mana metode momen, setidaknya dalam beberapa kasus, mengalahkan kemungkinan maksimum. Masalahnya adalah estimasi dalam distribusi binomial mana kedua parameter tidak diketahui. Tampaknya misalnya dalam mencoba untuk memperkirakan kelimpahan hewan ketika Anda tidak dapat melihat semua hewan, dan penampakan probabilitas juga tidak diketahui. $N$ $\text{Bin}(N,p)$ $p$

kjetil b halvorsen
sumber

Satu hal yang sangat baik tentang contoh ini adalah sangat sederhana untuk menyampaikan situasi - banyak orang yang akrab dengan binomial (setidaknya dalam konsep, jika tidak selalu dengan namanya).

Glen_b

Contoh di mana metode momen dapat mengalahkan kemungkinan maksimum dalam sampel kecil?

Jawaban: