Nilai yang diharapkan dari estimasi parameter koin kemungkinan maksimum

Misalkan saya memiliki percobaan lemparan koin di mana saya ingin menghitung perkiraan kemungkinan maksimum dari parameter koin saat melempar koin kali. Setelah menghitung turunan dari fungsi kemungkinan binomial , saya mendapatkan nilai optimal untuk menjadi , dengan menjadi jumlah keberhasilan. $p$ $n$ $L(p) = { n \choose x } p^x (1-p)^{n-x}$ $p$ $p^{*} = \frac{x}{n}$ $x$

Pertanyaan saya sekarang adalah:

Bagaimana saya menghitung nilai / varian yang diharapkan dari estimasi kemungkinan maksimum ini untuk $p$ ?
Apakah saya perlu menghitung nilai / varian yang diharapkan untuk $L(p^{*})$ ?
Jika ya, bagaimana saya melakukannya?

probability self-study variance maximum-likelihood expected-value Manu
sumber

Saya kira ini semacam belajar mandiri (Anda harus menandainya seperti itu). Apa sebenarnya yang kamu inginkan? Apakah inferensi pada parameter Anda?

pkofod

Apa yang Anda maksud inferensi pada parameter? Saya tidak yakin bagaimana saya akan menghitung nilai / varian yang diharapkan untuk kuantitas . Maksud saya, saya tahu apa arti / varians dan bagaimana menghitungnya untuk contoh sederhana, tetapi tidak mengerti bagaimana menerapkannya ke .

p^{*}

$p^{*}$

p^{*}

$p^{*}$

Manu

Jawaban:

Pertama-tama, ini adalah pertanyaan belajar mandiri, jadi saya akan membahas terlalu banyak detail teknis, tetapi saya juga tidak akan sibuk dengan derivasi. Ada banyak cara untuk melakukan ini. Saya akan membantu Anda dengan menggunakan properti umum dari estimator kemungkinan maksimum.

Informasi latar belakang

Untuk menyelesaikan masalah Anda, saya pikir Anda perlu mempelajari kemungkinan maksimum sejak awal. Anda mungkin menggunakan beberapa jenis buku teks, dan jawabannya harus benar-benar ada di suatu tempat. Saya akan membantu Anda mencari tahu apa yang harus dicari.

Kemungkinan Maksimum adalah metode estimasi yang pada dasarnya adalah apa yang kita sebut sebagai estimator-M (anggap "M" sebagai "maksimalkan / perkecil"). Jika kondisi yang diperlukan untuk menggunakan metode ini dipenuhi, kami dapat menunjukkan bahwa estimasi parameter konsisten dan terdistribusi secara asimptotik, sehingga kami memiliki:

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1} B_{0} A_{0}^{- 1}),

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}B_0A_0^{-1}),$

di mana dan adalah beberapa matriks. Ketika menggunakan kemungkinan maksimum, kita dapat menunjukkan bahwa , dan dengan demikian kita memiliki ungkapan sederhana: Kami memiliki mana menunjukkan hessian. Inilah yang perlu Anda perkirakan untuk mendapatkan varians Anda. $A_0$ $B_0$ $A_0=B_0$

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1}) .

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}).$

A_{0} \equiv - E (H (θ_{0}))

$A_0\equiv -E(H(\theta_0))$

H

$H$

Masalah spesifik Anda

jadi bagaimana kita melakukannya? Di sini mari kita sebut vektor parameter kami apa yang Anda lakukan: . Ini hanya skalar, jadi "skor" kami hanyalah turunan dan "hessian" hanyalah turunan urutan kedua. Fungsi kemungkinan kami dapat ditulis sebagai: yang ingin kami maksimalkan. Anda menggunakan turunan pertama dari ini atau kemungkinan log untuk menemukan . Alih-alih menetapkan turunan pertama sama dengan nol, kita dapat membedakan lagi, untuk menemukan turunan urutan kedua . Pertama kita mengambil log: Kemudian 'skor' kami adalah: dan 'hessian' kami: $\theta$ $p$

l (p) = (p)^{x} (1 - p)^{n - x},

$l(p)=(p)^x (1-p)^{n-x},$

p^{*}

$p^*$

H (p)

$H(p)$

l l (p) \equiv \log (l (p)) = x \log (p) + (n - x) \log (1 - p)

$ll(p)\equiv\log(l(p))=x\log(p)+(n-x)\log(1-p)$

l l^{'} (p) = \frac{x}{p} + \frac{n - x}{1 - p},

$ll'(p)=\frac{x}{p}+\frac{n-x}{1-p},$

H (p) = l l^{″} (p) = - \frac{x}{p^{2}} - \frac{n - x}{(1 - p)^{2}} .

$H(p)=ll''(p)=-\frac{x}{p^2}-\frac{n-x}{(1-p)^2}.$ Maka teori umum kami dari atas hanya memberitahu Anda untuk menemukan . Sekarang Anda hanya perlu mengambil ekspektasi (Petunjuk: gunakan ), kalikan dengan dan ambil kebalikannya. Maka Anda akan memiliki varian penduga Anda.

(- E (H (p)))^{- 1}

$(-E(H(p)))^{-1}$

H (p)

$H(p)$

E (x / n) = p

$E(x/n)=p$

- 1

$-1$

pkofod
sumber

Apakah benar?

V a r (p) = \frac{p^{2} - 1}{n} - \frac{1}{n p}

$Var(p) = \frac{p^2-1}{n} - \frac{1}{np}$

Manu

@ Manu: Tidak cukup, tapi sepertinya Anda baru saja membuat kesalahan di suatu tempat. Bisakah Anda memposting beberapa langkah lagi?

pkofod

(- E (H (p)))^{- 1} = E (- H (p))^{- 1]} = (E (\frac{x}{p^{2}}) + E (\frac{n - x}{(1 - p)^{2}}))^{- 1} = (p^{- 2} n p + (1 - p)^{- 2} (n - n p))^{- 1}

$(-E(H(p)))^{-1} = E(-H(p))^{-1]} = (E(\frac{x}{p^2}) + E(\frac{n-x}{(1-p)^2}))^{-1} = ( p^{-2}np + (1-p)^{-2}(n -np) )^{-1}$ . dari sana saya disederhanakan dengan mengalikan dan mengambil kebalikannya.

Manu

Itu semua benar, sekarang hanya menyederhanakan. Di bagian pertama p batal, dan di bagian kedua Anda dapat mengambil n di luar tanda kurung.

pkofod

(n / p + n / [1 - p])^{- 1}

$(n/p+n/[1-p])^{-1}$ adalah apa yang Anda miliki di atas. Hanya faktor keluar, pakai denominator umum dan kemudian ambil kebalikannya.

n

$n$

ekvall

Untuk memulai Anda, mari kita lakukan nilai yang diharapkan:

Jika adalah jumlah keberhasilan dalam melempar, maka adalah proporsi keberhasilan dalam sampel Anda. Pertimbangkan ; untuk setiap lemparan, probabilitas keberhasilan adalah sesuai dengan asumsi, jadi ketika melempar koin satu kali "jumlah keberhasilan" yang diharapkan adalah , kan? Jadi, jika Anda melempar koin kali, Anda akan mengharapkan kesuksesan kali karena lemparannya independen. Kemudian, karena adalah jumlah keberhasilan yang diharapkan dalam lemparan, Anda mendapatkan $x$ $n$ $x/n$ $\mathbb{E}x$ $p$ $p\times1+(1-p)\times 0=p$ $n$ $np$ $np$ $n$

E p^{*} = E n^{- 1} x = n^{- 1} E x = n^{- 1} \times n p = p

$\mathbb{E}p^*=\mathbb{E}n^{-1}x=n^{-1}\mathbb{E}x=n^{-1}\times np=p$

Jadi estimatornya tidak bias. Bisakah Anda mengetahui cara melakukan varians dari sini?

Sunting: Mari kita lakukan varians juga. Kami menggunakan . Istilah kedua yang kita miliki dari perhitungan nilai yang diharapkan, jadi mari kita lakukan yang pertama: Untuk menyederhanakan beberapa , kita dapat menyatakan jumlah keberhasilan dalam melempar sebagai berikut: mana mengambil nilai 1 jika melempar sukses dan 0 sebaliknya. Karenanya, dan dengan demikian menyatukan semuanya Anda tiba di . $\text{Var}(p^*)=\mathbb{E}p{^*}^2-(\mathbb{E}p{^*})^2$

E p {^{*}}^{2} = n^{- 2} E x^{2}

$\mathbb{E}p{^*}^2=n^{-2}\mathbb{E}x^2$

n

$n$

x = \sum_{1}^{n} χ_{i},

$x=\sum_1^n\chi _i,$

χ_{i}

$\chi_i$

i

$i$

E x^{2} = E (\sum_{1}^{n} χ_{i})^{2} = E [\sum_{1}^{n} χ_{i}^{2} + 2 \sum_{i < j} χ_{i} χ_{j}] = n p + n (n - 1) p^{2},

$\mathbb{E}x^2=\mathbb{E}(\sum_1^n\chi _i)^2=\mathbb{E}[\sum_1^n\chi _i^2+2\sum_{i<j}\chi _i\chi_j]=np+n(n-1)p^2,$

Var (p^{*}) = \frac{p (1 - p)}{n}

$\text{Var}(p^*)=\frac{p(1-p)}{n}$

ekvall
sumber

Jika Anda melempar kepala berturut-turut, . Namun berapa nilai tepatnya yang akan diambil Var ( )?

n = 3

$n=3$

p_{M L E} = 1.0

$p_{MLE} =1.0$

p^{*}

$p^*$

piccolo