Apa kerugian dari kemungkinan profil?

Pertimbangkan vektor parameter , dengan parameter yang diminati, dan sebagai parameter gangguan. $(\theta_1, \theta_2)$ $\theta_1$ $\theta_2$

Jika adalah kemungkinan yang dikonstruksi dari data , kemungkinan profil untuk didefinisikan sebagai di mana adalah MLE dari untuk nilai tetap dari . $L(\theta_1, \theta_2 ; x)$ $x$ $\theta_1$ $L_P(\theta_1 ; x) = L(\theta_1, \hat{\theta}_2(\theta_1) ; x)$ $\hat{\theta}_2(\theta_1)$ $\theta_2$ $\theta_1$

$\bullet$ Memaksimalkan kemungkinan profil sehubungan dengan mengarah ke perkiraan yang sama seperti yang diperoleh dengan memaksimalkan kemungkinan secara bersamaan sehubungan dengan dan . $\theta_1$ $\hat{\theta}_1$ $\theta_1$ $\theta_2$

$\bullet$ Saya pikir standar deviasi juga dapat diperkirakan dari turunan kedua dari kemungkinan profil. $\hat{\theta}_1$

$\bullet$ Statistik kemungkinan untuk dapat ditulis dalam hal kemungkinan profil: . $H_0: \theta_1 = \theta_0$ $LR = 2 \log( \tfrac{L_P(\hat{\theta}_1 ; x)}{L_P(\theta_0 ; x)})$

Jadi, sepertinya profil kemungkinan dapat digunakan persis seperti kemungkinan asli. Benarkah itu masalahnya? Apa kelemahan utama dari pendekatan itu? Dan bagaimana dengan 'rumor' bahwa estimator yang diperoleh dari kemungkinan profil bias (sunting: bahkan tanpa gejala)?

maximum-likelihood likelihood profile-likelihood okram
sumber

hanya sebuah catatan, penaksir dari kemungkinan juga dapat menjadi bias, contoh klasiknya adalah estimasi varians kemungkinan untuk sampel normal.

mpiktas

@mpiktas: Terima kasih atas komentar Anda. Memang, mle klasik juga bisa menjadi bias. Saya akan mengedit pertanyaan untuk memperjelas.

ocram

apa bias asimtotik? Apakah Anda berbicara tentang penaksir yang tidak konsisten?

mpiktas

@mpiktas: Ya, ini yang seharusnya saya katakan ...

ocram

Jawaban:

Perkiraan dari kemungkinan profil hanyalah MLE. Memaksimalkan sehubungan dengan untuk setiap kemungkinan dan kemudian memaksimalkan sehubungan dengan adalah sama dengan memaksimalkan sehubungan dengan bersama-sama. $\theta_1$ $\theta_2$ $\theta_1$ $\theta_1$ $(\theta_1, \theta_2)$

Kelemahan utama adalah bahwa, jika Anda mendasarkan perkiraan Anda dari SE dari pada kelengkungan kemungkinan profil, Anda tidak sepenuhnya akuntansi untuk ketidakpastian dalam . $\hat{\theta}_1$ $\theta_2$

McCullagh dan Nelder, Generalized linear models, edisi ke-2 , memiliki bagian singkat tentang kemungkinan profil (Sec 7.2.4, hal 254-255). Mereka bilang:

[A] perkiraan kepercayaan terdekat dapat diperoleh dengan cara yang biasa .... interval kepercayaan seperti itu sering memuaskan jika [dimensi ] kecil dalam kaitannya dengan informasi total Fisher, tetapi cenderung menyesatkan jika tidak .. .. Sayangnya [kemungkinan log profil] bukan fungsi kemungkinan log dalam arti biasa. Paling jelas, turunannya tidak memiliki mean nol, properti yang sangat penting untuk memperkirakan persamaan. $\theta_2$

Karl
sumber

Terimakasih banyak atas jawaban Anda. Sebelum menerimanya, izinkan saya bertanya sesuatu lagi. Apa implikasi ?

E \frac{\partial l_{P} (θ_{1})}{\partial θ_{1}} \neq 0

$E \frac{\partial l_P(\theta_1)}{\partial \theta_1} \neq 0$

ocram

Pertanyaan yang menarik, meskipun diperlukan perjalanan ke rak buku (yang seharusnya saya lakukan juga). Saya telah menambahkan sedikit jawaban saya pada poin ini.

Karl

Terima kasih banyak untuk hasil editnya. Dikatakan bahwa properti (skor yang dievaluasi pada nilai parameter sebenarnya memiliki rata-rata nol) sangat penting untuk memperkirakan persamaan. Tetapi meskipun kemungkinan log profil tidak memenuhi properti itu, ia menghasilkan MLE. Apakah ada yang saya rindukan?

ocram

Properti itu tidak diperlukan untuk menyediakan MLE.

Karl