Matriks informasi yang diamati adalah penduga yang konsisten dari matriks informasi yang diharapkan?

16

Saya mencoba untuk membuktikan bahwa matriks informasi yang diamati dievaluasi pada estimator kemungkinan maksimum yang konsisten (MLE) yang lemah, adalah estimator yang lemah konsisten dari matriks informasi yang diharapkan. Ini adalah hasil yang dikutip secara luas tetapi tidak ada yang memberikan referensi atau bukti (saya sudah kelelahan saya pikir 20 halaman pertama dari hasil google dan statistik saya buku teks)!

Dengan menggunakan urutan MLE yang konsisten dan lemah, saya dapat menggunakan hukum lemah angka besar (WLLN) dan teorema pemetaan terus menerus untuk mendapatkan hasil yang saya inginkan. Namun saya percaya teorema pemetaan terus menerus tidak dapat digunakan. Sebaliknya saya pikir hukum seragam dalam jumlah besar (ULLN) perlu digunakan. Apakah ada yang tahu referensi yang memiliki bukti ini? Saya memiliki upaya di ULLN tetapi mengabaikannya sekarang untuk singkatnya.

Saya minta maaf untuk panjang pertanyaan ini tetapi notasi harus diperkenalkan. Notasi adalah sebagai berikut (bukti saya ada di akhir).

Asumsikan kita memiliki sampel iid dari variabel acak {Y1,,YN} dengan kepadatan f(Y~|θ) , di mana θΘRk (di sini Y~ adalah hanya variabel acak umum dengan kepadatan yang sama sebagai salah satu anggota sampel). Vektor Y=(Y1,,YN)T adalah vektor dari semua vektor sampel di mana YiRn untuk semuai=1,,N . Nilai parameter sebenarnya dari kepadatan adalahθ0 , dan θ N ( Y ) adalah lemah konsisten maksimum kemungkinan estimator (MLE) dari θ 0 . Tunduk pada kondisi keteraturan matriks Informasi Fisher dapat ditulis sebagaiθ^N(Y)θ0

I(θ)=Eθ[Hθ(logf(Y~|θ)]

di mana Hθ adalah matriks Hessian. Setara sampel adalah

IN(θ)=i=1NIyi(θ),

di mana Iyi=Eθ[Hθ(logf(Yi|θ)] . Matriks informasi yang diamati adalah;

J(θ)=Hθ(logf(y|θ) ,

(beberapa orang menuntut matriks dievaluasi pada θ tapi beberapa tidak). Matriks informasi yang diamati sampel adalah;θ^

JN(θ)=i=1NJyi(θ)

di mana Jyi(θ)=Hθ(logf(yi|θ) .

Saya bisa membuktikan konvergensi dalam probabilitas dari estimator N1JN(θ) ke I(θ) , tetapi bukan dari N1JN(θ^N(Y)) ke I(θ0) . Inilah bukti saya sejauh ini;

Sekarang (JN(θ))rs=i=1N(Hθ(logf(Yi|θ))rs adalah elemen (r,s) dari JN(θ) , untuk setiap r,s=1,,k. Jika sampel iid, maka dengan hukum lemah jumlah besar (WLLN), rata-rata dari puncak ini konvergen dalam probabilitas ke Eθ[(Hθ(logf(Y1|θ))rs]=(IY1(θ))rs=(I(θ))rs Jadi N1(JN(θ))rsP(I(θ))rs untuk semuar,s=1,,k , dan begituN1JN(θ)PI(θ) . Sayangnya kita tidak bisa hanya menyimpulkan dengan menggunakan teorema pemetaan kontinu karena N - 1 J N ( ) tidak memiliki fungsi yang sama dengan I ( ) .N1JN(θ^N(Y))PI(θ0)N1JN()I()

Bantuan apa pun akan sangat dihargai.

dandar
sumber
apakah jawaban saya di bawah alamat menjawab pertanyaan Anda?
Dapz
1
@Apap, Mohon terima permintaan maaf saya yang tulus karena tidak membalas Anda sampai sekarang - saya membuat kesalahan dengan berasumsi tidak ada yang akan menjawab. Terima kasih atas jawaban Anda di bawah ini - Saya telah memutarnya karena saya dapat melihatnya paling berguna, namun saya perlu meluangkan sedikit waktu untuk mempertimbangkannya. Terima kasih atas waktu Anda, dan saya akan segera membalas posting Anda di bawah ini.
dandar

Jawaban:

7

Saya kira secara langsung membuat semacam hukum seragam dalam jumlah besar adalah salah satu pendekatan yang mungkin.

Ini satu lagi.

Kami ingin menunjukkan bahwa .JN(θMLE)NPI(θ)

(Seperti yang Anda katakan, kami miliki oleh WLLN bahwa . Tapi ini tidak secara langsung membantu kita.)JN(θ)NPI(θ)

Salah satu strategi yang mungkin adalah menunjukkan bahwa

|I(θ)JN(θ)N|P0.

dan

|JN(θMLE)NJN(θ)N|P0

Jika kedua hasil tersebut benar, maka kita dapat menggabungkannya untuk mendapatkan

|I(θ)JN(θMLE)N|P0,

which is exactly what we want to show.

The first equation follows from the weak law of large numbers.

The second almost follows from the continuous mapping theorem, but unfortunately our function g() that we want to apply the CMT to changes with N: our g is really gN(θ):=JN(θ)N. So we cannot use the CMT.

(Comment: If you examine the proof of the CMT on Wikipedia, notice that the set Bδ they define in their proof for us now also depends on n. We essentially need some sort of equicontinuity at θ over our functions gN(θ).)

Fortunately, if you assume that the family G={gN|N=1,2,} is stochastically equicontinuous at θ, then it immediately follows that for θMLEPθ,

|gn(θMLE)gn(θ)|P0.

(See here: http://www.cs.berkeley.edu/~jordan/courses/210B-spring07/lectures/stat210b_lecture_12.pdf for a definition of stochastic equicontinuity at θ, and a proof of the above fact.)

Therefore, assuming that G is SE at θ, your desired result holds true and the empirical Fisher information converges to the population Fisher information.

Now, the key question of course is, what sort of conditions do you need to impose on G to get SE? It looks like one way to do this is to establish a Lipshitz condition on the entire class of functions G (see here: http://econ.duke.edu/uploads/media_items/uniform-convergence-and-stochastic-equicontinuity.original.pdf ).

Dapz
sumber
1

The answer above using stochastic equicontinuity works very well, but here I am answering my own question by using a uniform law of large numbers to show that the observed information matrix is a strongly consistent estimator of the information matrix , i.e. N1JN(θ^N(Y))a.s.I(θ0) if we plug-in a strongly consistent sequence of estimators. I hope it is correct in all details.

We will use IN={1,2,...,N} to be an index set, and let us temporarily adopt the notation J(Y~,θ):=J(θ) in order to be explicit about the dependence of J(θ) on the random vector Y~. We shall also work elementwise with (J(Y~,θ))rs and (JN(θ))rs=i=1N(J(Yi,θ))rs, r,s=1,...,k, for this discussion. The function (J(,θ))rs is real-valued on the set Rn×Θ, and we will suppose that it is Lebesgue measurable for every θΘ. A uniform (strong) law of large numbers defines a set of conditions under which

supθΘ|N1(JN(θ))rsEθ[(J(Y1,θ))rs]|=supθΘ|N1i=1N(J(Yi,θ))rs(I(θ))rs|a.s0(1)

The conditions that must be satisfied in order that (1) holds are (a) Θ is a compact set; (b) (J(Y~,θ))rs is a continuous function on Θ with probability 1; (c) for each θΘ (J(Y~,θ))rs is dominated by a function h(Y~), i.e. |(J(Y~,θ))rs|<h(Y~); and (d) for each θΘ Eθ[h(Y~)]<;. These conditions come from Jennrich (1969, Theorem 2).

Now for any yiRn, iIN and θSΘ, the following inequality obviously holds

|N1i=1N(J(yi,θ))rs(I(θ))rs|supθS|N1i=1N(J(yi,θ))rs(I(θ))rs|.(2)

Suppose that {θ^N(Y)} is a strongly consistent sequence of estimators for θ0, and let ΘN1=BδN1(θ0)KΘ be an open ball in Rk with radius δN10 as N1, and suppose K is compact. Then since θ^N(Y)ΘN1 for N sufficiently large enough we have P[limN{θ^N(Y)ΘN1}]=1 for sufficiently large N. Together with (2) this implies

P[limN{|N1i=1N(J(Yi,θ^N(Y)))rs(I(θ^N(Y)))rs|supθΘN1|N1i=1N(J(Yi,θ))rs(I(θ))rs|}]=1.(3)

Now ΘN1Θ implies conditions (a)-(d) of Jennrich (1969, Theorem 2) apply to ΘN1. Thus (1) and (3) imply

P[limN{|N1i=1N(J(Yi,θ^N(Y)))rs(I(θ^N(Y)))rs|=0}]=1.(4)

Since (I(θ^N(Y)))rsa.s.I(θ0) then (4) implies that N1(JN(θ^N(Y)))rsa.s.(I(θ0))rs. Note that (3) holds however small ΘN1 is, and so the result in (4) is independent of the choice of N1 other than N1 must be chosen such that ΘN1Θ. This result holds for all r,s=1,...,k, and so in terms of matrices we have N1JN(θ^N(Y))a.s.I(θ0).

dandar
sumber