Beralih dari Memodelkan Proses menggunakan Distribusi Poisson untuk menggunakan Distribusi Binomial Negatif?

24

Kami memiliki proses acak yang mungkin-atau-mungkin-tidak terjadi beberapa kali dalam jangka waktu T . Kami memiliki umpan data dari model yang sudah ada dari proses ini, yang menyediakan probabilitas sejumlah peristiwa yang terjadi pada periode 0t<T . Model yang ada ini sudah tua dan kita perlu menjalankan cek langsung pada data umpan untuk kesalahan estimasi. Model lama yang menghasilkan data-feed (yang menyediakan kemungkinan n peristiwa yang terjadi dalam waktu- t yang tersisa t) adalah sekitar Poisson Distributed.

Jadi untuk memeriksa anomali / kesalahan, kita membiarkan t menjadi waktu yang tersisa dan Xt menjadi jumlah total kejadian yang terjadi di sisa waktu t . Model lama menyiratkan estimasi P(Xtc) . Jadi dengan asumsi kami XtPoisson(λt) kita memiliki:

P(Xtc)=eλk=0cλtkk!.
Untuk menurunkan laju acara kami λt dari output model lama (pengamatan yt ), kami menggunakan pendekatan ruang keadaan dan memodelkan hubungan keadaan sebagai:
yt=λt+εt(εtN(0,Ht)).
Kami memfilter pengamatan dari model lama, menggunakan model keadaan ruang [pembusukan kecepatan konstan] untuk evolusi λt untuk mendapatkan keadaan yang disaring E(λt|Yt) dan menandai anomali / kesalahan dalam perkiraan frekuensi kejadian dari data umpan jika E(λt|Yt)<yt .

Pendekatan ini bekerja dengan sangat baik dalam mengambil kesalahan dalam estimasi peristiwa yang dihitung selama periode waktu penuh T , tetapi tidak begitu baik jika kita ingin melakukan hal yang sama untuk periode lain 0t<σ where σ<23T . Untuk mengatasi ini, kami telah memutuskan sekarang kami ingin beralih untuk menggunakan distribusi Binomial Negatif sehingga kami menganggap sekarang XtNB(r,p) dan kami memiliki:

P(Xtc)=prk=0c(1p)k(k+r1r1),
mana parameter λ sekarang diganti oleh r dan p. Ini harus langsung diimplementasikan, tetapi saya mengalami beberapa kesulitan dengan interpretasi dan karenanya saya memiliki beberapa pertanyaan yang saya ingin Anda bantu:

1. Bisakah kita mengatur p=λ dalam distribusi binomial negatif? Jika tidak, mengapa tidak?

2. Dengan anggapan kita dapat mengatur p=f(λ) mana f adalah beberapa fungsi, bagaimana kita dapat dengan benar mengatur r (apakah kita perlu mencocokkan r menggunakan set data terakhir)?

3. Apakah r tergantung pada jumlah peristiwa yang kita harapkan terjadi selama proses tertentu?


Tambahan untuk mengekstraksi perkiraan untuk r (dan p ):

Saya menyadari bahwa jika kita sebenarnya memiliki masalah ini terbalik, dan kami memiliki jumlah acara untuk setiap proses, kami dapat mengadopsi penduga kemungkinan maksimum untuk dan . Tentu saja penaksir kemungkinan maksimum hanya ada untuk sampel yang varians sampelnya lebih besar dari rata-rata sampel, tetapi jika hal ini terjadi, kami dapat mengatur fungsi kemungkinan untuk pengamatan independen yang terdistribusi secara identik as: dari mana kita dapat menulis fungsi kemungkinan log sebagai: p N k 1 , k 2 , , k N L ( r , p ) = = 1 ln ( k i ! ) -rpNk1,k2,,kNl(r,p)= N i=1ln(Γ(ki+r))- N i

L(r,p)=i=1NP(ki;r,p),
l(r,p)=i=1Nln(Γ(ki+r))i=1Nln(ki!)Nln(Γ(r))+i=1Nkiln(p)+Nrln(1p).
Untuk menemukan maksimum, kami mengambil turunan parsial sehubungan dengan dan dan menetapkannya sama dengan nol: Pengaturan dan pengaturan kami menemukan: rp
rl(r,p)=i=1Nψ(ki+r)Nψ(r)+Nln(1p),pl(r,p)=i=1Nki1pNr11p.
rl(r,p)=pl(r,p)=0p=i=1Nki(Nr+i=1Nki),rp
rl(r,p)=i=1Nψ(ki+r)Nψ(r)+Nln(rr+i=1NkiN)=0.
Persamaan ini tidak dapat diselesaikan untuk r dalam bentuk tertutup menggunakan Newton atau bahkan EM. Namun, ini tidak terjadi dalam situasi ini. Meskipun kita bisa menggunakan data masa lalu untuk mendapatkan dan statis, ini tidak benar-benar digunakan untuk proses kita, kita perlu menyesuaikan parameter ini dalam waktu, seperti yang kita lakukan menggunakan Poisson. rp
Ksatria bulan
sumber
1
Mengapa tidak menyambungkan data Anda ke model regresi Poisson atau Negatif Binomial?
StatsStudent
1
Saya tidak merasa itu harus memiliki untuk digunakan. Mengingat bahwa Poisson adalah kasus pembatas dari Binomial Negatif, harus ada beberapa cara untuk mengukur masalah ini dengan cara yang sama seperti yang telah saya lakukan untuk Poisson. Selain itu, proses ini terjadi secara bersamaan untuk ribuan proses yang berbeda dan tidak ada yang memiliki "tingkat kejadian" yang sama, yang berarti analisis regresi untuk parameter ini harus dilakukan pada setiap pengamatan baru untuk semua proses langsung. Ini tidak layak. Terima kasih banyak telah meluangkan waktu untuk membaca pertanyaan dan komentar saya, ini sangat dihargai ...
MoonKnight
1
Dalam hal menautkan poisson ke NB, jika Anda memiliki dengan variabel dispersi tersembunyi sehingga dan . Ini akan memberikan distribusi NB marjinal setelah mengintegrasikan . Anda bisa menggunakan ini untuk membantu. ( g t | r t ) ~ G a m m a ( r t , r t ) E ( g t ) = 1 v a r ( g t ) = r -1 t g t(Xt|λt,rt,gt)Pois(λtgt)(gt|rt)Gamma(rt,rt)E(gt)=1var(gt)=rt1gt
probabilityislogic
Itu sangat membantu, tetapi apakah Anda dapat menyempurnakan ini sedikit lebih banyak dan memberikan beberapa rincian eksplisit? Terima kasih banyak atas waktu Anda ...
MoonKnight
1
Bagaimana dengan menggunakan binomial daripada binomial negatif? Itu mungkin lebih mudah dilakukan. Anscombe FJ. Transformasi data Poisson, binomial, dan negatif-binomial. Biometrika. 1948; 35: 246-54.
Carl

Jawaban:

1

Distribusi binomial negatif sangat mirip dengan model probabilitas binomial. itu berlaku ketika asumsi (kondisi) berikut ini berlaku 1) Setiap percobaan dilakukan di bawah kondisi yang sama sampai sejumlah keberhasilan tetap, katakanlah C, tercapai 2) Hasil dari setiap percobaan dapat diklasifikasikan ke dalam salah satu dari dua kategori , berhasil atau gagal 3) Probabilitas P untuk kesuksesan adalah sama untuk setiap percobaan. 40 Setiap eksperimen tidak tergantung dari yang lain. Kondisi pertama adalah satu-satunya faktor pembeda utama antara binomial dan binomial negatif

Vishwa Dharma
sumber
0

Distribusi poisson dapat menjadi perkiraan yang wajar dari binomial dalam kondisi tertentu seperti 1) Probabilitas keberhasilan untuk setiap percobaan sangat kecil. P -> 0 2) np = m (katakanlah) adalah finete. Aturan yang paling sering digunakan oleh ahli statistik adalah bahwa poisson adalah perkiraan yang baik dari binomial ketika n sama dengan atau lebih besar dari 20 dan p sama atau kurang dari 5 %

Vishwa Dharma
sumber