Estimator kemungkinan maksimum dari distribusi gabungan yang diberikan hanya jumlah marginal

Biarkan menjadi distribusi gabungan dari dua variabel kategori , dengan . Katakanlah sampel diambil dari distribusi ini, tetapi kami hanya diberi jumlah marginal, yaitu untuk : $p_{x,y}$ $X,Y$ $x,y\in\{1,\ldots,K\}$ $n$ $j=1,\ldots,K$

S_{j} = \sum_{i = 1}^{n} δ (X_{i} = l), T_{j} = \sum_{i = 1}^{n} δ (Y_{i} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

Berapakah estimator kemungkinan maksimum untuk , diberikan ? Apakah ini diketahui? Layak secara komputasi? Apakah ada pendekatan masuk akal lain untuk masalah ini selain ML? $p_{x,y}$ $S_j,T_j$

categorical-data maximum-likelihood joint-distribution marginal maximum-entropy RS
sumber

Margin tidak benar-benar mengandung informasi * tentang distribusi bersama (memang ini adalah titik kopula). * atau setidaknya hampir tidak ada - jelas margin memang mengandung setidaknya beberapa informasi, karena jumlah interior tidak dapat melebihi margin yang terjadi. Apakah Anda memiliki distribusi gabungan tertentu dalam pikiran? Mengapa Anda menggunakan tag? Apakah Anda mencari solusi entropi maksimum?

$\:$ maximum-entropy

Glen_b -Reinstate Monica

Saya tidak begitu akrab dengan copulas. Apakah mereka tahan untuk kasus kategori juga? Apa artinya itu - bahwa setiap distribusi bersama dengan margin yang sama akan memiliki kemungkinan yang sama? (Saya menandai entropi maksimum karena saya pikir itu relevan.)

Kami bahkan belum memiliki model distribusi yang ditentukan, jadi kami tidak dalam posisi untuk menghitung . Ada banyak kemungkinan di sini. Kopula ada untuk kasus kategorikal terurut (jika tidak unik), tetapi tujuan saya meningkatkannya adalah untuk memberi motivasi mengapa marginal tidak terlalu informatif secara umum. Sehubungan dengan kasus penghitungan kategori, Fisher memperlakukan margin sebagai tidak informatif tentang sambungan, di mana tes pasti Fisher-Irwin. Jika Anda ingin entropi maksimum, Anda mungkin bisa mendapatkan solusi entropi maksimum, tapi saya tidak tahu itu akan sangat informatif tentang ...

P (x | θ)

$P(x|\theta)$

Glen_b -Reinstate Monica

(ctd) ... struktur. Baik dalam kasus ME atau ML, saya pikir Anda pertama-tama akan memerlukan beberapa jenis model, apakah itu bivariat multinomial, hypergeometrik bivariat, atau sesuatu dengan struktur yang lebih banyak. Lihat pertanyaan ini , di mana penulis menempatkan referensi ke dalam jawaban. Itu mungkin bisa membantu.

Glen_b -Reinstate Monica

Maksud saya distribusi multinomial bivariat umum. Pertanyaannya berbicara tentang kasus di mana jumlah distribusi diberikan dan kami melihat sampel dari distribusi bersama. Di sini kita memiliki jumlah sampel. Saya pikir masalahnya didefinisikan dengan baik dalam kasus ML (solusinya mungkin tidak unik tapi saya tidak tahu).

Jawaban:

Jenis masalah ini dipelajari dalam makalah "Augmentasi Data dalam Tabel Kontingensi Multi-arah Dengan Total Marginal Tetap" oleh Dobra et al (2006). Biarkan menunjukkan parameter model, biarkan menunjukkan tabel bilangan bulat yang tidak teramati untuk setiap pasangan , dan biarkan adalah himpunan tabel bilangan bulat yang marginalnya sama dengan jumlah . Maka probabilitas mengamati jumlah marginal adalah: mana $\theta$ $\mathbf{n}$ $(x,y)$ $C(S,T)$ $(S,T)$ $(S,T)$

p (S, T | θ) = \sum_{n \in C (S, T)} p (n | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$ adalah distribusi pengambilan sampel multinomial. Ini mendefinisikan fungsi kemungkinan untuk ML, tetapi evaluasi langsung tidak mungkin kecuali untuk masalah kecil. Pendekatan yang mereka rekomendasikan adalah MCMC, di mana Anda secara bergantian memperbarui dan dengan mengambil sampel dari distribusi proposal dan menerima perubahan sesuai dengan rasio penerimaan Metropolis-Hastings. Ini dapat disesuaikan untuk menemukan perkiraan maksimum lebih dari menggunakan Monte Carlo EM.

n

$\mathbf{n}$

θ

$\theta$

θ

$\theta$

Pendekatan yang berbeda akan menggunakan metode variasi untuk memperkirakan jumlah lebih dari . Batasan marginal dapat dikodekan sebagai grafik faktor dan inferensi atas dapat dilakukan dengan menggunakan Propagasi Ekspektasi. $\mathbf{n}$ $\theta$

Untuk melihat mengapa masalah ini sulit dan tidak mengakui solusi sepele, pertimbangkan kasus . Mengambil sebagai jumlah baris dan sebagai jumlah kolom, ada dua tabel jumlah yang memungkinkan: Oleh karena itu fungsi kemungkinan adalah The MLE untuk masalah ini adalah yang sesuai dengan asumsi tabel di sebelah kiri. Sebaliknya, perkiraan yang akan Anda dapatkan dengan mengasumsikan independensi adalah $S=(1,2), T=(2,1)$ $S$ $T$

[\begin{matrix} 0 & 1 \\ 2 & 0 \end{matrix}] [\begin{matrix} 1 & 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

p (S, T | θ) = 3 p_{12} p_{21}^{2} + 6 p_{11} p_{21} p_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{p}}_{x, y} = [\begin{matrix} 0 & 1 / 3 \\ 2 / 3 & 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$

q_{x, y} = [\begin{matrix} 1 / 3 \\ 2 / 3 \end{matrix}] [\begin{matrix} 2 / 3 & 1 / 3 \end{matrix}] = [\begin{matrix} 2 / 9 & 1 / 9 \\ 4 / 9 & 2 / 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$ yang memiliki nilai kemungkinan lebih kecil.

Tom Minka
sumber

Apakah tidak mungkin mendapatkan solusi analitik?

Ben Kuhn

Terima kasih! Makalah ini tampaknya relevan, meskipun tampaknya dari perspektif Bayesian. Bagaimana dengan kasus spesifik di mana sebenarnya distribusi itu sendiri, yaitu , untuk semua pasangan ? Apakah akan ada solusi analitik dalam kasus ini?

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

Saya tidak akan curiga ada solusi analitik. Saya menambahkan contoh untuk menggambarkan ini.

Tom Minka

Terima kasih. Mungkin itu benar tanpa gejala? Kemudian, pengkondisian pada total margin sama dengan pengkondisian pada distribusi margin (setelah normalisasi), dan log-kemungkinan untuk setiap tabel integer yang tidak teramati sebanding dengan entropinya. Mungkin sesuatu dengan AEP?

Seperti yang telah ditunjukkan oleh @Glen_b, ini tidak cukup ditentukan. Saya tidak berpikir Anda dapat menggunakan kemungkinan maksimum kecuali Anda dapat menentukan kemungkinan sepenuhnya.

Jika Anda bersedia untuk mengambil kemandirian, maka masalahnya cukup sederhana (kebetulan, saya pikir solusinya akan menjadi solusi entropi maksimum yang telah disarankan). Jika Anda tidak mau atau tidak dapat memaksakan struktur tambahan dalam masalah Anda dan Anda masih menginginkan semacam pendekatan terhadap nilai-nilai sel, mungkin Anda bisa menggunakan batas kopula Fréchet-Hoeffding . Tanpa asumsi tambahan, saya tidak berpikir Anda bisa melangkah lebih jauh.

F. Tusell
sumber

Kemungkinan ini bisa multinomial. Mengapa itu tidak cukup?

Seperti yang saya pahami, kemungkinannya adalah fungsi dari parameter yang diberikan data. Di sini, Anda tidak memiliki nilai untuk setiap sel, hanya marginal, maka Anda tidak memiliki fungsi tunggal dari parameter yang dapat Anda hitung, apalagi maksimalkan. Secara umum ada banyak konfigurasi sel yang kompatibel dengan margin, dan masing-masing akan memberikan kemungkinan yang berbeda.

F. Tusell

Ya, tapi tidak apa-apa. Parameternya adalah , data adalah marginal. Saya masih bisa menghitung probabilitas marjinal yang diberikan - ini jumlah dari semua probabilitas konfigurasi sel yang memberikan marjinal. Itu satu fungsi yang bisa saya maksimalkan.

p

$p$

p

$p$

Sunting: Jawaban ini didasarkan pada asumsi yang salah bahwa kemungkinan jumlah marginal yang diberikan hanyalah fungsi dari probabilitas marginal dan . Saya masih memikirkannya. $p_{x,y}$ $p_x = \sum_y p_{x,y}$ $p_y = \sum_x p_{x,y}$

Hal-hal yang salah berikut:

Seperti disebutkan dalam komentar, masalah dengan menemukan "the" estimator maksimum-kemungkinan untuk adalah bahwa itu tidak unik. Sebagai contoh, pertimbangkan kasus dengan biner dan marginal . Dua penaksir $p_{x, y}$ $X, Y$ $S_1 = S_2 = T_1 = T_2 = 10$

p = (\begin{array}{cc} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{array}), p = (\begin{array}{cc} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

memiliki probabilitas marginal yang sama dan dalam semua kasus, dan karenanya memiliki kemungkinan yang sama (keduanya memaksimalkan fungsi kemungkinan, seperti yang dapat Anda verifikasi). $p_x$ $p_y$

Memang, tidak peduli apa marjinalnya (selama dua di antaranya adalah nol di setiap dimensi), solusi kemungkinan maksimum tidak unik. Saya akan membuktikan ini untuk kasus biner. Biarkan menjadi solusi kemungkinan-maksimum. Tanpa kehilangan keumuman misalkan . Kemudian memiliki margin yang sama dan dengan demikian juga merupakan solusi kemungkinan-maksimum. $p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ $0 < a \le d$ $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

Jika Anda ingin tambahan menerapkan batasan entropi maksimum, maka Anda mendapatkan solusi unik, yang seperti F. Tussell menyatakan adalah solusi di mana independen. Anda dapat melihat ini sebagai berikut: $X, Y$

Entropi dari distribusi adalah ; memaksimalkan subjek ke dan (setara, mana dan ) menggunakan pengganda Lagrange memberikan persamaan: $H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $\vec g(p) = 0$ $g_x(p) = \sum_y p_{x,y} - p_x$ $g_y(p) = \sum_x p_{x,y} - p_y$

\nabla H (p) = \sum_{k \in X \cup Y} λ_{k} \nabla g_{k} (p)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

Semua gradien dari masing-masing adalah 1, jadi koordinasikan dengan bijak ini $g_k$

1 - \log p_{x, y} = λ_{x} + λ_{y} ⟹ p_{x, y} = e^{1 - λ_{x} - λ_{y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

ditambah batasan aslinya dan . Anda dapat memverifikasi bahwa ini puas ketika dan , memberikan $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $e^{1/2 - \lambda_x} = p_x$ $e^{1/2 - \lambda_y} = p_y$

p_{x, y} = p_{x} p_{y} .

$p_{x,y} = p_xp_y.$

Ben Kuhn
sumber

Untuk contoh pertama: Apa yang diberikan adalah jumlah marginal , bukan probabilitas marginal. Dalam kasus yang telah Anda jelaskan, probabilitas untuk kiri adalah probabilitas yaitu . Untuk kanan , itu adalah , yaitu . Sekalipun tidak ada solusi unik, itu tidak berarti kita tidak bisa menunjuk ke beberapa solusi. Entropi maksimum memberikan solusi unik, tetapi kemungkinan tidak maksimal.

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$

p

$p$

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$

2^{- 20}

$2^{-20}$

p

$p$

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$

Anda telah menghitung probabilitas secara salah; misalnya, Anda lupa menyertakan koefisien binomial. Tetapi Anda benar bahwa kedua matriks memberikan distribusi gabungan yang berbeda dari jumlah marginal meskipun mereka memberikan distribusi marginal yang sama dengan jumlah marginal. (Astaga!) Saya akan memikirkan ini lebih banyak.

Ben Kuhn