Fungsi kemungkinan maksimum untuk distribusi tipe campuran

Secara umum kami memaksimalkan suatu fungsi

$$L(\theta; x_1, \ldots, x_n) = \prod_{i=1}^n f(x_i \mid \theta)$$

di mana $f$ adalah fungsi kerapatan probabilitas jika distribusi yang mendasarinya adalah kontinu, dan fungsi massa probabilitas (dengan penjumlahan sebagai pengganti produk) jika distribusinya terpisah.

Bagaimana kita menentukan fungsi kemungkinan jika distribusi yang mendasarinya adalah campuran antara distribusi kontinu dan diskrit, dengan bobot masing-masing tergantung pada $\theta$ ?

Fungsi kemungkinan adalah kepadatan data pada nilai yang diamati dinyatakan sebagai fungsi dari Kepadatan ini didefinisikan untuk setiap nilai (dapat diterima) dari hampir di mana-mana atas dukungan , , terhadap ukuran tertentu atas itu tidak tergantung pada . Untuk setiap keluarga parametrik, harus ada ukuran yang mendominasi di semua , maka kepadatan, maka kemungkinan.$\ell(\theta|\mathbf{x})$$\mathbf{x}$$\theta$

$$\ell(\theta|\mathbf{x})=f(\mathbf{x}|\theta)$$ $\theta$$\mathbf{x}$$\mathfrak{X}$$\mathfrak{X}$$\theta$$\theta$

Berikut adalah kutipan yang relevan dari entri Wikipedia tentang fungsi kemungkinan (stres adalah milikku):

Dalam teori probabilitas ukuran-teoretis, fungsi kerapatan didefinisikan sebagai turunan Radon-Nikodym dari distribusi probabilitas relatif terhadap ukuran yang mendominasi. Ini menyediakan fungsi kemungkinan untuk setiap model probabilitas dengan semua distribusi, apakah terpisah, benar-benar kontinu, campuran atau sesuatu yang lain. (Kemungkinan akan sebanding, misalnya, untuk estimasi parameter, hanya jika mereka adalah turunan Radon-Nikodym sehubungan dengan ukuran yang mendominasi yang sama.)

Saya mengaku bingung dengan pertanyaan ini untuk beberapa waktu sebelumnya dalam karier saya. Satu cara saya meyakinkan diri sendiri tentang jawabannya adalah mengambil pandangan situasi yang sangat praktis dan terapan, pandangan yang mengakui bahwa tidak ada pengukuran yang sempurna. Mari kita lihat ke mana arahnya.

Inti dari latihan ini adalah untuk mengekspos asumsi yang mungkin diperlukan untuk membenarkan pencampuran kepadatan dan probabilitas yang agak fasih dalam ekspresi untuk kemungkinan. Karena itu saya akan menyoroti asumsi seperti itu di mana pun mereka diperkenalkan. Ternyata cukup banyak yang dibutuhkan, tetapi mereka cukup ringan dan mencakup setiap aplikasi yang saya temui (yang jelas akan terbatas, tetapi masih termasuk beberapa).

Masalahnya menyangkut distribusi campuran yang tidak mutlak kontinu atau tunggal. Teorema Dekomposisi Lebesgue memungkinkan kita untuk melihat distribusi semacam itu sebagai campuran yang benar-benar kontinu (yang menurut definisi memiliki fungsi kepadatan ) dan yang singular ("diskrit"), yang memiliki fungsi massa probabilitas (Saya akan mengabaikan kemungkinan bahwa komponen ketiga, terus menerus tetapi tidak sepenuhnya terus menerus, mungkin ada. Mereka yang menggunakan model seperti itu cenderung tahu apa yang mereka lakukan dan biasanya memiliki semua keterampilan teknis untuk membenarkannya.)$F,$$f_a$$f_d.$

Ketika adalah anggota keluarga distribusi parametrik, kita dapat menulis$F = F_\theta$

$$F_\theta(x) = F_{a\theta}(x) + F_{d\theta}(x) = \int_{\infty}^x f_a(t;\theta)\mathrm{d}t + \sum_{t \le x} f_d(t;\theta).$$

(Jumlahnya paling dapat dihitung, tentu saja.) Di sini, adalah fungsi kepadatan probabilitas dikalikan dengan beberapa koefisien campuran dan adalah probabilitas fungsi massa dikalikan dengan$f_a(\,;\theta)$$\lambda(\theta)$$f_d(\,;\theta)$$1-\lambda(\theta).$

Mari kita menafsirkan setiap pengamatan dalam dataset iid sebagai "benar-benar" yang berarti kita memiliki pengetahuan tertentu bahwa nilai yang mendasari hipotetis benar terletak pada interval mengelilingi tetapi sebaliknya tidak memiliki informasi tentang Dengan asumsi kita tahu semua delta dan epsilon, ini tidak lagi menimbulkan masalah untuk membangun kemungkinan karena semuanya dapat dinyatakan dalam probabilitas:$x_i$$X=(x_1,x_2,\ldots, x_n)$$y_i$$(x_i-\delta_i, x_i+\epsilon_i]$$x_i,$$y_i.$

$$\mathcal{L}(X;\theta) = \prod_i \left(F_\theta(x_i + \epsilon_i) - F_\theta(x_i - \delta_i)\right).$$

Jika dukungan tidak memiliki titik kondensasi pada apa pun$F_{d\theta}$$x_i,$ kontribusinya terhadap probabilitas akan berkurang hingga paling banyak satu istilah saja asalkan epsilon dan delta dibuat cukup kecil: tidak akan ada kontribusi ketika tidak dalam dukungannya.$x_i$

Jika kita menganggap adalah Lipschitz kontinu pada semua nilai data,$f_a(\,;\theta)$ maka secara seragam dalam ukuran epsilon dan delta kita dapat memperkirakan bagian yang benar-benar kontinu dari sebagai$F_\theta(x_i)$

$$F_{a\theta}(x_i + \epsilon_i) - F_{a\theta}(x_i - \delta_i) = f_a(x_i;\theta)(\epsilon_i + \delta_i) + o(|\epsilon_i + \delta_i|).$$

Keseragaman dari perkiraan ini berarti bahwa ketika kita mengambil semua epsilon dan delta untuk menjadi kecil, semua istilah juga tumbuh kecil. Akibatnya ada nilai yang semakin kecil diatur oleh kontribusi dari semua istilah kesalahan ini, yang$o()$$\epsilon(\theta)\gt 0,$

$$\eqalign{ \mathcal{L}(X;\theta) &= \prod_i \left(f_a(x_i;\theta)(\epsilon_i + \delta_i) + o(|\epsilon_i + \delta_i|) + f_d(x_i;\theta)\right)\\ &= \prod_i \left(f_a(x_i;\theta)(\epsilon_i + \delta_i) + f_d(x_i;\theta)\right)\ + \ o(\epsilon(\theta)). }$$

Ini masih agak berantakan, tapi ini menunjukkan ke mana kita pergi. Dalam hal data yang disensor, biasanya hanya satu bagian dari setiap istilah dalam produk akan nol, karena model ini biasanya mengasumsikan bahwa dukungan dari bagian tunggal dari distribusi terpisah dari dukungan bagian kontinu, tidak peduli apa pun parameter mungkin. $\theta$(Khususnya: menyiratkan ) Itu memungkinkan kami untuk memecah produk menjadi dua bagian dan kami dapat memperhitungkan kontribusi dari semua interval keluar dari bagian kontinu:$f_d(x) \ne 0$$F_a(x+\epsilon)-F_a(x-\epsilon) = o(\epsilon).$

$$\mathcal{L}(X;\theta) = \left(\prod_{i=1}^k (\epsilon_i + \delta_i) \right)\prod_{i=1}^k f_a(x_i;\theta) \ \prod_{i=k+1}^n f_d(x_i;\theta).$$

(Tanpa kehilangan sifat umum saya telah mengindeks data sehingga berkontribusi ke bagian yang kontinu dan sebaliknya berkontribusi pada bagian tunggal dari kemungkinan.)$x_i, i=1, 2, \ldots, k$$x_i, i=k+1, k+2, \ldots, n$

Ungkapan ini sekarang membuatnya jelas

Karena lebar interval adalah tetap, mereka tidak berkontribusi pada kemungkinan (yang didefinisikan hanya hingga beberapa kelipatan konstan positif).$\epsilon_i+\delta_i$

Dengan demikian, kami dapat bekerja dengan ekspresi

$$\mathcal{L}(X;\theta) = \prod_{i=1}^k f_a(x_i;\theta) \ \prod_{i=k+1}^n f_d(x_i;\theta)$$

ketika membangun rasio kemungkinan atau memaksimalkan kemungkinan. Keindahan hasil ini adalah bahwa kita tidak perlu mengetahui ukuran interval hingga yang digunakan dalam derivasi ini: epsilon dan delta drop out. Kita hanya perlu tahu bahwa kita bisa membuatnya cukup kecil untuk ekspresi kemungkinan yang sebenarnya kita kerjakan menjadi perkiraan yang memadai untuk ekspresi kemungkinan yang akan kita gunakan jika kita tahu ukuran intervalnya.

Pertanyaan ini adalah masalah mendasar yang sangat penting dalam analisis kemungkinan, dan juga yang sangat halus dan sulit, jadi saya cukup terkejut dengan beberapa jawaban dangkal yang diterimanya dalam komentar.

Bagaimanapun, dalam jawaban ini saya hanya akan menambahkan satu poin kecil untuk jawaban whuber yang sangat baik (yang saya pikir merupakan pendekatan yang tepat untuk masalah ini). Poin itu adalah bahwa fungsi kemungkinan dalam konteks ini berasal dari fungsi densitas pada ukuran dominasi campuran, dan ini mengarah pada sifat yang menarik bahwa kita dapat mengukur ukuran relatif fungsi kemungkinan secara sewenang-wenang atas bagian kontinu dan diskrit dan kita masih memiliki valid fungsi kemungkinan . Ini menimbulkan pertanyaan yang jelas tentang bagaimana kita dapat menerapkan teknik kemungkinan ketika tidak ada fungsi kemungkinan unik.

Menggambarkan titik ini membutuhkan beberapa presentasi pendahuluan pada kepadatan sampel sebagai turunan Radon-Nikodym dari ukuran probabilitas, jadi tolong tahan dengan saya. Pertama-tama saya akan menunjukkan cara mendapatkan fungsi kerapatan untuk ukuran yang mendominasi campuran dan kemudian saya akan menunjukkan mengapa hal ini mengarah pada kemampuan untuk skala bagian kontinu dan diskrit dari kemungkinan sesuai keinginan. Akhirnya, saya akan membahas implikasi masalah ini untuk analisis berbasis kemungkinan dan memberikan pendapat saya pada resolusi. Saya pikir ini pada dasarnya diselesaikan dengan metode whuber menyajikan dalam jawabannya, tetapi perlu diperluas ke arah yang telah saya bahas dalam komentar untuk jawaban itu, sehingga untuk memastikan bahwa setiap titik dalam mendukung bagian diskrit mengabaikan bagian kontinu pada titik itu.

---

Mengekspresikan kepadatan menggunakan ukuran yang mendominasi: Pendekatan standar untuk menangani kepadatan campuran untuk variabel acak nyata adalah dengan menggunakan ukuran Lebesgue sebagai ukuran yang mendominasi untuk bagian kontinu dan menghitung ukuran (lebih dari beberapa set dapat dihitung ditentukan sebagai ukuran dominan untuk bagian diskrit. Ini mengarah ke turunan Radon-Nikodym yang didefinisikan oleh:$\lambda_\text{LEB}$ $\lambda_\text{COUNT}$$\mathcal{D} \subset \mathbb{R}$

$$\mathbb{P}(X \in \mathcal{A} | \theta) = \int \limits_\mathcal{A} f(x | \theta) \ d \lambda_\text{LEB}(x) + \int \limits_\mathcal{A} p(x | \theta) \ d\lambda_\text{COUNT}(x).$$

(Perhatikan bahwa integral yang terakhir merosot ke jumlah atas elemen . Kami menulisnya di sini sebagai integral untuk membuat kesamaan antara dua istilah lebih jelas.) Seseorang dapat gunakan kepadatan tunggal dengan mengambil ukuran dan pengaturan:$x \in \mathcal{A} \cap \mathcal{D}$$\lambda_* \equiv \lambda_\text{LEB} + \lambda_\text{COUNT}$

$$f_*(x | \theta) \equiv \mathbb{I}(x \notin \mathcal{D}) \cdot f(x | \theta) + \mathbb{I}(x \in \mathcal{D}) \cdot p(x | \theta).$$

Menggunakan sebagai ukuran yang mendominasi, kami kemudian memiliki ekspresi berikut untuk probabilitas yang menarik:$\lambda_*$

$$\mathbb{P}(X \in \mathcal{A} | \theta) = \int \limits_\mathcal{A} f_*(x | \theta) \ d \lambda_*(x).$$

Ini menunjukkan bahwa fungsi adalah turunan Radon-Nikodym yang valid dari ukuran probabilitas pada , jadi ini adalah kepadatan yang valid untuk variabel acak ini. Karena itu tergantung pada dan kita kemudian dapat mendefinisikan fungsi kemungkinan yang valid dengan memegang tetap dan memperlakukan ini sebagai fungsi .$f_*$$X$$x$$\theta$$L_x^*(\theta) \propto f_*(x | \theta)$$x$$\theta$

---

Pengaruh penskalaan langkah-langkah yang mendominasi: Sekarang kita memahami ekstraksi kepadatan dari ukuran yang mendominasi, ini mengarah ke properti yang aneh di mana kita dapat skala ukuran relatif dari kemungkinan atas bagian yang kontinyu dan terpisah dan kita masih memiliki kemungkinan yang valid fungsi. Jika sekarang kita menggunakan ukuran yang mendominasi untuk beberapa konstanta positif dan maka kita sekarang mendapatkan kepadatan Radon-Nikodym yang sesuai:$\lambda_{**} \equiv \alpha \cdot \lambda_\text{LEB} + \beta \cdot \lambda_\text{COUNT}$$\alpha > 0$$\beta > 0$

$$f_{**}(x | \theta) \equiv \frac{\mathbb{I}(x \notin \mathcal{D})}{\alpha} \cdot f(x | \theta) + \frac{\mathbb{I}(x \in \mathcal{D})}{\beta} \cdot p(x | \theta).$$

Menggunakan sebagai ukuran yang mendominasi, kami kemudian memiliki ekspresi berikut untuk probabilitas yang menarik:$\lambda_{**}$

$$\mathbb{P}(X \in \mathcal{A} | \theta) = \int \limits_\mathcal{A} f_{**}(x | \theta) \ d \lambda_{**}(x).$$

Seperti dalam kasus di atas, kita dapat mendefinisikan fungsi kemungkinan yang valid dengan memegang tetap dan memperlakukan ini sebagai fungsi . Anda dapat melihat bahwa kebebasan untuk memvariasikan dan sekarang memberi kami kebebasan untuk menskala ukuran relatif dari bagian kontinu dan diskrit dalam fungsi kemungkinan sebanyak yang kita inginkan, dan masih memiliki fungsi kemungkinan yang valid (walaupun berkenaan dengan ukuran dominasi yang berbeda, dengan penskalaan bagian yang sesuai).$L_x^{**}(\theta) \propto f_{**}(x | \theta)$$x$$\theta$$\alpha$$\beta$

Hasil khusus ini hanya bagian dari hasil yang lebih umum bahwa setiap fungsi kemungkinan didefinisikan sehubungan dengan beberapa (dominan) yang mendasari ukuran, dan tidak ada fungsi kemungkinan unik yang dapat didefinisikan terlepas dari ukuran mendasar ini. Namun demikian, dalam kasus khusus ini kita melihat bahwa itu masih didasarkan pada ukuran yang mendominasi yang merupakan kombinasi dari ukuran Lebesgue dan ukuran penghitungan, jadi kita belum benar-benar menggunakan ukuran itu. Karena tidak ada pembenaran obyektif untuk membentuk ukuran yang mendominasi dari bobot yang sama dari pengukuran Lebesgue dan ukuran penghitungan, implikasinya adalah bahwa tidak ada pembenaran obyektif untuk penskalaan relatif untuk bagian kontinu dan diskrit dari fungsi kemungkinan.$^\dagger$

---

Implikasi untuk analisis kemungkinan: Ini mungkin tampaknya menempatkan kita dalam sedikit kebingungan. Kami dapat secara sewenang-wenang menskalakan bagian diskrit dan kontinu dari fungsi kemungkinan naik atau turun dalam ukuran relatif dan masih memiliki klaim yang masuk akal untuk ini sebagai fungsi kemungkinan yang valid. Untungnya, masalah ini dapat diselesaikan dengan mengakui bahwa konstanta penskalaan akan keluar dari fungsi kemungkinan dengan cara yang sama seperti yang diilustrasikan dalam jawaban whuber . Yaitu, jika kita memiliki dan kita akan mendapatkan:$x_1,...,x_k \notin \mathcal{D}$$x_{k+1},...,x_n \in \mathcal{D}$

$$\begin{equation} \begin{aligned} L_\mathbb{x}^{**}(\theta) = \prod_{i=1}^n L_{x_i}^{**}(\theta) &= \prod_{i=1}^n f_{**}(x_i | \theta) \\[12pt] &= \Bigg( \prod_{i=1}^k \frac{1}{\alpha} \cdot f(x_i | \theta) \Bigg) \Bigg( \prod_{i=k+1}^n \frac{1}{\beta} \cdot p(x_i | \theta) \Bigg) \\[12pt] &= \frac{1}{\alpha^k \beta^{n-k}} \Bigg( \prod_{i=1}^k f(x_i | \theta) \Bigg) \Bigg( \prod_{i=k+1}^n p(x_i | \theta) \Bigg) \\[12pt] &= \frac{1}{\alpha^k \beta^{n-k}} \prod_{i=1}^n f_{*}(x_i | \theta) \\[12pt] &\propto \prod_{i=1}^n f_{*}(x_i | \theta) \\[12pt] &= \prod_{i=1}^n L_{x_i}^{*}(\theta) \\[12pt] &= L_\mathbb{x}^{*}(\theta). \\[12pt] \end{aligned} \end{equation}$$

Ini menunjukkan bahwa sifat penskalaan dari ukuran yang mendominasi hanya mempengaruhi fungsi kemungkinan melalui penskalaan konstan yang dapat diabaikan dalam masalah MLE standar. Perhatikan bahwa dalam perawatan saya terhadap masalah ini, sifat yang bermanfaat ini telah terjadi sebagai akibat langsung dari fakta bahwa kerapatan sampel ditentukan dengan cara yang mengabaikan kerapatan kontinu ketika kita mendukung bagian diskrit. (Ini berbeda dari jawaban whuber , di mana ia memungkinkan untuk kombinasi bagian-bagian ini. Saya pikir ini mungkin benar-benar menyebabkan beberapa masalah sulit; lihat komentar saya untuk jawaban itu.)

---

$^\dagger$ Hasil ini tidak terbatas pada kasus campuran. Bahkan dalam kasus sederhana dengan variabel acak kontinu atau diskrit, jika Anda memvariasikan ukuran dominan yang mendasari itu akan memberikan variasi yang sesuai dalam turunan Radon-Nikodym, yang kemudian mengarah ke fungsi kemungkinan yang berbeda.

Salah satu contoh di mana ini terjadi, yaitu, kemungkinan yang diberikan oleh model probabilitas tipe kontinu / diskrit campuran, adalah dengan data yang disensor. Sebagai contoh, lihat Regresi kesalahan normal tertimbang dengan sensor .

Secara umum ini dapat dirumuskan menggunakan teori ukuran. Kemudian asumsikan sebuah model statistik dengan fungsi model yang merupakan turunan Radon-Nikodym sehubungan dengan ukuran umum (yang seharusnya tidak bergantung pada parameter ). Kemudian fungsi kemungkinan berdasarkan sampel independen adalah . Ini benar-benar sama dalam kasus kontinu, diskrit dan campuran.$f(x;\theta)$$\lambda$$\theta$$x_1, x_2, \dotsc, x_n$$\prod_i f(x_i;\theta)$

Salah satu contoh sederhana adalah pemodelan curah hujan harian. Itu bisa nol, dengan probabilitas positif, atau positif. Jadi untuk ukuran yang mendominasi kita bisa menggunakan jumlah ukuran Lebesgue pada dan atom pada nol. $\lambda$$(0,\infty)$