Deteksi outlier dalam distribusi beta

Katakanlah saya memiliki sampel nilai yang besar di $[0,1]$ . Saya ingin memperkirakan yang mendasarinya $\text{Beta}(\alpha, \beta)$ distribusi. Mayoritas sampel berasal dari asumsi ini $\text{Beta}(\alpha, \beta)$ distribusi, sedangkan sisanya adalah outlier yang ingin saya abaikan dalam estimasi $\alpha$ dan $\beta$ .

Apa cara yang baik untuk melanjutkan ini?

Apakah standar: $\text{Inliers} = \left\{x \in [Q1 - 1.5\, \text{IQR}, Q3 + 1.5 \,\text{IQR}] \right\}$ rumus yang digunakan dalam boxplots menjadi perkiraan yang buruk?

Apa cara yang lebih berprinsip untuk menyelesaikan ini? Apakah ada prior tertentu pada $\alpha$ dan $\beta$ itu akan bekerja dengan baik dalam masalah jenis ini?

masukkan deskripsi gambar di sini

outliers pymc beta-distribution Amelio Vazquez-Reina
sumber

pertimbangkan jawaban yang diposting di sini . Setelah outlier ditandai, pindahkan, dan gunakan distribusi MLE yang sesuai dengan pengamatan yang tersisa. Ini akan lebih tepat karena alasan yang dijelaskan di tautan.

user603

Jawaban:

Cara yang lebih sistematis untuk menangani masalah ini adalah dengan menggunakan model campuran eksplisit, dengan spesifikasi distribusi 'outlier'. Bentuk sederhana adalah menggunakan campuran distribusi beta (untuk poin yang Anda minati) dan distribusi seragam (untuk 'pencilan'). Dengan memodelkan data sebagai distribusi campuran Anda bisa mendapatkan perkiraan $\alpha$ dan $\beta$ yang secara otomatis memperhitungkan fakta bahwa beberapa poin mungkin outlier.

Untuk mengatasi masalah ini menggunakan model campuran, biarkan $\phi$ menjadi probabilitas 'pencilan' dan menganggap Anda memiliki nilai IID $X_1, ..., X_n \sim \phi \cdot \text{U}(0, 1) + (1- \phi) \cdot \text{Beta}(\alpha, \beta)$ . Fungsi kemungkinan untuk data yang diamati adalah:

{L.}_{x} (α, β, ϕ) = \prod_{saya = 1}^{n} (ϕ + (1 - ϕ) \frac{Γ (α + β)}{Γ (α) Γ (β)} x_{saya}^{α - 1} (1 - x_{saya})^{β - 1}) .

$L_\boldsymbol{x}(\alpha, \beta, \phi) = \prod_{i=1}^n \left( \phi + (1 - \phi) \frac{\Gamma (\alpha + \beta)}{\Gamma(\alpha) \Gamma(\beta)} x_i^{\alpha - 1} (1-x_i)^{\beta - 1} \right).$

Anda dapat melanjutkan dari sini menggunakan estimasi MLE atau Bayesian klasik. Baik akan membutuhkan teknik numerik. Setelah memperkirakan tiga parameter dalam model, Anda kemudian akan memiliki estimasi $\alpha$ dan $\beta$ yang secara otomatis menggabungkan kemungkinan outlier. Anda juga akan memiliki perkiraan proporsi pencilan dari model campuran.

Ben - Pasang kembali Monica
sumber