Memperkirakan parameter distribusi-t Student

23

Apa penduga kemungkinan maksimum untuk parameter t-distribusi Student? Apakah mereka ada dalam bentuk tertutup? Pencarian Google cepat tidak memberi saya hasil apa pun.

Hari ini saya tertarik pada kasus univariat, tetapi mungkin saya harus memperluas model ke beberapa dimensi.

EDIT: Saya sebenarnya lebih tertarik pada parameter lokasi dan skala. Untuk saat ini saya dapat berasumsi bahwa parameter derajat kebebasan sudah diperbaiki, dan mungkin menggunakan beberapa skema numerik untuk menemukan nilai optimal nanti.

estimation maximum-likelihood t-distribution Grzenio
sumber

Setahu saya mereka tidak ada dalam bentuk tertutup. Pendekatan tipe pendakian gradien mungkin diperlukan.

Pat

Meskipun distribusi t Student memiliki parameter tunggal , Anda merujuk ke "parameter" dalam bentuk jamak. Apakah Anda mungkin memasukkan parameter lokasi dan / atau skala?

whuber

@whuber, terima kasih atas komentarnya, saya memang tertarik pada parameter lokasi dan skala, lebih dari pada derajat kebebasan.

Grzenio

Dengan

data, persamaan kemungkinan untuk parameter lokasi secara aljabar setara dengan polinomial derajat

. Apakah Anda menganggap nol polinomial seperti itu diberikan dalam "bentuk tertutup"?

n

$n$

2 n - 1

$2n-1$

whuber

@whuber, apakah ada kasus khusus untuk n kecil, misalnya n = 3?

Grzenio

27

Bentuk tertutup tidak ada untuk T, tetapi pendekatan yang sangat intuitif dan stabil adalah melalui algoritma EM. Sekarang karena siswa adalah campuran skala normals, Anda dapat menulis model Anda sebagai

y_{i} = μ + e_{i}

$y_i=\mu+e_i$

dimana dan $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ . Ini berarti bahwa bersyarat padayang MLE hanya tertimbang rata-rata dan standar deviasi. Ini adalah langkah "M" $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\sum_{i} w_{i} y_{i}}{\sum_{i} w_{i}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2} = \frac{\sum_{i} w_{i} (y_{i} - \hat{μ})^{2}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

Sekarang "E" Langkah Menggantikan dengan harapan yang diberikan semua data. Ini diberikan sebagai: $w_i$

{\hat{w}}_{i} = \frac{(ν + 1) σ^{2}}{ν σ^{2} + (y_{i} - μ)^{2}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

jadi Anda cukup mengulangi dua langkah di atas, mengganti "sisi kanan" dari setiap persamaan dengan estimasi parameter saat ini.

Ini sangat mudah menunjukkan sifat ketahanan distribusi t sebagai pengamatan dengan residu besar menerima bobot lebih sedikit dalam perhitungan untuk lokasi , dan pengaruh terikat dalam perhitungan . Dengan "pengaruh terbatas" yang saya maksudkan bahwa kontribusi terhadap estimasi untuk dari pengamatan ke-i tidak dapat melebihi ambang batas yang diberikan (ini dalam algoritma EM). Juga adalah parameter "kekokohan" dalam peningkatan (penurunan) akan menghasilkan lebih banyak (kurang) bobot yang seragam dan karenanya lebih (kurang) sensitivitas terhadap pencilan. $\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

Satu hal yang perlu diperhatikan adalah bahwa fungsi log likelihood mungkin memiliki lebih dari satu titik stasioner, sehingga algoritma EM dapat konvergen ke mode lokal alih-alih mode global. Mode lokal cenderung ditemukan ketika parameter lokasi dimulai terlalu dekat dengan pencilan. Jadi, mulai dari median adalah cara yang baik untuk menghindari ini.

probabilityislogic
sumber

1

Itu luar biasa. Saya telah bermain-main dengan gagasan menyesuaikan siswa menggunakan EM untuk sementara waktu karena alasan yang terlihat seperti campuran gaussians. Apakah Anda memiliki kutipan / referensi untuk persamaan pembaruan yang Anda berikan? Memiliki itu akan meningkatkan kedahsyatan posting ini lebih jauh.

Pat

Sebenarnya, saya pikir saya telah menemukan sendiri, untuk model campuran t siswa (yang saya akan gunakan untuk barang-barang): Campuran distribusi t Student sebagai kerangka kerja yang kuat untuk pendaftaran yang kaku. Demetrios Gerogiannis, Christophoros Nikou, Aristidis Likas. Komputasi Gambar dan Visi 27 (2009) 1285–1294.

Pat

Tautan dalam jawaban saya untuk pertanyaan ini memiliki kerangka kerja EM yang sangat umum untuk banyak dan banyak fungsi kemungkinan - kuantil, mahasiswa, logistik, dan melakukan regresi umum. Kasus khusus Anda adalah "regresi" tanpa kovariat - hanya mencegat - jadi cocok untuk kerangka ini. Juga, ada sejumlah besar ketentuan hukuman yang dapat Anda masukkan ke dalam kerangka kerja ini.

probabilityislogic

ν

$\nu$

Saya pikir referensi ini lebih baik daripada @ Pat. 'ML ESTIMASI DISTRIBUSI DENGAN MENGGUNAKAN EM DAN PERLUASANNYA, ECM DAN ECME. Anda harus sangat berhati-hati dalam pemilihan nilai parameter awal saat menjalankan algoritma EM karena masalah lokal-optimal. Dengan kata lain, Anda harus tahu sesuatu tentang data Anda. Biasanya, saya menghindari penggunaan distribusi t dalam penelitian saya.

4

Makalah berikut membahas persis masalah yang Anda posting.

Liu C. dan Rubin DB 1995. "Perkiraan ML distribusi t menggunakan EM dan ekstensi, ECM dan ECME." Statistica Sinica 5: 19–39.

Ini memberikan estimasi parameter t-distribusi multivariat umum, dengan atau tanpa pengetahuan tentang derajat kebebasan. Prosedur ini dapat ditemukan di Bagian 4, dan sangat mirip dengan probabilityislogic untuk 1-dimensi.

mitchshih
sumber

7

Kedengarannya seperti makalah yang Anda rujuk berisi jawaban yang berguna untuk pertanyaan itu, tetapi jawaban lebih baik ketika mereka berdiri sendiri dan tidak memerlukan sumber daya dari luar (di sini, misalnya, ada kemungkinan OP atau pembaca tidak memiliki akses ke makalah ini. ). Bisakah Anda menyempurnakan jawaban Anda sedikit untuk membuatnya lebih mandiri?

Patrick Coulombe

3

\frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + \frac{t^{2}}{ν})}^{- \frac{ν + 1}{2}} = \frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} \exp {[\ln (1 + \frac{t^{2}}{ν})] [- \frac{ν + 1}{2}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$ and take the ln of that, you will get a nonlinear equation in

ν

$\nu$ . Even if you manage to get a solution, then depending on the number of factors (terms)

n

$n$ , the MLE equation is going to depend on this

n

$n$ in a nontrivial way. All that dramatically simplifies, of course, when

ν \to \infty

$\nu \rightarrow \infty$ , when the power approaches an exponential (Gaussian PDF).

Lucozade
sumber

1

Even in the Gaussian setting the log likelihood is nonlinear in its parameters :-).

whuber

I am actually interested in location and scale parameters, more than in the degrees of freedom. Please see edit to the question, and sorry for being not precise.

Grzenio

2

I have recently discovered a closed-form estimator for the scale of the Student's t distribution. To the best of my knowledge, this is a new contribution, but I would welcome comments suggesting any related results. The paper describes the method in the context of a family of "coupled exponential" distributions. The Student's t is referred to as the Coupled Gaussian, where the coupling term is the reciprocal of the degree of freedom. The closed-form statistic is the geometric mean of the samples. Assuming a value of the coupling or degree of freedom, an estimate of the scale is determined by multiplying the geometric mean of the samples by a function involving the coupling and a harmonic number.

https://arxiv.org/abs/1804.03989 Use of the geometric mean as a statistic for the scale of the coupled Gaussian distributions, Kenric P. Nelson, Mark A. Kon, Sabir R. Umarov

Kenric
sumber

Memperkirakan parameter distribusi-t Student

Jawaban: