Bagaimana membuat matriks positif pasti?

Saya mencoba menerapkan algoritma EM untuk model analisis faktor berikut;

W_{j} = μ + B a_{j} + e_{j} for j = 1, \dots, n

$W_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n$

di mana adalah vektor acak p-dimensional, adalah vektor q-dimensi dari variabel laten dan adalah matriks parameter pxq. $W_j$ $a_j$ $B$

Sebagai hasil dari asumsi lain yang digunakan untuk model, saya tahu bahwa mana adalah matriks varians kovarians dari istilah kesalahan , = diag ( , , ..., ). $W_j\sim N(\mu, BB'+D)$ $D$ $e_j$ $D$ $\sigma_1^2$ $\sigma_2^2$ $\sigma_p^2$

Untuk algoritma EM bekerja, aku melakukan iterasi kubah yang melibatkan estimasi dan matriks dan selama iterasi ini aku menghitung kebalikan dari pada setiap iterasi menggunakan perkiraan baru dari dan . Sayangnya selama iterasi, kehilangan kepastian positifnya (tetapi seharusnya tidak karena itu adalah matriks varians-kovarians) dan situasi ini merusak konvergensi algoritma. Pertanyaan saya adalah: $B$ $D$ $BB'+D$ $B$ $D$ $BB'+D$

Apakah situasi ini menunjukkan bahwa ada yang salah dengan algoritma saya karena kemungkinan harus meningkat pada setiap langkah EM?
Apa cara praktis untuk membuat matriks positif pasti?

Sunting: Saya menghitung inversinya dengan menggunakan lemma inversi matriks yang menyatakan bahwa:

(B B^{'} + D)^{- 1} = D^{- 1} - D^{- 1} B (I_{q} + B^{'} D^{- 1} B)^{- 1} B^{'} D^{- 1}

$(BB'+D)^{-1}=D^{-1}-D^{-1}B (I_q+B'D^{-1}B)^{-1} B'D^{-1}$

di mana sisi kanan hanya melibatkan invers dari matriks . $q\times q$

factor-analysis expectation-maximization Andy Amos
sumber

Mungkin membantu untuk memahami dengan lebih baik bagaimana "kehilangan" kepastian positifnya. Ini menyiratkan bahwa atau (atau keduanya) menjadi pasti non-positif. Itu sulit dilakukan ketika dihitung langsung dari dan lebih sulit lagi ketika dihitung sebagai matriks diagonal dengan kotak pada diagonal-nya!

B B^{'} + D

$BB'+D$

B B^{'}

$BB'$

D

$D$

B B^{'}

$BB'$

B

$B$

D

$D$

whuber

@whuber Biasanya dalam FA , jadi tidak pernah pasti positif. Tapi (secara teoritis) seharusnya, dengan asumsi bahwa semuanya lebih besar dari nol.

q < p

$q<p$

B B^{'}

$BB'$

B B^{'} + D

$BB' + D$

σ_{j}^{2}

$\sigma^2_j$

JMS

Ini terkait dengan pertanyaan ini: stats.stackexchange.com/questions/6364/…

Gilead

@ JMS Terima kasih. Saya pikir komentar saya masih relevan: bisa tidak terbatas, tetapi seharusnya masih tidak memiliki nilai eigen negatif. Masalah akan muncul ketika yang terkecil dari sebanding dengan kesalahan numerik dalam algoritma inversi. Jika hal ini terjadi, salah satu solusi adalah untuk menerapkan SVD untuk dan nol keluar eigen sangat kecil (atau negatif), kemudian menghitung ulang dan menambahkan .

B B^{'}

$BB'$

σ_{i}^{2}

$\sigma_i^2$

B B^{'}

$BB'$

B B^{'}

$BB'$

D

$D$

whuber

Itu harus menjadi elemen kecil dalam ; harus dikondisikan dengan baik karena

D

$D$

I_{q} + B^{'} D^{- 1} B

$I_q + B'D^{-1}B$

q < p

$q<p$

JMS

Jawaban:

OK, karena Anda melakukan FA, saya mengasumsikan bahwa adalah peringkat kolom penuh dan . Kami membutuhkan beberapa detail lagi. Ini mungkin masalah numerik; mungkin juga ada masalah dengan data Anda. $B$ $q$ $q<p$

Bagaimana Anda menghitung invers? Apakah Anda memerlukan invers secara eksplisit, atau dapat menyatakan kembali perhitungan sebagai solusi untuk sistem linear? (Yaitu untuk mendapatkan memecahkan untuk x, yang biasanya lebih cepat dan lebih stabil) $A^{-1}b$ $Ax=b$

Apa yang terjadi pada ? Apakah perkiraannya benar-benar kecil / 0 / negatif? Dalam beberapa hal itu adalah tautan kritis, karena tentu saja kekurangan peringkat dan mendefinisikan matriks kovarian singular sebelum menambahkan , sehingga Anda tidak dapat membalikkannya. Menambahkan matriks diagonal positif teknis membuatnya peringkat penuh tetapi masih bisa terkondisi dengan buruk jika kecil. $D$ $BB'$ $D$ $D$ $BB'+D$ $D$

Seringkali estimasi untuk varian istimewa ( , elemen diagonal ) mendekati nol atau bahkan negatif; ini disebut kasus Heywood. Lihat misalnya http://www.technion.ac.il/docs/sas/stat/chap26/sect21.htm (teks FA apa pun harus membahas hal ini juga, ini adalah masalah yang sangat lama dan terkenal). Ini dapat diakibatkan oleh kesalahan spesifikasi model, pencilan, nasib buruk, semburan matahari ... MLE sangat rentan terhadap masalah ini, jadi jika algoritma EM Anda dirancang untuk membuat MLE melihat keluar. $\sigma^2_i$ $D$

Jika algoritma EM Anda mendekati mode dengan perkiraan seperti itu mungkin untuk kehilangan kepastian positifnya, saya pikir. Ada berbagai solusi; secara pribadi saya lebih suka pendekatan Bayesian tetapi bahkan kemudian Anda harus berhati-hati dengan prior Anda (prior yang tidak tepat atau bahkan tepat prior dengan massa terlalu dekat 0 dapat memiliki masalah yang sama karena pada dasarnya alasan yang sama) $BB'+D$

JMS
sumber

Biarkan saya kedua bahwa di bagian utama dari algoritma, Anda tidak pernah ingin benar-benar membalikkan matriks Anda mungkin perlu di bagian paling akhir untuk mendapatkan estimasi standar. Lihat posting blog ini johndcook.com/blog/2010/01/19/dont-invert-that-matrix

Samsdram

Nilai-nilai matriks D semakin kecil karena jumlah iterasi meningkat. Mungkin ini masalahnya seperti yang Anda tunjukkan.

Andy Amos

@Andy Amos: Saya akan bertaruh uang untuk itu. Seperti @whuber tunjukkan, hampir tidak mungkin akan memiliki nilai eigen negatif jika Anda menghitungnya secara langsung, & nol (dari kekurangan peringkat) harus diurus dengan menambahkan sejak diagonal positif - kecuali beberapa elemen tersebut sangat kecil. Coba beberapa data dari model di mana cukup besar dan . Semakin banyak data semakin baik sehingga estimasi harus akurat dan stabil. Setidaknya itu akan memberi tahu Anda jika ada masalah dalam implementasi Anda.

B B^{'}

$BB'$

D

$D$

σ_{i}^{2}

$\sigma_i^2$

\sum_{q} B_{i q}^{2} \approx σ_{i}^{2}

$\sum_q B_{iq}^2 \approx \sigma_i^2$

JMS