Distribusi nilai eigen yang diberikan diketahui

Saya akrab dengan menggunakan wawasan dari Teori Matriks Acak untuk menentukan jumlah komponen utama dari PCA dari matriks kovarians / korelasi yang digunakan untuk membentuk faktor.

Jika nilai eigen yang terkait dengan PC pertama besar, maka itu berarti bahwa nilai eigen yang tersisa harus kecil (karena jumlah nilai eigen harus sama dengan jejak matriks korelasi). Ketika PC pertama cukup besar, maka sangat mungkin bahwa semua nilai eigen ini berada di bawah batas bawah pada distribusi Marcenko-Pastur. Ini masuk akal bahwa mereka rendah bukan karena kesempatan acak, tetapi karena nilai eigen pertama sangat besar. Namun, itu tidak berarti bahwa mereka mengandung informasi yang signifikan. Alih-alih, akan lebih masuk akal untuk mengajukan pertanyaan "mengingat PC pertama adalah sejumlah besar, seperti apa distribusi nilai-nilai eigen yang tersisa jika data acak yang bertanggung jawab atas mereka?"

Apakah ada penelitian yang membahas masalah ini? Jika dimungkinkan untuk mendapatkan distribusi Marcenko-Pastur dengan syarat mengetahui satu atau lebih nilai eigen, maka akan mungkin untuk melanjutkan secara iteratif untuk menentukan apakah faktor-faktor mencerminkan informasi yang signifikan.

correlation pca covariance eigenvalues random-matrix John
sumber

Apakah Anda hanya berbicara tentang data acak satu faktor (spheroid acak)?

ttnphns

Tidak yakin apa yang Anda maksudkan dengan spheroid acak, tetapi secara umum mungkin ada lebih dari satu faktor untuk diuji. Saya telah menyelesaikannya sehingga masalah nilai eigen bersyarat dapat ditulis sebagai

e i g (Σ (I - β β^{'})^{'} (I - β β^{'}))

$eig(\Sigma(I-\beta\beta')'(I-\beta\beta'))$ dimana

β

$\beta$ adalah vektor eigen yang terkait dengan

n

$n$ nilai eigen terbesar, tetapi apa yang bisa saya temukan sebagai ketidaksetaraan yang mengikat nilai eigen dari produk dua matriks tampak agak luas.

John

Memikirkannya sebentar, saya pikir saya mendapat hasil yang benar.

\tilde{λ} \pm = (1 + \frac{1}{Q} \pm 2 \sqrt{\frac{1}{Q}}) (\sum_{i = 1}^{n} λ_{i} - \sum_{j = 1}^{J} λ_{j}) / n

$\widetilde{\lambda}\pm=\left(1+\frac{1}{Q}\pm2\sqrt{\frac{1}{Q}}\right)\left( \sum_{i=1}^{n}\lambda_{i}-\sum_{j=1}^{J}\lambda_{j}\right)/n$

John

Jawaban:

Berikut ini adalah dokumen tentang masalah Anda: http://math.nyu.edu/faculty/avellane/LalouxPCA.pdf

Idenya sederhana, Anda menghitung distribusi Marcenko-Pastur dengan varian elemen matriks yang dimodifikasi. Varians yang dimodifikasi hanya sesuai dengan varians yang dijelaskan oleh nilai eigen lain daripada yang pertama.

Seperti yang dikatakan oleh john, Anda harus mengganti $\sigma^2$ oleh $(\sum_{i=1}^{n}\lambda_{i}-\sum_{j=1}^{J}\lambda_{j})/n$ untuk yang pertama $J$ nilai eigen. Jika Anda telah menormalkan masalah Anda dan Anda hanya ingin menghapus komponen pertama, Anda harus mengganti $\sigma^2$ oleh $\frac{1-\lambda_{1}}{n}$ . Anda akan mendapatkan:

ρ^{'} (λ) = \frac{n Q}{2 π (1 - λ_{1})} (\frac{\sqrt{(λ_{m a x} - λ) (λ - λ_{m i n})}}{λ})

$\rho'(\lambda)= \frac{nQ}{2\pi(1-\lambda_{1})}(\frac{\sqrt{(\lambda_{max}-\lambda)(\lambda-\lambda_{min})}}{\lambda})$

Dengan:

λ_{m i n / m a x} = \frac{n}{(1 - λ_{1})} (1 + \frac{1}{Q} \pm 2 \sqrt{\frac{1}{Q}})

$\lambda_{min/max}= \frac{n}{(1-\lambda_{1})}(1+\frac{1}{Q}\pm2\sqrt{\frac{1}{Q}})$

Karena mungkin ada lebih banyak informasi dalam matriks Anda daripada hanya satu nilai eigen besar dan kebisingan, Anda akan mengamati beberapa perbedaan. Sebagai contoh dalam studi korelasi pasar kita dapat mengamati kebocoran nilai eigen oleh tepi atas spektrum. (Ini sesuai dengan sektor keuangan).

Pendekatan lain yang disebutkan dalam dokumen adalah untuk dipertimbangkan $\sigma^2$ sebagai parameter tunggal dalam distribusi pastur marcenko. Anda kemudian harus menyesuaikan parameter ini agar sesuai dengan kurva Anda.

Untuk informasi lebih lanjut tentang teknik dan referensi yang bermanfaat, Anda dapat melihatnya di: http://arxiv.org/abs/physics/0507111

lcrmorin
sumber

Formula ini juga perlu direvisi Q karena jumlah kolom telah berkurang 1.

Rohit Arora